প্রশ্ন ট্যাগ «overfitting»

প্রথমত: আমি জানি, একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য প্রয়োজনীয় কোনও নমুনা আকারের সংখ্যা নেই। এটি কাজের জটিলতা, ডেটাতে গোলমাল ইত্যাদির মতো অনেকগুলি কারণের উপর নির্ভর করে। আমার কাছে যত বেশি প্রশিক্ষণের নমুনা রয়েছে, তত ভাল আমার নেটওয়ার্ক হবে। তবে আমি ভাবছিলাম: আমি যদি আমার কাজটিকে যথেষ্ট "সরল" বলে ধরে নিই …

12 neural-networks  overfitting  underdetermined 

আমি ফিশারদের সঠিক পরীক্ষাটি আরও ভালভাবে বুঝতে চেয়েছিলাম, তাই আমি নীচের খেলনাটির উদাহরণটি প্রস্তুত করেছি, যেখানে f এবং m পুরুষ এবং মহিলা এর সাথে মিলে যায় এবং n এবং y এর সাথে "সোডা সেবন" এর সাথে মিলে যায়: > soda_gender f m n 0 5 y 5 0 স্পষ্টতই, এটি …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

আমার মানগুলির স্পষ্টত দ্বিপদী বিতরণ রয়েছে, যা আমি ফিট করতে চাই। 2 টি স্বাভাবিক ফাংশন (বিমোডাল) বা 3 টি সাধারণ ফাংশন সহ ডেটা ভাল ফিট হতে পারে। অতিরিক্তভাবে, 3 এর সাথে ডেটা ফিট করার জন্য একটি দেহনযোগ্য শারীরিক কারণ রয়েছে। যত বেশি পরামিতি প্রবর্তন করা হবে ততই যথাযথ ফিট হবে, …

11 distributions  normal-distribution  model-selection  overfitting 

আজ আমাদের অধ্যাপক ক্লাসে বলেছিলেন যে "লিনিয়ার ক্লাসিফায়ারগুলির সাথে ওভারফিট করা সম্ভব নয়"। আমি এটাকে ভুল বলে ধরেছি, যেহেতু লিনিয়ার শ্রেণিবদ্ধীরা প্রশিক্ষণ সংস্থায় আউটলিয়ারদের কাছে সংবেদনশীল হতে পারে - উদাহরণস্বরূপ একটি কঠোর মার্জিন সমর্থন করুন ভেক্টর মেশিন: একটি একক কোলাহলী ডেটাপয়েন্টটি পরিবর্তন করতে পারে কোন হাইপারপ্লেনটি ডেটাসেটগুলি পৃথক করতে ব্যবহৃত …

10 classification  overfitting 

যতদূর আমি দেখেছি, মতামতগুলি সম্পর্কে এই বিষয়ে পৃথক প্রবণতা রয়েছে। সেরা অনুশীলন অবশ্যই ক্রস-বৈধতা ব্যবহার করে নির্দেশ করবে (বিশেষত যদি একই ডেটাসেটের অন্যান্য অ্যালগরিদমের সাথে আরএফগুলির তুলনা করা হয়)। অন্যদিকে, মূল উত্সটি বলেছে যে মডেল প্রশিক্ষণের সময় ওওবি ত্রুটিটি গণনা করা হয় তা পরীক্ষার সেট পারফরম্যান্সের একটি সূচক যথেষ্ট। এমনকি …

10 cross-validation  random-forest  overfitting  out-of-sample 

আমি এমন কিছু সাহিত্য পড়েছি যা এলোমেলো বনগুলি বেশি মানায় না। এটি দুর্দান্ত শোনার পরেও এটি সত্য বলে মনে হয় খুব ভাল। আরএফের পক্ষে কী পরিমাণে ফিট করা সম্ভব?

10 random-forest  overfitting 

আমি বুঝতে পারি যে আমরা কমপক্ষে স্কোয়ার রিগ্রেশন সমস্যায় নিয়মিতকরণ নিয়োগ করতে পারি w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] এবং এই সমস্যাটির একটি বদ্ধ-ফর্ম সমাধান রয়েছে যেমন: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. আমরা দেখতে পাই যে ২ য় সমীকরণে নিয়মিতকরণ কেবল \ বোল্ডসিম্বল {এক্স} টি \ বোল্ডসিম্বল {এক্স the …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

আমি একটি স্যাচুরেটেড মডেল কী তা বোঝার চেষ্টা করছি। আপনার পর্যবেক্ষণের মতো অনেকগুলি বৈশিষ্ট্য উপস্থিত থাকলে এটি আফিক। আমরা কি বলতে পারি যে একটি স্যাচুরেটেড মডেল অত্যন্ত চূড়ান্ত মডেলের একটি বিশেষ-কেস?

10 overfitting 

এটি কি অত্যধিক ফিটনেসের ফলাফল করে না? যদি বিশ্লেষণের অংশ হিসাবে আমি একটি জ্যাক-ছুরি বা বুটস্ট্র্যাপ পদ্ধতি যুক্ত করি তবে আমার ফলাফলগুলি আরও নির্ভরযোগ্য হবে?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

আমার কাছে কিছু ভবিষ্যদ্বাণীপূর্ণ মডেল রয়েছে যার পারফরম্যান্সটি আমি ব্যাক-টেস্ট করতে চাই (অর্থাত, আমার ডেটাসেটটি নিতে, এটি সময়ের সাথে পূর্ববর্তী সময়ে "রিওয়াইন্ড করুন" এবং দেখুন মডেলটি কীভাবে সম্ভাব্য পারফরম্যান্স করত)। সমস্যাটি হ'ল আমার কয়েকটি মডেল একটি ইন্টারেক্টিভ প্রক্রিয়া দ্বারা নির্মিত হয়েছিল। উদাহরণস্বরূপ, ফ্র্যাঙ্ক হ্যারেলের রেগ্রেশন মডেলিং কৌশলগুলির পরামর্শ অনুসরণ করে …

9 cross-validation  modeling  outliers  splines  overfitting