প্রশ্ন ট্যাগ «overfitting»

ওভারফিটিংয়ের গাণিতিক বা অ্যালগরিদমিক সংজ্ঞা আছে কি? প্রায়শই সরবরাহিত সংজ্ঞা হ'ল প্রতি একক পয়েন্টের মধ্য দিয়ে যাওয়া লাইন এবং বৈধতা হ্রাস বক্ররেখার হঠাৎ করে উপরে উঠার পয়েন্টগুলির ক্লাসিক 2-ডি প্লট। তবে গাণিতিকভাবে কঠোর সংজ্ঞা আছে কি?

18 mathematical-statistics  optimization  overfitting 

যদি আমার কাছে কোনও ডেটা থাকে এবং আমি ক্রস বৈধকরণের (এই 5 টি ভাঁজগুলি বলি) একটি শ্রেণিবদ্ধকরণ চালাও (আসুন 5-ভাজ বলি) আমি কি এই সিদ্ধান্তে পৌঁছাতে পারি যে আমার পদ্ধতিতে কোনও অতিরিক্ত ফিট নেই?

17 cross-validation  overfitting 

প্রাইভেট টেস্ট সেটের ফলাফলগুলি আরও মডেলটিকে আরও পরিমার্জন করতে ব্যবহার করা যায় না, তবুও কি প্রাইভেট টেস্ট সেট ফলাফলের ভিত্তিতে বিপুল সংখ্যক মডেল সম্পাদন করা হচ্ছে না? আপনি কি একা এই প্রক্রিয়াটি না পেরে প্রাইভেট টেস্ট সেটে ওভারফিটিং শেষ করবেন না? মতে "ছদ্ম-গণিত ও আর্থিক চালিয়াতি: Backtest Overfitting প্রভাব অপ্রচলিত …

16 model-selection  overfitting  out-of-sample 

এমএনআইএসটি ডেটাসেটকে শ্রেণিবদ্ধকরণ সম্পর্কে সমস্যাটি বিবেচনা করা যাক। মতে Yann LeCun এর MNIST ওয়েবপৃষ্ঠা , 'Ciresan এট অল।' কনভলিউশনাল নিউরাল নেটওয়ার্ক ব্যবহার করে এমএনআইএসটি পরীক্ষার সেটটিতে 0.23% ত্রুটি হার পেয়েছে। আসুন এমএনআইএসটি প্রশিক্ষণকে ডি_ as হিসাবে সেট করুন , এমএনআইএসটি টেস্টকে ডি_ as হিসাবে সেট করুন , চূড়ান্ত হাইপোথিসিসটি তারা …

16 machine-learning  classification  overfitting  probability-inequalities 

আমি বর্তমানে randomForestআর এ প্যাকেজটি ব্যবহার করে একটি শ্রেণিবদ্ধকরণ সমস্যার জন্য এলোমেলো বনগুলিতে ফিট করছি এবং এই মডেলগুলির প্রশিক্ষণের ত্রুটি কীভাবে রিপোর্ট করবেন সে সম্পর্কে আমি অনিশ্চিত । আমার প্রশিক্ষণের ত্রুটি 0% এর কাছাকাছি যখন আমি কমান্ডটি পেয়েছি এমন পূর্বাভাস ব্যবহার করে এটি গণনা করি: predict(model, data=X_train) X_trainপ্রশিক্ষণের ডেটা কোথায় …

16 r  machine-learning  classification  random-forest  overfitting 

ধরা যাক আমাদের একটি মডেল আছে mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for …

16 mixed-model  lme4-nlme  overfitting  singular 

আমি এলোমেলো বনগুলিতে মোটামুটি নতুন। অতীতে আমি সবসময় নির্ভুলতা তুলনা করেছেন পরীক্ষা বনাম হইয়া বিরুদ্ধে হইয়া ট্রেন বনাম কোন overfitting সনাক্ত করতে। তবে আমি এখানে এখানে পড়েছি : "এলোমেলো বনাঞ্চলে, পরীক্ষা সেট ত্রুটির পক্ষপাতহীন অনুমানের জন্য ক্রস-বৈধতা বা আলাদা পরীক্ষা সেটের প্রয়োজন হয় না the উপরের ছোট্ট অনুচ্ছেদে আউট-অফ-ব্যাগ (oob) …

15 cross-validation  random-forest  overfitting 

আমি নিম্নলিখিত প্রকাশটি আগে শুনেছি: "পরিসংখ্যানের মধ্যে সমস্ত অপকর্মের মূলে অপটিমাইজেশন"। উদাহরণস্বরূপ, এই থ্রেডের শীর্ষস্থানীয় উত্তরটি মডেল নির্বাচনের সময় খুব আক্রমণাত্মকভাবে অনুকূল হওয়ার ঝুঁকির প্রসঙ্গে সেই বিবৃতি দেয়। আমার প্রথম প্রশ্নটি নিম্নরূপ: এই উক্তিটি বিশেষত কারও জন্যই দায়ী? (যেমন পরিসংখ্যান সাহিত্যে) আমি যা বুঝতে পারি তা থেকে বিবৃতিটি ওভারফিটিংয়ের ঝুঁকিগুলিকে …

14 cross-validation  optimization  overfitting 

আপনি যখন কাজটি করছেন, আপনি কী করছেন সে সম্পর্কে সচেতন হয়ে আপনি যখন মডেলটির ওভার-ফিট রাখবেন তখন আপনার বোধ তৈরি হবে। একটি জিনিসের জন্য, আপনি মডেলের অ্যাডজাস্টেড আর স্কোয়ারের প্রবণতা বা অবনতি ট্র্যাক করতে পারেন। আপনি প্রধান ভেরিয়েবলগুলির রিগ্রেশন সহগের p মানগুলিতেও একই ধরণের অবনতি ট্র্যাক করতে পারেন। তবে, যখন …

14 regression  multivariate-analysis  overfitting 

ট্রেন বনাম পরীক্ষার ত্রুটির তুলনা কীভাবে পরিচালনা করতে হবে সে সম্পর্কে সেখানে বিরোধী পরামর্শ রয়েছে বলে মনে হয়, বিশেষত যখন দুজনের মধ্যে একটি ফাঁক রয়েছে। আমার মনে হয় এমন দুটি স্কুল আছে যা আমার কাছে দ্বন্দ্ব বলে মনে হচ্ছে। আমি কীভাবে দুজনের মধ্যে পুনর্মিলন করব (বা আমি এখানে কী মিস …

14 cross-validation  overfitting 

আমার মূল প্রশ্নটি কী-ভাঁজ ক্রস-বৈধকরণ প্রশিক্ষণ / বৈধতা / পরীক্ষার সেট থাকার ক্ষেত্রে (এটি যদি এ জাতীয় প্রসঙ্গে পুরোপুরি ফিট করে তবে) কীভাবে ফিট করে তা বোঝার চেষ্টা করে with সাধারণত, লোকেরা ডেটাটিকে একটি প্রশিক্ষণ, বৈধকরণ এবং পরীক্ষার সেটগুলিতে বিভক্ত করার কথা বলে - অ্যান্ড্রু এনজি এর কোর্স অনুযায়ী 60/20/20 …

14 cross-validation  dataset  overfitting 

আমার মতে পারস্পরিক সম্পর্কযুক্ত ইনপুট ডেটা অবশ্যই নিউরাল নেটওয়ার্কগুলিতে অত্যধিক মানসিকতার দিকে পরিচালিত করতে পারে কারণ নেটওয়ার্ক ডেটাতে সম্পর্ক সম্পর্কিত উদাহরণস্বরূপ শব্দটি শেখে। এটা কি সঠিক?

13 correlation  neural-networks  overfitting 

আমি সেন্টিমেন্টের পূর্বাভাসের জন্য ১৫০০ টি টুইটকে মডেলিং করছি একটি একক স্তর এলএসটিএম দিয়ে 128 টি লুকানো ইউনিট সহ 80 ডাইমেনড সহ ওয়ার্ড 2vec- এর মতো উপস্থাপনা ব্যবহার করে। আমি 1 যুগের পরে একটি বংশদ্ভুত নির্ভুলতা (এলোমেলো = 20% সহ 38%) পেয়েছি। প্রশিক্ষণের যথার্থতা আরোহণের সূচনা হওয়ার সাথে সাথে আরও …

13 deep-learning  regularization  overfitting  lstm 

এটি একটি দার্শনিক প্রশ্নের সীমানা, তবে আমি আরও আগ্রহী অন্যরা কীভাবে বিতরণ বাছাই সম্পর্কে চিন্তাভাবনা করে তা সম্পর্কে আগ্রহী। কিছু ক্ষেত্রে এটি স্পষ্ট বলে মনে হয় যে তত্ত্বটি সর্বোত্তমভাবে কাজ করতে পারে (ইঁদুরের লেজের দৈর্ঘ্য সম্ভবত সাধারণত বিতরণ করা হয়)। অনেক ক্ষেত্রে সম্ভবত কোনও উপাত্তের সেটকে বর্ণনা করার জন্য কোনও …

12 distributions  overfitting  heuristic 

বিশপের পিআরএমএল বইয়ে তিনি বলেছিলেন যে, ওভারফিট করা সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) সমস্যা এবং বায়েসিয়ান এড়াতে পারেন। তবে আমি মনে করি, মডেল নির্বাচন সম্পর্কে পরামিতি নির্ধারণের জন্য ব্যবহৃত পদ্ধতি সম্পর্কে নয়, ওভারফিটিং আরও বেশি সমস্যা। এটি, ধরুন আমার কাছে একটি ডেটা সেট , যা মাধ্যমে উত্পন্ন হয়েছে , এখন আমি …

12 bayesian  model-selection  overfitting