লি-ওয়ান-আউট বনাম কে-ভাঁজ ক্রস বৈধকরণে বায়াস এবং বৈকল্পিক

Question

বিভিন্ন ক্রস-বৈধকরণের পদ্ধতিগুলি মডেল বৈকল্পিক এবং পক্ষপাতের ক্ষেত্রে কীভাবে তুলনা করে?

আমার প্রশ্নটি এই থ্রেড দ্বারা আংশিকভাবে অনুপ্রাণিত: কে- ফোল্ড ক্রস-বৈধকরণের ভাঁজগুলির সর্বোত্তম সংখ্যার : কী ছাড়-এক-আউট সিভি সর্বদা সেরা পছন্দ? $K$। উত্তরটির উত্তর থেকে জানা যায় যে লেভেল -ওয়ান-আউট ক্রস-বৈধকরণের সাথে শিখে নেওয়া মডেলগুলির নিয়মিত কে- ফোল্ড ক্রস-বৈধকরণের সাথে শিখানো তুলনায় উচ্চতর পার্থক্য রয়েছে , যা ছুটির এক-আউট সিভিকে আরও খারাপ পছন্দ করে তোলে।$K$

যাইহোক, আমার অন্তর্নিহিততা আমাকে বলেছে যে লেভ -ওয়ান-আউট সিভিতে ফোল্ড সিভি-র তুলনায় মডেলের মধ্যে তুলনামূলকভাবে কম পার্থক্য দেখা উচিত , যেহেতু আমরা কেবল ভাঁজগুলিতে একটি ডেটা পয়েন্ট সরিয়ে দিচ্ছি এবং ফলসগুলির মধ্যে প্রশিক্ষণের সেটগুলি যথেষ্ট পরিমাণে ওভারল্যাপ হয়।$K$

, অন্যান্য দিক অথবা যাচ্ছে যদি কম মধ্যে কে ধা সিভি, প্রশিক্ষণ সেট ভাঁজ জুড়ে পুরোপুরি ভিন্ন হতে পারে, এবং তার ফলে মডেলের আরো ভিন্ন হতে করার সম্ভাবনা বেশি (অত: পর উচ্চতর ভ্যারিয়েন্স)।$K$$K$

উপরের যুক্তিটি যদি সঠিক হয় তবে ছুটি-ওয়ান-আউট সিভির সাথে শিখে নেওয়া মডেলগুলির উচ্চতর পার্থক্য কেন হবে?

Comments

হাই আমেলিও দয়া করে মনে রাখবেন যে জ্যাভিয়ারের নতুন উত্তর এবং জ্যাক ওয়েস্টফল স্ট্যাটস.স্ট্যাকেক্সেক্সঞ্জ / প্রশ্ন / ২৮০265 by এই পুরানো প্রশ্নে প্রদত্ত সিমুলেশনগুলি উভয়ই দেখায় যে কে-এর সাথে তারতম্য হ্রাস পায় । এটি বর্তমানে অনুমোদিত গৃহীত উত্তর এবং সর্বাধিক উত্সাহিত উত্তর (যা পূর্বে গৃহীত হয়েছিল) এর সাথে সরাসরি বিরোধিতা করে। আমি কোথাও এমন কোনও সিমুলেশন দেখিনি যা এই দাবির পক্ষে সমর্থন করবে যে কে এর সাথে বৈকল্পিকতা বৃদ্ধি পায় এবং এলইউসিভি-র জন্য সর্বোচ্চ। $K$$K$

— অ্যামিবা

ধন্যবাদ @ অ্যামিবা আমি উভয় উত্তরের দিকে অগ্রগতি দেখছি। গ্রহণযোগ্য উত্তরটি সবচেয়ে কার্যকর এবং সঠিক উত্তরটির দিকে লক্ষ্য করে তা নিশ্চিত করার জন্য আমি যথাসাধ্য চেষ্টা করব।

— অ্যামিলিও ওয়াজকেজ-রেইনা

@amoeba দেখতে researchgate.net/profile/Francisco_Martinez-Murcia/publication/... whhich ট সঙ্গে ভ্যারিয়েন্স বৃদ্ধির দেখায়

— হানান Shteingart

তিনি যে গ্রাফটিটি কোথা থেকে পেয়েছেন তা দেখতে আকর্ষণীয় হবে, থিসিসের প্রথম নজরে দেখে মনে হচ্ছে এটি পরিচয় বিভাগে তার ব্যাখ্যাগুলি ফিট করার জন্য তৈরি করা হয়েছে। সম্ভবত এটি একটি আসল সিমুলেশন তবে এটি ব্যাখ্যা করা হয়নি, এবং এটি অবশ্যই তার প্রকৃত পরীক্ষাগুলি থেকে কম নয় যা কম ...

— জেভিয়ার বুরেট সিকোট

Answer 1

ছুটি-ওয়ান-আউট সিভির সাথে শিখে নেওয়া মডেলগুলির উচ্চতর বৈকল্পিকতা কেন থাকবে?

[টিএল: ডিআর] সাম্প্রতিক পোস্ট এবং বিতর্কগুলির সংক্ষিপ্তসার (জুলাই 2018)

এই বিষয়টি এই সাইটে এবং বৈজ্ঞানিক সাহিত্যে উভয় ক্ষেত্রেই বিবাদী মতামত, অন্তর্দৃষ্টি এবং সিদ্ধান্তে ব্যাপকভাবে আলোচিত হয়েছে। ২০১৩ সালে যখন এই প্রশ্নটি প্রথম জিজ্ঞাসা করা হয়েছিল, প্রভাবশালী দৃষ্টিভঙ্গিটি ছিল যে এলওইউসিভি সাইজের এন ( কে - 1 ) / কে এর নমুনাগুলির বাইরে মডেল উত্পাদনকারী একটি প্রশিক্ষণ অ্যালগরিদমের প্রত্যাশিত সাধারণীকরণ ত্রুটির বৃহত্তর বৈচিত্রের দিকে নিয়ে যায় ।$n(K−1)/K$

যদিও এই দৃষ্টিভঙ্গিটি একটি বিশেষ মামলার একটি ভুল সাধারণীকরণ বলে মনে হচ্ছে এবং আমি যুক্তি দেব যে সঠিক উত্তরটি: "এটি নির্ভর করে ..."

এই বিষয়টিতে 2004 সালের একটি গবেষণাপত্রের লেখক প্যারাফ্রেসিং ইয়ভেস গ্র্যান্ডভ্যালেট আমি স্বজ্ঞাত যুক্তিটির সংক্ষিপ্তসার করব:

1. যদি ক্রস-বৈধতা স্বতন্ত্র অনুমানের গড় হয় : তবে লেভ-ওয়ান-আউট সিভি মডেলের মধ্যে তুলনামূলকভাবে কম বৈচিত্র দেখতে পাওয়া উচিত কারণ আমরা কেবল ভাঁজগুলির মধ্যে একটি ডেটা পয়েন্ট সরিয়ে রাখছি এবং ফলসগুলির মধ্যে প্রশিক্ষণের সেটগুলি যথেষ্ট পরিমাণে ওভারল্যাপ হয়।
2. প্রশিক্ষণের সেটগুলি একে অপরের সাথে সম্পর্কিত হলে এটি সত্য নয় : কে-এর সাথে সম্পর্ক বাড়তে পারে এবং এই বৃদ্ধি দ্বিতীয় দৃশ্যে সামগ্রিক বৈচিত্রের বৃদ্ধির জন্য দায়ী। স্বজ্ঞাতভাবে, সেই পরিস্থিতিতে, ছুটি-ও-আউট সিভি বিদ্যমান অস্থিতিশীলতার জন্য অন্ধ হতে পারে তবে প্রশিক্ষণের উপাত্তের একক পয়েন্ট পরিবর্তন করে এটি ট্রিগার করা যায় না, যা প্রশিক্ষণের সেটটি বাস্তবায়নের জন্য এটি অত্যন্ত পরিবর্তনশীল করে তোলে।

আমার এবং এই সাইটের অন্যদের পরীক্ষামূলক সিমুলেশনগুলির পাশাপাশি নীচের লিঙ্কযুক্ত গবেষণাপত্রে গবেষকরা আপনাকে দেখিয়ে দেবেন যে এই বিষয়ে কোনও সর্বজনীন সত্য নেই। বেশিরভাগ পরীক্ষা-নিরীক্ষায় সাথে একঘেয়েমি হ্রাস বা ধ্রুবক বৈকল্পিকতা থাকে তবে কিছু বিশেষ ক্ষেত্রে কে-এর সাথে ক্রমবর্ধমান বৈচিত্র দেখায় ।$K$$K$

এই উত্তরটির বাকি অংশে খেলনা উদাহরণ এবং একটি অনানুষ্ঠানিক সাহিত্য পর্যালোচনার উপর একটি সিমুলেশন প্রস্তাব করে।

[আপডেট] বিদেশীদের উপস্থিতিতে আপনি অস্থির মডেলটির বিকল্প সিমুলেশনটি এখানে পেতে পারেন ।

খেলনা উদাহরণ থেকে সিমুলেশন হ্রাস / ধ্রুবক বৈকল্পিকতা দেখায়

নিম্নলিখিত খেলনা উদাহরণটি বিবেচনা করুন যেখানে আমরা কোলাহলপূর্ণ সাইন বক্ররেখাতে বহুগুণে 4 ডিগ্রি ফিট করি। শেখার বক্ররেখার হিসাবে দেখানো হয়েছে, অতিরিক্ত ফিটিংয়ের কারণে আমরা এই মডেলটি ছোট ডেটাসেটগুলির জন্য খারাপভাবে ভাড়া পাব বলে আশা করি।

নোট করুন যে আমরা ESLII পৃষ্ঠা 243 থেকে চিত্রটি পুনরুত্পাদন করতে এখানে 1 - এমএসই প্লট করেছি

 প্রণালী বিজ্ঞান

আপনি এই সিমুলেশন কোড জানতে পারেন এখানে । পদ্ধতির নিম্নলিখিত ছিল:

1. $sin(x) + \epsilon$$\epsilon$
2. $i$$N$
3. $i$
   • $K$
   • কে-ফোল্ডগুলি জুড়ে গড় গড় স্কোয়ার ত্রুটি (এমএসই) সঞ্চয় করুন
4. $i$$i$$K$
5. $K$$\{ 5,...,N\}$

$K$$i$

বাম হাতের সাইড : 200 ডেটা পয়েন্টের জন্য কেফোল্ডস, ডান হাতের সাইড : 40 ডাটা পয়েন্টের জন্য কেফোল্ডস

এমএসইর স্ট্যান্ডার্ড বিচ্যুতি (ডেটা সেট জুড়ে i) বনাম কেফোল্ডস

এই অনুকরণ থেকে, এটি মনে হয়:

• $N = 40$$K$$K=10$$K$
• $K \leq 5$
• $N = 200$$K$

---

একটি অনানুষ্ঠানিক সাহিত্য পর্যালোচনা

নিম্নলিখিত তিনটি কাগজপত্র ক্রস বৈধতার পক্ষপাত এবং বৈকল্পিকতা তদন্ত করে

• রন কোহাবী (1995)
• ইয়েভেস গ্র্যান্ডওয়ালেট এবং যোশুয়া বেনজিও (2004)
• জাং এবং ইয়াং (২০১৫)

কোহাবী 1995

এই কাগজটি প্রায়শই LUC এর উচ্চতর বৈকল্পিকতা যুক্তির উত্স হিসাবে উত্সাহিত হয়। বিভাগ 1:

"উদাহরণস্বরূপ, লেভ-ওয়ানআউট প্রায় পক্ষপাতহীন, তবে এর উচ্চতর বৈকল্পিকতা রয়েছে, এটি অবিশ্বাস্য অনুমানের দিকে পরিচালিত করে (এফ্রন 1983)"

এই বিবৃতিটি অনেক বিভ্রান্তির কারণ, কারণ এটি মনে হয় 1983 সালে এফ্রনের, কোহাবীর নয়। কোহাবীর তাত্ত্বিক যুক্তি এবং পরীক্ষামূলক ফলাফল উভয়ই এই বক্তব্যের বিপরীতে :

করোলারি 2 (সিভিতে রূপান্তর)

$k$

পরীক্ষা -নিরীক্ষা তার পরীক্ষায়, কোহাবী দুটি ইউজিলিথের তুলনা করেছেন: ইউ সি ইরভিন রেপোজিটরির একাধিক ডেটাসেট জুড়ে একটি সি 4.5 সিদ্ধান্ত গাছ এবং একটি নেভ বেইস শ্রেণিবদ্ধ। তার ফলাফলগুলি নীচে রয়েছে: এলএইচএস হ'ল যথার্থতা বনাম ভাঁজ (যেমন পক্ষপাত) এবং আরএইচএস হ'ল স্ট্যান্ডার্ড বিচ্যুতি বনাম ভাঁজ

প্রকৃতপক্ষে, কেবলমাত্র তিনটি ডেটা সেটগুলির সিদ্ধান্তের গাছের কে আরও বাড়ানোর ক্ষেত্রে স্পষ্টতই উচ্চতর বৈকল্পিকতা রয়েছে Other অন্যান্য ফলাফল হ্রাস বা ধ্রুবক বৈকল্পিকতা দেখায়।

পরিশেষে, যদিও উপসংহারটি আরও দৃ .়ভাবে বলা যেতে পারে, এলইও-র উচ্চতর বৈকল্পিকতা থাকার পক্ষে কোনও তর্ক নেই, একেবারে বিপরীত। বিভাগ থেকে 6. সংক্ষিপ্তসার

"মাঝারি k মানগুলির (10-20) সহ কে-ফোল্ড ক্রস বৈধকরণটি তারতম্য হ্রাস করে ... কে-হ্রাস (2-5) এবং নমুনাগুলি আরও ছোট হওয়ার সাথে সাথে প্রশিক্ষণের অস্থিরতার কারণে বৈচিত্র রয়েছে।

জাং ও ইয়াং

লেখকগণ এই বিষয়ে দৃ strong় দৃষ্টিভঙ্গি রাখেন এবং ধারা 7.1 এ স্পষ্টভাবে বর্ণনা করেন

প্রকৃতপক্ষে, কমপক্ষে স্কোয়ারগুলিতে লিনিয়ার রিগ্রেশন, বার্মান (1989) দেখায় যে কে-ফোল্ড সিভিগুলির মধ্যে পূর্বাভাস ত্রুটির অনুমান করার ক্ষেত্রে, এলওইউ (অর্থাত্, এন-ফোল্ড সিভি) এর মধ্যে ক্ষুদ্রতম অ্যাসিপোটিক পক্ষপাত এবং বৈকল্পিকতা রয়েছে। ...

... তারপরে একটি তাত্ত্বিক গণনা ( লু , 2007) দেখায় যে সমস্ত সম্ভাব্য এন_ভি মুছে ফেলা বিবেচনাধীন সমস্ত ডিলিট-এন সিভিগুলির মধ্যে একই সময়ে এলইউর মধ্যে ক্ষুদ্রতম পক্ষপাত এবং ভিন্নতা রয়েছে

পরীক্ষামূলক ফলাফল একইভাবে, ঝাংয়ের পরীক্ষাগুলি কে-এর সাথে পরিবর্তিত হ্রাসের দিকে নির্দেশ করে, যেমন চিত্র 3 এবং চিত্র 5 এর ভুল মডেল এবং ভুল মডেলের জন্য নীচে দেখানো হয়েছে।

$K$

যাইহোক, যদি মডেল নির্বাচন জড়িত থাকে, এলইউর পারফরম্যান্স পরিবর্তনশীলতায় আরও খারাপ হয় কারণ মডেল নির্বাচনের অনিশ্চয়তা বৃহত্তর মডেলের স্থান, ছোট পেনাল্টি সহগ এবং / অথবা ডেটা-চালিত জরিমানা সহগের ব্যবহারের কারণে আরও বেড়ে যায়

Comments

$K$$K$

@ অ্যামিবা এখানে একটি কেস আছে যেখানে এলইউসিভি ব্যর্থ হয়: এন ডেটা পয়েন্ট এবং ডিগ্রি এন এর একটি ইন্টারপোলটিং পলিনমিয়াল বিবেচনা করুন। এখন প্রতিটি বিদ্যমান পয়েন্টে ডুপ্লিকেট ডান যুক্ত করে তথ্য পয়েন্ট সংখ্যা দ্বিগুণ। এলইউসিভি বলেছে ত্রুটিটি শূন্য। কোনও দরকারী তথ্য পেতে আপনার ভাঁজগুলি হ্রাস করতে হবে।

— পল

আপনার এই আলোচনায় আগ্রহীদের জন্য

— জাভিয়ের

$k-fold$$k=10$

@ অ্যামিবা: পুনরায় কোহাবী / এলএইউ এবং বৈকল্পিক। আমি দেখেছি যে কয়েকটি শ্রেণিবদ্ধ মডেলগুলির জন্য এলইউ বেশিরভাগ (আশ্চর্যরকম) অস্থির হতে পারে। এটি বিশেষত ছোট নমুনার আকারে উচ্চারিত হয় এবং আমি মনে করি এটি সর্বদা শ্রেণীর অন্তর্নিহিত কবিতার সাথে সম্পর্কিত পরীক্ষার সাথে সম্পর্কিত। পুরো নমুনা: বাইনারি শ্রেণিবিন্যাসে স্তরিত ছুটি -2-আউটতে এই সমস্যাটি মনে হয় না (তবে আমি ব্যাপকভাবে পরীক্ষা করিনি)। এই অস্থিতিশীলতা পর্যবেক্ষিত বৈকল্পিকতায় যোগ করবে, কে-এর অন্যান্য পছন্দগুলি থেকে এলওইউকে আটকে রাখবে। আইআইআরসি, এটি কোহাবীর অনুসন্ধানের সাথে সামঞ্জস্যপূর্ণ।

— ২:27

Answer 2

$k$$k$$S$$S_i$$S \setminus S_i$$S_i$

$k>2$

$$\begin{equation} \operatorname{Var}\left(\sum_{i=1}^NX_i\right)=\sum_{i=1}^N \sum_{j=1}^N \operatorname{Cov}\left(X_i,X_j\right) \end{equation}$$

$k$

যাইহোক, নোট করুন যে দ্বিগুণ ক্রস বৈধকরণের ওভারল্যাপিং প্রশিক্ষণ সেটগুলির সমস্যা না থাকলেও এটির প্রায়শই বড় বৈচিত্র হয় কারণ প্রশিক্ষণ সেটগুলি মূল নমুনার মাত্র অর্ধেক হয়। একটি ভাল আপসটি হ'ল দশগুণ ক্রস-বৈধতা।

কিছু আকর্ষণীয় কাগজপত্র যা এই বিষয়টিকে স্পর্শ করে (আরও অনেকের মধ্যে):

• রন কোহাবীর সঠিকতা অনুমান এবং মডেল নির্বাচনের জন্য ক্রস-বৈধতা এবং বুটস্ট্র্যাপের একটি গবেষণা
• যোশুয়া বেনজিও এবং ইয়েভেস গ্র্যান্ডভ্যালেটের কে- ফোল্ড ক্রস-বৈধকরণের বৈকল্পিকতার কোনও পক্ষপাতহীন অনুমানকারী

Comments

+1 (অনেক দিন আগে), তবে এখন আপনার উত্তরটি পুনরায় পড়তে, আমি নিম্নলিখিত বিট দ্বারা বিভ্রান্ত হয়ে পড়েছি। আপনি বলছেন যে 2-ভাণ্ডার সিভি "প্রায়শই বড় ধরণের হয় কারণ প্রশিক্ষণ সেটগুলি কেবলমাত্র আকারের অর্ধেক"। আমি বুঝতে পারি যে দুইবার ছোট প্রশিক্ষণের সেট করা একটি সমস্যা, তবে কেন এটি "বৃহত বৈকল্পিক" দেয়? পরিবর্তে এটি "বড় পক্ষপাত" হওয়া উচিত নয়? তারপরে ভাঁজের সংখ্যা বাছাই করার পুরো বিষয়টি একটি পক্ষপাতিত্ব-বৈচিত্র্য বাণিজ্য-বন্ধ হয়ে যায়, এটি প্রায়শই এভাবে উপস্থাপিত হয়।

— অ্যামিবা

$k$

স্রেফ কিছু সাহিত্যের সন্ধান করছিল। মজার বিষয় হল, স্ট্যাটাসটিকাল লার্নিংয়ের পরিচিতিতে জেমস, উইটেন, হাস্টি এবং তিবশিরানী বলে এলইউসিভি "অত্যন্ত পরিবর্তনশীল, যেহেতু এটি একক পর্যবেক্ষণের ভিত্তিতে (এক্স 1, ওয়াই 1)"। এবং স্ট্যাটিস্টিকাল লার্নিংয়ের উপাদানসমূহে হস্টি এবং তিবশিরানি এবং ফ্রেডম্যান বলে যে এলইউসিভিতে "উচ্চ বৈকল্পিকতা থাকতে পারে কারণ এন প্রশিক্ষণের সেটগুলি একে অপরের সাথে সমান"।

$var[\Sigma x_i / n]$$\Sigma\Sigma cov(x_i, x_j) / n^2$

না, এটি আসলে "পুরো বিষয়" নয়। লোকেরা সারাক্ষণ একক বিশ্বব্যাপী অনুমান পেতে কে-ফোল্ড সিভি ব্যবহার করে। আপনি অবশ্যই একাধিক ভাঁজ অনুমানটি অন্যান্য উপায়ে ব্যবহার করার চেষ্টা করতে পারেন, তবে এগুলি একসাথে রেখে দেওয়া কোনও মডেলিং প্রযুক্তির হোল্ডআউট পারফরম্যান্স অনুমান করার অন্যতম সাধারণ উপায়। এবং এটি হ'ল ESL এর EQ 7.48 কি করছে।

— পল

Answer 3

$K$

আমি মনে করি যদি আপনি প্রতিটি ছুটি-এক-আউট ভাঁজে মডেলদের দ্বারা করা ভবিষ্যদ্বাণী সম্পর্কে চিন্তাভাবনা করেন তবে আপনার স্বজ্ঞাততা বোধগম্য। এগুলি পারস্পরিক সম্পর্কযুক্ত / খুব অনুরূপ ডেটার (সম্পূর্ণ ডেটাসেট বিয়োগ একটি ডেটা পয়েন্ট) এর উপর ভিত্তি করে এবং তাই অনুরূপ ভবিষ্যদ্বাণী করবে - যেমন, কম পরিবর্তনশীল।

বিভ্রান্তির উত্স হ'ল লোকেরা যখন উচ্চতর পরিবর্তনশীলতার দিকে পরিচালিত এলইওসিভি সম্পর্কে কথা বলে তখন তারা হোল্ডআউট সেটগুলিতে ক্রস-বৈধকরণের লুপ চলাকালীন নির্মিত অনেকগুলি মডেল দ্বারা করা পূর্বাভাস সম্পর্কে কথা বলছে না। পরিবর্তে, তারা যদি আপনার চূড়ান্ত নির্বাচিত মডেলটির (LOOCV- র মাধ্যমে নির্বাচিত একটি) কতটা পরিবর্তনশীলতার বিষয়ে কথা বলছে যদি আপনি সেই সঠিক মডেল / প্যারামিটারগুলিকে নতুন প্রশিক্ষণ সেটগুলিতে প্রশিক্ষণ দেন - প্রশিক্ষণ সেটগুলি আপনার মডেলটি আগে দেখা যায় নি। এই ক্ষেত্রে, পরিবর্তনশীলতা বেশি হবে।

কেন পরিবর্তনশীলতা বেশি হবে? আসুন এটি কিছুটা সহজ করুন। ধারণা করুন যে কোনও মডেল বাছাইয়ের জন্য এলইউসিভি ব্যবহারের পরিবর্তে আপনার কেবল একটি প্রশিক্ষণ সেট রয়েছে এবং তারপরে আপনি সেই প্রশিক্ষণের ডেটা ব্যবহার করে নির্মিত একটি মডেল পরীক্ষা করেছেন, বলুন, 100 একক পরীক্ষার ডেটা পয়েন্টের উপর 100 বার (ডেটা পয়েন্টগুলি প্রশিক্ষণ সংস্থার অংশ নয়) । যদি আপনি সেই মডেল এবং পরামিতি সেটগুলি চয়ন করেন যা সেই 100 টি পরীক্ষাগুলির মধ্যে সবচেয়ে ভাল করে, তবে আপনি এমন একটি নির্বাচন করবেন যা পরীক্ষার ডেটা পূর্বাভাস দেওয়ার ক্ষেত্রে এই নির্দিষ্ট প্রশিক্ষণ সেটটিকে সত্যিই ভাল হতে দেয়। আপনি সম্ভাব্যভাবে এমন একটি মডেল চয়ন করতে পারেন যা সেই নির্দিষ্ট প্রশিক্ষণ ডেটাসেট এবং হোল্ডআউট ডেটার মধ্যে 100% সংঘবদ্ধ করে। দুর্ভাগ্যক্রমে, প্রশিক্ষণ এবং পরীক্ষা ডেটা সেটগুলির মধ্যে থাকা এই সংস্থাগুলির কিছু অংশ গোলমাল বা উত্সাহী সমিতি হবে কারণ, যদিও পরীক্ষার সেটটি পরিবর্তিত হয় এবং আপনি এই দিকে শব্দটি সনাক্ত করতে পারেন, প্রশিক্ষণ ডেটাসেটটি করে না এবং আপনি নির্ধারণ করতে পারবেন না যে শব্দটির কারণে কীভাবে ব্যাখ্যা করা হয়েছে iance অন্য কথায়, এর অর্থ হ'ল এটি এই নির্দিষ্ট প্রশিক্ষণ ডেটাসেটের সাথে আপনার পূর্বাভাসকে বেশি মানিয়েছে।

এখন, আপনি যদি নতুন প্রশিক্ষণ সেটগুলিতে একই পরামিতিগুলির সাথে একাধিকবার এই মডেলটিকে পুনরায় প্রশিক্ষণ দিয়ে থাকেন তবে কি হবে? ভাল, একটি মডেল যা প্রশিক্ষণের উপাত্তগুলির একটি নির্দিষ্ট সংখ্যার চেয়ে বেশি উপযুক্ত হয় যখন প্রশিক্ষণ সেট পরিবর্তিত হয় (অর্থাত্ প্রশিক্ষণ সেটটি সামান্য পরিবর্তন করে এবং মডেলটি তার পূর্বাভাসগুলি যথেষ্ট পরিমাণে বদলে দেয়) তার পূর্বাভাসে পরিবর্তনশীলতা বাড়ে।

যেহেতু এলইউসিভিতে সমস্ত ভাঁজগুলি একে অপরের সাথে সম্পর্কিত, এটি উপরের ক্ষেত্রে একই (একই প্রশিক্ষণ সেট; বিভিন্ন পরীক্ষার পয়েন্ট)। অন্য কথায়, যদি সেই নির্দিষ্ট প্রশিক্ষণ সংস্থার সেই পরীক্ষার পয়েন্টগুলির সাথে কিছু উত্সাহী সম্পর্ক থাকে তবে কোন মডেলগুলির মধ্যে কোন সম্পর্কগুলি আসল এবং কোনটি উত্সাহী তা নির্ধারণ করতে আপনার অসুবিধা হবে, কারণ পরীক্ষার সেটটি পরিবর্তিত হলেও প্রশিক্ষণের সেটটি তা করে না।

বিপরীতে, কম সংযুক্ত প্রশিক্ষণ ভাঁজ মানে মডেলটি একাধিক অনন্য ডেটাসেটে ফিট হবে to সুতরাং, এই পরিস্থিতিতে আপনি যদি অন্য কোনও নতুন ডেটা সেটটিতে মডেলটি পুনরায় প্রশিক্ষণ করেন তবে এটি একই ধরণের পূর্বাভাস (অর্থাৎ ছোট পরিবর্তনশীলতা) নিয়ে যাবে।

Comments

আমি মনে করি এই উত্তর গ্রহণযোগ্য উত্তরের চেয়ে অনেক বেশি স্পষ্ট করে এবং বিশেষত গৃহীত উত্তরটি ব্যাখ্যা করে।

— ডি 1 এক্স

আপনি কী বলতে চাইছেন> "এখন, আপনি যদি নতুন প্রশিক্ষণ সেটগুলিতে একই পরামিতিগুলির সাথে একাধিকবার এই মডেলটিকে পুনরায় প্রশিক্ষণ দিতে থাকেন তবে কী হবে?" প্রশিক্ষণ মানে পরামিতি সন্ধান করা, তাই না? আপনি হাইপারপ্রেমিটার বলতে চান?

— মিলোমিন্ডারবাইন্ডার

Answer 4

যদিও এই প্রশ্নটি বরং পুরানো, আমি একটি অতিরিক্ত উত্তর যুক্ত করতে চাই কারণ আমার মনে হয় এটি আরও কিছুটা স্পষ্ট করার পক্ষে এটি উপযুক্ত।

আমার প্রশ্নটি এই থ্রেড দ্বারা আংশিকভাবে অনুপ্রাণিত: কে-ভাঁজ ক্রস-বৈধকরণে ভাঁজগুলির সর্বোত্তম সংখ্যার : কী ছাড়-এক-আউট সিভি সর্বদা সেরা পছন্দ? । উত্তরটির সাহায্যে পরামর্শ দেওয়া হয় যে লেভেল-ওয়ান-আউট ক্রস-বৈধকরণের সাথে শিখে নেওয়া মডেলগুলির নিয়মিত কে-ফোল্ড ক্রস-বৈধকরণের সাথে শিখার তুলনায় উচ্চতর পার্থক্য রয়েছে, যা ছুটির এক-আউট সিভিকে আরও খারাপ পছন্দ করে তোলে making

এই উত্তরটি এটিকে বোঝায় না এবং এটিও করা উচিত নয়। আসুন সেখানে দেওয়া উত্তরটি পর্যালোচনা করুন:

লিভ-ওয়ান-আউট ক্রস-বৈধকরণ সাধারণত কে-ফোল্ডের চেয়ে ভাল পারফরম্যান্সের দিকে পরিচালিত করে না এবং এটি আরও খারাপ হওয়ার সম্ভাবনা বেশি থাকে, কারণ এটির তুলনামূলকভাবে উচ্চতর বৈকল্পিকতা রয়েছে (যেমন এর মানটির জন্য মানের চেয়ে ডেটা বিভিন্ন নমুনার জন্য আরও বেশি পরিবর্তন হয়) কে-ভাঁজ ক্রস-বৈধকরণ)।

এটি পারফরম্যান্সের কথা বলছে । এখানে পারফরম্যান্সটি মডেল ত্রুটি অনুমানকারীর কর্মক্ষমতা হিসাবে বুঝতে হবে । আপনি কে-ফোল্ড বা এলইউসিভি দিয়ে যা অনুমান করছেন তা হ'ল মডেল কর্মক্ষমতা, যখন মডেলটি বেছে নেওয়ার জন্য এবং নিজের মধ্যে একটি ত্রুটির প্রাক্কলন সরবরাহ করার জন্য এই কৌশলগুলি ব্যবহার করার সময় উভয়ই। এটি কোনও মডেল বৈকল্পিকতা নয়, এটি ত্রুটির (মডেলের) অনুমানের বৈকল্পিক। উদাহরণটি দেখুন (*) বেলো।

যাইহোক, আমার অন্তর্নিহিততা আমাকে বলেছে যে লেভ-ওয়ান-আউট সিভিতে কে-ফোল্ড সিভি-র তুলনায় মডেলের মধ্যে তুলনামূলকভাবে কম পার্থক্য দেখতে পাওয়া উচিত, যেহেতু আমরা কেবল ভাঁজগুলিতে একটি ডেটা পয়েন্ট স্থানান্তর করছি এবং সুতরাং ভাঁজগুলির মধ্যে প্রশিক্ষণের সেটগুলি যথেষ্ট পরিমাণে ওভারল্যাপ হয়।

$n-2$$n$

এটি নিখুঁতভাবে নীচের বৈকল্পিক এবং মডেলগুলির মধ্যে উচ্চতর পারস্পরিক সম্পর্ক যা আমার উপরে উপরে কথা হয় তা অনুমানকারীকে আরও বৈকল্পিক করে তোলে, কারণ যে অনুমানকারীটি এই সম্পর্কিত সম্পর্কযুক্ত পরিমাণের অর্থ, এবং সম্পর্কিত সম্পর্কিত ডেটার গড়ের বৈচিত্রটি অসামঞ্জস্যিত ডেটার চেয়ে বেশি । এখানে এটি কেন দেখানো হয়েছে: সম্পর্কযুক্ত এবং অসংযুক্তিযুক্ত ডেটার গড়ের বৈচিত্র্য ।

অথবা অন্য দিকে যাচ্ছেন, কে-ফোল্ড সিভিতে কে কম থাকলে প্রশিক্ষণ সেটগুলি ভাঁজগুলিতে পুরোপুরি আলাদা হবে, এবং ফলস্বরূপ মডেলগুলি পৃথক হওয়ার সম্ভাবনা বেশি থাকে (তাই উচ্চতর বৈকল্পিকতা)।

প্রকৃতপক্ষে.

উপরের যুক্তিটি যদি সঠিক হয় তবে ছুটি-ওয়ান-আউট সিভির সাথে শিখে নেওয়া মডেলগুলির উচ্চতর পার্থক্য কেন হবে?

উপরোক্ত যুক্তিটি সঠিক। এখন, প্রশ্নটি ভুল। মডেলের বৈকল্পিকতা সম্পূর্ণ ভিন্ন বিষয়। র্যান্ডম ভেরিয়েবল আছে সেখানে একটি বৈকল্পিক আছে। মেশিন লার্নিংয়ের ক্ষেত্রে আপনি প্রচুর এলোমেলো ভেরিয়েবলগুলি মোকাবেলা করেন, বিশেষত এবং সীমাবদ্ধ নয়: প্রতিটি পর্যবেক্ষণ একটি এলোমেলো পরিবর্তনশীল; নমুনা একটি এলোমেলো পরিবর্তনশীল; মডেল, যেহেতু এটি এলোমেলো পরিবর্তনশীল থেকে প্রশিক্ষিত, এটি একটি এলোমেলো পরিবর্তনশীল; জনগণের মুখোমুখি হওয়ার সময় আপনার মডেল যে ত্রুটিটি উত্পন্ন করবে তার প্রাক্কলনকারী এলোমেলো পরিবর্তনশীল; এবং সর্বশেষে তবে সর্বনিম্ন নয়, মডেলের ত্রুটিটি এলোমেলো পরিবর্তনশীল, যেহেতু জনগণের মধ্যে শব্দ হওয়ার সম্ভাবনা রয়েছে (এটি অদম্য ত্রুটি বলা হয়)। মডেল লার্নিং প্রক্রিয়ায় স্টোকস্টাস্টিটি জড়িত থাকলে আরও এলোমেলোতা থাকতে পারে। এই সমস্ত ভেরিয়েবলের মধ্যে পার্থক্য করা সর্বোচ্চ গুরুত্বের বিষয়।

---

$err$$err$$E$$\tilde{err}$$\tilde{err}$$var(\tilde{err})$$E(\tilde{err}-err)$$var(\tilde{err})$$k-fold$$k < n$$err = 10$$\tilde{err}_1$$\tilde{err}_2$

$$\tilde{err}_1 = 0,5,10,20,15,5,20,0,10,15...$$ $$\tilde{err}_2 = 8.5,9.5,8.5,9.5,8.75,9.25,8.8,9.2...$$

শেষটি যদিও আরও পক্ষপাতদুষ্ট, তত পছন্দ করা উচিত, কারণ এতে অনেক কম বৈকল্পিক এবং গ্রহণযোগ্য পক্ষপাত রয়েছে, অর্থাত্ একটি আপস ( পক্ষপাত-বৈকল্পিক বাণিজ্য বন্ধ )। দয়া করে নোট করুন যে আপনি উভয়ই খুব কম বৈকল্পিক চান না যদি এটি কোনও উচ্চ পক্ষপাতিত্ব করে!

---

অতিরিক্ত দ্রষ্টব্য : এই উত্তরে আমি এই বিষয়টিকে ঘিরে যে ভুল ধারণা রয়েছে সেগুলি স্পষ্ট করার (আমি কী বলে মনে করি) চেষ্টা করার চেষ্টা করি এবং বিশেষত, বিন্দু দ্বারা বিন্দুটি উত্তর দেওয়ার চেষ্টা করি এবং প্রশ্নকর্তাকে যে সন্দেহ রয়েছে সেগুলি স্পষ্ট করে জানায়। বিশেষত, আমি পরিষ্কার করার চেষ্টা করি যে আমরা কোন বৈকল্পিকতার কথা বলছি , এটি এখানে মূলত জিজ্ঞাসা করা হয়েছে। অর্থাৎ আমি উত্তরটি যা ওপি দ্বারা যুক্ত রয়েছে তা ব্যাখ্যা করি।

বলা হচ্ছে, যদিও আমি দাবির পিছনে তাত্ত্বিক যুক্তি সরবরাহ করি, আমরা এখনও এটির সমর্থনকারী সিদ্ধান্তমূলক অভিজ্ঞতাবাদী প্রমাণ পাইনি found সুতরাং খুব সাবধান হন।

আদর্শভাবে, আপনার এই পোস্টটি প্রথমে পড়তে হবে এবং তার পরে জাভিয়ের বুরেট সিকোটের উত্তরটি উল্লেখ করা উচিত, যা অনুভূতিগত দিকগুলি সম্পর্কে অন্তর্দৃষ্টিপূর্ণ আলোচনা সরবরাহ করে।

$k$$k-fold$$k$$10 \ \times \ 10-fold$

Comments

$K$$K$

$k \to N$

$K$$K=10$$K=N$

এখনও এই কাগজপত্রগুলির দিকে নজর দেওয়া হয়নি, সময় পেলে আমি সেগুলি একবারে দেখব। তবুও, ওএলএস লিনিয়ার মডেলগুলি খুব সাধারণ মডেল, প্রকৃতপক্ষে স্বল্প বৈচিত্রের মধ্যে পড়ে। শুধু তাই নয়, তাদের ক্রস-বৈধকরণের সূত্রও বন্ধ রয়েছে।

— D1X

আপনার সম্পাদনাগুলি উত্তরটিকে আরও পরিষ্কার করে দেয় - আমরা প্রশিক্ষণের সেটগুলির মধ্যে পারস্পরিক সম্পর্কের প্রভাব -> উচ্চতর বৈকল্পিকের জন্য প্রান্তিক হয়েছি। অনুশীলনে যদিও (পরীক্ষামূলকভাবে) মনে হয় যে প্রশিক্ষণ সেটগুলি সবসময় একে অপরের মধ্যে সম্পর্কযুক্ত হয় না।

— জাভিয়ের বোউরেট সিকোটি

Answer 5

বিষয়গুলি সত্যই সূক্ষ্ম। তবে এটি অবশ্যই সত্য নয় যে সাধারণভাবে LOOCV এর বৃহত্তর বৈচিত্র রয়েছে। সাম্প্রতিক একটি কাগজটি কয়েকটি মূল দিকগুলি নিয়ে আলোচনা করেছে এবং ক্রস-বৈধকরণের জন্য বেশিরভাগ আপাতদৃষ্টিতে বিস্তৃত ভুল ধারণার সমাধান করে।

ইওংলি জাং এবং যুহং ইয়াং (2015)। একটি মডেল নির্বাচন পদ্ধতি নির্বাচন করার জন্য ক্রস-বৈধতা। একনোমেট্রিক্স জার্নাল, খণ্ড 187, 95-112।

নীচের ভুল ধারণাটি এখন পর্যন্ত সাহিত্যে ঘন ঘন দেখা যায়:

"লেভ-ওয়ান-আউট (এলইউ) সিভিতে ছোট পক্ষপাত রয়েছে তবে ছুটির চেয়ে আরও বেশি বৈচিত্র রয়েছে - আরও আউট সিভির"

এই দৃশ্যটি বেশ জনপ্রিয়। উদাহরণস্বরূপ, কোহাবী (১৯৯৫, বিভাগ ১) বলেছেন: "উদাহরণস্বরূপ, ছুটি-ওয়ান-আউট প্রায় পক্ষপাতহীন, তবে এটির উচ্চতা রয়েছে, যার ফলে অবিশ্বাস্য অনুমান করা যায়"। বিবৃতি অবশ্য সাধারণত সত্য নয়।

আরো বিস্তারিত:

এমনকি সাম্প্রতিক প্রকাশনা সহ সাহিত্যেও অতিরিক্তভাবে নেওয়া সুপারিশ রয়েছে। 10-গুণ সিভি ব্যবহারের জন্য কোহাবীর সাধারণ পরামর্শ (1995) ব্যাপকভাবে গৃহীত হয়েছে। উদাহরণস্বরূপ, কুর্তাজিক এট আল (২০১৪, পৃষ্ঠা ১১) বলেছেন: "কোহাবী [6] এবং হাস্টি এট আল [৪] অনুভূতভাবে দেখান যে লিভ-ওয়ান-আউট ক্রস-বৈধতার তুলনায় ভি-ফোল্ড ক্রস-বৈধকরণের স্বল্পতা রয়েছে"। ফলস্বরূপ তারা তাদের সমস্ত সংখ্যাগত তদন্তের জন্য 10 বারের সিভি (পুনরাবৃত্তি সহ) এর সুপারিশ গ্রহণ করে। আমাদের দৃষ্টিতে, এ জাতীয় অনুশীলন বিভ্রান্তিকর হতে পারে। প্রথমত, কোনও সাধারণ সুপারিশ এমন হওয়া উচিত নয় যা সিভি ব্যবহারের লক্ষ্যটিকে বিবেচনা না করে। নির্দিষ্টভাবে, প্রার্থী মডেল / মডেলিং পদ্ধতির পক্ষপাতিত্ব এবং সিভি নির্ভুলতার অনুমানের বৈকল্পিকতা সর্বোত্তম মডেল নির্বাচনের চেয়ে পৃথক বিষয় হতে পারে (আগে বর্ণিত মডেল নির্বাচনের দুটি লক্ষ্য নিয়ে)। দ্বিতীয়ত, সঠিকতা অনুমানের প্রসঙ্গে এমনকি সীমাবদ্ধ, বিবৃতিটি সাধারণত সঠিক নয়। কম অস্থিরতা সহ মডেল / মডেলিং পদ্ধতির জন্য, এলওর মধ্যে প্রায়শই সবচেয়ে ছোট পরিবর্তনশীলতা থাকে। আমরা আরও দেখিয়েছি যে অত্যন্ত অস্থির প্রক্রিয়াগুলির জন্য (যেমন, পিএন এর চেয়ে এনএর চেয়ে অনেক বেশি বড় লাসো), ভেরিয়েবিলিটি হ্রাস করার সময়, 10-ভাজ বা 5-ভাঁজ সিভিগুলিতে আরও খারাপ পক্ষপাত বৃদ্ধি হওয়ার কারণে এলইউর তুলনায় উল্লেখযোগ্যভাবে বৃহত্তর এমএসই থাকতে পারে। কম অস্থিরতা সহ মডেল / মডেলিং পদ্ধতির জন্য, এলওর মধ্যে প্রায়শই সবচেয়ে ছোট পরিবর্তনশীলতা থাকে। আমরা আরও দেখিয়েছি যে অত্যন্ত অস্থির প্রক্রিয়াগুলির জন্য (যেমন, পিএন এর চেয়ে এনএর চেয়ে অনেক বেশি বড় লাসো), ভেরিয়েবিলিটি হ্রাস করার সময়, 10-ভাজ বা 5-ভাঁজ সিভিগুলিতে আরও খারাপ পক্ষপাত বৃদ্ধি হওয়ার কারণে এলইউর তুলনায় উল্লেখযোগ্যভাবে বৃহত্তর এমএসই থাকতে পারে। কম অস্থিরতা সহ মডেল / মডেলিং পদ্ধতির জন্য, এলওর মধ্যে প্রায়শই সবচেয়ে ছোট পরিবর্তনশীলতা থাকে। আমরা আরও দেখিয়েছি যে অত্যন্ত অস্থির প্রক্রিয়াগুলির জন্য (যেমন, পিএন এর চেয়ে এনএর চেয়ে অনেক বেশি বড় লাসো), ভেরিয়েবিলিটি হ্রাস করার সময়, 10-ভাজ বা 5-ভাঁজ সিভিগুলিতে আরও খারাপ পক্ষপাত বৃদ্ধি হওয়ার কারণে এলইউর তুলনায় উল্লেখযোগ্যভাবে বৃহত্তর এমএসই থাকতে পারে।

সামগ্রিকভাবে, চিত্রগুলি 3-4 থেকে, এলইউ এবং পুনরাবৃত্তি 50- এবং 20-গুণ সিভিগুলি এখানে সেরা, 10-ভাঁজ উল্লেখযোগ্যভাবে খারাপ, এবং কে -5 স্পষ্টভাবে দরিদ্র। ভবিষ্যদ্বাণীমূলক পারফরম্যান্স অনুমানের জন্য, আমরা বিশ্বাস করি যে এলইও সাধারণত স্থির মডেল বা খুব স্থিতিশীল মডেলিং পদ্ধতি (যেমন আমাদের প্রসঙ্গে বিআইসি) উভয় পক্ষপাত এবং বৈকল্পিকতার জন্য সবচেয়ে ভাল বা সেরাগুলির মধ্যে বা সেরাটির বেশ কাছাকাছি আরও অস্থির পদ্ধতির জন্য এমএসই (যেমন এআইসি বা এমনকি ল্যাসো সহ p ≫ n)। যদিও 10-ভাঁজ সিভি (পুনরাবৃত্তির সাথে) অবশ্যই কখনও কখনও সেরা হতে পারে তবে আরও ঘন ঘন, এটি একটি বিশ্রী অবস্থানে রয়েছে: ভবিষ্যদ্বাণী ত্রুটির অনুমানের জন্য এটি এলইউর তুলনায় ঝুঁকিপূর্ণ (পক্ষপাত সমস্যার কারণে) এবং এটি মুছে ফেলার চেয়ে সাধারণত খারাপ সেরা প্রার্থী শনাক্ত করার জন্য -n / 2 সিভি।

Comments

এই উত্তরটি কি সামান্য প্রসারিত করা সম্ভব হবে, সম্ভবত কাগজে উত্থাপিত কিছু মূল বিষয়গুলির সংক্ষিপ্তসার জন্য?

— সিলভারফিশ

খুব আকর্ষণীয় কাগজ। কোহাবী (১৯৯৫) পর্যালোচনা করে আমি অনুভব করেছি যে অনেক বক্তব্য অসম্ভব বিস্তৃত এবং অনেকটা অসমর্থিত। এটি একটি লোক-জ্ঞানের কাগজ, যার সমালোচনা দীর্ঘস্থায়ী।

— পল

Answer 6

পক্ষপাত এবং বৈচিত্র সম্পর্কে আলোচনা করার আগে প্রথম প্রশ্নটি হ'ল:

ক্রস-বৈধতা দ্বারা অনুমান করা হয় কি?

$K$$n(K-1)/K$$K$$K$

$K$

$K$

$K$

Comments

$K$

Answer 7

আমার মনে হয় এর থেকে আরও সহজ উত্তর আছে। আপনি যদি কে বৃদ্ধি করেন, পরীক্ষার সেটগুলি আরও ছোট হয়। যেহেতু ভাঁজগুলি এলোমেলোভাবে নমুনাযুক্ত, ছোট টেস্ট সেটগুলির সাথে এটি ঘটতে পারে তবে বড়দের সাথে সম্ভবত এটি হয় না যে এগুলি এলোমেলো পরিবর্তনের প্রতিনিধি নয়। একটি পরীক্ষার সেটটিতে রেকর্ডগুলি পূর্বাভাস দেওয়া সমস্ত কঠিন এবং অন্যটি সহজ সবগুলি থাকতে পারে। অতএব, যখন আপনি ভাঁজ প্রতি খুব ছোট পরীক্ষা সেট পূর্বাভাস করেন তখন বৈকল্পিকতা বেশি।

Comments

$X_i$

দেখে মনে হচ্ছে আপনি ক্রস বৈধকরণের সময় হোল্ডআউট সেটগুলি জুড়ে মডেলগুলির পূর্বাভাসগুলিতে পরিবর্তনশীলতার কথা বলছেন। আমি মনে করি না এটি খুব আগ্রহের বিষয়। আগ্রহের বিষয় হ'ল আপনার চূড়ান্ত সুরযুক্ত মডেলটি যদি বিভিন্ন ডেটাতে প্রশিক্ষণ দেওয়া হয় তবে এটি যে ভবিষ্যদ্বাণী করে তার চেয়ে অনেক বেশি পৃথক হবে কিনা (উদাহরণস্বরূপ, আপনার মডেলের সত্যের অনুমানটি প্রশিক্ষণের সেটের উপর নির্ভর করে সত্যই পরিবর্তনশীল)

— অধিনায়ক_আহাব

এবং যদি আপনি অদৃশ্য ডেটাগুলির ক্রমাগত পূর্বাভাসিত ডেটার সেটগুলির মধ্যে অজানা ছিল যা পর্যবেক্ষণ করা পরিবর্তনের মাধ্যমে না ঘটে তবে আপনি এখনও অদৃশ্য তথ্যের উপর প্রত্যাশিত প্রকরণটি কীভাবে অনুমান করবেন? আমি যদিও আপনার বক্তব্যটি পাই, একমাত্র পরীক্ষামূলক সেটআপ থেকে উদ্ভূত পরিবর্তনশীলতা আগ্রহের নয়। আমার প্রতিক্রিয়া: অতএব এমন একটি পরীক্ষামূলক সেটআপ নির্বাচন করা দরকার যা নতুন ধরণের পরিবর্তনশীলতার পরিচয় দেয় না। যদি কেউ এটি করে, তবে দুই ধরণের পরিবর্তনশীলতা পৃথক করে বলা যায় না এবং আগ্রহী এক ধরণের প্রসারিত অনুমান করা আরও কঠিন হয়ে যায়।

— ডেভিড আর্নস্ট

আপনি সিমুলেশন দিয়ে এটি প্রদর্শন করতে পারেন (আমি একটি কাগজ সন্ধান করব)। আমি নিশ্চিত নই যে আমরা প্রত্যেকে অতীতের কথা বলছি কিনা - তবে হুট করে এবং লোকে যখন এলইউসিভিতে প্রশিক্ষণ সেটগুলির মধ্যে উচ্চ সম্পর্কের কথা বলছে তখন তারা জোর দিয়েছিল যে আপনি মূলত একই মডেলটিকে একই প্রশিক্ষণ ডেটাসেটে প্রশিক্ষণ দিয়ে চলেছেন। এটি সেই প্রশিক্ষণের ডেটাসেটকে ওভারফিট করে। প্রশিক্ষণ ডেটাসেট পরিবর্তন করুন, আপনি পরীক্ষার উদাহরণগুলির জন্য ভবিষ্যদ্বাণী মডেলগুলি এক্স অনেক পরিবর্তন করবে। বিপরীতে যদি আপনার প্রশিক্ষণ সেটগুলি কম পারস্পরিক সম্পর্কযুক্ত হয় তবে আপনি সম্পূর্ণ নতুন প্রশিক্ষণ সেট ব্যবহার করতে পারেন এবং আপনি পরীক্ষার উদাহরণ এক্স এর জন্য একইরকম পূর্বাভাস পেতে পারেন

— অধিনায়ক_আহাব

আমি মনে করি জড়িত দুটি পৃথক বিষয় আছে। ক্রমবর্ধমান কে প্রশিক্ষণ সেটগুলির মধ্যে আরও ওভারল্যাপের দিকে নিয়ে যায় যার ফলাফলগুলি আপনি উল্লেখ করেছেন has (আমি এর কোনওটির সাথেই তর্ক করছি না) একই সাথে, কে বাড়িয়ে প্রতি ভাগে ছোট টেস্ট সেট বাড়ে যার অর্থ এই সেটগুলিতে রেকর্ডগুলি অযাচিতভাবে বদলে যাওয়ার সম্ভাবনা বেশি। আমি মনে করি যে জিজ্ঞাসা করা নির্দিষ্ট প্রশ্নের জন্য এটিই মূল কারণ। প্রশিক্ষণ সেট ওভারল্যাপ থেকেও অবদান থাকতে পারে। (আপনি পুনরাবৃত্তিগুলি ব্যবহার করার সময় একটি তৃতীয় সমস্যা রয়েছে কারণ পরীক্ষার সেটগুলিও ওভারল্যাপ হয়ে গেছে))

— ডেভিড আর্নস্ট