অভ্যন্তরীণ বনাম বাহ্যিক ক্রস-বৈধকরণ এবং মডেল নির্বাচন

Question

আমার বোধগম্যতা হ'ল ক্রস বৈধকরণ এবং মডেল নির্বাচনের সাহায্যে আমরা দুটি বিষয় সম্বোধনের চেষ্টা করি:

হল P1 । আমাদের নমুনাটি প্রশিক্ষণ দেওয়ার সময় জনসংখ্যার প্রত্যাশিত ক্ষতির অনুমান করুন

P2 এর । আমাদের এই অনুমানের অনিশ্চয়তা পরিমাপ করুন এবং প্রতিবেদন করুন (বৈকল্পিকতা, আত্মবিশ্বাসের বিরতি, পক্ষপাত ইত্যাদি)

স্ট্যান্ডার্ড অনুশীলনটি বারবার ক্রস বৈধকরণ করা বলে মনে হচ্ছে, যেহেতু এটি আমাদের অনুমানের বৈচিত্রকে হ্রাস করে।

যাইহোক, যখন রিপোর্টিং এবং বিশ্লেষণের বিষয়টি আসে, তখন আমার বোঝা বাহ্যিক বৈধতার চেয়ে অভ্যন্তরীণ বৈধতা ভাল কারণ:

রিপোর্ট করা ভাল:

• আমাদের অনুমানের পরিসংখ্যানগুলি, যেমন এর আত্মবিশ্বাসের বিরতি, বৈকল্পিক, গড়, ইত্যাদি সম্পূর্ণ নমুনায় (এই ক্ষেত্রে সিভি নমুনা)।

রিপোর্ট করার চেয়ে:

• মূল নমুনার হোল্ড-আউট সাবসেটে আমাদের অনুমানের ক্ষতি, যেহেতু:

  (i) এটি একটি একক পরিমাপ হবে ( এমনকি যদি আমরা সিভি দিয়ে আমাদের অনুমানকারী বাছাই করি )

  (ii) এই একক পরিমাপের জন্য আমাদের অনুমানকারীটিকে একটি সেট (যেমন সিভি সেট) উপর প্রশিক্ষণ দেওয়া হত যা আমাদের হোল্ড-আউট সেটটির জন্য জায়গা তৈরি করতে হবে বলে আমাদের প্রাথমিক নমুনার চেয়ে ছোট। এটি পি 1 এ আরও পক্ষপাতদুষ্ট (হতাশাবাদী) অনুমানের ফলস্বরূপ ।

এটা কি সঠিক? না হলে কেন?

পটভূমি:

পাঠ্যপুস্তকগুলি খুঁজে পাওয়া সহজ যা আপনার নমুনাকে দুটি সেটে বিভক্ত করার পরামর্শ দেয়:

• সিভি সেট, যা পরবর্তীতে এবং বারবার বিভক্ত করা হয় ট্রেন এবং বৈধতা সেট।
• হোল্ড-আউট (টেস্ট) সেট, শুধুমাত্র শেষে ব্যবহৃত মূল্নির্ধারক কর্মক্ষমতা প্রতিবেদন করতে

আমার প্রশ্ন এই পাঠ্যপুস্তকের পদ্ধতির যোগ্যতা এবং সুবিধাগুলি বোঝার একটি প্রচেষ্টা, বিবেচনা করে যে আমাদের লক্ষ্যটি এই পোস্টের শুরুতে P1 এবং P2 সমস্যাগুলিকে সত্যই সমাধান করা । আমার কাছে দেখে মনে হচ্ছে সিভি নমুনার বিশ্লেষণ আরও তথ্যবহুল হওয়ায় হোল্ড-আউট টেস্ট সেটে রিপোর্ট করা খারাপ অভ্যাস ।

নেস্টেড কে-ফোল্ড বনাম পুনরাবৃত্ত কে-ভাঁজ:

নীড়যুক্ত কে-ভাঁজ পেতে নিয়মিত কে-ফোল্ডের সাথে হোল্ড- আউটকে একত্রিত করতে পারেন । এটি আমাদের অনুমানের পরিবর্তনশীলতা পরিমাপ করার অনুমতি দেবে, তবে এটি আমার কাছে মনে হচ্ছে প্রশিক্ষিত মোট মডেলের একই সংখ্যার জন্য (ভাঁজের মোট # টি) পুনরাবৃত্তি কে-ভাঁজ এমন অনুমানকারী ফলন করবে যা নেস্টেড কে-এর চেয়ে কম পক্ষপাতদুষ্ট এবং আরও নির্ভুল ভাঁজ. এটি দেখতে:

• পুনরাবৃত্তি কে-ভাঁজ একই কে এর জন্য নেস্টেড কে-ফোল্ডের চেয়ে আমাদের মোট নমুনার বৃহত্তর ভগ্নাংশ ব্যবহার করে (যেমন এটি নিম্ন পক্ষপাতের দিকে পরিচালিত করে)
• ১০০ টি পুনরাবৃত্তি কেবল নেস্টেড কে-ফোল্ডে (কে = 10) আমাদের অনুমানের 10 টি পরিমাপ দিতে পারে তবে কে-ভাঁজে 100 পরিমাপ (আরও পরিমাপ পি 2 এর নিম্নতম পরিবর্তনের দিকে নিয়ে যায় )

এই যুক্তিতে কী ভুল?

Comments

আমি আপনার শিরোনামটি টুইট করেছি যাতে আমি জানতে চাই সেগুলি সম্পর্কে এটি আরও নির্দিষ্ট। আমি মনে করি আপনার এইভাবে প্রয়োজনীয় তথ্য পাওয়ার সম্ভাবনা বেশি। আপনি যদি একমত না হন তবে নির্দ্বিধায় এটিকে পরিবর্তন করুন। আরও উল্লেখ করুন যে সংখ্যার বেশি সংখ্যার কারণে এই থ্রেডটি স্বয়ংক্রিয়ভাবে CW হয়ে গেছে। আপনি যদি এটি সিডাব্লু হতে না চান তবে মডারেটরের মনোযোগের জন্য এটি পতাকাঙ্কিত করুন; এটি (আমার মনে হয়) বিপরীত হওয়া সম্ভব হবে।

— গুং - মনিকা পুনরায়

ধন্যবাদ @ গুং আমার একমাত্র উদ্বেগ হ'ল কিছু লোক 2-ভাঁজ সিভি দিয়ে হোল্ড-আউটকে বিভ্রান্ত করতে পারে , এর সাথে, আমি মনে করি

— স্টিয়ারবার্গ03

Answer 1

ইতিমধ্যে এখানে রয়েছে এমন উত্তরের উত্তরে আমি কয়েকটি পয়েন্ট যুক্ত করব:

নেস্টেড কে-ফোল্ড বনাম পুনরাবৃত্ত কে-ভাঁজ: নেস্টেড এবং রিপিট করা কে-ফোল্ড সম্পূর্ণ ভিন্ন জিনিস, বিভিন্ন উদ্দেশ্যে ব্যবহৃত হয়।

• যেমন আপনি ইতিমধ্যে জানেন , নেস্টেড ভাল যদি আপনি মডেল নির্বাচনের জন্য অভ্যন্তরীণ সিভি ব্যবহার করতে চান।
• পুনরাবৃত্তি: আইএমএইচও আপনার সর্বদা কে-ফোল্ড সিভি পুনরাবৃত্তি করা উচিত [নীচে দেখুন]।

আমি তাই কোনও নেস্টেড কে-ফোল্ড ক্রস বৈধতা পুনরাবৃত্তি করার পরামর্শ দিই ।

আরও ভাল প্রতিবেদন "আমাদের অনুমানের পরিসংখ্যান, যেমন এর আত্মবিশ্বাসের বিরতি, বৈচিত্র্য, গড় ইত্যাদি পুরো সম্পূর্ণ নমুনায় (এই ক্ষেত্রে সিভি নমুনা)" " :

অবশ্যই। তবে আপনাকে এই সত্যটি সম্পর্কে সচেতন হওয়া দরকার যে আপনি একা ক্রস বৈধতার ফলাফল দ্বারা আত্মবিশ্বাসের ব্যবধানটি (সহজেই) অনুমান করতে সক্ষম হবেন না। কারণটি হ'ল, যদিও আপনি পুনরায় নমুনা নিচ্ছেন, আপনি যে কেস দেখেন তার আসল সংখ্যা সীমাবদ্ধ (এবং সাধারণত ছোট ছোট - অন্যথায় আপনি এই পার্থক্যগুলি নিয়ে মাথা ঘামান না)।
উদাহরণস্বরূপ, বেনজিও, ওয়াই এবং গ্র্যান্ডভ্যালেট, ওয়াই দেখুন: মেশিন লার্নিং রিসার্চের কে-ফোল্ড ক্রস-ভ্যালিডেশন জার্নাল, 2004, 5, 1089-1105 এর ভেরিয়েন্সের কোনও নিরপেক্ষ অনুমানক ।

যাইহোক, কিছু পরিস্থিতিতে আপনি বৈকল্পিকের অনুমান করতে পারেন: বারবার কে-ভাঁজ ক্রস বৈধকরণের সাহায্যে, আপনি মডেল অস্থিরতার ভূমিকা পালন করে কিনা সে সম্পর্কে ধারণা পেতে পারেন। এবং এই অস্থিরতা সম্পর্কিত বৈকল্পিকটি আসলে সেই পরিবর্তনের অংশ যা আপনি বারবার ক্রস-বৈধকরণের মাধ্যমে হ্রাস করতে পারবেন। (যদি আপনার মডেলগুলি পুরোপুরি স্থিতিশীল থাকে তবে ক্রস বৈধকরণের প্রতিটি পুনরাবৃত্তি / পুনরাবৃত্তি প্রতিটি ক্ষেত্রে ঠিক একই রকম পূর্বাভাস রাখে However তবে, আপনার ডেটা সেটটির প্রকৃত পছন্দ / সংমিশ্রণের কারণে এখনও আপনার বৈচিত্র রয়েছে)। সুতরাং পুনরাবৃত্তি কে-ভাঁজ ক্রস বৈধকরণের নীচের বৈকল্পিকতার একটি সীমা রয়েছে। আরো এবং আরো পুনরাবৃত্তির করছেন / পুনরাবৃত্তিও, অর্থে দেখা যায় না যেমন সত্য যে শেষ শুধুমাত্র দ্বারা সৃষ্ট ভ্যারিয়েন্স বাস্তব ক্ষেত্রে পরীক্ষা করা হয়েছিল প্রভাবিত হয় না। $n$

সত্য যে শেষ শুধুমাত্র দ্বারা সৃষ্ট ভ্যারিয়েন্স বাস্তব ক্ষেত্রে, পরীক্ষা করা হয়েছিল কিছু বিশেষ ক্ষেত্রে জন্য নির্ণয় করা যায় যেমন যেমন হিট হার, ত্রুটি হার, সংবেদনশীলতা, নির্দিষ্টতা, ভবিষ্যদ্বাণীপূর্ণ মান ইত্যাদি অনুপাত দ্বারা পরিমাপ করা ক্লাসিফায়ার কর্মক্ষমতা তারা দ্বিপদ ডিস্ট্রিবিউশন দুর্ভাগ্যবশত অনুসরণ, এর মানে হল তারা আছে বিশাল ভ্যারিয়েন্স সঙ্গে মডেলের সত্য কর্মক্ষমতা মান, পর্যবেক্ষণ করা, এবং ভগ্নাংশের ডিনোমিনেটরে নমুনার আকার। এর সর্বাধিক রয়েছেσ 2 ( পি ) = $n$পি পি এনপি=$\sigma^2 (\hat p) = \frac{1}{n} p (1 - p)$$p$$\hat p$$n$$p = 0.5$। আপনি পর্যবেক্ষণ থেকে শুরু হওয়া আত্মবিশ্বাসের ব্যবধানগুলিও গণনা করতে পারেন। (@ ফ্র্যাঙ্ক হ্যারেল মন্তব্য করবে যে এগুলি কোনও সঠিক স্কোরিংয়ের নিয়ম নয়, সুতরাং আপনার যাইহোক সেগুলি ব্যবহার করা উচিত নয় - যা বিশাল বৈচিত্রের সাথে সম্পর্কিত)। যাইহোক, আইএমএইচও তারা রক্ষণশীল সীমানা অর্জনের জন্য দরকারী (এখানে আরও ভাল স্কোরিংয়ের নিয়ম রয়েছে, এবং এই ভগ্নাংশগুলির খারাপ আচরণ আরও ভাল নিয়মের জন্য সবচেয়ে খারাপ সীমা))
উদাহরণস্বরূপ দেখুন সি বেলাইটস, আর সালজার এবং ভি সার্গো: আংশিক শ্রেণীর সদস্যপদ ব্যবহার করে নরম শ্রেণিবদ্ধকরণ মডেলগুলির বৈধতা: অ্যাস্ট্রোসাইটোমা টিস্যু, চেমোমের গ্রেডিংয়ের ক্ষেত্রে সংবেদনশীলতা ও কোং এর একটি বর্ধিত ধারণা applied Intell। ল্যাব। সিস্টে।, 122 (2013), 12 - 22।

সুতরাং এটি আমাকে ধরে রাখার বিরুদ্ধে আপনার যুক্তি ঘুরিয়ে দিতে দেয় :

• না একা পুনরায় মডেলিং করা (অগত্যা) আপনাকে বৈকল্পিকতার একটি ভাল অনুমান দেয় না,
• OTOH, আপনি যদি ক্রস বৈধতা অনুমানের সসীম-পরীক্ষার-নমুনা-আকার-প্রকারের বিষয়ে যুক্তি করতে পারেন তবে তা রাখাও সম্ভব।

এই একক পরিমাপের জন্য আমাদের অনুমানকটিকে এমন একটি সেট (যেমন সিভি সেট) উপর প্রশিক্ষণ দেওয়া হত যা আমাদের হোল্ড-আউট সেটটির জন্য জায়গা তৈরি করতে হবে বলে আমাদের প্রাথমিক নমুনার চেয়ে ছোট। এটি পি 1 এ আরও পক্ষপাতদুষ্ট (হতাশাবাদী) অনুমানের ফলস্বরূপ।

অগত্যা নয় (কে-ভাঁজের সাথে যদি তুলনা করা হয়) - তবে আপনাকে ট্রেড অফ করতে হবে: ছোট হোল্ড-আউট সেট (যেমন the নমুনার => নিম্ন পক্ষপাত (k কে-ভাঁজ সিভি এর সমান)), উচ্চ প্রকরণ (> কে-ভাঁজ সিভি, মোটামুটি কে এর একটি উপাদান দ্বারা)$\frac{1}{k}$

আমার কাছে দেখে মনে হচ্ছে সিভি নমুনার বিশ্লেষণ আরও তথ্যবহুল হওয়ায় হোল্ড-আউট টেস্ট সেটে রিপোর্ট করা খারাপ অভ্যাস।

সাধারণত, হ্যাঁ তবে এটি মনে রাখাও ভাল যে গুরুত্বপূর্ণ ধরণের ত্রুটি রয়েছে (যেমন ড্রিফ্ট) যা বৈধতা পুনরায় মডেলিংয়ের মাধ্যমে পরিমাপ / সনাক্ত করা যায় না।
উদাহরণস্বরূপ Esbensen, KH এবং Geladi, P. যথাযথ বৈধকরণের মূলনীতিসমূহ: বৈধতার জন্য পুনরায় স্যাম্পলিংয়ের ব্যবহার এবং অপব্যবহার, কেমোমেট্রিক্স জার্নাল, 2010, 24, 168-187

তবে এটি আমার কাছে মনে হচ্ছে প্রশিক্ষিত মোট মডেলের একই সংখ্যার জন্য (ভাঁজের মোট # টি) পুনরাবৃত্তি কে-ভাঁজ এমন অনুমান করে যেগুলি নেস্টেড কে-ফোল্ডের চেয়ে কম পক্ষপাতদুষ্ট এবং আরও নির্ভুল yield এটি দেখতে:

পুনরাবৃত্তি কে-ভাঁজ একই কে এর জন্য নেস্টেড কে-ফোল্ডের চেয়ে আমাদের মোট নমুনার বৃহত্তর ভগ্নাংশ ব্যবহার করে (যেমন এটি নিম্ন পক্ষপাতের দিকে পরিচালিত করে)

আমি এই কোন বলতে চাই: এটা কোন ব্যাপার না কিভাবে মডেল প্রশিক্ষণ তার ব্যবহার ভাড়াটে মডেল এবং "বাস্তব" মডেল একই ব্যবহারের হিসাবে, প্রশিক্ষণ নমুনা যতদিন উপায়। (আমি মডেল সেট আপের অংশ হিসাবে হাইপার-প্যারামিটারগুলির অভ্যন্তরীণ ক্রস-বৈধতা / অনুমানের দিকে লক্ষ্য করি)। যদি আপনি হাইপার-প্যারামিটার অপ্টিমাইজেশন সহ প্রশিক্ষিত প্রশিক্ষণ প্রাপ্ত সার্ওগেট মডেলগুলির সাথে তুলনা করেন তবে স্থির হাইপার-প্যারামিটারগুলিতে প্রশিক্ষিত প্রশিক্ষণগুলি আলাদা different তবে IMHO যা আপেল থেকে 1 কমলাতে সাধারণীকরণ করছে is$\frac{k - 1}{k} n$
$k$

১০০ টি পুনরাবৃত্তি কেবল নেস্টেড কে-ফোল্ডে (কে = 10) আমাদের অনুমানের 10 টি পরিমাপ দিতে পারে তবে কে-ভাঁজে 100 পরিমাপ (আরও পরিমাপ পি 2 এর নিম্নতম পরিবর্তনের দিকে নিয়ে যায়)

এটি কোনও পার্থক্য করে কিনা তা (সারোগেট) মডেলগুলির অস্থিরতার উপর নির্ভর করে, উপরে দেখুন। স্থিতিশীল মডেলগুলির জন্য এটি অপ্রাসঙ্গিক। সুতরাং আপনি 1000 বা 100 বহিরাগত পুনরাবৃত্তি / পুনরাবৃত্তি করেন কিনা তা হতে পারে।

---

এবং এই কাগজটি অবশ্যই এই বিষয়টির পাঠ্য তালিকার অন্তর্ভুক্ত: কাওলি, জিসি এবং টালবট, এনএলসি মডেল নির্বাচনের ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নের পরবর্তী নির্বাচন বায়াস, মেশিন লার্নিং রিসার্চ, 2010, 11, 2079-2107

Answer 2

এটি ব্যাখ্যা করার জন্য একটি মূল রেফারেন্স হ'ল:

@ARTICLE{pic90,
  author = {Picard, R. R. and Berk, K. N.},
  year = 1990,
  title = {Data splitting},
  journal = The American Statistician,
  volume = 44,
  pages = {140-147}
}

আরো দেখুন:

@Article{mic05pre,
  author =       {Michiels, Stefan and Koscielny, Serge and Hill, Catherine},
  title =        {Prediction of cancer outcome with microarrays: a
multiple random validation strategy},
  journal =      {Lancet},
  year =         2005,
  volume =       365,
  pages =        {488-492},
  annote =       {comment on
p. 454; validation;microarray;bioinformatics;machine learning;nearest
centroid;severe problems with data splitting;high variability of list
of genes;problems with published studies;nice results for effect of
training sample size on misclassification error;nice use of confidence
intervals on accuracy estimates;unstable molecular signatures;high
instability due to dependence on selection of training sample}
}

আমার নিজের কাজে আমি খুঁজে পেয়েছি যে ডেটা বিভাজনের জন্য সন্তোষজনকভাবে কাজ করতে 10,000 এর কাছে প্রশিক্ষণ এবং পরীক্ষার নমুনা আকার প্রয়োজন requires

Comments

ফ্র্যাঙ্ক - এগুলি দুর্দান্ত সম্পদ। আমি অবাক হয়েছি যে এই তথ্য কীভাবে @ ড্যান তার উত্তরে সরবরাহ করেছে I সম্ভবত আমি এটি ভুলভাবে লিখছি, তবে দেখে মনে হচ্ছে সম্প্রদায়টি এই ইস্যুতে বিভক্ত।

— অ্যামিলিও ওয়াজকেজ-রেইনা

প্রথমটি পড়ার মতো সময় আমার হাতে ছিল না, তবে দ্বিতীয়টির মতো আমি খুব তাড়াতাড়ি দেখেছি এবং আমার কাগজপত্রগুলি যা বলেছিল তা ঠিক প্রতিধ্বনিত হয় বলে মনে হয়। "পরিসংখ্যান বিশ্লেষণ" বিভাগটি নিবিড়ভাবে দেখুন, এবং আপনি দেখতে পাবেন যে তারা উপরে বৈশিষ্ট্য নির্বাচন প্রক্রিয়াটি বর্ণনা করেছেন যা ডিকরান উপরে উল্লিখিত পোস্টে বর্ণনা করেছেন। আমি অনুমান করছি যে লোকেদের অধ্যয়ন তারা সেভাবে করেনি এবং তাই তারা খুঁজে পান যে "অপর্যাপ্ত বৈধতার কারণে আমাদের নির্বাচিত গবেষণাগুলি আমাদের নিজস্ব বিশ্লেষণকারীদের তুলনায় অতিমাত্রায় ফলাফল প্রকাশ করেছে"। আমি মনে করি না কোন মতবিরোধ আছে।

— ড্যান এল

Answer 3

এটি সত্যই আপনার মডেল তৈরির প্রক্রিয়ার উপর নির্ভর করে তবে আমি এই কাগজটিকে সহায়ক বলে মনে করি

http://www.biomedcentral.com/content/pdf/1471-2105-7-91.pdf

এখানে যা আলোচনা করা হয়েছে তার ক্রুসটি হ'ল তাৎপর্যপূর্ণ উদার পক্ষপাতিত্ব (মডেল পারফরম্যান্সের তুলনায় এটির তুলনায় আরও ভাল হতে হবে) যা আপনি যদি তার মডেলটি একই জিনিসটির উপর ভিত্তি করে নির্বাচন করছেন যা আপনি এর পারফরম্যান্সটি অনুমান করতে ব্যবহার করছেন তা ঘটবে। সুতরাং, যদি আপনি তার মডেলের ক্রস বৈধকরণ ত্রুটিটি দেখে সম্ভাব্য মডেলগুলির একটি সেট থেকে নির্বাচন করছেন, তবে মডেলটির কার্যকারিতাটি অনুমান করার জন্য আপনার ক্রস বৈধতা ত্রুটি (বা কোনও অভ্যন্তরীণ প্রাক্কলন পদ্ধতি) ব্যবহার করা উচিত নয়।

আর একটি দরকারী সম্পদ হ'ল

/stats//a/27751/26589

সমস্ত ডেটা "দেখা" দেখা দিলে আপনার বৈশিষ্ট্যগুলি নির্বাচন করা কীভাবে মডেল পারফরম্যান্সে উদার পক্ষপাত ঘটায় (আপনার মডেলটি বাস্তবে যা করবে তার থেকে আরও ভাল পারফর্ম করবে) বলার একটি স্পষ্ট উদাহরণ এই পোস্টে দেয়।

আপনি যদি চান যে আমি যা করি তার সাথে আরও সুনির্দিষ্ট একটি উদাহরণ পেশ করতে পারি, সম্ভবত আপনি যে ধরণের মডেল তৈরি করছেন তার সাধারণ বিবরণ দিতে পারেন (আপনার কাছে কতটা ডেটা রয়েছে, আপনি কতগুলি বৈশিষ্ট্য থেকে নির্বাচন করছেন, প্রকৃত মডেল ইত্যাদি)।

Comments

ধন্যবাদ ড্যান। এই সব আকর্ষণীয়। সরলতার জন্য আমরা ধরে নিতে পারি যে আমরা বাইনারি শ্রেণিবদ্ধকরণের জন্য একটি এসভিএম (যেমন একটি আরবিএফ কার্নেল) এর কার্নেল প্যারামিটারগুলি অনুমান করার চেষ্টা করছি (<~ 10 পরামিতি) এবং আমরা একটি বিশাল জনসংখ্যার 100 টি নমুনা (যেমন 20 ধনাত্মক) নিয়ে কাজ করছি।

— অ্যামিলিও ওয়াজকেজ-রেইনা

একটি দম্পতি দ্রুত প্রশ্ন। 1) আপনি যখন নিজের এসভিএমগুলি তৈরি করেন, আপনি কি নিজেকে 10 টি প্যারামিটারের একটি উপসেট বেছে নেওয়ার অনুমতি দেন, বা আপনি যে সব হাত দিয়েছিলেন সেগুলি সবসময় ব্যবহার করেন? 2) আপনি কি কখনও আলাদা কার্নেল বা মডেল (লজিস্টিক, এলোমেলো বন ইত্যাদি) বিবেচনা করেন? ৩) আপনি কোন সফটওয়্যার / প্যাকেজ ব্যবহার করছেন? ক্রস বৈধকরণ বাস্তবায়নে অন্তর্নির্মিত পৃথক হয় এবং আপনি কোনটি ব্যবহার করছেন তা জানতে চাই।

— ড্যান এল

আপনাকে ধন্যবাদ @ ড্যান - আমি মডেল এবং পরামিতিগুলিতে গ্রিড অনুসন্ধান করি (যেমন গ্রিড অনুসন্ধানের মাধ্যমে কার্নেল এবং প্যারামিটারগুলি পৃথক পৃথক)। গ্রিড অনুসন্ধানের প্রতিটি পরীক্ষার জন্য আমি সিভি করি (পুনরায় কে-ফোল্ড ক্রস বৈধতা)। আমি সাইকিট-লার্ন ব্যবহার করছি।

— আমেরিলিও ভাজকেজ-রেইনা

ধন্যবাদ @ ড্যান আমি অনুমান করি যে নেস্টেড ক্রস বৈধকরণ সম্পর্কে আমার একমাত্র প্রশ্নটি কীভাবে মডেলটি চয়ন করতে হয় (যেহেতু আমি বাইরের লুপের প্রতিটি ভাগে একটি আলাদা মডেল পাই)। এই বাহ্যিক লুপে সর্বাধিক স্কোর থাকা মডেলটি বেছে নেওয়া আমার পক্ষে যুক্তিসঙ্গত বলে মনে হবে না, যেহেতু প্রতিটি ভাগে বিজয়ী মডেলটি ডেটাসেটের আলাদা অংশের সাথে পরিমাপ করা হয়।

— অ্যামিলিও ওয়াজকেজ-রেইনা

বলুন আপনার কাছে 3 টি বাইরের ভাঁজ রয়েছে। এর অর্থ আপনি তিনবার পৃথক মডেল প্রদান করে একটি পুরো মডেল বিল্ডিং প্রক্রিয়াটি 3 বার চালান। আপনি শেষের দিকে সেই মডেলগুলির কোনও ব্যবহার করবেন না - আপনার চূড়ান্ত মডেলটি পেতে আপনার সমস্ত ডেটাতে সম্পূর্ণ মডেল বিল্ডিং প্রক্রিয়া চালিত হয় (সম্ভবত একটি স্বাধীন মূল্যায়ন সেট ব্যতীত)। দেখে মনে হচ্ছে এটি ওভারফিটিংয়ের দিকে পরিচালিত করবে, তবে যদি আপনার মডেল বিল্ডিং স্ট্র্যাটেজি ওভারফিট করে তবে এটি বাহ্যিক ক্রস বৈধকরণের ক্ষেত্রেও অত্যধিক মানানসই হওয়া উচিত, যার ফলে যথাযথভাবে উচ্চতর ত্রুটি অনুমান করা যায়।

— ড্যান এল

Answer 4

আমি আপনার বোধগম্যতা সঠিক বলে মনে করি, একটি একক হোল্ড-আউট পরীক্ষার সেট ব্যবহার করে প্রাপ্ত ক্ষতির জন্য অনুমানকারীটির উচ্চতর বৈকল্পিক থাকে। কে-ফোল্ডস ক্রস বৈধকরণের মতো কিছু সম্পাদন করে আপনি ক্ষতির আরও সঠিক ধারণা অর্জন করতে পারবেন, পাশাপাশি ক্ষতির বন্টনও বোধ করছেন।

সাধারণত একটি ট্রেডঅফ থাকে, তত বেশি সিভি আপনার অনুমানের চেয়ে ভাল ভাঁজ করে তবে আরও বেশি গণনার সময় প্রয়োজন।

Comments

ধন্যবাদ। আমি আমার প্রশ্নটি আরও পরিষ্কার করতে ওপিতে একটি পটভূমি টুকরো যুক্ত করেছি।

— আমেলিও ওয়াজকেজ-রেইনা