ডেটা মাইনিংয়ের সাথে আমার শ্রেণিকক্ষের সংস্পর্শে, হোল্ডআউট পদ্ধতিটি মডেল কর্মক্ষমতা মূল্যায়নের উপায় হিসাবে চালু হয়েছিল। যাইহোক, আমি যখন লিনিয়ার মডেলগুলিতে আমার প্রথম শ্রেণি নিয়েছিলাম তখন এটি মডেল বৈধতা বা মূল্যায়নের মাধ্যম হিসাবে চালু হয়নি। আমার অনলাইন গবেষণাও কোনও ধরণের ছেদ দেখায় না। শাস্ত্রীয় পরিসংখ্যানগুলিতে কেন হোল্ডআউট পদ্ধতি ব্যবহার করা হয় না?
উত্তর:
আরও উত্পাদনশীল প্রশ্ন হতে পারে "আমি যে শাস্ত্রীয় পরিসংখ্যান শিখেছি তা কেন এটি ব্যবহার করা হয়নি?"
যে স্তরে (টি) শেখানো হয়েছিল তার উপর নির্ভর করে কোর্সের সামগ্রী (এবং উপলব্ধ সময়) যে পছন্দটি বিভিন্ন কারণের সংমিশ্রণের কারণে হতে পারে। প্রায়শই গুরুত্বপূর্ণ বিষয়গুলি একপাশে ছেড়ে দেওয়া হয় কারণ অন্যান্য বিষয়গুলি অবশ্যই এক কারণে বা অন্য কারণে পড়ানো উচিত, এই আশায় যে তারা পরবর্তী বিষয়গুলি অন্তর্ভুক্ত হতে পারে।
কিছু সংজ্ঞায় অন্তত, ধারণাটি দীর্ঘকাল ধরে বিভিন্ন ব্যক্তি ব্যবহার করেছেন। এটি অন্য অঞ্চলের তুলনায় কিছু ক্ষেত্রে বেশি দেখা যায়। পরিসংখ্যানগুলির অনেকগুলি ব্যবহারের প্রধান উপাদান হিসাবে পূর্বাভাস বা মডেল নির্বাচন থাকে না (বা কিছু ক্ষেত্রে এমনকি এমনকি আদৌ) এবং সেই ক্ষেত্রে হোল্ডআউট নমুনাগুলির ব্যবহার যখন ভবিষ্যদ্বাণী করা হয় তার চেয়ে কম সমালোচনা হতে পারে। তর্কসাপেক্ষভাবে, কিছু প্রাসঙ্গিক অ্যাপ্লিকেশনগুলির তুলনায় এটি আগের পর্যায়ে আরও ব্যাপকভাবে ব্যবহার করা উচিত ছিল, তবে এটি অজানা হিসাবে একই জিনিস নয়।
আপনি যদি ভবিষ্যদ্বাণীকে কেন্দ্র করে এমন অঞ্চলগুলি লক্ষ্য করেন, আপনি আপনার মডেলটি অনুমান করতে ব্যবহার করেননি এমন ডেটা ভবিষ্যদ্বাণী করে মডেল মূল্যায়নের ধারণাটি অবশ্যই প্রায় ছিল (যদিও সর্বজনীন নয়)। আমি অবশ্যই 1980 এর দশকে টাইম সিরিজ মডেলিংয়ের মাধ্যমে এটি করছিলাম, উদাহরণস্বরূপ, যেখানে সর্বাধিক সাম্প্রতিক ডেটা -র-নমুনার ভবিষ্যদ্বাণীপূর্ণ অভিনয়টি গুরুত্বপূর্ণ ছিল।
কমপক্ষে কিছু তথ্য রেখে যাওয়ার ধারণাটি রিগ্রেশন (মুছে ফেলা অবশিষ্টাংশ, প্রেস, জ্যাকনিফ, এবং আরও কিছু) এবং উদাহরণস্বরূপ বহিরাগত বিশ্লেষণে ব্যবহৃত হয়েছিল।
এই ধারণাগুলির মধ্যে কিছু ইতিমধ্যে একটি ভাল চুক্তিতে ফিরে আসে। স্টোন (1974) [1] 1950 এবং 60 এর দশকের ক্রস-বৈধকরণ (শিরোনামে শব্দ সহ) সম্পর্কিত কাগজগুলি বোঝায়। সম্ভবত আপনার অভিপ্রায়টির আরও নিকটতম, তিনি সাইমন (১৯ 1971১) এর "নির্মাণের নমুনা" এবং "বৈধতা নমুনা" পদগুলির ব্যবহারের উল্লেখ করেছেন - তবে আরও উল্লেখ করেছেন যে "লারসন (1931) একটি শিক্ষামূলক একাধিকটিতে নমুনার এলোমেলো বিভাগ নিযুক্ত করেছেন। -গ্রেশন স্টাডি "।
উদাহরণস্বরূপ, ক্রস বৈধকরণ, এবং পূর্বাভাসের উপর ভিত্তি করে পরিসংখ্যানগুলির ব্যবহার ইত্যাদির বিষয়গুলি উদাহরণস্বরূপ, 70 এর দশক এবং 80 এর দশকে পরিসংখ্যান সাহিত্যে যথেষ্ট পরিমাণে ঘন হয়ে উঠছিল, তবে অনেকগুলি প্রাথমিক ধারণা এমনকি বেশ কিছুদিন ধরেও ছিল তারপর।
[1]: স্টোন, এম, (1974)
"ক্রস-বৈধতা চয়েস এবং পরিসংখ্যান পূর্বাভাসের মূল্যায়ন,"
রয়্যাল স্ট্যাটিস্টিকাল সোসাইটির জার্নাল। সিরিজ বি (মেথডোলজিকাল) , খণ্ড। 36, নং 2., পৃষ্ঠা 111-147
গ্লেন_বি এর উত্তরের পরিপূরক হিসাবে, শাস্ত্রীয় পরিসংখ্যানগুলিতে প্রায়শই ডেটার সর্বাধিক ব্যবহার , সর্বোত্তম পরীক্ষাগুলি, অনুকূল অনুমানক, পর্যাপ্ততা, এবং এর উপর জোর দেওয়া ছিল / এবং তাত্ত্বিক কাঠামোতে তথ্যের অংশটি ব্যবহার না করে ন্যায়সঙ্গত করা কঠিন is ! সেই traditionতিহ্যের অংশটি ছোট নমুনাগুলির সাথে পরিস্থিতিগুলির প্রতি জোর দেওয়া, যেখানে হোল্ড আউট কার্যত কঠিন।
ফিশার উদাহরণস্বরূপ, জেনেটিক্স এবং কৃষিক্ষেত্রের সাথে কাজ করতেন এবং সেই ক্ষেত্রগুলিতে খুব কম পর্যবেক্ষণের নিয়ম ছিল। সুতরাং তিনি মূলত ছোট ডেটা সেট সহ এই জাতীয় সমস্যার মুখোমুখি হয়েছিলেন।
আমি একটি প্রয়োগ ক্ষেত্র থেকে উত্তর দেব যা সম্ভবত ধ্রুপদী পরিসংখ্যান এবং মেশিন লার্নিংয়ের মধ্যে রয়েছে: কেমোমেট্রিক্স, অর্থাত রাসায়নিক বিশ্লেষণের পরিসংখ্যান। আমি দুটি পৃথক পরিস্থিতি যুক্ত করব যেখানে হোল্ড আউট যেমন টিপিক্যাল মেশিন লার্নিং ক্লাসগুলিতে হয় তেমন গুরুত্বপূর্ণ নয়।
আমি মনে করি যে এখানে একটি গুরুত্বপূর্ণ বিষয় হ'ল প্রশিক্ষণ বনাম পরীক্ষার জন্য ছোট নমুনার আকারের মধ্যে একটি মৌলিক পার্থক্য রয়েছে তা উপলব্ধি করা:
এখন, "শাস্ত্রীয়" রৈখিক মডেলগুলির পরিসংখ্যানের বক্তৃতাগুলি প্রায়শই অবিবাহিত মডেলগুলিকে জোর দেয়। অবিচ্ছিন্ন রৈখিক মডেলের জন্য, প্রশিক্ষণের নমুনার আকার সম্ভবত ছোট নয়: সাধারণত প্রশিক্ষণের নমুনার আকারগুলি মডেলের জটিলতার তুলনায় বিচার করা হয়, এবং লিনিয়ার মডেলটিতে অফসেট এবং slাল দুটি মাত্রা থাকে। বিশ্লেষণাত্মক রসায়নে, আমাদের আসলে একটি আদর্শ রয়েছে যা জানিয়েছে যে আপনার অবিচ্ছিন্ন রৈখিক ক্রমাঙ্কণের জন্য আপনার কমপক্ষে 10 ক্যালিব্রেশন নমুনা থাকা উচিত। এটি এমন পরিস্থিতি নিশ্চিত করে যেখানে মডেল অস্থিরতা নির্ভরযোগ্যভাবে কোনও সমস্যা নয়, সুতরাং হোল্ড-আউট প্রয়োজন হয় না।
তবে, মেশিন লার্নিংয়ের পাশাপাশি রাসায়নিক বিশ্লেষণে আধুনিক মাল্টি-চ্যানেল সনাক্তকারীদের সাথে (কখনও কখনও 10⁴ "চ্যানেল" যেমন ভর স্পেকট্রোম্যাট্রিতে), মডেল স্থিতিশীলতা (যেমন বৈকল্পিক) একটি গুরুত্বপূর্ণ বিষয়। সুতরাং, হোল্ড আউট বা আরও ভাল পুনরায় মডেলিং প্রয়োজন।
একটি সম্পূর্ণ ভিন্ন পরিস্থিতি হোল্ড-আউট একটি সহজ (অবশিষ্টাংশ) প্লাস আরও পরিশীলিত কর্মক্ষমতা পরিমাপের সংমিশ্রনের পক্ষে এড়িয়ে যেতে পারে। নোট করুন যে (এলোমেলোভাবে) অর্থে হোল্ড-আউট কোনও ডেটা সেটের অংশ আলাদা করে রাখা এবং এটিকে প্রশিক্ষণ থেকে বাদ দেওয়া স্বাধীন টেস্টিং কী অর্জন করতে পারে তার সমতুল্য নয় । বিশ্লেষণী রসায়নে, উত্সর্গীকৃত বৈধতা পরীক্ষাগুলি পরিচালনা করা যেতে পারে যার মধ্যে রয়েছে যেমন সময়ের সাথে পারফরম্যান্স অবক্ষয় পরিমাপ করা (ইনস্ট্রুমেন্ট ড্রিফ্ট) যা হোল্ড-আউট এবং প্রতিষ্ঠার মাধ্যমে পরিমাপ করা যায় না যেমন প্রকৃত শিল্প পরিবেশে সেন্সরের কার্যকারিতা (যেখানে সেন্সর ক্রমাঙ্কন ক্রমাঙ্কনের নমুনাগুলিতে ল্যাবটিতে করা হয়েছিল)। Https://stats.stackexchange.com/a/104750/4598 এও দেখুন স্বাধীন পরীক্ষা বনাম হোল্ড-আউট সম্পর্কে আরও তথ্যের জন্য।