কেন একটি ক্রস-বৈধকরণ পদ্ধতি কোনও মডেলকে বাছাইয়ের সমস্যাটি কাটিয়ে উঠেছে?
কেন একটি ক্রস-বৈধকরণ পদ্ধতি কোনও মডেলকে বাছাইয়ের সমস্যাটি কাটিয়ে উঠেছে?
উত্তর:
আমি ঠিক এই মুহুর্তে যথেষ্ট পরিস্কার ব্যাখ্যাটি ভাবতে পারি না, তাই আমি এটি অন্য কারও কাছে ছেড়ে দেব; তবে ক্রস-বৈধকরণ মডেল নির্বাচনের ওভার-ফিটিং সমস্যাটি পুরোপুরি কাটিয়ে উঠেনি, এটি কেবল এটি হ্রাস করে। ক্রস-বৈধকরণ ত্রুটির তুচ্ছ তাত্পর্য নেই, বিশেষত যদি ডেটাসেটের আকার ছোট হয়; অন্য কথায় আপনি যে নির্দিষ্ট ডেটা ব্যবহার করেন তার উপর নির্ভর করে আপনি কিছুটা আলাদা মান পাবেন। এর অর্থ হ'ল মডেল নির্বাচনের ক্ষেত্রে যদি আপনার অনেক ডিগ্রি স্বাধীনতা থাকে (যেমন একটি ছোট উপসেট নির্বাচন করতে এমন অনেকগুলি বৈশিষ্ট্য, সুর করার জন্য অনেক হাইপার-প্যারামিটার, যেগুলি থেকে মডেল চয়ন করতে চান) আপনি ক্রস-বৈধতার মানদণ্ডকে অতিরিক্ত ফিট করতে পারেন যেহেতু মডেলটি এমনভাবে উপস্থাপিত হয়েছে যা কার্যত পারফরম্যান্সের উন্নতি করে এমন উপায়ের পরিবর্তে এই র্যান্ডম প্রকরণকে কাজে লাগায়, এবং আপনি এমন মডেলটি শেষ করতে পারেন যা খারাপ অভিনয় করে। এটির আলোচনার জন্য দেখুনকাওলি এবং টালবট "মডেল সিলেকশনে ওভার-ফিটিং এবং পারফরম্যান্স মূল্যায়নের পরবর্তী পরবর্তী নির্বাচন বায়াস", জেএমএলআর, খণ্ড। 11, পৃষ্ঠা 2079−2107, 2010
দুঃখের বিষয় ক্রস-বৈধকরণ আপনার খুব কম হয়ে যায় যখন আপনার একটি ছোট ডেটাসেট থাকে, যখন ঠিক যখন আপনার সবচেয়ে বেশি ক্রস-বৈধকরণ প্রয়োজন need মনে রাখবেন যে কে-ফোল্ড ক্রস-বৈধকরণ সাধারণত লেভ-ওয়ান-আউট ক্রস-বৈধকরণের চেয়ে বেশি নির্ভরযোগ্য কারণ এর কম বৈকল্পিক রয়েছে তবে কিছু মডেলের জন্য এটি গণনা করা আরও ব্যয়বহুল হতে পারে (এ কারণেই কখনও কখনও মডেল নির্বাচনের জন্য LOOCV ব্যবহৃত হয়, যদিও এর উচ্চতর বৈকল্পিকতা রয়েছে)।
আমার উত্তর কঠোর চেয়ে স্বজ্ঞাত, তবে সম্ভবত এটি সাহায্য করবে ...
আমি এটি বুঝতে পেরেছি যে ওভারফিটিং একই ডেটা ব্যবহার করে প্রশিক্ষণ এবং পরীক্ষার উপর ভিত্তি করে মডেল নির্বাচনের ফলাফল, যেখানে আপনার একটি নমনীয় ফিটিং ব্যবস্থা রয়েছে: আপনি আপনার ডেটার নমুনাকে এমনভাবে ফিট করেন যে আপনি গোলমাল, বহিরাগত এবং সমস্ত কিছু ফিট করছেন অন্যান্য বৈকল্পিকতা।
একটি প্রশিক্ষণ এবং পরীক্ষার সেটে ডেটা বিভক্ত করা আপনাকে এটি করা থেকে বিরত রাখে। তবে একটি স্থিতিশীল বিভাজন আপনার ডেটা দক্ষতার সাথে ব্যবহার করছে না এবং আপনার বিভাজন নিজেই একটি সমস্যা হতে পারে। আপনার যথাসম্ভব দক্ষতার সাথে ডেটা ব্যবহার করার সময় ক্রস-বৈধতা প্রশিক্ষণ-পরীক্ষার বিভাজনের একদম সঠিক-ফিট-টু-প্রশিক্ষণ-ডেটা সুবিধা রাখে না (যেমন আপনার সমস্ত ডেটা ব্যবহৃত হয় প্রশিক্ষণ এবং পরীক্ষার ডেটা হিসাবে, কেবল একই রান নয়)।
আপনার যদি নমনীয় ফিটিং মেকানিজম থাকে, আপনার আপনার মডেল নির্বাচনকে সীমাবদ্ধ করতে হবে যাতে এটি "নিখুঁত" পক্ষে পছন্দ করে না তবে জটিল কোনওভাবে ফিট করে। আপনি এটি এআইসি, বিআইসির সাথে বা অন্য কোনও দণ্ডিত পদ্ধতির সাহায্যে করতে পারেন যা সরাসরি ফিটের জটিলতায় শাস্তি দেয়, বা আপনি এটি সিভি দিয়ে করতে পারেন। (অথবা আপনি এটি এমন কোনও ফিটনেস পদ্ধতি ব্যবহার করে করতে পারেন যা খুব নমনীয় নয়, এটি লিনিয়ার মডেলগুলির দুর্দান্ত কারণ)
এটি দেখার আরও একটি উপায় হ'ল শেখা জেনারালাইজিং সম্পর্কে এবং একটি ফিট যা খুব টানটান কিছুটা অর্থে সাধারণীকরণ না করে not আপনি কী শিখেছেন এবং কী বিষয়ে আপনি পরীক্ষিত হয়েছেন তা পরিবর্তনের মাধ্যমে আপনি কেবলমাত্র একটি নির্দিষ্ট সেটগুলির উত্তরগুলি শিখে নিলে আরও ভাল করেন।
বায়েশীয় দৃষ্টিকোণ থেকে, আমি এতটা নিশ্চিত নই যে ক্রস বৈধকরণ এমন কিছু করে যা একটি "যথাযথ" বায়েশিয়ান বিশ্লেষণ মডেলগুলির সাথে তুলনা করার জন্য না করে। তবে আমি এটির 100% নিশ্চিত নই does
যাকে বলা হয় পূর্বাভাসমূলক বিতরণ । এটি মূলত বলেছে যে মডেল প্রকৃতপক্ষে পরিদর্শন করা তথ্যগুলি কতটা ভালভাবে পূর্বাভাস করেছিল, ক্রস বৈধতা যা ঠিক তা-ই করে, "প্রশিক্ষণ" মডেল লাগানো "পূর্বে" প্রতিস্থাপন করা এবং "টেস্টিং" দ্বারা "ডেটা" প্রতিস্থাপন করা হয়েছিল ডেটা। সুতরাং মডেল বি যদি মডেল এ এর চেয়ে ভাল ডেটা পূর্বাভাস দেয় তবে এর উত্তরোত্তর সম্ভাবনা মডেল এ এর তুলনায় বৃদ্ধি পায় এটি থেকে মনে হয় যে বাইস প্রপঞ্চটি আসলে একটি উপসেটের পরিবর্তে সমস্ত ডেটা ব্যবহার করে ক্রস বৈধকরণ করবে। যাইহোক, আমি এটি সম্পর্কে পুরোপুরি নিশ্চিত নই - মনে হচ্ছে আমরা কিছুই করার জন্য কিছু পেয়েছি।
এই পদ্ধতির আর একটি ঝরঝরে বৈশিষ্ট্য হ'ল এটির একটি বিল্ট "ইনকামের রেজার" রয়েছে যা প্রতিটি মডেলের পূর্ববর্তী বিতরণের স্বাভাবিককরণের ধ্রুবকের অনুপাত দ্বারা দেওয়া হয়।
তবে ক্রস বৈধতা ভয়ঙ্কর পুরানো "অন্য কিছু" বা যা কখনও কখনও "মডেল ভুল ধারণা" বলা হয় এর জন্য মূল্যবান বলে মনে হয়। আমি এই "অন্য কিছু" গুরুত্বপূর্ণ কিনা তা নিয়ে আমি ক্রমাগত ছিঁড়ে যাচ্ছি, কারণ এটির মতো হওয়া উচিত বলে মনে হয় - তবে এটি আপাতদৃষ্টিতে গুরুত্বপূর্ণ হলেও এটি আপনাকে কোনও সমাধান না করে পঙ্গু করে দেয়। আপনাকে মাথা ব্যথার জন্য কেবল কিছু, তবে আপনি এটি সম্পর্কে কিছুই করতে পারবেন না - কেবলমাত্র সেই "অন্য কিছু" কী হতে পারে তা ভেবে এবং এটি আপনার মডেলটিতে চেষ্টা করে দেখুন (যাতে এটি আর "অন্য কিছু" এর অংশ না হয়) ।
এবং আরও, ক্রস বৈধকরণ আসলে একটি বায়সিয়ান বিশ্লেষণ করার একটি উপায় যখন উপরের সংহতগুলি হাস্যকরভাবে শক্ত হয়। এবং ক্রস বৈধকরণ যে কারও সম্পর্কে "জ্ঞান অর্জন করে" - এটি "গাণিতিক" না হয়ে "যান্ত্রিক"। কাজেই কী চলছে তা বোঝা সহজ। এবং মডেলগুলির গুরুত্বপূর্ণ অংশের দিকে মনোযোগ দেওয়ার জন্য এটিও আপনার মাথা পেতে পারে বলে মনে হয় - ভাল ভবিষ্যদ্বাণী করা।