ডেটা বিশ্লেষণের পটভূমি ছাড়াই আপনি কাউকে ক্রস-বৈধতা কীভাবে বর্ণনা করবেন ?
উত্তর:
নিম্নলিখিত পরিস্থিতি বিবেচনা করুন:
আমি আমার অফিসে যেতে পাতাল রেলটি ধরতে চাই। আমার পরিকল্পনাটি আমার গাড়িটি নিয়ে যাওয়া, সাবওয়েতে পার্ক করা এবং তারপরে ট্রেনটি আমার অফিসে যাওয়ার জন্য। আমার লক্ষ্য হ'ল প্রতিদিন সকাল 8.15 টায় ট্রেন ধরছি যাতে আমি সময়মতো আমার অফিসে পৌঁছতে পারি। আমাকে নিম্নলিখিত সিদ্ধান্ত নিতে হবে: (ক) আমার বাসা থেকে আমার যে সময়টি ছেড়ে যেতে হবে এবং (খ) স্টেশন চালাতে আমি যে পথে যাব।
উপরের উদাহরণে আমার দুটি প্যারামিটার রয়েছে (যেমন, বাড়ি থেকে ছেড়ে যাওয়ার সময় এবং স্টেশনে যাওয়ার পথে) এবং আমার এই পরামিতিগুলি বেছে নেওয়া দরকার যেগুলি আমি সকাল 8.15 টার মধ্যে স্টেশন পৌঁছেছি।
উপরের সমস্যাটি সমাধান করার জন্য আমি সোমবার, বুধবার এবং শুক্রবারে 'পরামিতি' (অর্থাত্ যাত্রা ও রুটের বিভিন্ন সংমিশ্রণ) এর বিভিন্ন সেটগুলি চেষ্টা করতে পারি, এটি দেখতে সেরা কোনটি সমন্বিত। ধারণাটি হ'ল একবার আমি সর্বোত্তম সংমিশ্রণটি চিহ্নিত করে আমি এটি প্রতিদিন ব্যবহার করতে পারি যাতে আমি আমার উদ্দেশ্য অর্জন করি।
ওভারফিটিংয়ের সমস্যা
উপরোক্ত পদ্ধতির সমস্যাটি হ'ল আমি অতিরিক্ত উপস্থাপন করতে পারি যার মূলত অর্থটি হল আমি সেরা অর্থে যে সংশ্লেষটি চিহ্নিত করতে পারি তা কোনও অর্থে সোম, বুধ এবং শুক্রবারের জন্য অনন্য হতে পারে এবং এই সংমিশ্রণটি মঙ্গল এবং থু এর পক্ষে কাজ নাও করতে পারে means ওফিটফিটিং ঘটতে পারে যদি আমার সময় এবং রুটের সর্বোত্তম সংমিশ্রণের জন্য আমি সোম / বুধ / শুক্রবার ট্র্যাফিক পরিস্থিতির কিছু দিক ব্যবহার করি যা মঙ্গল ও থুতে ঘটে না।
ওভারফিটিংয়ের একটি সমাধান: ক্রস-বৈধকরণ
ক্রস-বৈধতা ওভারফিটিংয়ের একটি সমাধান। ধারণাটি হ'ল একবার আমরা আমাদের পরামিতিগুলির সর্বোত্তম সংমিশ্রণটি চিহ্নিত করে (আমাদের ক্ষেত্রে সময় এবং রুটে) আমরা সেই পরামিতিগুলির সেটের কার্যকারিতাটি অন্য একটি প্রসঙ্গে পরীক্ষা করি। অতএব, আমরা আমাদের পছন্দগুলি সেই দিনগুলিতেও কাজ করে তা নিশ্চিত করার জন্য মঙ্গল ও থুতেও পরীক্ষা করতে চাইতে পারি।
পরিসংখ্যানগুলিতে সাদৃশ্য প্রসারিত করা
পরিসংখ্যানগুলিতে, আমাদের একই রকম সমস্যা রয়েছে। আমরা প্রায়শই জানি না এমন অজানা প্যারামিটারগুলি অনুমান করতে সীমিত ডেটা ব্যবহার করি। যদি আমরা ওভারফিট করে থাকি তবে আমাদের প্যারামিটারের অনুমানগুলি বিদ্যমান ডেটাগুলির জন্য খুব ভাল কাজ করবে তবে আমরা যখন সেটিকে অন্য কোনও প্রসঙ্গে ব্যবহার করব তখন সেভাবে নয়। সুতরাং, ক্রস-বৈধতা আমাদের কিছুটা আশ্বাস দিয়ে প্রমাণ করেছে যে প্যারামিটারের অনুমানগুলি আমরা যে অনুমানের জন্য ব্যবহার করি সেগুলির সাথে অনন্য নয় prov
অবশ্যই, ক্রস বৈধতা নিখুঁত নয়। পাতাল রেলের আমাদের উদাহরণটিতে ফিরে গিয়ে এমনটি ঘটতে পারে যে ক্রস-বৈধকরণের পরেও আমাদের সেরা পরামিতিগুলি বিভিন্ন সমস্যার কারণে (যেমন, নির্মাণ, ট্র্যাফিকের পরিমাণের পরিবর্তনের সময় ইত্যাদি) এক লাইনে এক মাস কাজ নাও করতে পারে।
আমি মনে করি যে নিম্নলিখিত চিত্রের সাথে এটি সর্বোত্তমভাবে বর্ণিত হয়েছে ( এক্ষেত্রে কে-ফোল্ড ক্রস-বৈধকরণ দেখানো হচ্ছে):
ক্রস-বৈধকরণ এমন একটি কৌশল যা ভবিষ্যদ্বাণীমূলক মডেলটিতে ওভারফিটিংয়ের বিরুদ্ধে সুরক্ষার জন্য ব্যবহৃত হয়, বিশেষত এমন একটি ক্ষেত্রে যেখানে ডেটার পরিমাণ সীমিত হতে পারে। ক্রস-বৈধকরণে, আপনি ডেটাগুলির একটি নির্দিষ্ট সংখ্যক ভাঁজ (বা পার্টিশন) তৈরি করেন, প্রতিটি ভাঁজটিতে বিশ্লেষণ চালান এবং তারপরে সামগ্রিক ত্রুটির অনুমান।
"প্রশিক্ষিত মডেলটি স্বাধীন ডেটাতে ভাল পারফরম্যান্স করে তা নিশ্চিত করে হৃদয় দিয়ে আপনার প্রশিক্ষণ ডেটা শিখবেন না" "
যাক আপনি কিছু প্রক্রিয়া তদন্ত করেন; আপনি এটিকে বর্ণনা করার জন্য কিছু ডেটা সংগ্রহ করেছেন এবং আপনি একটি মডেল তৈরি করেছেন (তবে পরিসংখ্যান বা এমএল, কোনও ব্যাপার নয়)। তবে এখন, ঠিক আছে কিনা তা বিচার করবেন কীভাবে? সম্ভবত এটি যে ডেটা তৈরি করেছিল তা সন্দেহজনকভাবে ফিট করে, তাই কেউ বিশ্বাস করবে না যে আপনার মডেলটি এত দুর্দান্ত যে আপনি ভাবেন।
প্রথম ধারণাটি হ'ল আপনার ডেটার একটি উপসেট পৃথক করে এবং বাকী ডেটাতে আপনার পদ্ধতি অনুসারে মডেল বিল্ডটি পরীক্ষা করতে এটি ব্যবহার করুন। ফলাফলটি অবশ্যই স্পষ্টতাহীন-মুক্ত, তবুও (বিশেষত ছোট সেটগুলির জন্য) আপনি (আন) ভাগ্যবান হতে পারতেন এবং পরীক্ষার জন্য আরও সহজ কেসগুলি আঁকতে পারতেন (এটি আরও কঠিন) ভবিষ্যদ্বাণী করা সহজ করে তোলে ... এছাড়াও আপনার নির্ভুলতা / মডেল তুলনা / অপ্টিমাইজেশনের জন্য ত্রুটি / ধার্মিকতার অনুমান মূল্যহীন, যেহেতু আপনি সম্ভবত এটির বিতরণ সম্পর্কে কিছুই জানেন না।
সন্দেহ হলে, নিষ্ঠুর শক্তি ব্যবহার করুন, সুতরাং কেবল উপরের প্রক্রিয়াটির প্রতিলিপি করুন, নির্ভুলতা / ত্রুটি / সদ্ব্যবহারের কয়েকটি অনুমান সংগ্রহ করুন এবং সেগুলি গড় করুন - এবং সুতরাং আপনি ক্রস বৈধতা পান। আরও ভাল অনুমানের মধ্যে আপনি হিস্টোগ্রামও পাবেন, সুতরাং আপনি আনুমানিক বিতরণ করতে পারবেন বা কিছু-প্যারামিমেট্রিক পরীক্ষা করতে পারবেন না।
এবং এটি এটি; টেস্ট-ট্রেন বিভাজনের বিবরণ বিভিন্ন সিভি ধরণের কারণ, এখনও বিরল ঘটনা এবং ছোট শক্তির পার্থক্য বাদে তারা সমতুল্য। প্রকৃতপক্ষে এটি একটি বিশাল সুবিধা, কারণ এটি এটিকে একটি বুলেটপ্রুফ-ফেয়ার পদ্ধতি করে তোলে; এটি ঠকানো খুব কঠিন।
যেহেতু প্রশিক্ষণের সময় আপনার কাছে পরীক্ষার ডেটা অ্যাক্সেস নেই এবং আপনি চান যে আপনার মডেলটি অদেখা পরীক্ষার ডেটাতে ভাল করতে পারে, আপনি বার বার একটি ছোট্ট অংশ সাবমল করে কিছু পরীক্ষার ডেটাতে আপনার অ্যাক্সেসের "ভান" করেন আপনার প্রশিক্ষণের ডেটা, মডেলটিকে প্রশিক্ষণ দেওয়ার সময় এই সেটটি ধরে রাখুন এবং তারপরে হোল্ড আউট সেটটিকে পরীক্ষার ডেটার জন্য প্রক্সি হিসাবে চিকিত্সা করুন (এবং এমন মডেল পরামিতিগুলি চয়ন করুন যা অনুষ্ঠিত আউট ডেটার উপরে সেরা পারফরম্যান্স দেয়)। আপনি আশা করেন যে প্রশিক্ষণ ডেটা থেকে এলোমেলোভাবে বিভিন্ন উপসেটের নমুনা তৈরি করে আপনি এগুলি পরীক্ষার ডেটার মতো দেখতে পাবেন (গড়পড়তা আচরণের অর্থে), এবং সুতরাং শিখেছি মডেল পরামিতিগুলি পরীক্ষার ডেটার জন্যও ভাল হবে (যেমন, আপনার মডেল অদেখা তথ্যের জন্য ভাল জেনারালাইজেশন)।