ডেটা পূর্বাভাস দেওয়ার জন্য আমি পরিকল্পনা করে এমন একটি নমুনা আকার "এন" সরবরাহ করেছি। ডেটা উপ-বিভক্ত করার কয়েকটি উপায় কী কী যাতে আমি এটির কয়েকটি মডেল স্থাপনের জন্য ব্যবহার করি এবং মডেলটিকে বৈধতা দেওয়ার জন্য বাকী ডেটাগুলি?
আমি জানি যে এর কোনও কালো এবং সাদা উত্তর নেই, তবে কিছু "থাম্বের নিয়ম" বা সাধারণত ব্যবহৃত অনুপাতগুলি জেনে রাখা আকর্ষণীয় হবে। আমি বিশ্ববিদ্যালয়ে ফিরে জানি, আমাদের একজন অধ্যাপক 60%-তে মডেল বলতেন এবং 40% এ বৈধতা দিতেন।
উত্তর:
ঠিক যেমন আপনি বলেছেন যে কোনও কালো এবং সাদা উত্তর নেই। আমি সাধারণত 2 ভাগে ডেটা বিভক্ত করি না তবে পরিবর্তে কে-ভাঁজ ক্রস বৈধকরণের মতো পদ্ধতি ব্যবহার করি।
কে-ফোল্ড ক্রস বৈধকরণে আপনি আপনার ডেটা এলোমেলোভাবে কে অংশগুলিতে বিভক্ত করেন এবং কে -1 অংশগুলিতে আপনার মডেলটিকে ফিট করেন এবং বাম অংশের ত্রুটিগুলি পরীক্ষা করেন test আপনি প্রতিটি অংশকে একের পর এক ফিট করার বাইরে রেখে প্রক্রিয়াটি কে পুনরায় পুনঃস্থাপন করবেন। মডেল ত্রুটির ইঙ্গিত হিসাবে আপনি প্রতিটি কে পুনরাবৃত্তি থেকে গড় ত্রুটি নিতে পারেন। আপনি যদি বিভিন্ন মডেলের ভবিষ্যদ্বাণীপূর্ণ শক্তি তুলনা করতে চান তবে এটি সত্যিই ভাল কাজ করে।
কে-ফোল্ড ক্রস বৈধকরণের একটি চূড়ান্ত রূপ হ'ল সাধারণীকরণের ক্রস বৈধকরণ যেখানে আপনি পরীক্ষার জন্য কেবল একটি ডেটা পয়েন্ট রেখে যান এবং বাকি সমস্ত পয়েন্টগুলিতে মডেলটিকে ফিট করে। তারপরে প্রতিটি ডাটা পয়েন্ট এক এক করে রেখে n বার প্রক্রিয়াটি পুনরাবৃত্তি করুন। আমি সাধারণ ক্রস বৈধকরণের চেয়ে কে-ফোল্ড ক্রস বৈধতা পছন্দ করি ... কেবলমাত্র একটি ব্যক্তিগত পছন্দ choice
এটি আপনার কাছে থাকা ডেটার পরিমাণ, পদ্ধতির নির্দিষ্ট ব্যয় এবং আপনি কীভাবে আপনার ফলাফল হতে চান তা নির্ভর করে।
কিছু উদাহরণ:
আপনার যদি অল্প ডেটা থাকে তবে আপনি সম্ভবত ক্রস-বৈধকরণ (কে-ভাঁজ, ছেড়ে যাওয়া-ওয়ান-আউট ইত্যাদি) ব্যবহার করতে চান আপনার মডেল সম্ভবত যেভাবেই প্রশিক্ষণ এবং পরীক্ষা করতে খুব বেশি সংস্থান গ্রহণ করবে না। আপনার ডেটা থেকে সর্বাধিক পাওয়ার ভাল উপায় good
আপনার কাছে প্রচুর ডেটা রয়েছে: আপনি সম্ভবত একটি যুক্তিসঙ্গতভাবে বড় টেস্ট-সেট নিতে চান, এটি নিশ্চিত করে যে কিছু অদ্ভুত নমুনা আপনার ফলাফলের অনেক বৈচিত্র্য দেবে এমন সম্ভাবনা খুব কমই থাকবে। আপনার কতটা ডাটা নেওয়া উচিত? এটি সম্পূর্ণ আপনার ডেটা এবং মডেলের উপর নির্ভর করে। উদাহরণস্বরূপ বক্তৃতা স্বীকৃতি হিসাবে, আপনি যদি খুব বেশি ডেটা নেন (আসুন 3000 বাক্য বলি), আপনার পরীক্ষাগুলি কয়েক দিন সময় নিতে পারে, কারণ 7-10 এর রিয়েলটাইম ফ্যাক্টরটি সাধারণ। আপনি যদি খুব সামান্য গ্রহণ করেন তবে এটি আপনি যে স্পিকারগুলি বেছে নিচ্ছেন তার উপর এটি অনেক বেশি নির্ভরশীল (যা প্রশিক্ষণের সেটটিতে অনুমোদিত নয়)।
এছাড়াও মনে রাখবেন, অনেক ক্ষেত্রেই একটি বৈধতা / বিকাশ সেট করা ভাল!
1:10 পরীক্ষা: ট্রেন রেশিও জনপ্রিয় কারণ এটি বৃত্তাকার দেখাচ্ছে, 1: 9 জনপ্রিয় 10-ভাঁজ সিভি এর কারণে, 1: 2 জনপ্রিয় কারণ এটি বৃত্তাকার এবং বুটস্ট্র্যাপটিকে পুনরায় সংযুক্ত করে। কখনও কখনও কেউ কিছু ডেটা-নির্দিষ্ট মানদণ্ড থেকে পরীক্ষা পায়, উদাহরণস্বরূপ গত বছর পরীক্ষার জন্য, প্রশিক্ষণের জন্য বছর আগে।
সাধারণ নিয়মটি হ'ল: ট্রেনটি অবশ্যই যথেষ্ট পরিমাণে বড় হওয়া উচিত যাতে নির্ভুলতা উল্লেখযোগ্যভাবে হ্রাস পাবে না এবং এলোমেলো ওঠানামা নিরব করার জন্য পরীক্ষাটি অবশ্যই যথেষ্ট পরিমাণে বড় হতে হবে।
তবুও আমি সিভি পছন্দ করি, কারণ এটি আপনাকে ত্রুটির বিতরণও করে।
কে-ভাঁজ উত্তরের সম্প্রসারণ হিসাবে, কে এর "স্বাভাবিক" পছন্দ হয় হয় 5 বা 10 হয় The ছুটি-ওয়ান-আউট পদ্ধতিতে খুব রক্ষণশীল এমন মডেল তৈরি করার প্রবণতা থাকে। এফওয়াইআই, এখানে সেই তথ্যটির একটি উল্লেখ রয়েছে:
শাও, জে। (1993), ক্রস-বৈধকরণ দ্বারা লিনিয়ার মডেল নির্বাচন, আমেরিকান স্ট্যাটিস্টিকাল অ্যাসোসিয়েশন জার্নাল, খণ্ড। 88, নং 422, পিপি 486-494