একটি পরিসংখ্যান যা পরিসংখ্যান মেশিন লার্নিং সম্পর্কে জোর দেওয়া প্রয়োজন তা হল কোনও গ্যারান্টি নেই । যখন আপনি একটি আউট-আউট সেট ব্যবহার করে পারফরম্যান্স অনুমান করেন, এটি কেবলমাত্র অনুমান । অনুমান ভুল হতে পারে।
এটি কিছুটা অভ্যস্ত হয়ে যায়, তবে এটি এমন কিছু যা আপনার সাথে স্বাচ্ছন্দ্য বোধ করতে হবে। আপনি যখন বলেন "যদি পারফরম্যান্সটি আসলে খারাপ হয়?", উত্তরটি নিশ্চিত যে এটি ঘটতে পারে। আসল পারফরম্যান্স আপনার অনুমান / পূর্বাভাসের চেয়ে খারাপ হতে পারে। এটি আরও ভাল হতে পারে। দুটোই সম্ভব। এটা অনিবার্য। কিছু সহজাত, অপরিবর্তনীয় অনিশ্চয়তা আছে।
যখন আপনি একটি আউট-আউট টেস্ট সেট ব্যবহার করে পারফরম্যান্স মূল্যায়ন করেন, আপনি ভবিষ্যতের পারফরম্যান্সের পূর্বাভাস দেওয়ার চেষ্টা করার জন্য অতীত থেকে ডেটা ব্যবহার করছেন। তারা যেমন বলেছে, অতীত কর্মক্ষমতা ভবিষ্যতের ফলাফলের কোনও গ্যারান্টি নয় । এটি জীবনের সত্য যা আমাদের কেবল গ্রহণ করতে হবে।
আপনি এটি স্থির রাখতে পারবেন না। আপনার পূর্বাভাসের চেয়েও খারাপ কাজ করা সম্ভব এই তথ্যটি ডেটা সম্পর্কে প্রশিক্ষিত কোনও মডেল তৈরিতে এড়ানো কোনও কারণ নয়। বিশেষত, যদি আপনি এটি না করেন তবে খারাপ কাজ করাও সম্ভব। এটি সম্ভব যে সমস্ত ডেটাতে প্রশিক্ষিত একটি মডেল (ট্রেন + বৈধকরণ + পরীক্ষা) কেবল ট্রেন + বৈধতার অংশে প্রশিক্ষিত কোনও মডেলের চেয়ে খারাপ হবে। এটি আরও ভাল হবে যে সম্ভব। সুতরাং, গ্যারান্টি খোঁজার পরিবর্তে আমাদের নিজেদের জিজ্ঞাসা করতে হবে: আমাদের সাফল্যের সর্বোত্তম সুযোগটি কী দেয়? সবচেয়ে কার্যকর হওয়ার সম্ভাবনা কী?
এবং এই ক্ষেত্রে, আপনি যখন প্রোডাক্টে স্থাপন করতে চান, তখন আপনার কাছে উপলভ্য সমস্ত ডেটা ব্যবহার করা সবচেয়ে ভাল। প্রত্যাশিত পারফরম্যান্সের ক্ষেত্রে, সমস্ত ডেটা ব্যবহার করা কিছু ডেটা ব্যবহারের চেয়ে খারাপ নয়, এবং সম্ভবত আরও ভাল। সুতরাং, আপনি যখন মডেলটি উত্পাদন মডেল তৈরি করবেন তখন মডেলটিকে প্রশিক্ষণের জন্য আপনার কাছে উপস্থিত সমস্ত ডেটা ব্যবহার করতে পারেন। জিনিসগুলি এখনও খারাপভাবে যেতে পারে - আপনি যখনই পরিসংখ্যানগত পদ্ধতি ব্যবহার করেন তখনই দুর্ভাগ্য হওয়া সবসময় সম্ভব - তবে এটি আপনার জিনিসগুলি ভালভাবে চালানোর জন্য সেরা সম্ভাবনার সুযোগ দেয়।
বিশেষত, আদর্শ অনুশীলনটি নিম্নরূপ:
আপনার কিছু ডেটা হোল্ড-আউট টেস্ট সেটে সংরক্ষণ করুন। কোন ভগ্নাংশটি ব্যবহার করবেন সে সম্পর্কে কোনও কঠোর এবং দ্রুত নিয়ম নেই, তবে উদাহরণস্বরূপ, আপনি পরীক্ষার জন্য 20% সংরক্ষণ করতে পারবেন এবং বাকি 80% প্রশিক্ষণ এবং বৈধতার জন্য রাখবেন। সাধারণত, সমস্ত বিভাজন এলোমেলো হওয়া উচিত।
এরপরে, একাধিক আর্কিটেকচার এবং হাইপারপ্যারামিটার চেষ্টা করার জন্য প্রশিক্ষণ ও বৈধতা ডেটা ব্যবহার করুন, আপনি পারেন সেরা মডেলটি সন্ধানের জন্য পরীক্ষামূলক। প্রশিক্ষণ এবং বৈধতা জন্য 80% ধরে রাখা, এবং এটি একটি প্রশিক্ষণ সেট এবং একটি বৈধতা সেট বিভক্ত করুন, এবং প্রশিক্ষণ সেট ব্যবহার করে একটি মডেল প্রশিক্ষণ এবং তারপরে যাচাইকরণ সেটটিতে তার নির্ভুলতা পরিমাপ করুন। আপনি যদি ক্রস-বৈধতা ব্যবহার করে থাকেন তবে আপনি এই বিভাজনটি বহুবার করবেন এবং বৈধতা সেটটিতে ফলাফল গড় করবেন; আপনি যদি না হন তবে আপনি একটি একক বিভাজন (উদাহরণস্বরূপ, 80% এর 70% / 30% বিভাজন বা এর মতো কিছু) করবেন এবং বৈধতা সেটটিতে পারফরম্যান্স মূল্যায়ন করবেন। আপনার যদি চেষ্টা করার মতো অনেক হাইপারপ্যারামিটার থাকে তবে হাইপারপ্যারামিটারের প্রতিটি পরীক্ষার্থীর সেটিংয়ের জন্য এটি একবার করুন। আপনার যদি চেষ্টা করার মতো অনেক আর্কিটেকচার থাকে তবে প্রতিটি পরীক্ষার্থী আর্কিটেকচারের জন্য এটি করুন। আপনি যা ব্যবহার করে তা নিয়ে পুনরাবৃত্তি করতে পারেন
আপনি খুশি হয়ে গেলে আপনি আর্কিটেকচার, হাইপারপ্যারামিটার ইত্যাদির পছন্দ হিমশীতল করুন এখন আপনার পরীক্ষা-নিরীক্ষা শেষ। আপনি এই পয়েন্টটি আঘাত করার পরে, আপনি আর কোনও বিকল্প আর চেষ্টা করতে পারবেন না (নতুন নতুন পরীক্ষা সেট না পেয়ে) - সুতরাং আপনি প্রস্তুত না হওয়া অবধি এই পয়েন্টটিতে আঘাত করবেন না।
আপনি যখন প্রস্তুত হন, তারপরে আপনি পূর্বে নির্বাচিত আর্কিটেকচার এবং হাইপারপ্যারামিটার ব্যবহার করে সম্পূর্ণ প্রশিক্ষণ + বৈধতা সেট (যে 80%) তে একটি মডেলকে প্রশিক্ষণ দিন। তারপরে, অনুষ্ঠিত আউট টেস্ট সেটটিতে এর যথার্থতাটি মাপুন। এই মডেলিং পদ্ধতিটি কতটা সঠিক হবে তার জন্য এটিই আপনার অনুমান / পূর্বাভাস। আপনি এখানে একটি একক নম্বর পাবেন। এই সংখ্যাটি এটি যা: আপনি যদি এতে সন্তুষ্ট না হন তবে আপনি 1 এবং 2 ধাপে ফিরে যেতে পারবেন না এবং আরও পরীক্ষা-নিরীক্ষা করতে পারবেন না; এটি অবৈধ হবে।
পরিশেষে, উত্পাদন ব্যবহারের জন্য, আপনি পুরো ডেটা সেট, প্রশিক্ষণ + বৈধতা + পরীক্ষা সেট, এবং এটিকে উত্পাদন ব্যবহারে রাখতে একটি মডেলকে প্রশিক্ষণ দিতে পারেন। নোট করুন যে আপনি কখনই এই উত্পাদন মডেলের যথার্থতা পরিমাপ করেন না, কারণ এটি করার জন্য আপনার কাছে কোনও ডেটা নেই; আপনি ইতিমধ্যে সমস্ত ডেটা ব্যবহার করেছেন। আপনি যদি এটি কতটা ভাল সঞ্চালন করবেন তার একটি প্রাক্কলন চান, তবে আপনি উত্পাদন সম্পর্কে এটি কতটা ভাল পারফরম্যান্স করবেন তার ভবিষ্যদ্বাণী হিসাবে আপনি চতুর্থ পদক্ষেপ থেকে আনুমানিক নির্ভুলতা ব্যবহারের অধিকারী হবেন, কারণ এটি তার ভবিষ্যতের পারফরম্যান্সের সেরা উপলভ্য পূর্বাভাস। সর্বদা হিসাবে, কোনও গ্যারান্টি নেই - আমাদের কাছে উপলভ্য তথ্য প্রদত্ত এটি কেবলমাত্র সেরা অনুমান। এটি অবশ্যই সম্ভব যে এটি আপনার পূর্বাভাসের চেয়ে খারাপ, বা আপনি পূর্বাভাসের চেয়ে ভাল করতে পারে - এটি সর্বদা সত্য।