কে-ভাঁজ ক্রস-বৈধতার পরে কীভাবে ভবিষ্যদ্বাণীমূলক মডেল চয়ন করবেন?

Question

আমি ভাবছি কে-ভাঁজ ক্রস-বৈধকরণের পরে কীভাবে ভবিষ্যদ্বাণীমূলক মডেলটি চয়ন করবেন।

এটি অদ্ভুতভাবে বর্ণিত হতে পারে, সুতরাং আমাকে আরও বিশদে ব্যাখ্যা করতে দিন: আমি যখনই কে-ফোল্ড ক্রস-বৈধকরণ চালনা করি, তখন আমি প্রশিক্ষণের ডেটার K সাবসেটগুলি ব্যবহার করি এবং কে বিভিন্ন মডেলের সাথে শেষ করি।

আমি কে মডেলগুলির মধ্যে কীভাবে বাছাই তা জানতে চাই, যাতে আমি এটি কারও কাছে উপস্থাপন করতে পারি এবং বলতে পারি "এটি আমাদের সেরা মডেল যা উত্পাদন করতে পারে"।

কে মডেলের যে কোনও একটি বাছাই ঠিক আছে? বা এর মধ্যে রয়েছে এমন কোনও ধরণের সর্বোত্তম অনুশীলন, যেমন মডেলটিকে বাছাই করা যা মিডিয়ানের পরীক্ষার ত্রুটি অর্জন করে?

Comments

নীচের প্রশ্নের উত্তরগুলি আপনাকে সহায়কটি

— বিগ্রেন

পর্যাপ্ত নির্ভুলতা পাওয়ার জন্য আপনাকে 5 বারের সিভি 100 বার পুনরাবৃত্তি করতে হবে এবং ফলাফলগুলি গড় করতে হবে। এবং @ বোগদানোভিস্টের উত্তর স্পট রয়েছে। আপনি কম মডেল ফিট সঙ্গে বুটস্ট্র্যাপ থেকে নির্ভুলতার প্রাক্কলনের একই নির্ভুলতা পেতে পারেন।

— ফ্রাঙ্ক হ্যারেল

@ ফ্র্যাঙ্ক হ্যারেল, কেন আপনি বলছেন যে 100 টি পুনরাবৃত্তি প্রয়োজনীয় (আমি সাধারণত 10 ভাগে 10 টি রেপ ব্যবহার করি), ওপি কোনও স্পেসিফিকেশন না দেওয়ার কারণে এটি কি থাম্বের নিয়ম?

— বিগ্রিন

$\geq 50$

প্রায় একটি যথাযথ সদৃশ: stats.stackexchange.com/questions/11602 প্রচুর যোগ্য উত্তর সহ। সম্ভবত এই থ্রেডগুলি মার্জ করা উচিত তবে আমি কোন দিকে নিশ্চিত নই। উভয়ই উত্তরগুলি গ্রহণ করেছে যা খুব ভাল। তবে অন্যটিটির বয়স আরও বেশি এবং আরও ভিউ / আপোভেটস রয়েছে তাই এটির মধ্যে এটি একীভূত হওয়া বোধগম্য হতে পারে।

— অ্যামিবা

Answer 1

আমি মনে করি যে ক্রস-বৈধকরণের উদ্দেশ্যটি বোঝার জন্য আপনি এখনও কিছু মিস করছেন।

আসুন কিছু পরিভাষা সোজা হয়ে উঠি, সাধারণত যখন আমরা 'একটি মডেল' বলি আমরা কিছু ইনপুট ডেটা কীভাবে আমাদের পূর্বাভাস দেওয়ার চেষ্টা করি তার সাথে কীভাবে সম্পর্কিত তার বর্ণনা দেওয়ার জন্য একটি নির্দিষ্ট পদ্ধতি উল্লেখ করি। আমরা সাধারণত সেই পদ্ধতির নির্দিষ্ট উদাহরণগুলিকে বিভিন্ন মডেল হিসাবে উল্লেখ করি না। সুতরাং আপনি বলতে পারেন যে 'আমার কাছে লিনিয়ার রিগ্রেশন মডেল রয়েছে' তবে আপনি প্রশিক্ষিত সহগের দুটি ভিন্ন সেটকে বিভিন্ন মডেল কল করবেন না। কমপক্ষে মডেল নির্বাচনের প্রসঙ্গে নয়।

সুতরাং, যখন আপনি কে-ফোল্ড ক্রস বৈধকরণ করবেন, আপনি পরীক্ষা করছেন যে আপনার মডেল কতটা ডেটা দ্বারা প্রশিক্ষিত হতে সক্ষম হবে এবং তারপরে এটি ডেটা না দেখে পূর্বাভাস দেয়। আমরা এর জন্য ক্রস বৈধতা ব্যবহার করি কারণ আপনি যদি আপনার সমস্ত ডেটা ব্যবহার করে প্রশিক্ষণ দেন তবে আপনার পরীক্ষার জন্য আর কিছুই অবশিষ্ট নেই। আপনি একবার এটি করতে পারেন, প্রশিক্ষণের জন্য 80% উপাত্ত এবং পরীক্ষার জন্য 20% ব্যবহার করে বলুন, তবে আপনি যদি পরীক্ষা করতে যা করেছেন 20% এর মধ্যে এমন কিছু পয়েন্ট রয়েছে যা বিশেষত সহজ (বা বিশেষত শক্ত) অনুমান করা? আমরা মডেলগুলি শিখতে এবং ভবিষ্যদ্বাণী করতে সক্ষমতার সর্বোত্তম অনুমানের সাথে আসতে পারি না।

আমরা সমস্ত ডেটা ব্যবহার করতে চাই। সুতরাং ৮০/২০ বিভক্তের উপরের উদাহরণটি চালিয়ে যেতে, আমরা ৮০% ডেটাতে times বার মডেলকে প্রশিক্ষণ দিয়ে এবং ২০% পরীক্ষার মাধ্যমে 5-গুণ ক্রস বৈধকরণ করব। আমরা নিশ্চিত করি যে প্রতিটি ডেটা পয়েন্ট ঠিক একবারে 20% পরীক্ষায় সেট হবে। তাই আমাদের মডেল কিছু তথ্য থেকে শেখার এবং কিছু নতুন ডেটা পূর্বাভাস দেওয়ার কাজটি কতটা ভাল সম্পাদন করে তা বোঝার জন্য আমাদের প্রতিটি ডেটা পয়েন্ট ব্যবহার করেছি।

তবে ক্রস-বৈধকরণের উদ্দেশ্যটি আমাদের চূড়ান্ত মডেলটি সামনে এড়ানো নয়। আমরা আমাদের প্রশিক্ষিত মডেলটির এই 5 টি উদাহরণ কোনও বাস্তব ভবিষ্যদ্বাণী করতে ব্যবহার করি না। তার জন্য আমরা আমাদের সেরা ডেটা যতটা সম্ভব সেরা মডেল নিয়ে আসতে চাইছি। ক্রস-বৈধকরণের উদ্দেশ্য মডেল চেকিং, মডেল বিল্ডিং নয়।

এখন, আমাদের দুটি মডেল আছে বলুন, লিনিয়ার রিগ্রেশন মডেল এবং নিউরাল নেটওয়ার্ক বলুন। আমরা কীভাবে বলতে পারি কোন মডেলটি ভাল? আমরা কে-ভাঁজ ক্রস-বৈধকরণ করতে পারি এবং পরীক্ষা সেট পয়েন্টগুলির পূর্বাভাস দেওয়ার ক্ষেত্রে কোনটি আরও ভাল প্রমাণিত হতে পারে তা দেখতে পারি। তবে একবার আমরা আরও ভাল পারফর্মিং মডেল বাছাই করতে ক্রস-বৈধকরণ ব্যবহার করার পরে, আমরা সেই সমস্ত মডেল (সেই লিনিয়ার রিগ্রেশন বা নিউরাল নেটওয়ার্ক যাই হোক না কেন) সেই মডেলটিকে প্রশিক্ষণ দিই। আমরা আমাদের চূড়ান্ত ভবিষ্যদ্বাণীমূলক মডেলের জন্য ক্রস-বৈধকরণের সময় প্রশিক্ষিত প্রকৃত মডেল উদাহরণগুলি ব্যবহার করি না।

নোট করুন যে বুটস্ট্র্যাপ অগ্রিগ্রেশন নামে একটি প্রযুক্তি রয়েছে (সাধারণত 'ব্যাগিং'কে ছোট করা হয়) যা কোনও উপায়ে মডেল তৈরির জন্য ক্রস-বৈধকরণের অনুরূপ উপায়ে তৈরি মডেল দৃষ্টান্তগুলি ব্যবহার করে, তবে এটি সুযোগের বাইরে একটি উন্নত প্রযুক্তি is আপনার প্রশ্ন এখানে।

Comments

আমি পুরোপুরি এই পয়েন্টটির সাথে একমত এবং সমস্ত ডেটা ব্যবহার করার বিষয়ে চিন্তাভাবনা করেছি। এটি বলেছিল, আমরা যদি পুরো চূড়ান্ত মডেলটিকে পুরো ডেটা সেট ব্যবহার করে প্রশিক্ষণ দিয়ে থাকি তবে কী এই ফলস্বরূপ ফলাফল হবে না এবং এর ফলে ভবিষ্যতের ভবিষ্যদ্বাণীগুলিকে নাশকতা দেওয়া হবে না?

— বার্ক ইউ

না! ওভারফিটিংয়ের মডেল জটিলতার সাথে সম্পর্কযুক্ত, মডেলটিকে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত পরিমাণের পরিমাণের সাথে এর কোনও যোগসূত্র নেই। মডেল জটিলতার সাথে মডেল যে পদ্ধতিটি ব্যবহার করে তার সাথে কাজ করে, তার পরামিতিগুলির মান গ্রহণ করে না। উদাহরণস্বরূপ, কোনও রিগ্রেশন মডেলটিতে x ^ 2 সহ-কার্যকারিতা পাশাপাশি এক্স সহ-কার্যকারীকে অন্তর্ভুক্ত করা উচিত।

— বোগদানোভিস্ট

@ বোগদানোভিস্ট: আমি বরং বলছি যে খুব জটিল একটি মডেলের জন্য খুব কম প্রশিক্ষণের মামলা করার সাথে ওভারফিটিংয়েরও দরকার। সুতরাং এটি (এছাড়াও) প্রশিক্ষণের ক্ষেত্রে সংখ্যার সাথে সম্পর্কযুক্ত। তবে অধিক প্রশিক্ষণের ক্ষেত্রে অতিরিক্ত চাপের ঝুঁকি হ্রাস হবে (ধ্রুবক মডেল জটিলতার জন্য)।

— cbeleites

@ বোগদানোভিস্ট For that we want to use all the data we have to come up with the best model possible.- কে- ফোল্ড ক্রস বৈধকরণের সাথে গ্রিড অনুসন্ধান করার সময়, এর অর্থ কি আপনি গ্রিড অনুসন্ধানের দ্বারা পাওয়া সেরা প্যারামগুলি ব্যবহার করবেন এবং পুরো প্রশিক্ষণের ডেটাতে কোনও মডেল ফিট করবেন এবং তারপরে পরীক্ষার সেটটি ব্যবহার করে সাধারণীকরণের পারফরম্যান্সটি মূল্যায়ন করবেন?

— অরুণ

@ অরুন, আপনি যদি কে-ফোল্ড ক্রস বৈধতা ব্যবহার করেছেন এবং সেরা পরামিতিগুলি এবং হাইপার-প্যারামিটারগুলির সাথে সেরা মডেলটি বেছে নিয়েছেন, তবে প্রশিক্ষণ সংস্থার উপর চূড়ান্ত মডেলটি ফিট করার পরে, আপনাকে আবার কোনওটি ব্যবহার করে পারফরম্যান্স পরীক্ষা করার দরকার নেই পরীক্ষা সেট। এর কারণ আপনি ইতিমধ্যে নির্দিষ্ট পরামিতিগুলির মডেলটি অদেখা তথ্যে কীভাবে আচরণ করেছেন তা পরীক্ষা করে দেখেছেন।

— সন্দীপ এস সন্ধু

Answer 2

আমাকে বোগদানোভিস্টের উত্তর ছাড়াও কয়েকটি পয়েন্ট ফেলতে দিন

$k$

এখন, এই প্রক্রিয়াটিতে কিছু অনুমান রয়েছে।

• 
  $k$

• $k$
  $N \frac{k - 1}{k}$$k$$k$

• সীমাবদ্ধ সংখ্যক মামলার অর্থ পরীক্ষার মামলার সীমাবদ্ধতার কারণে পারফরম্যান্স পরিমাপটি এলোমেলো ত্রুটির (বৈকল্পিক) সাপেক্ষে থাকবে। এই বৈকল্পিক উত্সটি মডেল ইনস্টাবলিট ভেরিয়েন্সের থেকে পৃথক (এবং এভাবে যুক্ত হয়)।

পর্যবেক্ষিত পারফরম্যান্সের পার্থক্যগুলি এই দুটি উত্সের বৈকল্পিকতার কারণে।

আপনি যে "নির্বাচন" সম্পর্কে ভাবেন এটি একটি ডেটা সেট নির্বাচন: একটি সারোগেট মডেল নির্বাচন করা মানে প্রশিক্ষণের নমুনার একটি উপসেট নির্বাচন করা এবং দাবি করা হয় যে প্রশিক্ষণের নমুনাগুলির এই উপসেটটি একটি উন্নত মডেলের দিকে পরিচালিত করে। যদিও এটি সত্যই ক্ষেত্রে হতে পারে, সাধারণত "শ্রেষ্ঠত্ব" উত্সাহিত হয়। যে কোনও ক্ষেত্রে, সার্গেট মডেলগুলির "সেরা" বাছাই করা তথ্য-চালিত অপ্টিমাইজেশন হিসাবে, আপনাকে নতুন অজানা তথ্যের সাহায্যে এই বাছাই করা মডেলটি কার্যকর করতে হবে (পারফরম্যান্স পরিমাপ করতে হবে) ate এই ক্রস বৈধকরণের মধ্যে পরীক্ষা সেটটি স্বাধীন নয় কারণ এটি সারোগেট মডেল নির্বাচন করতে ব্যবহৃত হয়েছিল।

আপনি আমাদের কাগজটি দেখতে চাইতে পারেন, এটি শ্রেণিবিন্যাস সম্পর্কে যেখানে জিনিসগুলি সাধারণত রিগ্রেশনের চেয়ে খারাপ হয়। তবে এটি দেখায় যে কীভাবে এই বৈকল্পিকতা এবং পক্ষপাতিত্ব উত্সগুলি যুক্ত হয়।
বেলাইটস, সি এবং নিউজবাউয়ার, মার্কিন যুক্তরাষ্ট্র এবং বকলিটজ, টি। এবং ক্রাফ্ট, সি এবং পপ, জে .: শ্রেণিবদ্ধকরণের মডেলগুলির জন্য নমুনা আকারের পরিকল্পনা। পায়খানা চিম অ্যাক্টা, 2013, 760, 25-33।
ডিওআই: 10.1016 / জে.এ.সি.এ.এল.এল .11.11.007 আরএক্সআইভিতে
স্বীকৃত পুঁথি: 1211.1323

Comments

আপনি এবং বোগদানোভিস্ট যখন আপনি বলেন তখন মতবিরোধ হয় picking "the best" of the surrogate models is a data-driven optimization, you'd need to validate (measure performance) this picked model with new unknown data. The test set within this cross validation is not independent as it was used to select the surrogate model.এবং তিনি বলেন But once we have used cross-validation to select the better performing model, we train that model (whether it be the linear regression or the neural network) on all the data.এটি বেশ সাধারণ এবং এটি একটি মানসম্পন্ন পদ্ধতির নির্দিষ্ট করা অত্যন্ত গুরুত্বপূর্ণ

— jpcgandre

বিশেষত ছোট ডেটাসেটের ক্ষেত্রে যেখানে সম্ভবত সিভি থেকে ডেটা ফেলে রাখা কেবল সম্ভব নয় তবে আপনার মডেলকে অতিরিক্ত মানিয়ে নেওয়ার ঝুঁকিও বেশি! এই বিষয়টি স্পষ্ট করার জন্য রেফারেন্স প্রয়োজন।

— jpcgandre

@jpcgandre: আমি কোন মতবিরোধ দেখছি না। বোগদানোভিস্ট ব্যাখ্যা করেন যে কীভাবে হাইপারপ্যারামিটারগুলি থেকে ক্রস বৈধতার মাধ্যমে নির্বাচিত হয়েছিল তাদের পছন্দসই মডেলটি কীভাবে গণনা করা যায়, এবং আমি যোগ করেছি যে এই জাতীয় নির্বাচনের পরে, মডেলটির অন্য একটি (বহিরাগত) স্বীকৃতি স্বতন্ত্র স্তরের মধ্য দিয়ে যাওয়া প্রয়োজন। অন্য কথায়, যেমন নেস্টেড বৈধতা নকশা: হাইপারপ্যারামিটার নির্বাচনের জন্য অভ্যন্তরীণ বৈধতা লুপ, নির্বাচিত মডেলগুলির পরীক্ষার জন্য বাইরের লুপ (যদি আপনার যথেষ্ট পরিমাণে কেস থাকে তবে আপনি একটি স্বতন্ত্র পরীক্ষার জন্যও যেতে পারেন)।

— সিবেলাইটস

অভ্যন্তরীণ / বাহ্যিক বৈধতা ডাবল বা নেস্টেড ক্রস বৈধকরণ হিসাবে পরিচিত ক্রস বৈধতার জন্য, আমি এটি ক্রস মডেল বৈধকরণের নামও দেখেছি ( dx.doi.org/10.1016/j.chemolab.2006.04.021 ) 4 স্বতন্ত্র পরীক্ষার সেট সহ এটি তিনটি সেটে বিভাজনের সাথে মিলে যায়: ট্রেন / (অপ্টিমাইজেশন) বৈধতা / পরীক্ষা (= চূড়ান্ত বৈধতা)। আপনার যদি এমন কয়েকটি ক্ষেত্রে থাকে যে আপনি দ্বিতীয় স্তরের সিভিতে ডেটা ছাড়তে পারবেন না, তবে আমি যুক্তি দেব যে হাইপারপ্যারামিটার সেটগুলির মধ্যে একটি বেছে নেওয়ার পরিবর্তে আপনার হাইপারপ্রেমিটারগুলি অন্য উপায়ে ঠিক করা উচিত।

— cbeleites

আমার কাছে একটি প্রশ্ন আছে তারপরে চূড়ান্ত মডেল প্যারামিটারগুলি পেতে, আপনি কি প্রতিটি বাহ্যিক ভাঁজ থেকে হাইপারপ্রেমিটারের গড় নেবেন এবং সেই গড় হারের হাইপারপ্যারমিটার ব্যবহার করে পুরো ডেটাসেটটি পুনরায় প্রশিক্ষণ করবেন? অথবা নিয়মিত সিভিতে হাইপারপ্যারমিটার অনুসন্ধান করা, তারপরে বারবার নেস্টেড সিভি ব্যবহার করে এই পদ্ধতির স্থায়িত্ব নিশ্চিত করা কি কাজ করে?

— মিশেল

Answer 3

আমি এই দুর্দান্ত নিবন্ধটি খুঁজে পেয়েছি কীভাবে চূড়ান্ত মেশিন লার্নিং মডেলটিকে প্রশিক্ষণ দেওয়া যায় মেশিন লার্নিংয়ে সিভি ব্যবহারের বিষয়ে আমার যে সমস্ত বিভ্রান্তি রয়েছে তা পরিষ্কার করার ক্ষেত্রে খুব সহায়ক।

মূলত আমরা আপনার সম্পূর্ণ পদ্ধতি (ডেটা ইঞ্জিনিয়ারিং, মডেল পছন্দ (যেমন আলগোরিদম) এবং হাইপার-প্যারামিটারগুলি সহ) কতটা ভাল ভবিষ্যতের অদৃশ্যতে সঞ্চালন করতে পারি তার অনুমান করতে সিভি (যেমন 80/20 বিভাজন, কে-ভাঁজ ইত্যাদি) ব্যবহার করি use ডেটা। এবং একবার আপনি বিজয়ী "পদ্ধতি" বেছে নেওয়ার পরে, সিভি থেকে লাগানো মডেলগুলি তাদের উদ্দেশ্য সম্পাদন করেছে এবং এখন তা বাতিল করা যেতে পারে। তারপরে আপনি একই বিজয়ী "পদ্ধতি" ব্যবহার করুন এবং সম্পূর্ণ ডেটা সেটটি ব্যবহার করে আপনার চূড়ান্ত মডেলটিকে প্রশিক্ষণ দিন।

Answer 4

এটি একটি খুব আকর্ষণীয় প্রশ্ন। এটি পরিষ্কার করার জন্য, আমাদের মডেল এবং মডেল মূল্যায়নের পার্থক্য বুঝতে হবে। আমরা একটি মডেল তৈরি করতে পূর্ণ প্রশিক্ষণ সেট ব্যবহার করি এবং আমরা আশা করি যে এই মডেলটি শেষ পর্যন্ত ব্যবহৃত হবে।

কে ভাঁজ ক্রস মূল্যায়ন কে মডেলগুলি তৈরি করবে তবে সমস্ত বাদ দেওয়া হবে। কে মডেলগুলি কেবল মূল্যায়নের জন্য ব্যবহৃত হয়। এবং এটি কেবলমাত্র এই মডেলটি আপনার ডেটার সাথে কতটা ফিট।

উদাহরণস্বরূপ, আপনি লিনিয়ারেগ্রেশন আলগো চয়ন করেন এবং একই প্রশিক্ষণ সেটটিতে দুটি অপারেশন করেন: একটি 10 ​​ভাঁজ ক্রস বৈধতা সহ এবং অন্যটি 20 ভাঁজ সহ with রিগ্রেশন (বা শ্রেণিবদ্ধ) মডেলটি একই রকম হওয়া উচিত তবে ক্যারলেশন সহগ এবং রুটের আপেক্ষিক স্কোয়ার ত্রুটি আলাদা।

নীচে 10 টি ভাঁড়ার জন্য দুটি রান এবং ওয়েকার সাথে 20 গুণ ক্রস বৈধকরণ রয়েছে

10 ভাঁজ সহ 1 ম রান

=== Run information ===
Test mode:    10-fold cross-validation
...
=== Classifier model (full training set) ===


Linear Regression Model  <---- This model is the same

Date = 844769960.1903 * passenger_numbers -711510446549.7296

Time taken to build model: 0 seconds

=== Cross-validation ===  <---- Hereafter produced different metrics
=== Summary ===

Correlation coefficient                  0.9206
Mean absolute error                35151281151.9807
Root mean squared error            42707499176.2097
Relative absolute error                 37.0147 %
Root relative squared error             38.9596 %
Total Number of Instances              144     

20 ভাঁজ সহ দ্বিতীয় রান

=== Run information ===
...
Test mode:    20-fold cross-validation

=== Classifier model (full training set) ===


Linear Regression Model   <---- This model is the same

Date = 844769960.1903 * passenger_numbers -711510446549.7296

Time taken to build model: 0 seconds

=== Cross-validation ===  <---- Hereafter produced different metrics
=== Summary ===

Correlation coefficient                  0.9203
Mean absolute error                35093728104.8746
Root mean squared error            42790545071.8199
Relative absolute error                 36.9394 %
Root relative squared error             39.0096 %
Total Number of Instances              144     

Answer 5

আমি নিশ্চিত না যে উপরের আলোচনাটি পুরোপুরি সঠিক। ক্রস-বৈধকরণে, আমরা প্রতিটি রানের জন্য ডেটাগুলিকে প্রশিক্ষণ এবং পরীক্ষায় বিভক্ত করতে পারি। একমাত্র প্রশিক্ষণের ডেটা ব্যবহার করে, একটিকে মডেলের সাথে মানিয়ে নেওয়া এবং প্রতিটি শ্রেণীর মডেল বিবেচনা করাতে টিউনিং পরামিতিগুলি বেছে নেওয়া দরকার। উদাহরণস্বরূপ, নিউরাল নেটগুলিতে টিউনিং পরামিতিগুলি হ'ল নিউরনের সংখ্যা এবং অ্যাক্টিভেশন ফাংশনের পছন্দগুলি। এটি করার জন্য, একা কেবল প্রশিক্ষণ ডেটাতে ক্রস-বৈধতা দেয় ।

একবার প্রতিটি ক্লাসের সেরা মডেলটি পাওয়া গেলে, সেরা ফিট মডেলটি পরীক্ষার ডেটা ব্যবহার করে মূল্যায়ন করা হয়। "বহিরাগত" ক্রস-বৈধকরণ লুপটি পরীক্ষার ডেটা পারফরম্যান্সের আরও ভাল অনুমানের পাশাপাশি পরিবর্তনশীলতার উপর একটি অনুমান দেওয়ার জন্য ব্যবহার করা যেতে পারে। আলোচনার পরে বিভিন্ন ক্লাসের পরীক্ষার পারফরম্যান্সের তুলনা করা যেতে পারে বলে নিউরাল নেট বনাম এসভিএম। মডেলের আকার স্থির করে একটি মডেল শ্রেণি চয়ন করা হয় এবং এখন পুরো ডেটা সেরা মডেলটি শিখতে ব্যবহৃত হয়।

এখন, যদি আপনার মেশিন লার্নিং অ্যালগরিদমের অংশ হিসাবে আপনি ক্রমাগত সেরা মডেল শ্রেণিটি নির্বাচন করতে চান (প্রতি সপ্তাহে বলুন), তবে প্রশিক্ষণের ডেটাতেও এই পছন্দটি মূল্যায়ন করা দরকার! মডেল শ্রেণীর পছন্দ বিচার করার জন্য পরীক্ষার ডেটা পরিমাপ ব্যবহার করা যাবে না যদি এটি গতিশীল বিকল্প হয়।

Answer 6

কেন আমরা কে-ফোল্ড ক্রস বৈধতা ব্যবহার করব?

অদৃশ্য ডেটাতে কোনও পদ্ধতির দক্ষতা অনুমান করার জন্য ক্রস-বৈধকরণ একটি পদ্ধতি। ট্রেন-পরীক্ষা বিভাজন ব্যবহার করার মতো।

ক্রস-বৈধতা পদ্ধতিগতভাবে ডেটাসেটের একাধিক সাবসেটে একাধিক মডেল তৈরি এবং মূল্যায়ন করে। এটি, পরিবর্তে, কর্মক্ষমতা ব্যবস্থাগুলির একটি জনসংখ্যা সরবরাহ করে ।

• পদ্ধতিটি গড়ে গড়ে কতটা কার্য সম্পাদন করে তার একটি ধারণা পেতে আমরা এই ব্যবস্থাগুলির গড় গণনা করতে পারি ।
• পদ্ধতির দক্ষতা অনুশীলনে কতটা পৃথক হতে পারে বলে ধারণা পেতে আমরা এই ব্যবস্থাগুলির মানক বিচ্যুতি গণনা করতে পারি ।

আপনি কোন অ্যালগরিদম এবং ডেটা প্রস্তুতির পদ্ধতি ব্যবহার করবেন তা বেছে নেওয়ার চেষ্টা করার সময় এটি অন্য একটি পদ্ধতির আরও সংখ্যাসূচক তুলনা প্রদানের জন্যও সহায়ক।

এছাড়াও, এই তথ্যটি অমূল্য কারণ আপনি ব্যবহার করতে পারেন এবং ব্যবহারকে মেশিন লার্নিং পদ্ধতিতে প্রত্যাশিত পারফরম্যান্সের উপর অনুশীলনের একটি আস্থা অন্তর দিতে অনুশীলন করতে পারেন।

উল্লেখ