ক্রস বৈধতা কখন ব্যবহার করবেন না?

আমি সাইটের মাধ্যমে পড়তে বেশিরভাগ উত্তরগুলি পরামর্শ দেয় যে মেশিন লার্নিং অ্যালগরিদমে ক্রস বৈধকরণ করা উচিত। যাইহোক যখন আমি "বোঝার মেশিন লার্নিং" বইটি পড়ছিলাম তখন দেখলাম একটি অনুশীলন রয়েছে যে কখনও কখনও ক্রস বৈধতা না ব্যবহার করা ভাল। আমি সত্যি বিভ্রান্ত. যখন পুরো ডেটাতে অ্যালগরিদমকে প্রশিক্ষণ দেওয়া হয় তখন ক্রস-বৈধতার চেয়ে ভাল হয়? এটি কি বাস্তব ডেটা-সেটে ঘটে?

যাক be k হাইপোথিসিস ক্লাস। ধরুন আপনি দেওয়া হয় IID উদাহরণ প্রশিক্ষণ এবং আপনি বর্গ শিখতে চাই । দুটি বিকল্প পন্থা বিবেচনা করুন: $H_1,...,H_k$ $m$ $H=\cup^k_{i=1}H_i$

জানুন উপর ERM নিয়ম ব্যবহার উদাহরণ $H$ $m$

আকারের একটি ট্রেনিং সেট মধ্যে মি উদাহরণ ভাগ এবং আকারের একটি বৈধতা সেট , কিছু জন্য । তারপরে, বৈধতা ব্যবহার করে মডেল নির্বাচনের পদ্ধতির প্রয়োগ করুন। অর্থাৎ ফাই প্রতিটি বর্গ প্রশিক্ষণ প্রথম উপর থেকে সম্মান সঙ্গে ERM নিয়ম ব্যবহার প্রশিক্ষণ উদাহরণ , আর দিন $(1−\alpha)m$ $\alpha m$ $\alpha\in(0,1)$ $H_i$ $(1−\alpha)m$ $H_i$ $\hat{h}_1,\ldots,\hat{h}_k$ ফলাফল অনুমান করা। দ্বিতীয়ত, ফাই নাইট বর্গ থেকে সম্মান সঙ্গে ERM নিয়ম প্রযোজ্য { } এ বৈধতা উদাহরণ। $\hat{h}_1,\ldots,\hat{h}_k$ $\alpha m$

দৃশ্যের বর্ণনা দিন যেখানে প্রথম পদ্ধতিটি দ্বিতীয় এবং তদ্বিপরীত থেকে ভাল।

কোয়ারেশন চিত্র ।

machine-learning self-study cross-validation

— SMA.D
সূত্র

এটি একটি আকর্ষণীয় অনুশীলন, তবে আমি লেবেলের সাথে একমত নই। আমি মনে করি ক্রস বৈধকরণ এখানে পুরোপুরি তার কাজ করছে। স্পর্শকাতর হিসাবে, আপনি যদি অনুশীলনটি টাইপ করেন এবং কোনও চিত্র সংযুক্তির বিপরীতে যেমনটি উল্লেখ করেন তবে এটি সত্যই পছন্দ হবে। দৃষ্টি প্রতিবন্ধী ব্যবহারকারীদের কাছে চিত্রটি অ্যাক্সেসযোগ্য।

— ম্যাথু

ক্রস-বৈধকরণ ব্যবহার করার একটি সম্ভাব্য অসুবিধা ওভার-ফিটিং হতে পারে (যেমন একটি ক্রস বৈধতা ছাড়ার ক্ষেত্রে)। মূলত, ক্রস বৈধকরণের কৌশলগুলি ব্যবহার করে আমরা মডেলটির পরামিতিগুলিকে বৈধতা ডেটা সেট (এবং পরীক্ষার ডেটাসেটে নয়) টিউন করি। কিন্তু কখনও কখনও, শ্রেণীবদ্ধকারী পরীক্ষা টেস্টে পরীক্ষা করা হয় তখন এই টিউনিংটি খুব বেশি পরিমাণে যেতে পারে over

— উপেন্দ্র প্রতাপ সিং

"সমতা" এর অর্থ এখানে কী?

— শ্যাডট্যালকার

@ শাদোটালকার আমার মনে হয় এর অর্থ

— সংক্ষেপণ

আপনি কি (পুনরাবৃত্তি) ক্রস-বৈধকরণ এবং বুটস্ট্র্যাপিংয়ের মধ্যে পার্থক্য রাখছেন?

— usεr11852

নিন-হোম-বার্তা:

সংক্ষিপ্তসারটি আপনাকে শেখানো উচিত যে এটি কখনও কখনও হয় (আপনার ক্ষেত্রের উপর নির্ভর করে: প্রায়শই বা এমনকি প্রায় সর্বদা) ডেটা-চালিত মডেল অপ্টিমাইজেশন / টিউনিং / নির্বাচন না করাই ভাল।
এমন পরিস্থিতি রয়েছে যেখানে বিভিন্ন বৈধতা বিকল্পগুলির মধ্যে ক্রস বৈধকরণ সর্বোত্তম পছন্দ নয় , তবে এই বিবেচনাগুলি এখানে আপনার সংক্ষিপ্তসার প্রসঙ্গে প্রাসঙ্গিক নয়।
এবং আপনার মডেলটি যাচাইকরণ (যাচাই করা, পরীক্ষা করা) কখনই ভাল পছন্দ নয়।

দুর্ভাগ্যক্রমে, আপনি যে পাঠ্যটি উদ্ধৃত করেছেন তাতে 1 এবং 2 পদ্ধতির মধ্যে দুটি জিনিস পরিবর্তিত হয়েছে:

পন্থা 2 ক্রস বৈধকরণ এবং ডেটা-চালিত মডেল নির্বাচন / সুরকরণ / অনুকূলিতকরণ সম্পাদন করে
পন্থা 1 ক্রস বৈধতা বা ডেটা-চালিত মডেল নির্বাচন / সুরকরণ / অপ্টিমাইজেশন ব্যবহার করে না।
এখানে আলোচিত প্রসঙ্গে ডেটা-চালিত মডেল নির্বাচন / টিউনিং / অপ্টিমাইজেশন ছাড়াই 3 ক্রস বৈধকরণ পুরোপুরি সম্ভবপর (amd IMHO আরও অন্তর্দৃষ্টি নিয়ে যাবে)
পদ্ধতির 4, কোনও ক্রস বৈধকরণ নয় তবে ডেটা-চালিত মডেল নির্বাচন / টিউনিং / অপ্টিমাইজেশন পাশাপাশি সম্ভব, তবে এটি আরও জটিল।

আইএমএইচও, ক্রস বৈধকরণ এবং ডেটা-চালিত অপ্টিমাইজেশন আপনার মডেলিং কৌশলটি সেট আপ করার ক্ষেত্রে সম্পূর্ণ দুটি পৃথক (এবং মূলত স্বতন্ত্র) সিদ্ধান্ত। শুধুমাত্র সংযোগ যে আপনার লক্ষ্য আপনার অপ্টিমাইজেশান জন্য কার্মিক যেমন ক্রস বৈধতা অনুমান ব্যবহার করতে পারেন। তবে ব্যবহারের জন্য প্রস্তুত অন্যান্য টার্গেট ক্রিয়াকলাপ রয়েছে এবং ক্রস বৈধতা অনুমানের অন্যান্য ব্যবহার রয়েছে (গুরুত্বপূর্ণভাবে, আপনি এগুলি আপনার মডেল যাচাই বাছাইয়ের জন্য ব্যবহার করতে পারেন, ওরফে বৈধতা বা পরীক্ষার জন্য)

দুর্ভাগ্যক্রমে, মেশিন লার্নিং টার্মিনোলজি হ'ল আইএমএইচও বর্তমানে একটি জগাখিচুড়ি যা এখানে মিথ্যা সংযোগ / কারণ / নির্ভরতার পরামর্শ দেয়।

যখন আপনি 3 পদ্ধতির সন্ধান করেন (ক্রস বৈধকরণ অপ্টিমাইজেশনের জন্য নয় তবে মডেল পারফরম্যান্স পরিমাপের জন্য), আপনি "সিদ্ধান্ত" ক্রস বৈধকরণ বনাম পুরো ডেটা সম্পর্কে প্রশিক্ষণ পাবেন এই প্রসঙ্গে একটি মিথ্যা দ্বিবিজ্ঞান হিসাবে সেট করুন: ক্রস বৈধতা ব্যবহার করার সময় শ্রেণিবদ্ধ কর্মক্ষমতা পরিমাপ করতে, যোগ্যতার ক্রস বৈধতা চিত্র পুরো ডেটা সেটে প্রশিক্ষিত কোনও মডেলের জন্য অনুমান হিসাবে ব্যবহৃত হয়। অর্থাত 3 পদ্ধতির সাথে 1 পদ্ধতির অন্তর্ভুক্ত রয়েছে।
এখন, আসুন ২ য় সিদ্ধান্তটি দেখুন: ডেটা-চালিত মডেল অপ্টিমাইজেশন বা না। এটি আইএমএইচও এখানে গুরুত্বপূর্ণ বিষয়। এবং হ্যাঁ, সেখানে বাস্তব জগতে পরিস্থিতিতে কোথায় আছেন তা না ডেটা চালিত মডেল অপ্টিমাইজেশান করছেন উত্তম। ডেটা-চালিত মডেল অপ্টিমাইজেশন একটি ব্যয় করে আসে। আপনি এটি এইভাবে ভাবতে পারেন: আপনার ডেটা সেটের তথ্যগুলি কেবলমাত্র না অনুমান করার জন্য ব্যবহৃত হয় $p$ মডেলটির পরামিতি / গুণফল, তবে অপ্টিমাইজেশন যা করে তা হ'ল তথাকথিত হাইপারপ্যারামিটারগুলি আরও পরামিতিগুলি অনুমান করে। আপনি যদি মডেল ফিটিং এবং অপ্টিমাইজেশন / টিউনিং প্রক্রিয়াটিকে মডেল পরামিতিগুলির অনুসন্ধান হিসাবে বর্ণনা করেন তবে এই হাইপারপ্যারামিটার অপ্টিমাইজেশনের অর্থ হল একটি বৃহত্তর অনুসন্ধানের স্থান বিবেচনা করা হয়। অন্য কথায়, পদ্ধতির 1 (এবং 3) এ আপনি সেই হাইপারপ্যারামিটারগুলি নির্দিষ্ট করে সন্ধানের জায়গাটিকে সীমাবদ্ধ করেন। আপনার বাস্তব বিশ্বের ডেটা সেটটি যথেষ্ট পরিমাণে যথেষ্ট (যথেষ্ট পরিমাণ তথ্য থাকতে পারে) সেই সীমাবদ্ধ অনুসন্ধানের জায়গার মধ্যে ফিট করার অনুমতি দিতে পারে তবে 2 (এবং 4) পদ্ধতির বৃহত অনুসন্ধান স্পেসে সমস্ত প্যারামিটারগুলি যথেষ্ট পরিমাণে ঠিক করতে যথেষ্ট বড় নয়।

আসলে, আমার ক্ষেত্রে আমার প্রায়শই ডেটা-চালিত অপ্টিমাইজেশনের কোনও চিন্তাভাবনা করার জন্য ডেটা সেটগুলির সাথে খুব সামান্য পরিমাণে ডিল করতে হয়। এর পরিবর্তে আমি কী করব: ডেটা এবং ডেটা তৈরির প্রক্রিয়াগুলি সম্পর্কে আমার ডোমেন জ্ঞানটি ব্যবহার করে কোন মডেলটি ডেটা এবং প্রয়োগের শারীরিক প্রকৃতির সাথে ভাল মেলে তা সিদ্ধান্ত নিতে decide এবং এগুলির মধ্যে, আমাকে এখনও আমার মডেল জটিলতা সীমাবদ্ধ করতে হবে।

— এসএক্সের সাথে অসন্তুষ্ট সিবিলেটগুলি
সূত্র

চমৎকার উত্তর. আমি একরকম আশা করি আপনি এই থ্রেডে অবদান রাখবেন। সুস্পষ্ট +1

— usεr11852

আপনার তথ্যবহুল এবং সহায়ক উত্তরের জন্য আপনাকে ধন্যবাদ। আপনার উত্তর থেকে আমি যা শিখেছি তা হ'ল আমরা যখন পদ্ধতিতে বৈধতার কারণে নয় বরং মডেল নির্বাচনের কারণে ছোট ডেটা সেট করি তখন আমরা পদ্ধতির 2 বেছে নিতে পারি। আমি কি সঠিক? ছোট ডেটার জন্য মডেল নির্বাচন ব্যবহার করে কি কোনওভাবেই আন্ডারফিটিং বাড়ে?

— SMA.D

আরেকটি প্রশ্ন হ'ল অনুশীলনে 1 ও 2 উভয় পদ্ধতির জন্য অনুমানের শ্রেণীর আকার একই রকম হয় কীভাবে অনুসন্ধানের স্থানটি 2 এর জন্য এই ক্ষেত্রে আরও বড় হয়?

— SMA.D

ঠিক আছে, যদি 2 এ পছন্দ হয় এবং 1 তে নয় তবে 2 এ অনুসন্ধানের স্থানটি আরও বড়। যদি 2 এ অনুসন্ধানের স্থানটি বৃহত্তর না হয় তবে 2 পদ্ধতির মধ্যে বেছে নেওয়ার মতো সত্যিকার অর্থে কিছুই নেই My "পদ্ধতির 2 কী বোঝায় তার আমার উত্তর এবং ব্যাখ্যা" বৈধতা ব্যবহার করে মডেল নির্বাচন "শব্দটি দ্বারা ট্রিগার হয়। যদি এখানে এখনও প্রশ্ন থাকা প্রশ্নটির আগে প্রসঙ্গটি "কখন ক্রস বৈধকরণ ব্যর্থ হয়" এর একটি অংশ থাকে, তবে বইটির অর্থ আমি উপরের 3 পদ্ধতিরটিকে কী বলেছি অর্থাত কোনও মডেল নির্বাচন জড়িত নয়। তবে সেক্ষেত্রে মডেল নির্বাচন শব্দটির সত্যই সেখানে হওয়া উচিত নয়। আমি কতটা সম্ভাব্য তা বিচার করতে পারছি না ...

— সিবিলেটরা

... যেমনটি আমি জানি না মডেল নির্বাচনের বিষয়ে বইটি কী বলে, না তাদের ERM বিধিটি কী (আমার শব্দভাণ্ডারে ERM এন্টারপ্রাইজ ঝুঁকি ব্যবস্থাপনায় প্রসারিত ...)। যাইহোক, আমার উত্তরটি মডেলিং অ্যালগরিদম নির্বিশেষে ধারণ করে।

— এসএক্স