ক্রস বৈধকরণ এবং প্যারামিটার অপ্টিমাইজেশন


14

আমি যখন 10-গুণ ক্রস বৈধতা ব্যবহার করি তখন প্যারামিটার অপ্টিমাইজেশন সম্পর্কে আমার একটি প্রশ্ন রয়েছে।

আমি জিজ্ঞাসা করতে চাই যে প্রতিটি ভাঁজগুলির মডেল প্রশিক্ষণের সময় প্যারামিটারগুলি ঠিক করা উচিত বা না, অর্থাৎ (1) প্রতিটি ভাড়ার গড় যথার্থতার জন্য অনুকূলিত পরামিতিগুলির একটি সেট নির্বাচন করুন।

অথবা

(২) আমার প্রতিটি ভাঁজের জন্য অনুকূলিত প্যারামিটারটি খুঁজে পাওয়া উচিত এবং তারপরে প্রতিটি ভাঁজ তার মডেলটিকে প্রশিক্ষণ দিতে যথাক্রমে আলাদাভাবে অনুকূলিত পরামিতি ব্যবহার করে তারপরে যথাক্রমে ভাঁজের পরীক্ষার ডেটা পরীক্ষা করে, এবং পরিশেষে প্রতিটি ফলকের যথার্থতা গড়ে?

ক্রস বৈধতার জন্য কোনটি সঠিক পদ্ধতি? অনেক ধন্যবাদ.


এই প্রশ্নটি: stats.stackexchange.com/questions/1826/… এর দুটি দুর্দান্ত উত্তর (সর্বোচ্চ স্কোর) রয়েছে, আমি মনে করি তারা আপনাকে আপনার প্রশ্নে সহায়তা করতে পারে। দ্বিতীয়টি হ'ল যা আপনি চান। ওবিএস: আমি এটি একটি মন্তব্য হিসাবে লিখতে চাই, তবে আমি এটি করতে পারি না, তাই আমি এটি উত্তর দিয়েছি।
আগস্টো

উত্তর:


11

আসুন প্রথমে দুটি পরামিতিগুলির সেটগুলির মধ্যে পার্থক্য করি: মডেল প্যারামিটারগুলি (যেমন রিগ্রেশন বৈশিষ্ট্যের জন্য ওজন) এবং শেখার অ্যালগরিদম (এবং হাইপারপ্যারামিটার) এর পরামিতি। ক্রস-বৈধকরণের উদ্দেশ্য হ'ল শেখার প্যারামিটারগুলি শনাক্ত করা যা আমরা প্রতিটি ভাগে যে পরিমাণ জনসংখ্যার নমুনা শিখি তা ভাল করে তোলে।

আরও সুনির্দিষ্টভাবে: আমরা বিশ্বব্যাপী শিখার প্যারামিটারগুলির চেয়ে বেশি জায়গাগুলি অনুসন্ধান করি তবে প্রতিটি ভাড়ার মধ্যে আমরা শিখার প্যারামিটারগুলি ঠিক করি এবং মডেল পরামিতিগুলি শিখি। ফলাফলটি এমন পরামিতিগুলি শিখতে হবে যা সব ভাঁজে গড়ে সেরা পারফরম্যান্স দেয় produce এরপরে আমরা পুরো ডেটাসেটে কোনও মডেলকে প্রশিক্ষণের জন্য এটি ব্যবহার করতে পারি।


দুঃখিত, আমি যে ধরণের প্যারামিটারটিকে জিজ্ঞাসা করেছি তা হ্যাপারপ্রেমেটারগুলি যেমনটি আপনি বলেছেন।
কেভিন

যেমন libSVM এ প্যারামিটার গ এবং জি। সুতরাং, আমি উপরে উল্লিখিত (2) পদ্ধতি হিসাবে প্রতিটি ভাঁজের মডেলকে প্রশিক্ষণের জন্য একই সি এবং জি ব্যবহার করা উচিত তবে সেরাটি বেছে নেব? আপনাকে অনেক ধন্যবাদ.
কেভিন

2
উপরের (1) এবং (2) আমার কাছে পরিষ্কার ছিল না তাই আমি তাদের স্পষ্টভাবে উল্লেখ করিনি। ভাঁজগুলি জুড়ে যখন গড় গড়ে আপনার টাস্ক মেট্রিককে সর্বাধিক করে তোলে তখন আপনার সি & জি এর স্পেসটি সন্ধান করা উচিত। সুতরাং আপনি কিছু পরিমাণে সি & জি সেট করেছেন, সমস্ত ভাঁজগুলিতে প্রশিক্ষণ এবং পরীক্ষার পদ্ধতি চালান, সেগুলি গড় করুন, সেই স্কোরটি রাখুন, সি বা জি সংশোধন করুন এবং পুনরাবৃত্তি করুন। শেষ পর্যন্ত, আপনি সেরা সি & জি খুঁজে পান এবং আপনি আপনার সমস্ত ডেটাতে চূড়ান্ত মডেলটিকে প্রশিক্ষণ দিতে পারেন।
জোয়েল

আপনাকে অনেক ধন্যবাদ. আমি উত্তরগুলি সংক্ষিপ্ত করার চেষ্টা করি। ডেটাটি 10 ​​ভাগে বিভক্ত করা হয়েছিল: ভাঁজ -1: (ট্রেন 1, টেস্ট 1) ... ভাঁজ -10: (ট্রেন 10, টেস্ট 10) তারপরে ট্রেনের জন্য একটি (সি 1, জি 1) ব্যবহার করুন এবং ভাঁজ 1-এ ভাঁজ -10 এ পরীক্ষা করুন, গড় সব ভাঁজ যথার্থতা। একই প্রক্রিয়াটি করতে আরও একটি (সি 2, জি 2) চেষ্টা করুন ... আমি সেরা (সি, জি) না পাওয়া পর্যন্ত পুনরাবৃত্তি করুন। এবং সেরা (সি, ছ) এর গড় যথাযথতাটি আমার 10-গুণ ক্রস বৈধতার ফলাফল হবে।
কেভিন

1
সঠিক মনে হচ্ছে ...
জোয়েল

16

আমি মনে করি বর্তমানে গৃহীত উত্তরগুলি দুর্ভাগ্যজনক উপায়ে অসম্পূর্ণ। আমি বাক্যের সাথে একমত নই

ক্রস-বৈধকরণের উদ্দেশ্য হ'ল শেখার প্যারামিটারগুলি শনাক্ত করা যা আমরা প্রতিটি ভাগে যে পরিমাণ জনসংখ্যার নমুনা শিখি তা ভাল করে তোলে।

ক্রস বৈধকরণের পক্ষে এটি একটি অত্যন্ত গুরুত্বপূর্ণ অ্যাপ্লিকেশন, তবে কেবল এটিই নয়। সাধারণত, আপনি দুটি জিনিস করতে চান:

  1. আপনি পারেন সেরা মডেল তৈরি করুন
  2. এটি কতটা ভাল সম্পাদন করে তার একটি সঠিক ধারণা পান

এখন, অ্যালগরিদমের উপর নির্ভর করে আপনার উদ্দেশ্য 1 টি সম্পূর্ণ করার জন্য আপনাকে কিছু হাইপারপ্যারামিটার টিউন করতে হবে এবং এটি প্রায়শই ক্রস বৈধকরণের দ্বারা হয়ে থাকে। তবে এটি এখনও আপনাকে উদ্দেশ্য 2 নিয়ে সহায়তা করে না এটির জন্য আপনাকে মূলত ক্রস বৈধকরণটি নীড়ের প্রয়োজন, যেমন:

  • সম্পূর্ণ ডেটা এন ভাঁজে আলাদা করুন
  • প্রত্যেকের জন্য, প্রশিক্ষণ ডেটা আবার সাবফোল্ডগুলিতে পৃথক করুন s
  • ভাল হাইপারপ্যারামিটার শিখতে সাবফোল্ডগুলিতে ক্রস বৈধকরণ ব্যবহার করুন
  • এই হাইপারপ্যারামিটারগুলির সাহায্যে সেই ভাঁজের প্রশিক্ষণের ডেটাতে একটি মডেল তৈরি করুন
  • পরীক্ষার ডেটাতে মডেলটি পরীক্ষা করুন
  • পরবর্তী ভাঁজ পুনরাবৃত্তি

একটি ভাল মডেল তৈরি করতে আপনার কেবল অভ্যন্তরীণ ক্রস বৈধকরণ প্রয়োজন। একটি ভাল মডেল পেতে আপনার এখনও এটি করতে হবে। তবে আপনার মডেল পারফরম্যান্সের একটি ভাল অনুমান পেতে আপনাকে ক্রস বৈধকরণ স্কিমের মধ্যে মডেল বিল্ডিংয়ের পুরো প্রক্রিয়াটি সম্পাদন করতে হবে। এর মধ্যে অভিবাসন ইত্যাদির মতো পদক্ষেপও অন্তর্ভুক্ত রয়েছে etc.


1
এরিক, আপনি কীভাবে এই প্রক্রিয়াটি করবেন তার একটি রেফারেন্স সরবরাহ করতে পারেন?
চও

হাই @ এরিক, বিশ্লেষণের সাধারণ ক্রমটি হ'ল (1) ক্রস-বৈধকরণের সাথে সর্বোত্তম টিউনিং প্যারামিটারগুলি সন্ধান করুন, (২) মডেল প্যারামিটারগুলি পাওয়ার জন্য পুরো প্রশিক্ষণ ডেটাসেটে পুনরায় প্রশিক্ষণ মডেল (প্রাপ্ত টিউনিং প্যারামিটার সহ) এবং (3) ) নেস্টেড ক্রস-বৈধতা ব্যবহার করে এই পদ্ধতির সামগ্রিক পারফরম্যান্সের প্রাক্কলনটি দেখুন? আমি যা সম্পর্কে বিভ্রান্ত হই তা হ'ল নেস্টার সিভি প্রক্রিয়াতে বিভিন্ন হাইপারপ্যারামিটারগুলি বেছে নেওয়া যেতে পারে, তাই নীস্টভুক্ত সিভি বিশেষত হাইপারপ্যারমিটার / মডেল প্যারামিটারগুলির উপরের সামগ্রিক কার্যকারিতাটি অনুসন্ধান করবে না যা আমরা উপরে পেয়েছি?
মিশেল 10

1
কথোপকথনে আমি কিছুটা দেরি করেছি, তবে আমি এই পদ্ধতিটি উল্লেখ করতে চাই "নেস্টেড" বা "ডাবল ক্রস-বৈধতা" এবং টম ফের্নের
MD004
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.