নেস্টেড ক্রস-বৈধকরণ - প্রশিক্ষণ সেটের কেফোল্ড সিভি এর মাধ্যমে মডেল নির্বাচন থেকে এটি কীভাবে আলাদা?

Question

আমি প্রায়শই লোককে নেস্টেড ক্রস বৈধকরণের একটি বিশেষ ক্ষেত্রে হিসাবে 5x2 ক্রস-বৈধতা সম্পর্কে কথা বলতে দেখি ।

আমি ধরে নিলাম প্রথম সংখ্যাটি (এখানে: 5) অভ্যন্তরীণ লুপের ভাঁজগুলির সংখ্যা এবং দ্বিতীয় সংখ্যাটি (এখানে: 2) বাহ্যিক লুপের ভাঁজগুলির সংখ্যা বোঝায়? সুতরাং, এটি কীভাবে "traditionalতিহ্যবাহী" মডেল নির্বাচন এবং মূল্যায়নের পদ্ধতির থেকে আলাদা? "ট্র্যাডিশনাল" দ্বারা, আমি বলতে চাইছি

• ডেটাसेटকে আলাদা প্রশিক্ষণে ভাগ করুন (যেমন, 80%) এবং পরীক্ষার সেট
• ট্রেনিং সেটে হাইপারপ্যারামিটার টিউনিং এবং মডেল নির্বাচনের জন্য কে-ফোল্ড ক্রস-বৈধকরণ (যেমন, কে = 10) ব্যবহার করুন
• পরীক্ষার সেটটি ব্যবহার করে নির্বাচিত মডেলের সাধারণকরণের পারফরম্যান্সটি মূল্যায়ন করুন

পরীক্ষার এবং প্রশিক্ষণের সেটটির সমান আকার যদি কে = 2 থাকে তবে 5x2 ঠিক কি একই নয়?

Comments

আপনি সঠিক, এক্ষেত্রে এটি একই রকম, এটি 80/20 একের পরিবর্তে বাইরের লুপে 50/50 বিভক্ত ব্যবহার করে। সাধারণত, এটি সাধারণীকরণের পারফরম্যান্সের একটি আরও ভাল অনুমান দেয় এবং বিশেষত তুলনামূলকভাবে ছোট নমুনা আকারগুলির সাথে তার পছন্দ করা উচিত। আমার অভিজ্ঞতা থেকে, এমনকি নেস্টেড সিভির জন্যও, পারফরম্যান্সের অনুমানের পরিমাণ অনেক বেশি। সাধারণীকরণের পারফরম্যান্সের একটি ভাল অনুমানের জন্য প্রায়শই নেস্টেড সিভি একাধিকবার করা ভাল।

— জর্জ

ধন্যবাদ, বোধ হয়! তবে, ছোট প্রশিক্ষণের জন্য, আমি সম্ভবত অভ্যন্তরীণ এবং বাইরের লুপগুলিতে ভাঁজগুলির সংখ্যা বাড়িয়ে তুলব; বৈকল্পিকতা হ্রাস করতে পারে এবং

সাধারণভাবে, 5x2 নেস্টেড সিভি করার পরিবর্তে আমি সাধারণত কে = 5 বা 10 দিয়ে একটি (কে-1) এক্সকে সঞ্চালন করি, কয়েকটি নমুনার ক্ষেত্রে, ভাটির সংখ্যা বাড়ানোর পরিবর্তে আমি কে এর ছোট মানগুলিতে যাব ।

— জর্জ

আমি মনে করি সম্পূর্ণ ভুল হওয়ার চেয়ে আপনার পেছনের দিকটি ছিল, তবে গৃহীত উত্তরটি আমি যে উত্সটির সাথে উল্লেখ করছি তার সাথে দ্বিমত পোষণ করতে পারে। রাশকা দ্বারা পাইথন মেশিন লার্নিংয়ে তিনি একটি উল্লেখ করেছেন, "নির্দিষ্ট ধরণের নেস্টেড ক্রস-বৈধকরণ 5x2 ক্রস-বৈধতা হিসাবেও পরিচিত" " একটি অন্তর্ভুক্ত গ্রাফিক রয়েছে যাতে তিনি দেখান যে 2 হাইপার প্যারামিটার টিউনিংয়ের জন্য অভ্যন্তরীণ লুপকে বোঝায় এবং 5 টি নিরপেক্ষ মডেল পারফরম্যান্স অনুমানের জন্য বাইরের লুপকে বোঝায়। গ্রাফিকের একটি রঙিন অনুলিপি এখানে পরিস্থিতি 3 এর অধীনে পাওয়া যাবে: sebastianraschka.com/faq/docs/evaluate-a-model.html

— অস্টিন

Answer 1

5x2cv যতদূর আমি সাহিত্যে দেখেছি, সর্বদা 2 ভাজের 5 টি পুনরাবৃত্তি উল্লেখ করুন। মোটেই বাসা বাঁধছে না। একটি 2-ভাঁজ (ট্রেন এবং পরীক্ষার মধ্যে 50/50 বিভক্ত) করুন, আরও 4 বার পুনরাবৃত্তি করুন। 5x2cv কাগজ জনপ্রিয় করে আলগোরিদিম শেখার তত্ত্বাবধানে থাকা শ্রেণীবিন্যাস তুলনা জন্য আনুমানিক পরিসংখ্যান পরীক্ষা সাধারণীকরণ ত্রুটির কোন শুধুমাত্র একটি ভাল অনুমান কিন্তু একটি ভাল অনুমান পাওয়ার একটি উপায় হিসেবে ডাইটেরিচ দ্বারা ভ্যারিয়েন্স (ক্রম পরিসংখ্যানগত পরীক্ষা সঞ্চালন করার জন্য যে ত্রুটির )

Comments

ধন্যবাদ! আপনি কি জানেন যে লোকেরা সাধারণত কী করেন যদি অভ্যন্তরীণ লুপগুলি বিভিন্ন মডেল নির্বাচন করে, উদাহরণস্বরূপ, "সর্বোত্তম" নিয়মিতকরণ পরামিতি যদি একটি মডেল নির্বাচনের সময় ল্যাম্বডা = 100 এবং অন্যটির জন্য ল্যাম্বদা = 1000 হয়? এক্ষেত্রে গড় মডেল পারফরম্যান্স গণনা করা কিছুটা অদ্ভুত হবে, তাই না? আপনি কি "অস্থির" হিসাবে মডেলগুলি বাতিল করবেন?

অভ্যন্তরীণ লুপটি খুব সম্ভবত হাইপারপ্যারামিটারগুলির বিভিন্ন নির্বাচনের ফলাফল করবে। হাইপারপ্যারামিটারগুলি বেছে নেওয়ার জন্য আপনি নেস্টেড ক্রস-বৈধতা ব্যবহার করবেন না, কেবলমাত্র সাধারণীকরণের ত্রুটির (সম্ভাব্য সেরা হাইপারপ্যারামিটারগুলির সাথে) একটি ভাল অনুমান পেতে পারেন। নেস্টেড সিভি এক বা অন্য অ্যালগরিদমের মধ্যে সিদ্ধান্ত নিতে ব্যবহৃত হয়। দেখুন stats.stackexchange.com/questions/136296/... বা stats.stackexchange.com/questions/65128/... (অন্যদের মধ্যে)

— জ্যাক Wainer

ওহ, আমি দেখছি, এটি তখন পুরোপুরি উপলব্ধি করে! আমি ভেবেছিলাম লোকেরা এটি আলাদাভাবে ব্যবহার করছে। আমি মনে করি আমরা তখন প্রশ্নটি বন্ধ করতে পারি।

Answer 2

বাইরের লুপে 2 পুনরাবৃত্তির অর্থ আপনি পুরো ট্রেনের সেটটিতে 2 বার আপনার 5-গুণ সিভি পুনরাবৃত্তি করেন। ভাঁজগুলিতে প্রতিবারের মহকুমাটি আলাদা হবে।

এটি সাধারণত মডেলের পারফরম্যান্সের আরও ভাল অনুমানের জন্য ব্যবহৃত হয়, যেমন কোনও মডেল অন্যের চেয়ে পরিসংখ্যানগতভাবে-উল্লেখযোগ্যভাবে আরও ভাল পারফর্ম করে কিনা তা নিয়ে পরিসংখ্যানগত পরীক্ষা চালানো running

নেস্টেড সিভি সমালোচকভাবে গুরুত্বপূর্ণ নয় যদি আপনার ডেটা সেটটি বড় হয় এবং প্রকার ছাড়াই থাকে। যদি আপনার ডেটার আউটলাইয়ার থাকে তবে ক্রস বৈধকরণের চেয়ে এই আউটলিয়াররা কী ভাঁজ / ভাঁজ রয়েছে তার উপর নির্ভর করে পারফরম্যান্সের পারফরম্যান্স মারাত্মকভাবে আলাদা হতে পারে Therefore সুতরাং আপনি বেশ কয়েকবার সিভি পুনরাবৃত্তি করেন।

Comments

ভাল যুক্তি. Traditionalতিহ্যগত পদ্ধতির (প্রশিক্ষণ / ট্রেনের বিভাজন এবং তারপরে কে-ভাঁজ সিভি ট্রেনিং সেটে) আপনার কাছে কেবল মডেলটি মূল্যায়নের জন্য 1 ফোল্ড রয়েছে যেখানে 5x2 সিভিতে গড় পারফরম্যান্স 2 টি আলাদা ভাঁজ থেকে গণনা করা যায়।