10-ভাঁজ ক্রস-বৈধকরণ বনাম ছুটি-এক-আউট ক্রস-বৈধকরণ

Question

আমি নেস্টেড ক্রস-বৈধতা করছি। আমি পড়েছি যে ছুটি-ওয়ান-আউট ক্রস-বৈধকরণ পক্ষপাতযুক্ত হতে পারে (কেন মনে নেই) remember

লেভ-ওয়ান-আউট ক্রস-বৈধকরণের জন্য আর রানটাইম বাদে 10-ভাঁড়ের ক্রস-বৈধকরণ বা লেভ-ওয়ান-আউট ক্রস-বৈধতা ব্যবহার করা কি ভাল?

Comments

আপনি কোথায় পড়েছেন মনে আছে?

— রিচার্ড হার্ডি

পক্ষপাতিত্ব সম্পর্কে আপনি এই পোস্টটি দেখেছেন ? এছাড়াও, এই উত্তরে খুব ভাল বইয়ের একটি উদ্ধৃতি রয়েছে যা 5-গুণ বা 10-ভাঁজ ক্রস বৈধকরণের প্রস্তাব দেয়।

— এরিক ফারং

এই পোস্টটি কিছুটা সম্পর্কিত।

— রিচার্ড হার্ডি

ধন্যবাদ. সুতরাং সর্বোপরি এটুকু বলা যেতে পারে যে আমার ছেড়ে যাওয়া ওয়ান-আউট সিভির পরিবর্তে 10-গুণ সিভি নিয়ে যাওয়া উচিত? এটি কি একটি ছোট ডেটাসেটের জন্য ধারণ করে?

— যন্ত্রপাতি 21

@ থমাস, যখন আপনার ডেটাসেটটি খুব ছোট হয়ে যায় আপনি প্রায় এলইউ-সিভি শেষ করেন তাই আপনার ডেটাসেটের আকার হ্রাস হওয়ার সাথে সাথে 10-গুণ সিভিয়ের সুবিধা হ্রাস পাবে।

— সিডেটারম্যান

Answer 1

@ শুভ্রেতিসুরাজের উত্তরটিতে সামান্য যোগ করতে (+1)

ক্রস-বৈধকরণ পারফরম্যান্সের একটি হতাশাবাদী পক্ষপাতমূলক অনুমান দেয় কারণ প্রশিক্ষণের সেটটি আরও বড় করা হলে বেশিরভাগ পরিসংখ্যানের মডেলগুলি উন্নতি করতে পারে। এর অর্থ হ'ল কে-ফোল্ড ক্রস-বৈধতা উপলব্ধ 100% না করে উপলব্ধ ডেটাসেট 100 * (কে -1) / কে% এর উপর প্রশিক্ষিত কোনও মডেলের কর্মক্ষমতা অনুমান করে। সুতরাং আপনি যদি পারফরম্যান্সের অনুমানের জন্য ক্রস-বৈধকরণ সম্পাদন করেন এবং তারপরে অপারেশনাল ব্যবহারের জন্য সমস্ত ডেটার উপর প্রশিক্ষিত একটি মডেল ব্যবহার করেন তবে এটি ক্রস-বৈধকরণের প্রাক্কলনের তুলনায় কিছুটা ভাল সম্পাদন করবে।

লেভ-ওয়ান-আউট ক্রস-বৈধকরণটি প্রায় পক্ষপাতহীন , কারণ প্রতিটি ভাগে ব্যবহৃত ট্রেনিং সেট এবং পুরো ডেটাসেটের মধ্যে আকারের পার্থক্য কেবলমাত্র একক প্যাটার্ন। লুন্তজ এবং ব্রিলভস্কি (রাশিয়ান ভাষায়) এর একটি প্রবন্ধ আছে।

লুন্টজ, আলেকসান্দ্র এবং ভিক্টর ব্রাইলভস্কি। "স্বীকৃতির পরিসংখ্যানগত পদ্ধতিতে প্রাপ্ত অক্ষরের অনুমানের ভিত্তিতে"। টেকিনিচেস্কায় কিবারনেটিকা ​​3.6 (1969): 6-12।

আরো দেখুন

বৈষম্যমূলক বিশ্লেষণে ত্রুটির হারের অনুমান পিটার এ। লাচেনব্রুচ এবং এম। রে মিকি টেকনোমেট্রিক্স খণ্ড Vol 10, ইস্যু। 1,1968

যাইহোক, যখন লিভ-ওয়ান-আউট ক্রস-বৈধকরণটি প্রায় পক্ষপাতহীন, তবে এটির উচ্চতর বৈকল্পিকতা থাকে (তাই আপনি যদি একই বিতরণ থেকে উপাত্তের বিভিন্ন প্রাথমিক নমুনাগুলির সাথে অনুমানটি পুনরাবৃত্তি করেন তবে আপনি খুব আলাদা অনুমান পাবেন)। যেমন হিসাবরক্ষকের ত্রুটিটি পক্ষপাত এবং বৈকল্পিকতার সংমিশ্রণ, তেমনি ছুটি-ওয়ান-আউট ক্রস-বৈধকরণ 10-গুণ ক্রস-বৈধকরণ উভয় পরিমাণের উপর নির্ভর করে better

এখন মডেলটিকে ফিট করার ক্ষেত্রে বৈকল্পিকতা বেশি থাকে যদি এটি একটি ছোট ডেটাসেটে লাগানো হয় (যেহেতু এটি ব্যবহৃত বিশেষ প্রশিক্ষণের নমুনায় কোনও শব্দ / নমুনা নিদর্শনগুলির প্রতি আরও সংবেদনশীল)। এর অর্থ হ'ল 10-ভাঁড়ের ক্রস-বৈধকরণের উচ্চতর বৈকল্পিকতা (পাশাপাশি উচ্চতর পক্ষপাত) হওয়ার সম্ভাবনা রয়েছে যদি আপনার কাছে কেবলমাত্র সীমিত পরিমাণের ডেটা থাকে, কারণ প্রশিক্ষণের সেটটির আকার LOOCV এর চেয়ে ছোট হবে। সুতরাং কে-ভাঁজ ক্রস-বৈধকরণেও বৈকল্পিক সমস্যা থাকতে পারে তবে ভিন্ন কারণে different এ কারণেই ডেটাসেটের আকার ছোট হলে LOOCV প্রায়শই ভাল হয়।

তবে, আমার মতে এলইউসিভি ব্যবহারের মূল কারণ হ'ল এটি কয়েকটি মডেলের (যেমন লিনিয়ার রিগ্রেশন, বেশিরভাগ কার্নেল পদ্ধতি, নিকটতম-প্রতিবেশী শ্রেণিবদ্ধ ইত্যাদি) জন্য গণনাগতভাবে কম ব্যয়বহুল এবং ডেটাসেটটি খুব ছোট না হলে আমি ব্যবহার করতাম 10-গুণ ক্রস-বৈধতা যদি এটি আমার গণনার বাজেটে ফিট হয় বা আরও ভাল, বুটস্ট্র্যাপের প্রাক্কলন এবং ব্যাগিং থাকে।

Comments

অস্পষ্ট 1969 রাশিয়ান রেফারেন্সের জন্য +1! আপনার কি LOOCV এর উচ্চতর বৈকল্পিকতা রাখার জন্য ভাল রেফারেন্স রয়েছে? এটি হস্তি এট আল-তে বর্ণিত হয়েছে তবে আমি নিশ্চিত নই যে আমি যুক্তির দ্বারা 100% নিশ্চিত এবং আমি অভিজ্ঞতাবাদী বিক্ষোভ (সিমুলেশন) দেখিনি।

— অ্যামিবা বলেছেন মনিকাকে

হ্যাঁ, আমি মনে করি না যদিও আমি এটির সাথে একমত হয়েছি, কারণ এটি ধরে নিয়েছে যে পরীক্ষার নমুনাগুলি মুছে ফেলার কারণে মডেলটি হস্তক্ষেপের অধীনে স্থিতিশীল, যা কেবলমাত্র যদি আপনার খুব বড় ডেটাসেট থাকে তবে সত্য হওয়া সম্ভব হবে (যেমন এটি কেবল অ্যাসেম্পোটোটিক্যালি সত্য, তবে আপনার যদি এত বেশি তথ্য থাকে তবে প্রায় কোনও বুদ্ধিমান পারফরম্যান্স মূল্যায়ন স্কিম আপনাকে একই ফল দেয়)।

— ডিকরান মার্শুপিয়াল

+1 (উভয় পোস্টের পাশাপাশি সর্বশেষ মন্তব্য - দুর্দান্ত কাগজ কিন্তু অন্ধ হওয়ার দরকার নেই (অন্য কোনও কাগজ হিসাবে))।

— usεr11852

@ ডিকরান এই বিষয়টি (সবচেয়ে বেশি বৈকল্পিকযুক্ত এলইউসিভি-এর) আবার একটি পৃথক এবং বেশ আকর্ষণীয় প্রশ্নে উঠে এসেছে: stats.stackexchange.com/questions/280665 , আপনি একবার দেখে নিতে পারেন।

— অ্যামিবা

এখানে আরেকটি সিমুলেশন stats.stackexchange.com/a/357749 দেখায় যে সিভি অনুমানকারীটির ভেরিয়েন্স ভাঁজের সংখ্যার সাথে হ্রাস পায় এবং LOOCV এর 10 (ভাঁজ) এর সমান (বা নিম্ন) রয়েছে। উপরের আমার মন্তব্যে লিঙ্কযুক্ত অন্য একটি সিমুলেশন আরেকটি উদাহরণ দেখিয়েছে যেখানে দিয়ে কমতে কমতে থাকে এবং এলইওসিভিতে সর্বনিম্ন ছিল। এতক্ষণে আমি এমন কোনও সিমুলেশনটি দেখতে সত্যিই কৌতূহল বোধ করি যেখানে ভাঁজের সংখ্যার সাথে বৈকল্পিকতা বৃদ্ধি পাবে। আমি বাস্তবে এটি ঘটতে পারে তার চেয়ে বরং সন্দেহজনক হতে শুরু করছি। $k$

— অ্যামিবা বলছেন মনিকাকে

Answer 2

আমার মতে, যখন আপনার ট্রেনিং ডেটার একটি ছোট সেট থাকে তখন একটি ছাড়ুন ক্রস বৈধকরণ is এই ক্ষেত্রে, আপনি মডেলটি প্রশিক্ষণের জন্য আপনার বাকী ডেটা ব্যবহার করার বিষয়ে ভবিষ্যদ্বাণী করতে 10 টি ভাঁজ করতে পারবেন না।

অন্যদিকে যদি আপনার কাছে প্রচুর পরিমাণে প্রশিক্ষণের ডেটা থাকে তবে 10-ভাঁড়ের ক্রস বৈধকরণ আরও ভাল বাজি হতে পারে, কারণ একটি ছাড়ার ক্রস-বৈধকরণের জন্য অনেকগুলি পুনরাবৃত্তি হবে এবং আপনার হাইপারপ্যারামিটারগুলির সাথে তাল মিলিয়ে এই অনেকগুলি ফলাফল বিবেচনা করতে পারে যেমন একটি ভাল ধারণা না।

আইএসএল এর মতে, সবসময়ই উইন্ডো ছাড়ুন এবং কে ফোল্ড ক্রস বৈধকরণের মধ্যে পক্ষপাত-বৈচিত্র্য বাণিজ্য বন্ধ রয়েছে off এলইউসিভিতে (একটি সিভি ছেড়ে দিন), আপনি নিম্ন পক্ষপাতের সাথে পরীক্ষার ত্রুটির অনুমান এবং উচ্চতর বৈকল্পিকতা পাবেন কারণ প্রতিটি প্রশিক্ষণ সেটটিতে এন -1 উদাহরণ রয়েছে, যার অর্থ আপনি প্রতিটি পুনরাবৃত্তিতে প্রায় পুরো প্রশিক্ষণ সেটটি ব্যবহার করছেন। এটি উচ্চতর বৈকল্পিকতার দিকেও নিয়ে যায়, কারণ প্রশিক্ষণের সেটগুলির মধ্যে প্রচুর ওভারল্যাপ থাকে এবং সুতরাং পরীক্ষার ত্রুটির অনুমানটি খুব বেশি পারস্পরিক সম্পর্কযুক্ত, যার অর্থ পরীক্ষার ত্রুটির অনুমানের গড় মানটি আরও বেশি হয়।

বিপরীতে কে-ফোল্ড সিভি দিয়ে সত্য, কারণ প্রশিক্ষণ সেটগুলির মধ্যে তুলনামূলকভাবে কম ওভারল্যাপ রয়েছে, সুতরাং পরীক্ষার ত্রুটির অনুমানটি কম পারস্পরিক সম্পর্কযুক্ত হয় যার ফলস্বরূপ গড় পরীক্ষার ত্রুটির মানটি LOOCV এর মতো তাত্পর্য রাখে না।