কে-ফোল্ড সিভি সহ মূল (?) মডেল নির্বাচন

রিগ্রেশন মডেলগুলির মধ্যে নির্বাচন করতে কে-ফোল্ড সিভি ব্যবহার করার সময়, আমি সাধারণত প্রতিটি মডেলের সিভি ত্রুটি আলাদাভাবে তার স্ট্যান্ডার্ড ত্রুটি এসই সহ গণনা করি এবং আমি সর্বনিম্ন সিভি ত্রুটি সহ মডেলটির 1 এসি মধ্যে সর্বাধিকতম মডেল নির্বাচন করি (1 স্ট্যান্ডার্ড ত্রুটি বিধি, উদাহরণস্বরূপ এখানে দেখুন )। যাইহোক, আমাকে সম্প্রতি বলা হয়েছে যে এইভাবে আমি পরিবর্তনশীলতাটিকে অত্যধিক বিবেচনা করছি এবং এ এবং বি দুটি মডেলের মধ্যে নির্বাচন করার ক্ষেত্রে নির্দিষ্ট ক্ষেত্রে আমার সত্যিই অন্যভাবে এগিয়ে যাওয়া উচিত:

প্রতিটি ভাঁজ জন্য $K$ দৈর্ঘ্যের $N_K$ , দুটি মডেলের পূর্বাভাসের মধ্যে পয়েন্টওয়াইজ পার্থক্য গণনা করুন hen তারপরে ভাঁজের জন্য গড় বর্গক্ষেত্রের পার্থক্য গণনা করুন $এম এস {ডি}_{কে} = \sqrt{\frac{Σ_{আমি = 1}^{{এন}_{কে}} {({\hat{Y}}_{একজন আমি} - {\hat{Y}}_{বি আমি})}^{2}}{{এন}_{কে}}}$ $MSD_K=\sqrt{\frac{\sum_{i=1}^{N_K}\left(\hat{y}_{Ai}-\hat{y}_{Bi}\right)^2}{N_K}}$
গড় $MSD_K$ যথারীতি ভাঁজগুলি জুড়ে এবং সাধারণকরণের ত্রুটির জন্য অনুমানক হিসাবে এই সিভি পার্থক্য ত্রুটি (একসাথে এর আদর্শ ত্রুটি সহ) ব্যবহার করুন।

প্রশ্নাবলী:

এটি কি আপনার অর্থবোধ করে? আমি জানি যে সাধারণীকরণ ত্রুটির অনুমানক হিসাবে সিভি ত্রুটি ব্যবহারের পিছনে তাত্ত্বিক কারণ রয়েছে (আমি জানি না যে এই কারণগুলি কী, তবে আমি জানি যে তারা বিদ্যমান!)। এই "পার্থক্য" সিভি ত্রুটি ব্যবহারের পিছনে তাত্ত্বিক কারণ আছে কিনা আমার কোনও ধারণা নেই।
আমি জানি না যে এটি দুটিরও বেশি মডেলের তুলনাতে সাধারণীকরণ করা যায় কিনা। সমস্ত জোড়া মডেলের জন্য পার্থক্য গণনা ঝুঁকিপূর্ণ বলে মনে হচ্ছে (একাধিক তুলনা?): আপনি যদি দুটি মডেলের বেশি হন তবে আপনি কী করবেন?

সম্পাদনা: আমার সূত্রটি সম্পূর্ণ ভুল, এখানে সঠিক মেট্রিক বর্ণিত হয়েছে এবং এটি আরও জটিল। ভাল, আমি খুশি আমি অন্ধভাবে সূত্র প্রয়োগ করার আগে এখানে জিজ্ঞাসা করেছি! আমি @ বে কে তার আলোকিত উত্তর দিয়ে আমাকে বুঝতে সাহায্য করার জন্য ধন্যবাদ জানাই। বর্ণিত সঠিক পরিমাপটি বেশ পরীক্ষামূলক, তাই আমি আমার বিশ্বস্ত কাজের ঘোড়াতে আটকে থাকব, সিভি ত্রুটি!

regression cross-validation model-selection

— DeltaIV
সূত্র

দ্য $MSD_K$ জেনারালাইজেশন ত্রুটির একটি বিজোড় মাপ, যেহেতু হোল্ডআউট সেটটি ছবিতে আসে না। এগুলি আপনাকে জানাবে যে মডেলের ভবিষ্যদ্বাণী একে অপরের সাথে কীভাবে সম্পর্কযুক্ত তবে বাস্তবে পরীক্ষার তথ্য বিন্দুটি কতটা ভালভাবে ভবিষ্যদ্বাণী করে সে সম্পর্কে কিছুই নয়।

উদাহরণস্বরূপ, আমি ভবিষ্যদ্বাণীকের বোবা জোড় নিয়ে আসতে পারি:

{\hat{Y}}_{একজন} (এক্স, θ) = 1 + + \frac{⟨ এক্স, 1 ⟩}{θ}

$\hat y_A(\mathbf{x},\theta)= 1+\frac{\langle \mathbf{x},1\rangle}\theta$

{\hat{Y}}_{বি} (এক্স, θ) : = 1 + + \frac{⟨ এক্স, 1 ⟩}{θ^{2}}

$\hat y_B(\mathbf{x},\theta):= 1+\frac{\langle \mathbf{x},1\rangle}{\theta^2}$

এই ক্ষেত্রে, ক্রস বৈধকরণের উপর টিউন করা আমাকে সেট করতে বলত $\theta$ যেটি সম্ভবত ডাউন ড্রাইভ করবে তত বড় has $MSD_K$ , তবে আমি সন্দেহ করি যে এই মডেলগুলি ভাল ভবিষ্যদ্বাণীকারী হবে।

আমি লিঙ্কটি একবার দেখেছি, কিন্তু আমি আপনারটি দেখতে পেলাম না $MSD_K$ সেখানে পরিমাপ। অ্যান্ড্রু গেলম্যান একজন সম্মানিত পরিসংখ্যানবিদ, তাই আমি সন্দেহ করি যে তিনি উপরের মতো কিছু সমর্থন করেছিলেন, যা স্পষ্টতই সাধারণীকরণ ত্রুটির অনুমানকারী হিসাবে ব্যর্থ হয়। তার কাগজ এবং লিঙ্কটি লেভ ওয়ান আউট (এলইউ) ক্রস বৈধকরণের বিষয়ে আলোচনা করে, যার জন্য এখনও একটি পরীক্ষার ডেটা পয়েন্ট (যেমন, প্রশিক্ষণ থেকে আউট-আউট) সাথে মানদণ্ড হিসাবে তুলনা প্রয়োজন। দ্য $MSD_K$ খাঁটি "অভ্যন্তরীণ" খুঁজছেন মেট্রিক যা প্রত্যাশিত পরীক্ষার ত্রুটি সম্পর্কে আপনাকে কিছু বলবে না (কেবলমাত্র দুটি মডেলের ক্ষেত্রে একই ত্রুটি থাকতে পারে ...)।

ওপি মন্তব্যে প্রতিক্রিয়া

আপনার মন্তব্যে উপস্থাপিত সূত্রটির জন্য কিছুটা প্রসঙ্গ প্রয়োজন:

এটি যথাযথতার একটি বয়েসীয় পরিমাপ, এ এলপিডিতে প্রত্যাশিত লগ পয়েন্টওয়ালা ভবিষ্যদ্বাণী ঘনত্ব - বেশ মুখোমুখি , তবে মূলত, এটি পূর্ববর্তী ভবিষ্যদ্বাণীমূলক অধীনে প্রতিটি তথ্য বিন্দুতে মূল্যবান উত্তরোত্তর ঘনত্বের লগারিদমের প্রত্যাশিত মানগুলির যোগফল is ঘনত্ব যা ক্রস বৈধতা ব্যবহার করে অনুমান করা হয়।
উপরের পরিমাপ (এলপিডি) গণনা করা হয় লেভ ওয়ান ক্রস-বৈধতা ব্যবহার করে, যেখানে ভবিষ্যদ্বাণীমূলক ঘনত্ব বাদ দেওয়া বিন্দুতে নেওয়া হয়।
তাদের সূত্র (19) যা করছে তা হ'ল দুটি মডেলের মধ্যে ভবিষ্যদ্বাণীমূলক নির্ভুলতার (এলপিডি ব্যবহার করে মাপা) পার্থক্যের মানগত ত্রুটি গণনা করা হচ্ছে। ধারণাটি হ'ল এলপিডের পার্থক্যটি asympoticallly স্বাভাবিক, সুতরাং স্ট্যান্ডার্ড ত্রুটির অনুমানমূলক মর্মিনিগ (এবং অন্তর্নিহিত পার্থক্যটি শূন্য হয় কিনা তা পরীক্ষার জন্য ব্যবহার করা যেতে পারে), বা মডেল A এর মডেল বিয়ের তুলনায় একটি ছোট ভবিষ্যদ্বাণী ত্রুটি রয়েছে is

সুতরাং, এই পরিমাপের প্রচুর চলনকারী অংশ রয়েছে: উত্তর পরামিতি ঘনত্ব থেকে পয়েন্ট পেতে আপনার একটি এমসিএমসি স্যাম্পলিং অ্যালগরিদম চালানো দরকার। ভবিষ্যদ্বাণীপূর্ণ ঘনত্বগুলি পেতে আপনাকে এরপরে এটি সংহত করতে হবে। তারপরে আপনার এগুলির প্রত্যেকের প্রত্যাশিত মানগুলি নেওয়া উচিত (অনেকগুলি ড্রয়ের উপরে)। এটি বেশ প্রক্রিয়া, তবে শেষ পর্যন্ত এটি একটি কার্যকর স্ট্যান্ডার্ড ত্রুটি দেওয়ার কথা।

দ্রষ্টব্য: সমীকরণের নীচে তৃতীয় পূর্ণ অনুচ্ছেদে (১৯) লেখকরা বলেছেন যে মডেল তুলনার জন্য এই পদ্ধতিটি ভাল সম্পাদন করে কিনা তা নির্ধারণের জন্য আরও গবেষণা করা দরকার ... সুতরাং, এটি এখনও ভালভাবে পরীক্ষিত হয়নি (অত্যন্ত পরীক্ষামূলক)। সুতরাং, আপনি মূলত এই পদ্ধতির উপযোগিতার উপর নির্ভর করছেন যতক্ষণ না ফলো-আপ অধ্যয়নগুলি যাচাই করে এটি আরও ভাল মডেলটি নির্ভরযোগ্যভাবে চিহ্নিত করে না ( এলপিডির ক্ষেত্রে )।

আমি আপনার বক্তব্যটি পেয়েছি: স্পষ্টত আমি (সেইসাথে আমার সহকর্মী যিনি আমাকে কাগজের দিকে ইঙ্গিত করেছিলেন) এর কোনও কিছুই বুঝতে পারিনি। আপনি কী আমাকে গ্যালম্যান "তাদের [মডেল এ এবং বি] পার্থক্যের স্ট্যান্ডার্ড ত্রুটি" বলে যে শব্দটি বলতে পারেন তা বোঝাতে পারেন,

s e ({\hat{e l p d}}_{L O O}^{A} - {\hat{e l p d}}_{L O O}^{B})

$se(\widehat{elpd}_{LOO}^A-\widehat{elpd}_{LOO}^B)$ ? লিঙ্কযুক্ত কাগজের পৃষ্ঠা 18, সমান। 5.2। আপনি যদি এই পদটি গণনা করতে চান তবে একটি সাধারণ উদাহরণ প্রদান করতে পারলে এটি সত্যই সহায়তা করবে। আমি এখানে বুঝতে পারি না সেখানে অবশ্যই আছে।

— ডেল্টাভিও

@ দেলতাভ ঠিক আছে ... আমি রেফারেন্স করা অংশটি পরীক্ষা করে দেখব এবং আপনার জন্য সেই সূত্রটি আনপ্যাক করার চেষ্টা করব।

@ দেলতাভ ঠিক আছে, আমার পর্যালোচনা করার জন্য একটি পরিবর্তন এসেছে। আমি আমার পোস্টটি প্রসারিত করেছি। এটি দুটি পূর্বাভাস মডেলের তুলনা করার জন্য একটি খুব পরীক্ষামূলক (এবং যাচাই করা হয়নি) বলে মনে হচ্ছে। আপনি নিজের মন্টি কার্লো অধ্যয়নের মাধ্যমে এর সম্পাদনাটি যাচাই করতে না পারলে আমি এটি ব্যবহারে সতর্কতা অবলম্বন করব (যেমন, আপনি যখন সঠিক উত্তরটি জানেন তখন কী এটি আরও ভবিষ্যদ্বাণীপূর্ণ মডেল চয়ন করতে পারে?)