ভবিষ্যদ্বাণীপূর্ণ মডেলগুলি মূল্যায়নের জন্য বারবার ক্রস-বৈধকরণ ব্যবহার করা উচিত?


16

আমি গিটি ভ্যানউইনকঙ্কেলেন এবং হেন্ডরিক ব্লোকিলের এই 2012 সালের নিবন্ধটি জুড়ে বারবার ক্রস-বৈধকরণের ইউটিলিটি সম্পর্কে প্রশ্ন করেছি, যা ক্রস-বৈধকরণের বৈকল্পিকতা হ্রাস করার জন্য একটি জনপ্রিয় কৌশল হয়ে দাঁড়িয়েছে।

লেখকরা প্রমাণ করেছেন যে বারবার ক্রস-বৈধকরণ যখন মডেল পূর্বাভাসের বৈকল্পিকতা হ্রাস করে, যেহেতু একই নমুনা ডেটাসেটটি পুনরায় মডেল করা ক্রস-বৈধকরণের অনুমানের সত্যিকার ভবিষ্যদ্বাণীপূর্ণ নির্ভুলতার পক্ষপাতিত্বমূলক অনুমানকে রূপান্তর করে এবং তাই এটি কার্যকর নয়।

এই সীমাবদ্ধতা সত্ত্বেও বারবার ক্রস-বৈধতা ব্যবহার করা উচিত?


6
আমার অভিজ্ঞতায়, ক্রস-বৈধকরণ (পুনরাবৃত্তি বা না) ভবিষ্যদ্বাণীমূলক নির্ভুলতার খুব ভাল অনুমান দেয় না। কিন্তু এটা হয় বিভিন্ন মডেলের ভবিষ্যদ্বাণীপূর্ণ কর্মক্ষমতা তুলনা জন্য খুবই উপযোগী। এটি মডেলগুলির মধ্যে বেছে নেওয়ার একটি ভাল উপায় তবে একক মডেলের পারফরম্যান্স অনুমান করার ভাল উপায় নয়।
ফ্লাউন্ডারিয়ার

@ ফ্লাউন্ডারিয়ার এটি একটি ভাল বিষয়। নিবন্ধটির আমার ব্যাখ্যাটি হ'ল আমরা বারবার ক্রস-বৈধকরণ বনাম অ-পুনরাবৃত্ত ক্রস-বৈধকরণের ভিত্তিতে মডেলগুলির অর্থপূর্ণ তুলনা করতে পারি না। আপনি তথ্য থেকে অযৌক্তিক পরিমাণে তথ্য বের করার চেষ্টা করছেন। নাকি ভুল?
রবার্টএফ

উত্তর:


11

কাগজটি যে যুক্তিযুক্ত মনে হচ্ছে তা আমার কাছে অদ্ভুত বলে মনে হচ্ছে।

কাগজ অনুযায়ী, সিভি লক্ষ্য অনুমান হয় , নতুন ডেটা উপর মডেল প্রত্যাশিত ভবিষ্যদ্বাণীপূর্ণ কর্মক্ষমতা, প্রদত্ত যে মডেল পর্যবেক্ষিত ডেটা সেটটি উপর প্রশিক্ষণ নেন এস । আমরা যখন আচার k ধা সিভি, আমরা একটি অনুমান প্রাপ্ত একটি এই সংখ্যা। র্যান্ডম পার্টিশন কারণে এস মধ্যে ভাঁজ, এই একটি র্যান্ডম পরিবর্তনশীল একটি ~ ( ) সঙ্গে গড় μ এবং ভ্যারিয়েন্স σ 2 । বিপরীতে, এন -টাইম-পুনরাবৃত্তি সিভি একই অর্থের সাথে একটি অনুমান দেয়α2SkA^SkA^f(A)μkσk2n কিন্তু ছোট বৈকল্পিক σ 2 কে / এনμkσk2/n

স্পষ্টতই, । এই পক্ষপাতিত্ব আমাদের গ্রহণ করতে হবে।α2μk

তবে, প্রত্যাশিত ত্রুটি ছোট জন্য বড় হতে হবে এন , এবং বৃহত্তম হতে হবে এন = 1 অন্তত সম্পর্কে যুক্তিসংগত অনুমানের অধীনে, ( ) , যেমন যখন একটি ˙ ~ এন ( μ , σ 2 / এন ) । অন্য কথায়, পুনরাবৃত্তি সিভি μ কে আরও সুনির্দিষ্ট অনুমান পেতে দেয়E[|α2A^|2]nn=1f(A)A^˙N(μk,σk2/n)μkএবং এটি একটি ভাল জিনিস কারণ এটি এর আরও সুনির্দিষ্ট অনুমান দেয় ।α2

অতএব, পুনরাবৃত্তি সিভি অ-পুনরাবৃত্ত সিভির চেয়ে কঠোরভাবে আরও সুনির্দিষ্ট।

লেখকরা সে নিয়ে তর্ক করেন না! পরিবর্তে তারা দাবি করে, সিমুলেশনগুলির ভিত্তিতে, এটি that

[সিভি পুনরাবৃত্তি করে] বৈকল্পিকতা হ্রাস করা, অনেক ক্ষেত্রে খুব দরকারী নয় এবং মূলত গণনামূলক সংস্থার অপচয় হয়।

এর অর্থ হ'ল তাদের সিমুলেশনগুলিতে খুব কম ছিল; এবং প্রকৃতপক্ষে, তারা ব্যবহৃত সর্বনিম্ন নমুনার আকারটি 200 ছিল , যা সম্ভবত ছোট σ 2 কে তুলতে যথেষ্ট বড় । (অ-পুনরাবৃত্ত সিভি এবং 30 বার বার পুনরাবৃত্ত সিভি দিয়ে প্রাপ্ত অনুমানের পার্থক্য সর্বদা ছোট)σk2200σk2

ক্যাভেট: আত্মবিশ্বাসের ব্যবধান!

লেখকরা অন্য একটি বিষয় তৈরি করছেন তা হ'ল

আত্মবিশ্বাসের অন্তরগুলির প্রতিবেদন [বারবার ক্রস-বৈধকরণে] বিভ্রান্তিকর।

দেখে মনে হচ্ছে তারা সিভি পুনরাবৃত্তি জুড়ে গড়ের জন্য আত্মবিশ্বাসের ব্যবধানগুলি উল্লেখ করছেন। আমি সম্পূর্ণরূপে একমত যে এটি রিপোর্ট করা অর্থহীন জিনিস! যত বেশিবার সিভি পুনরাবৃত্তি হবে, এই সিআই তত ছোট হবে তবে আমাদের অনুমানের এর আশেপাশে কেউ সিআই-তে আগ্রহী নয় ! আমরা আমাদের অনুমান প্রায় সি আই যত্নশীল α 2μkα2

লেখকরা পুনরাবৃত্তি না হওয়া সিভি-র জন্য সিআই-র প্রতিবেদনও করেন এবং এই সিআইগুলি কীভাবে তৈরি করা হয়েছিল তা আমার কাছে পুরোপুরি পরিষ্কার নয়। আমার ধারণা, ভাঁজগুলি জুড়ে এইগুলি সিআইআই । আমি যুক্তি দিয়ে বলব যে এই সিআইগুলিও বেশ অর্থহীন!k

তাদের একটি উদাহরণ দেখুন: adultএনবি অ্যালগরিদম এবং 200 নমুনা আকারের সাথে ডেটাসেটের যথার্থতা ura তারা বারবার পুনর্বার সিভি সহ .0 72.০%, সিআই (.2২.২6, .৩.74)), -৯.০% (.2 77.২১, ৮০.79৯) সাথে 10 বার বার পুনরাবৃত্তি হওয়া সিভি এবং 30 বার বার পুনরাবৃত্ত সিভি সহ 79.1% (78.07, 80.13) পেয়েছে। এই সিআই এর সমস্ত প্রথমটি সহ অকেজো। এর সেরা অনুমান 79.1%। এটি 200 এর মধ্যে 158 সাফল্যের সাথে সমান। আমি যদি কিছু সিআইকে প্রতিবেদন করতে চাই, তবে এটিই আমি প্রতিবেদন করব।μk

আরও সাধারণ কভেট: সিভির বিভিন্নতা।

আপনি বারবার সিভি লিখেছেন

ক্রস-বৈধকরণের বৈকল্পিকতা হ্রাস করার জন্য একটি জনপ্রিয় কৌশল হয়ে উঠেছে।

সিভির "বৈকল্পিক" বলতে কোনটি বোঝায় তা খুব পরিষ্কার হওয়া উচিত। পুনরাবৃত্তি সিভি অনুমানের বৈকল্পিকতা হ্রাস করে । মনে রাখবেন যে লিভ-ওয়ান-আউট সিভি (LOOCV) এর ক্ষেত্রে, যখন কে = এন , এই বৈকল্পিকটি শূন্যের সমান। তবুও, প্রায়শই বলা হয় যে LOOCV আসলে সমস্ত সম্ভাব্য কে- ফোল্ড সিভিগুলির সর্বাধিক বৈকল্পিকতা রয়েছে । উদাহরণস্বরূপ এখানে দেখুন: ক্রস-বৈধকরণে বৈকল্পিকতা এবং পক্ষপাত: কেন ছাড়ুন-এক-আউট সিভির উচ্চতর বৈকল্পিকতা থাকে?μkk=Nk

কেন এমন? এর কারণ LOOCV একটি অনুমান হিসাবে সর্বোচ্চ ভ্যারিয়েন্স হয়েছে যা নতুন ডেটা মডেল প্রত্যাশিত ভবিষ্যদ্বাণীপূর্ণ কর্মক্ষমতা যখন হিসাবে একই আকারের একটি নতুন ডেটা সেটটি উপরে নির্মিত এস । এটি সম্পূর্ণ ভিন্ন বিষয়।α1S


1
আমি আশা করি @ কেবিলাইটরা এই থ্রেডটি লক্ষ্য করবে এবং এখানে মন্তব্য করবে বা তার নিজের উত্তরটি ছেড়ে দেবে: আমি জানি তিনি পুনরাবৃত্ত সিভি প্রচুর ব্যবহার করছেন (বা ছিলেন) এবং আমি মনে করি মডেলটির স্থিতিশীলতার কিছু পরিমাপ হিসাবে পুনরাবৃত্তিগুলির তুলনায় ভার্চুয়ালটি গণনা করার পক্ষে তিনি সমর্থন করেছেন। তবে আমি মনে করি না যে সে পুনরাবৃত্তি করার বিষয়ে একটি সিআই গুনবে।
অ্যামিবা বলছেন মনিকা পুনরায়

1
কাগজের পরিষ্কার ব্যাখ্যার জন্য ধন্যবাদ। সুতরাং আপনার অবস্থানের সংক্ষিপ্তসার হিসাবে, যখন আপনি উল্লেখ করেন "অন্য কথায়, পুনরাবৃত্তি সিভি আরও সুনির্দিষ্ট অনুমান করতে দেয় এবং এটি একটি ভাল বিষয় কারণ এটি বারবার সিভি ব্যবহারকে সমর্থন করে α 2 " এর আরও সুনির্দিষ্ট অনুমান দেয় মডেলগুলির তুলনায় prec কে আরও সুনির্দিষ্ট ব্যবস্থার সাথে তুলনা করার উপায় হিসাবে (এমনকি যদি α 2 এর আরও সঠিক পরিমাপ না হয় )। সিভি সিআই উপেক্ষা করুন এবং পরিবর্তে বিভিন্ন মডেলের জন্য গড় μ কে এর তুলনা করার দিকে মনোনিবেশ করুন । μkα2μkα2μk
রবার্টএফ

1
@ রবার্টএফ: আমি মডেলটির পারফরম্যান্স অনুমানের বিষয়ে (ভিএন্ডবি পেপার অনুসরণ করে) কথা বলছিলাম। আমার থিসিসটি হ'ল পুনরাবৃত্তি সিভি অ-পুনরাবৃত্ত সিভিয়ের চেয়ে আরও সুনির্দিষ্ট এবং আমি মনে করি এটি নিঃসন্দেহে (ভিঅ্যান্ডআর যুক্তি দিচ্ছে যে অনুশীলনে যথার্থতার পার্থক্য এতটা গুরুত্বপূর্ণ নয়)। দুটি মডেলের তুলনা করা আরও জটিল, কারণ ধরা যাক আপনি সিভি চালান এবং একটি মডেলের জন্য 70% এবং অন্য মডেলের জন্য 71% পান। এটি একটি "উল্লেখযোগ্য" পার্থক্য? ঠিক আছে, এটি একটি জটিল উত্তর একটি নির্দিষ্ট উত্তর ছাড়া। এবং এটি পুনরাবৃত্তি / অ-পুনরাবৃত্তি ইস্যু থেকে স্বতন্ত্র।
অ্যামিবা বলছেন মনিকা পুনরায়

চিন্তার জন্য খাদ্য: অ্যাপ্লিকেশনিক
মডেলিং.

1
σk
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.