কে-ফোল্ড সিভি পুনর্বার কতবার করা উচিত?


18

আমি এই থ্রেডটি জুড়ে এসে বুটস্ট্র্যাপিং এবং ক্রস বৈধতার মধ্যে পার্থক্যগুলি দেখেছি - দারুণ উত্তর এবং উপায়। আমি এখন যা ভাবছি তা হ'ল, যদি আমি কোনও শ্রেণিবদ্ধের যথার্থতা গণনা করার জন্য বারবার 10-ভাঁজ সিভি সঞ্চালন করি, তবে আমি কতবার n এর পুনরাবৃত্তি করব?

এন কি ভাঁজের সংখ্যার উপর নির্ভর করে? নমুনা আকারে? এর জন্য কি কোনও নিয়ম আছে?

(আমার ক্ষেত্রে, আমার কাছে 5000-এর মতো বড় নমুনা রয়েছে এবং আমি যদি এন = ২০ এর চেয়ে বড় কিছু বেছে নিই তবে আমার কম্পিউটার গণনা করতে অনেক সময় নেয়))

উত্তর:


10

প্রভাবক ফ্যাক্টর কিভাবে হয় আপনার মডেলটি স্থিতিশীল - বা আরও সুনির্দিষ্টভাবে: সারোগেটের পূর্বাভাস।

যদি মডেলগুলি পুরোপুরি স্থিতিশীল থাকে তবে সমস্ত সারোগেট মডেল একই পরীক্ষার ক্ষেত্রে একই পূর্বাভাস দেবে। সেক্ষেত্রে পুনরাবৃত্তি / পুনরাবৃত্তির প্রয়োজন হয় না এবং সেগুলি কোনও উন্নতি করে না।

আপনি যেমন ভবিষ্যদ্বাণীগুলির স্থায়িত্ব পরিমাপ করতে পারেন, আমি যা করব তা এখানে:

  • সম্পূর্ণ ক্রসটি এমনভাবে সেট আপ করুন যাতে প্রতিটি ক্রস বৈধতা পুনরাবৃত্তি / পুনরাবৃত্তি যেমন হার্ডডিস্কের ফলাফলগুলি সংরক্ষণ করে
  • প্রচুর পরিমাণে পুনরাবৃত্তি দিয়ে শুরু করুন
  • কয়েকটি পুনরাবৃত্তি হওয়ার পরে, প্রাথমিক ফলাফলগুলি আনুন এবং প্রতিটি রানের ফলাফলের স্থায়িত্ব / তারতম্যের দিকে একবার নজর রাখুন।
  • তারপরে সিদ্ধান্ত নিন যে আরও কতগুলি পুনরাবৃত্তি আপনি ফলাফলগুলি পরিমার্জন করতে চান।

  • অবশ্যই আপনি 5 টি পুনরাবৃত্তি চালানোর সিদ্ধান্ত নিতে পারেন এবং তারপরে আপনি করতে চান এমন চূড়ান্ত সংখ্যার বিষয়ে সিদ্ধান্ত নিতে পারেন।

(পার্শ্ব নোট: আমি সাধারণত> সিএ 1000 সারোগেট মডেল ব্যবহার করি, সুতরাং পুনরাবৃত্তি / পুনরাবৃত্তির সাধারণ সংখ্যা 100 - 125 এর কাছাকাছি হবে)।


13

কোনও পরিসংখ্যানবিদকে কোনও প্রশ্ন জিজ্ঞাসা করুন এবং তাদের উত্তরটি "এটি নির্ভর করে" এর কিছু ফর্ম হবে be

এটা নির্ভর করে । মডেলের ধরণ (ভাল পয়েন্ট ক্যাবলিট!) বাদে প্রশিক্ষণ সেট পয়েন্টের সংখ্যা এবং ভবিষ্যদ্বাণীকের সংখ্যা? যদি মডেলটি শ্রেণিবদ্ধকরণের জন্য হয় তবে একটি বৃহত শ্রেণির ভারসাম্যহীনতা আমাকে পুনরাবৃত্তির সংখ্যা বাড়িয়ে তুলবে। এছাড়াও, যদি আমি কোনও বৈশিষ্ট্য নির্বাচনের পদ্ধতিটি পুনঃনির্মাণ করি তবে আমি আরও প্রতিরোধের দিকে নিজেকে পক্ষপাত করব।

এই প্রসঙ্গে ব্যবহৃত পুনরায় মডেলিং পদ্ধতির জন্য মনে রাখবেন (শাস্ত্রীয় বুটস্ট্র্যাপিংয়ের বিপরীতে) আপনার বিতরণের গড়ের একটি "যথাযথ পর্যাপ্ত" অনুমান পেতে কেবল পর্যাপ্ত পুনরাবৃত্তি প্রয়োজন। এটি সাবজেক্টিভ তবে যে কোনও উত্তরই হবে।

এক সেকেন্ডের জন্য দুটি শ্রেণীর সাথে শ্রেণিবদ্ধকরণের সাথে আটকে থাকা, ধরুন আপনি আশা করেন / মডেলটির যথার্থতা প্রায় 0.80 হবে। যেহেতু পুনঃনির্মাণ প্রক্রিয়াটি নির্ভুলতার প্রাক্কলনটিকে নমুনা দিচ্ছে (বলুন p), sqrt[p*(1-p)]/sqrt(B)যেখানে স্ট্যান্ডার্ড ত্রুটি হবে সেখানে Bরেজাল্টের সংখ্যা। জন্য B = 10, সঠিকতার স্ট্যান্ডার্ড ত্রুটি প্রায় 0.13 এবং B = 100এটির সাথে প্রায় 0.04। আপনি এই নির্দিষ্ট ক্ষেত্রে একটি সূক্ষ্ম গাইড হিসাবে সূত্র ব্যবহার করতে পারেন।

এটিকেও বিবেচনা করুন, উদাহরণস্বরূপ, যথাযথতার বৈচিত্রটি আপনি 0.50 এর কাছাকাছি যতটা ঘনিষ্ঠ হন ততই সুনির্দিষ্ট মডেলের কম প্রতিরূপ হওয়া উচিত কারণ দুর্বল শিক্ষার্থীদের মডেলগুলির তুলনায় স্ট্যান্ডার্ড ত্রুটি কম হওয়া উচিত।

আছে HTH,

ম্যাক্স


2
আমি এখানে এই প্রসঙ্গে যে কোনও ধরণের স্ট্যান্ডার্ড ত্রুটি গণনার প্রয়োগ করতে অত্যন্ত সতর্ক থাকব, কারণ এখানে 2 বৈকল্পিক উত্স রয়েছে (মডেল অস্থিরতা + পরীক্ষার ক্ষেত্রে সীমাবদ্ধ সেট), এবং আমি মনে করি যে পুনর্নির্মাণ বৈধতা সীমাবদ্ধ পরীক্ষার কাছাকাছি পাবে না বৈকল্পিক সেট করুন: ক্রস বৈধতা বিবেচনা করুন। প্রতিটি দৌলে, সমস্ত পরীক্ষার কেস ঠিক একবার পরীক্ষা করা হয়। সুতরাং পুনরাবৃত্ত সিভি রানের মধ্যে বৈকল্পিকতা অস্থিরতার কারণে হতে হবে। সীমাবদ্ধ পরীক্ষার কারণে আপনি এই পরিবর্তনটি পর্যবেক্ষণ করবেন না বা হ্রাস করবেন না, তবে ফলাফলটি এখনও তার সাপেক্ষে।
ক্যাবেলাইটস মনিকা
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.