কে-ভাঁজ ক্রস-বৈধকরণে ভেরিয়েন্সের অনুমান

Question

কে-ভাঁজ ক্রস-বৈধকরণ প্রদত্ত শ্রেণিবদ্ধের সাধারণীকরণের সক্ষমতা অনুমান করতে ব্যবহার করা যেতে পারে। আমি কি (বা আমার উচিত) এর বৈকল্পিকতার আরও ভাল অনুমানের জন্য সমস্ত বৈধতা রানের থেকে পুলের বৈকল্পিকও গণনা করতে পারি?

তা না হলে কেন?

আমি এমন কাগজপত্র পেয়েছি যা ক্রস-বৈধকরণের জুড়ে পুলের মানক বিচ্যুতি ব্যবহার করে । বৈধতা বৈকল্পিকতার জন্য কোনও সার্বজনীন প্রাক্কলনকারী নেই বলে সুস্পষ্টভাবে উল্লেখ করে আমি কাগজপত্রগুলিও পেয়েছি । তবে, আমি সাধারণীকরণের ত্রুটির জন্য কিছু বৈকল্পিক অনুমানকারী কাগজগুলিও পেয়েছি (আমি এখনও এটি পড়ছি এবং এটি বোঝার চেষ্টা করছি)। বাস্তবে লোকেরা কী করে (বা রিপোর্ট) করে?

সম্পাদনা: সিভি যখন অশোধিত শ্রেণিবদ্ধকরণ ত্রুটি পরিমাপ করতে ব্যবহৃত হয় (উদাহরণস্বরূপ হয় কোনও নমুনা সঠিকভাবে লেবেলযুক্ত করা হয়েছে বা এটিতে নেই; যেমন সত্য বা মিথ্যা) তখন কোনও পুলের বৈকল্পিকতা সম্পর্কে কথা বলার কোনও মানে হবে না। যাইহোক, আমি সেই মামলার কথা বলছি যেখানে আমরা পরিসংখ্যানটি অনুমান করছি তার কোনও বৈকল্পিক সংজ্ঞা দেওয়া আছে। সুতরাং, প্রদত্ত ভাঁজটির জন্য, আমরা পরিসংখ্যানের মান এবং বৈকল্পিক অনুমান উভয় দিয়েই শেষ করতে পারি। এই তথ্যটি বাতিল করা এবং কেবল গড় পরিসংখ্যান বিবেচনা করা ঠিক হবে বলে মনে হয় না। এবং আমি যখন অবগত আছি আমি বুটস্ট্র্যাপ পদ্ধতি ব্যবহার করে একটি বৈকল্পিক প্রাক্কলন তৈরি করতে পারি, (যদি আমি খুব বেশি ভুল না হয়) তবে এটি করার পরেও ভাঁজগুলির বৈচিত্রগুলি উপেক্ষা করা হবে এবং কেবলমাত্র পরিসংখ্যানের অনুমানগুলি বিবেচনায় নেওয়া হবে (আরও বেশি সংখ্যার পাওয়ার শক্তি প্রয়োজন)।

Comments

আপনি দুটি সম্ভাব্য উপায় বিবেচনা করে বৈকল্পিকটি গণনা করেছেন যে তারা একে অপরের থেকে খুব আলাদা?

— zeferino

হ্যা, আমি করেছিলাম. কিছু পরীক্ষায় প্রশিক্ষণের নমুনাগুলির জন্য বৈকল্পিক এবং পুলযুক্ত বৈকল্পিকের মধ্যে প্রস্থের ক্রমটির একটি পরিবর্তন ঘটেছিল। বৈধতা নমুনার জন্য খুব একটা পার্থক্য ছিল না। বৃহত্তর পরিবর্তনগুলি কম সঠিক মডেলের সাথে যুক্ত বলে মনে হচ্ছে।

— সিজার

@ সিজার: দুর্দান্ত পর্যবেক্ষণ: আপনার মডেলগুলি খুব অস্থির (পুনরাবৃত্তির মধ্যে উচ্চতর বৈকল্পিক)। শ্রেণিবদ্ধকরণে (শ্রেণিবদ্ধ যদি অনুমানের চেয়ে খারাপ না হয়), অস্থির ভবিষ্যদ্বাণীগুলি ভুল পূর্বাভাসের দিকে পরিচালিত করে। এর জন্য একটি উদাহরণস্বরূপ চিন্তাধারা হ'ল সঠিক ভবিষ্যদ্বাণী থেকে বিচ্যুতি সবসময় "ভুল" দিকের দিকে থাকবে, এমন কোনও উচ্চতা নেই যা খুব কম দিয়ে বাতিল হবে।

— সিবেলাইটস মনিকে

@ ক্যাবেলাইটস: তখন কি কিছুটা প্রত্যাশা করা হবে না, যেহেতু বড় আকারের পরিবর্তনগুলি বেশিরভাগই মডেলগুলিতে উচ্চ ত্রুটির হার দেখায়? যাইহোক, আপনার উত্তরের সুন্দর আপডেট আমার এখনও এটি আরও মনোযোগ সহকারে পড়তে হবে তবে আমি ইতিমধ্যে খুব কৃতজ্ঞ। ধন্যবাদ।

— সিজার

@ সিজার: থেক্স নিশ্চিতভাবেই এটি প্রত্যাশিত, এটি বর্ণনা করার একটি কম চিত্রের উপায় যা অনুপাতের বৈকল্পিক সূত্র (আমার উত্তর দেখুন): সত্য ত্রুটির হার যত তীব্র হবে ততই তাত্পর্য কম, সর্বাধিক বৈকল্পিক ত্রুটি হারে = 50%।

— ক্যাবেলাইটস মনিকা

Answer 1

অত্যন্ত আকর্ষণীয় প্রশ্ন, আপনার দেওয়া কাগজপত্রগুলি আমাকে পড়তে হবে ... তবে সম্ভবত এটি আমাদের উত্তর দিয়ে শুরু করবে:

আমি সাধারণত এই সমস্যাটি খুব বাস্তববাদী উপায়ে মোকাবিলা করি: আমি কে-ফোল্ড ক্রস বৈধতাটিকে নতুন এলোমেলো বিভাজন দিয়ে পুনরায় করি এবং প্রতিটি পুনরাবৃত্তির জন্য যথারীতি পারফরম্যান্স গণনা করি। সামগ্রিক পরীক্ষার নমুনাগুলি প্রতিটি পুনরাবৃত্তির জন্য একই হয় এবং পার্থক্যগুলি ডেটার বিভিন্ন বিভাজন থেকে আসে।

$\frac{n}{k} - 1$

পার্শ্ব দ্রষ্টব্য: আমি যাইহোক সূত্রগুলির আকারের প্রয়োজন এমন সূত্রগুলি ব্যবহার করতে পারি না। যেহেতু আমার ডেটা কাঠামোতে গুচ্ছযুক্ত বা শ্রেণিবিন্যাসিক (একই ক্ষেত্রে অনেকগুলি অনুরূপ তবে পুনরাবৃত্ত পরিমাপ নয়, সাধারণত একই নমুনার বিভিন্ন [শতাধিক] বিভিন্ন অবস্থান) আমি কার্যকর নমুনার আকার জানি না।

বুটস্ট্র্যাপিংয়ের সাথে তুলনা:

• পুনরাবৃত্তিগুলি নতুন এলোমেলো বিভক্ত ব্যবহার করে।

• মূল পার্থক্যটি হ'ল (বুটস্ট্র্যাপ) বা (সিভি) প্রতিস্থাপন ছাড়াই পুনরায় মডেলিং।

• $\approx$

• কিছু পরিসংখ্যানগত বৈশিষ্ট্যের ক্ষেত্রে বুটস্ট্র্যাপের সিভি-র তুলনায় সুবিধা রয়েছে (অ্যাসিপটোটিক্যালি সঠিক, সম্ভবত একটি ভাল অনুমানের জন্য আপনার কম পুনরাবৃত্তি প্রয়োজন)

• যাইহোক, সিভি দিয়ে আপনার যে সুবিধাটি হ'ল এটি নিশ্চিত

  • সমস্ত মডেলের জন্য স্বতন্ত্র প্রশিক্ষণের নমুনাগুলির সংখ্যা একই (যদি আপনি শেখার বক্ররেখার গণনা করতে চান তবে গুরুত্বপূর্ণ)
  • প্রতিটি নমুনা প্রতিটি পুনরাবৃত্তিতে ঠিক একবার পরীক্ষা করা হয়

• কিছু শ্রেণিবদ্ধকরণ পদ্ধতি পুনরাবৃত্ত নমুনাগুলি বাতিল করে দেবে, সুতরাং বুটস্ট্র্যাপিং কোনও অর্থ দেয় না

পারফরম্যান্সের জন্য বৈচিত্র্য

সংক্ষিপ্ত উত্তর: হ্যাঁ, যেখানে কেবলমাত্র {0,1 s ফলাফল রয়েছে এমন পরিস্থিতিতে তারতম্যের কথা বলার অর্থ নেই।

দ্বিপদী বিতরণ দেখুন (কে = সাফল্য, এন = পরীক্ষা, পি = সাফল্যের সত্য সম্ভাবনা = গড় কে / এন):

$\sigma^2 (k) = np(1-p)$

$p$$\hat p$

• প্লাইস: হার এবং অনুপাতের জন্য পরিসংখ্যানগত পদ্ধতি
• ফোরথোফার এবং লি: বায়োস্টাটিক্সের একটি দুর্দান্ত ভূমিকা রয়েছে।

$\hat p = \frac{k}{n}$

$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

এর অর্থ হল শ্রেণিবদ্ধের পারফরম্যান্স পরিমাপের জন্য অনিশ্চয়তা কেবলমাত্র পরীক্ষিত মডেলের সত্যিকারের পারফরম্যান্স পি এবং পরীক্ষার নমুনার সংখ্যার উপর নির্ভর করে।

ক্রস বৈধতা আপনি অনুমান

1. আপনি "নমুনা" মডেল হিসাবে সাধারণভাবে সমস্ত নমুনা থেকে তৈরি করেন এমন "সত্যিকারের" মডেলের মতোই সত্যিকারের পারফরম্যান্সটি কে "সারোগেট" মডেলের রয়েছে। (এই অনুমানের ভাঙ্গন হ'ল সুপরিচিত হতাশাবাদী পক্ষপাত)।

2. যে কে "সারোগেট" মডেলগুলির একই সত্য পারফরম্যান্স রয়েছে (সমতুল্য, স্থিতিশীল ভবিষ্যদ্বাণী রয়েছে), তাই আপনাকে কে পরীক্ষার ফলাফলগুলি সজ্জিত করার অনুমতি দেওয়া হয়।
   অবশ্যই কেবলমাত্র সিভির এক পুনরাবৃত্তির কে "সারোগেট" মডেলগুলিই পোল করা যায় না তবে কে-ফোল্ড সিভিয়ের আই পুনরাবৃত্তির কি মডেলগুলিও পোল করা যায়।

পুনরাবৃত্তি কেন?

পুনরাবৃত্তি আপনাকে যে প্রধান জিনিসটি বলে তা হ'ল মডেল (ভবিষ্যদ্বাণী) অস্থিরতা, অর্থাত একই নমুনার জন্য বিভিন্ন মডেলের ভবিষ্যদ্বাণীগুলির বৈকল্পিকতা।

$\hat p$

এবং হ্যাঁ, এটি গুরুত্বপূর্ণ তথ্য।

$n_{bootstrap}$$k \cdot n_{iter.~cv}$$n - 1 \approx n$$\sigma^2 (\hat p) = \frac{p (1-p)}{n}$

$p$$k$$n$$\hat p$$n$

আপনি যদি মডেল অস্থিতিশীলতা পর্যবেক্ষণ করেন, পুলের গড়টি সত্য পারফরম্যান্সের আরও ভাল অনুমান। পুনরাবৃত্তির মধ্যে বৈকল্পিকতা একটি গুরুত্বপূর্ণ তথ্য এবং আপনি এটির পুনরাবৃত্তির উপরে যথাযথ পারফরম্যান্স গড় পারফরম্যান্সের সাথে আকার n এর একটি পরীক্ষার সেটটির জন্য প্রত্যাশিত ন্যূনতম বৈকল্পিকের সাথে তুলনা করতে পারেন।

Comments

আপনি বুটস্ট্র্যাপের মতো প্রতিস্থাপনের সাথে নতুন এলোমেলো বিভাজন নিয়ে পুনরাবৃত্তি করবেন? বা আপনি কে-ভাঁজ ক্রস-বৈধতা কয়েকবার পুনরাবৃত্তি করেন? এটি আকর্ষণীয়, কারণ এটি বুটস্ট্র্যাপের মতো বলে মনে হচ্ছে না তবে এটির মতো কাজ করতে পারে। তবে আপনি কতগুলি প্রতিলিপি সম্পাদন করেন? এটি খুব ব্যয়বহুল সহজেই পেতে পারে।

— সিজার

@ সিজার: এটি বুটস্ট্র্যাপের সাথে খুব মিল, প্রসারিত উত্তর দেখুন।

— ক্যাবেলাইটস মনিকে

সিভি কীভাবে প্রতিটি মডেলের জন্য "একই সংখ্যক স্বতন্ত্র প্রশিক্ষণের নমুনা" রেখে যায়, তবে বুটস্ট্র্যাপিং তা করে না? আমি অনুসরণ করি না, যেহেতু সিভি "রেপ্লিকেট ডেটা সেটগুলি" পর্যবেক্ষণের আলাদা সংমিশ্রণ - তারা সম্ভবত একই সংখ্যক স্বতন্ত্র পর্যবেক্ষণ কীভাবে সরবরাহ করতে পারে? সম্ভবত আপনি ধরে নিচ্ছেন যে প্রতিটি প্রশিক্ষণ মূল প্রশিক্ষণে আলাদা?

— সম্ভাব্যতাব্লোগিক

@ প্রোব্যাবিলিটিস্লোগিক: সিভি প্রতিলিপি ডেটা সেটগুলি মূল ডেটা সেটের চেয়ে ছোট । সুতরাং, এই জাতীয় বিভিন্ন প্রতিলিপি প্রতিস্থাপন ছাড়া পুনরায় মডেলিং এমনকি উত্পাদন করা যেতে পারে। প্রতিস্থাপনের সাথে পুনরায় মডেলিং আপনি একই রেকর্ডটি বেশ কয়েকবার আঁকতে পারেন। সুতরাং, অনন্য রেকর্ড সংখ্যা পৃথক হতে পারে। হ্যাঁ, আমি ধরে নিই যে মূল রেকর্ডগুলি আলাদা। অনেক অ্যাপ্লিকেশনগুলির জন্য পরিসংখ্যানগত স্বাতন্ত্র্য বজায় রাখার জন্য, তথ্যক্রমক্রমের সর্বোচ্চ স্তরে পুনর্নির্মাণ করা উচিত। (যেমন আমি প্রতিটি রোগীর জন্য শত সারি সহ রোগীর ডেটা নিয়ে কাজ করি =>

— রেজুমাল

$n$

Answer 2

মনে রাখবেন সিভি কেবল একটি অনুমান এবং 'আসল' জেনারালাইজেশন ত্রুটিটি কখনই উপস্থাপন করতে পারে না। আপনার নমুনা আকারের উপর নির্ভর করে (যা আপনার ভাঁজ বা ভাঁজের আকারের উপর প্রভাব ফেলবে) আপনি সাধারণীকরণ ত্রুটির বিতরণের কোনও পরামিতি অনুমান গণনা করার ক্ষমতাকে কঠোরভাবে সীমাবদ্ধ করতে পারেন। আমার মতে (এবং আমি এটি বিভিন্ন পাঠ্য বইয়ে 'সাপোর্ট ভেক্টর মেশিনস-লুটজ হ্যামেল সহ নলেজ ডিসকভারি'তে উদ্দিষ্ট দেখেছি) সাধারণকরণ ত্রুটির বন্টন অনুমান করার জন্য আপনি সিভিতে কিছু বুটস্ট্র্যাপিং বৈকল্পিক করতে পারেন, তবে একটি স্ট্যান্ডার্ড 10- 1 (উদাহরণস্বরূপ) একবার সিভি বন্ধ হয়ে গেলে আপনাকে সত্যিকারের জেনারেল-ত্রুটি সম্পর্কে তথ্য নির্ধারণের জন্য পর্যাপ্ত তথ্য পয়েন্ট দেয় না। বুটস্ট্র্যাপিংয়ের জন্য আপনার প্রশিক্ষণ / পরীক্ষা / ভাল থেকে কার্যকরভাবে একাধিক (1000 বা তাই বলুন) 10-1 (বা যাই হোক না কেন) সিভি পরীক্ষা করে প্রতিস্থাপনের সাথে একাধিক নমুনা নেওয়া দরকার। তারপরে আপনি সিভি ত্রুটির জনসংখ্যার গড়ের স্যাম্পলিং বিতরণের প্রাক্কলন হিসাবে প্রতিটি সিভি পরীক্ষার গড় গড় নমুনা বিতরণ করেন এবং এখান থেকে আপনি বিতরণযোগ্য প্যারামিটারগুলি অর্থাৎ গড়, মধ্যম, এসডি নূন্যতম কিউ 1 কিউ 3 ইত্যাদি অনুমান করতে পারেন ... এটি কিছুটা কাজ, এবং আমার মতে কেবলমাত্র যদি আপনার অ্যাপ্লিকেশনটি গুরুত্বপূর্ণ / অতিরিক্ত ঝুঁকিপূর্ণ অতিরিক্ত কাজের ওয়ারেন্টের পক্ষে ঝুঁকিপূর্ণ হয় তবেই প্রয়োজন। অর্থাত্ সম্ভবত এমন বিপণনের পরিবেশে যেখানে ব্যবসায় এলোমেলো চেয়ে ভাল হতে পারে তবে সম্ভবত প্রয়োজন হয় না। তবে আপনি যদি উচ্চ ঝুঁকির ওষুধগুলির জন্য রোগীর প্রতিক্রিয়ার মূল্যায়ন করার চেষ্টা করছেন বা বড় বিনিয়োগের জন্য আয়ের প্রত্যাশা পূর্বাভাস দিচ্ছেন তবে আপনি এটি চালিয়ে যাওয়াতে বুদ্ধিমান হতে পারেন।

Comments

এটি একটি অনুমান, তবে পরিসংখ্যানের কার্যত কোনও ব্যবহার সম্পর্কে তাই বলা যেতে পারে। তবে, যখন প্রতিটি ভাঁজটিতে ইতিমধ্যে বৈকল্পিক অনুমান রয়েছে, তখন এই তথ্যটি বাতিল করা সঠিক বলে মনে হয় না। আমি স্পষ্টতা দিয়ে প্রশ্ন আপডেট করেছি।

— সিজার

সম্ভবত আমি এটি পাচ্ছি না। আমি কেন সত্যিই বুঝতে পারছি না যে আপনি কেন একক ভাজের প্রকারের কারণে বেদনা দিচ্ছেন?

— স্পষ্টতা

আমি যে বিশেষ সমস্যার সাথে মোকাবিলার চেষ্টা করছি তার জন্য একটি একক 10-গুণ সিভি চালানো ঠিক কম নয়। আপনি ঠিক বলেছেন বুটস্ট্র্যাপের মতো প্রতিস্থাপনের সাথে একাধিক নমুনা নিয়ে আমি বৈকল্পিকটি অনুমান করতে পারি। তবে প্রচুর পরিমাণে সিভি নেওয়া, এমনকি কয়েকশো করে নেওয়া আমার ক্ষেত্রে খুব অবৈধ হতে পারে। আমি পৃথক ভাঁজ ভেরিয়েন্স অনুমান একত্রিত করার জন্য একটি উপায় (যদি সেখানে থাকে) সন্ধান করছি যাতে আমি কমপক্ষে বুটস্ট্র্যাপের প্রয়োজনীয় নমুনার সংখ্যা হ্রাস করতে পারি। এবং পাশাপাশি, কৌতূহল।

— সিজার

আহ ঠিক আছে. সম্ভবত তখন সামগ্রিক ভাঁজ গড় থেকে 10 ভাড়ার প্রত্যেকটির পরিবর্তনের পরিবর্তনের জন্য নমুনা বিতরণ থেকে নির্বাচিত একটি এলোমেলো পরিবর্তনশীল হবে ... (যা আমি মনে করি একটি চি বর্গ ডিস্ট বা এফ ডিস্ট)

— স্পষ্টতা

@ ক্ল্যান্সি: 10-1 দিয়ে আপনার কি বোঝানো হচ্ছে এন = 10 নমুনার জন্য একটি ছাড়-ও-আউট সিভি? মনে রাখবেন যে ছুটির জন্য এক-আউট পুনরাবৃত্তিগুলি কোনও অর্থবোধ করে না।

— সিবিলেটগুলি