অনুপাতের জন্য আস্থা অন্তর গণনা কিভাবে?

12

এমন একটি পরীক্ষা বিবেচনা করুন যা 0 এবং 1 এর মধ্যে একটি অনুপাতকে আউটপুট করে this এই অনুপাতটি কীভাবে প্রাপ্ত হয় তা এই প্রসঙ্গে প্রাসঙ্গিক হওয়া উচিত নয়। এটি এই প্রশ্নের পূর্ববর্তী সংস্করণে ব্যাখ্যা করা হয়েছিল , তবে মেটা নিয়ে আলোচনার পরে স্পষ্টতার জন্য সরানো হয়েছে । $X_i$

এই পরীক্ষাটি বার পুনরাবৃত্তি করা হয় , যখন ছোট হয় (প্রায় 3-10)। স্বাধীন ও অভিন্নরুপে বিতরণ করা অধিকৃত হয়। এগুলি থেকে আমরা গড় গণনা করে অনুমান করি , তবে কীভাবে সম্পর্কিত আত্মবিশ্বাসের ব্যবধান গণনা করব ? $n$ $n$ $X_i$ $\overline X$ $[U,V]$

আত্মবিশ্বাসের ব্যবধানগুলি গণনা করার জন্য মানক পদ্ধতির ব্যবহার করার সময়, মাঝে মাঝে ১ এর চেয়ে বড় হয় তবে যাইহোক, আমার স্বীকৃতিটি হ'ল সঠিক আত্মবিশ্বাসের ব্যবধান ... $V$

... 0 এবং 1 এর মধ্যে থাকা উচিত
... ক্রমবর্ধমান দিয়ে ছোট হওয়া উচিত $n$
... স্ট্যান্ডার্ড অ্যাপ্রোচ ব্যবহার করে গণনা করা একের ক্রম অনুসারে order
... একটি গাণিতিক শব্দ পদ্ধতি দ্বারা গণনা করা হয়

এগুলি পরম প্রয়োজনীয়তা নয়, তবে আমার অন্তর্দৃষ্টিটি কেন ভুল তা আমি কমপক্ষে বুঝতে চাই।

বিদ্যমান উত্তরের উপর ভিত্তি করে গণনা

নিম্নলিখিত ইন, বিদ্যমান উত্তর ফলে আস্থা অন্তর জন্য তুলনা করা হয় । $\{X_i\} = \{0.985,0.986,0.935,0.890,0.999\}$

স্ট্যান্ডার্ড অ্যাপ্রোচ (ওরফে "স্কুল ম্যাথ")

$\overline X = 0.959$ , , এভাবে 99% আত্মবিশ্বাসের ব্যবধান । এটি অন্তর্দৃষ্টি 1 এর বিরোধিতা করে। $\sigma^2 = 0.0204$ $[0.865,1.053]$

ক্রপিং (মন্তব্যগুলিতে @ সোসকলি দ্বারা প্রস্তাবিত)

কেবলমাত্র স্ট্যান্ডার্ড পদ্ধতির ব্যবহার করে এর পরে প্রদান করা সহজ। কিন্তু আমাদের কি তা করতে দেওয়া হচ্ছে? আমি এখনও নিশ্চিত নই যে নীচের সীমানাটি কেবল স্থির থাকে (-> ৪) $[0.865,1.000]$

লজিস্টিক রিগ্রেশন মডেল (@ রোজ হার্টম্যান প্রস্তাবিত)

রুপান্তরিত ডেটা: ফলে , এটা রূপান্তর ব্যাক ফলাফল । স্পষ্টতই, 90.৯০ হ'ল রূপান্তরিত তথ্যের জন্য একটি আউটলেটর, যখন ০.৯৯ অপরিবর্তিত তথ্যগুলির জন্য নয়, ফলে একটি আত্মবিশ্বাসের ব্যবধান খুব বড়। (-> ৩) $\{4.18,4.25,2.09,2.66,6.90\}$ $[0.173,7.87]$ $[0.543,0.999]$

দ্বিপদী অনুপাতের আত্মবিশ্বাসের বিরতি (@ টিম প্রস্তাবিত)

পদ্ধতির চেহারাটি বেশ ভাল দেখাচ্ছে, তবে দুর্ভাগ্যক্রমে এটি পরীক্ষার সাথে খাপ খায় না। @ জাহাভাকোর ফলাফল অনুসারে কেবল ফলাফলগুলি একত্রিত করে এবং এটি একটি বৃহত পুনরাবৃত্তি বার্নোল্লি পরীক্ষা হিসাবে ব্যাখ্যা করে:

$985+986+890+935+999 = 4795$ 999 = 4795 এর বাইরে মোট। এডজে এটিকে খাওয়ানো। ওয়াল্ড ক্যালকুলেটর দেয় । এটি বাস্তবসম্মত বলে মনে হয় না, কারণ কোনও একটি সেই বিরতির মধ্যে নেই! (-> ৩) $5*1000$ $[0.9511,0.9657]$ $X_i$

বুটস্ট্র্যাপিং (@ সাকলি প্রস্তাবিত)

সঙ্গে আমরা 3125 সম্ভব একাধিক বিন্যাসন আছে। টেকিং একাধিক বিন্যাসন মধ্যম মানে, আমরা পেতে । দেখতে খুব খারাপ লাগছে না , যদিও আমি আরও বড় ব্যবধান আশা করব (-> ৩)। যাইহোক, এটা নির্মাণ চেয়ে কখনো বৃহত্তর প্রতি । সুতরাং একটি ছোট নমুনার জন্য এটি (-> 2.) বাড়ানোর জন্য সঙ্কুচিত হওয়ার চেয়ে বৃদ্ধি পাবে । উপরে বর্ণিত নমুনাগুলির সাথে এটি হ'ল কমপক্ষে। $n=5$ $\frac{3093}{3125} = 0.99$ $[0.91,0.99]$ $[min(X_i),max(X_i)]$ $n$

confidence-interval

— koalo
সূত্র

আপনি আপনার দ্বিতীয় পদ্ধতির মধ্যে সঠিক। আমি প্রথমটি সম্পর্কে নিশ্চিত নই - এটি পরিসংখ্যানগত দিক থেকে পরিষ্কারভাবে বলা হয়নি। যতদূর আমি জানি, পুনরুত্পাদনযোগ্যতার অর্থ হ'ল একই পরীক্ষাটি ভিন্ন গবেষক দ্বারা সম্পাদিত হয় এবং তারা অনুরূপ ফলাফল পেয়ে থাকে। আপনি আপনার লক্ষ্যটি আরও স্পষ্টভাবে উল্লেখ করতে হবে, পছন্দ হিসাবে আপনি যে পরামিতিটি অনুমান করার চেষ্টা করছেন তা সম্পর্কিত একটি পরিসংখ্যান অনুমানের ক্ষেত্রে। "প্রজননযোগ্যতা" শব্দটি ব্যবহার করা আমার মতে খুব অস্পষ্ট।

— যাহাভা কোর

আপনি ঠিক বলেছেন, পুনরাবৃত্তিযোগ্যতা সঠিক শব্দটি এবং পুনরুত্পাদনযোগ্যতা নয়। আমি পরিসংখ্যানগত দিক থেকে একটি সংজ্ঞা নির্মাণ করার চেষ্টা করব।

— কোওলো

@ জাহাওয়াকোর আমি পুনরাবৃত্তিযোগ্যতা সম্পর্কে আমার অপ্রচলিত উদাহরণটি সরিয়েছি এবং আমার আসল প্রয়োগটি নির্দিষ্ট করে এই আশা করেছিলাম যে এটি আমার বিষয়টি স্পষ্ট করে এবং বিভ্রান্তি নয়।

— কোওলো

আপনি যদি সত্যই 1000 মাপের নমুনা নিচ্ছেন তবে আপনি পুনর্নির্মাণের পদ্ধতির সঠিকভাবে প্রয়োগ করেন নি। তবে সেই পরিমাণ তথ্যের সাথে আপনার পুনরায় মডেলিংয়ের দরকার নেই এবং স্ট্যান্ডার্ড দ্বিপদী পদ্ধতির সাথে ভাল ফলাফল পাওয়া উচিত (এটি হ'ল সংক্ষিপ্ত আত্মবিশ্বাসের ব্যবধান) যেমন আপনি উপরে পেয়েছেন। কেবলমাত্র আপনার স্বতন্ত্র ডেটা পয়েন্টগুলি ফলাফলের বিরতিতে নেই তার অর্থ এই বিরতিটি ভুল নয়।

— soakley

1

ঠিক আছে, এই সম্পর্কে চিন্তা করুন। আপনি 10 টি আইটেম নমুনা এবং 9 সাফল্য পেতে। আমি 1000 নমুনা এবং 900 সাফল্য পেতে। গড়টির আরও সঠিক অনুমান কার কাছে থাকবে? অন্তর্দৃষ্টি এখনও সেখানে না থাকলে টিম দ্বারা রেফারেন্স করা সূত্রটি ব্যবহার করার চেষ্টা করুন। সুতরাং আপনার প্রশ্নের শেষ উদাহরণে, নমুনার আকার 5 নয়, এটি 5000!

— soakley

6

প্রথমত, পরিষ্কার করার জন্য, আপনি যে বিষয়টি নিয়ে व्यवहार করছেন তা দ্বিপাক্ষিক বন্টন নয়, যেমন আপনার প্রশ্ন সূচিত করে (আপনি এটিকে বার্নোল্লি পরীক্ষা হিসাবে উল্লেখ করেছেন)। দ্বিপদী বিতরণ পৃথক --- ফলাফল হয় সাফল্য বা ব্যর্থতা। আপনার ফলাফলটি প্রতিবার আপনি যখন নিজের পরীক্ষা চালান তখন একটি অনুপাত , সাফল্য এবং ব্যর্থতার সেট নয় যা আপনি তার পরে একটি সংক্ষিপ্ত অনুপাত গণনা করেন। তার কারণে, দ্বিপদী অনুপাতের আত্মবিশ্বাসের ব্যবধান গণনা করার পদ্ধতিগুলি আপনার প্রচুর তথ্য ফেলে দেবে। এবং তবুও আপনি সঠিক যে এটিকে চিকিত্সা করা সমস্যাযুক্ত কারণ এটি সাধারণত বিতরণ করা হয় যেহেতু আপনি কোনও সিআই পেতে পারেন যা আপনার ভেরিয়েবলের সম্ভাব্য পরিসীমাটি ছাড়িয়ে যায়।

আমি লজিস্টিক রিগ্রেশন এর ক্ষেত্রে এটি সম্পর্কে চিন্তাভাবনা করার পরামর্শ দিই। ফলাফল হিসাবে এবং অনুমানকারী হিসাবে আপনার অনুপাতের পরিবর্তনশীল সহ একটি লজিস্টিক রিগ্রেশন মডেল চালান। ইন্টারসেপ্ট এবং এর সিআই আপনাকে লগতে আপনার যা প্রয়োজন তা আপনাকে দেবে এবং তারপরে আপনি এটিকে আবার অনুপাতে রূপান্তর করতে পারেন। আপনি নিজে কেবল লজিস্টিক রূপান্তর করতে পারেন, সিআই গণনা করুন এবং তারপরে মূল স্কেলে ফিরে রূপান্তর করতে পারেন। আমার অজগরটি ভয়ানক, তবে আপনি কীভাবে আর তে এটি করতে পারেন তা এখানে:

set.seed(24601)
data <- rbeta(100, 10, 3)
hist(data)

data_logits <- log(data/(1-data)) 
hist(data_logits)

# calculate CI for the transformed data
mean_logits <- mean(data_logits)
sd <- sd(data_logits)
n <- length(data_logits)
crit_t99 <- qt(.995, df = n-1) # for a CI99
ci_lo_logits <- mean_logits - crit_t * sd/sqrt(n)
ci_hi_logits <- mean_logits + crit_t * sd/sqrt(n)

# convert back to ratio
mean <- exp(mean_logits)/(1 + exp(mean_logits))
ci_lo <- exp(ci_lo_logits)/(1 + exp(ci_lo_logits))
ci_hi <- exp(ci_hi_logits)/(1 + exp(ci_hi_logits))

এই ডেটাগুলির জন্য 99% সিআই এর নিম্ন এবং উচ্চতর সীমানা এখানে রয়েছে:

> ci_lo
[1] 0.7738327
> ci_hi
[1] 0.8207924

— গোলাপ হার্টম্যান
সূত্র

এটি একটি দুর্দান্ত পদ্ধতির মতো শোনাচ্ছে, তবে ফলাফলগুলি স্বজ্ঞাতভাবে আমি প্রত্যাশা করব না: 0.99,0.94,0.94 এর জন্য ডেটা_লগইটগুলি [-2.73,9.47] এর একটি আত্মবিশ্বাসের ব্যবধান প্রদান করে 4.59,2.75,2,75 হয়। এই পিছনে রূপান্তরকরণ [0.01,0.999] দেয় - যা আমি আশা করি তার থেকে অনেক বড়।

— কোওলো

1

মাত্র তিনটি পর্যবেক্ষণের জন্য আপনার খুব বড় আত্মবিশ্বাসের ব্যবধানটি আশা করা উচিত। আপনার হিস্টোগ্রাম থেকে দেখে মনে হচ্ছে আপনার তিনটিরও বেশি পর্যবেক্ষণ রয়েছে --- আমি আপনার উদাহরণটি 0.99,0.94,0.94 সহ ধরে নিলাম কেবল চিত্রিত করার জন্য। যদি আপনার আসল নমুনার আকার তিনটি হয় তবে আমি আত্মবিশ্বাসের অন্তরগুলি মোটেই গণনা করার পরামর্শ দিই না (বা তার অর্থ, এই বিষয়টির জন্য)।

— রোজ হার্টম্যান

আমার সমস্যাটি বর্ণনা করার জন্য উপরের হিস্টগ্রামটি পাইথন লিপি থেকে এসেছে। বাস্তব-জগতের পরীক্ষা থেকে আমি এগুলি পরিমাপ করতে পারছি না। কমপক্ষে প্রতিটি প্যারামিটারের সংমিশ্রণের জন্য নয়। আমি সম্মত হই যে 3 টি খুব ছোট হতে পারে এবং চূড়ান্ত মূল্যায়নে প্রায় 10 টি সম্ভব হতে পারে তবে অবশ্যই বেশি কিছু নয়। সুতরাং আমি কী করতে পারি তা প্রমাণ করার জন্য যে আমি একক পরিমাপ পাওয়ার জন্য কেবল ভাগ্যবান নই, তবে পরীক্ষার পুনরাবৃত্তি করা সম্পূর্ণ আলাদা ফলাফল দেয় না?

— কোওলো

@ রোজ হার্টম্যান এটি একটি দুর্দান্ত পরিষ্কার বিবরণ তবে প্রশ্নটিতে আপনার পদ্ধতিটি ডেটার নমুনাতে (এন = 5) প্রয়োগ করা ভাল লাগবে।

— প্রধানমন্ত্রী

কোস্কো উদাহরণ তথ্য সরবরাহ করার আগে @ স্কিটমেহটাম আমি আমার উত্তর লিখেছিলাম এবং স্পষ্ট করে দিয়েছিলাম যে নমুনার আকারটি 10 বা তার চেয়ে কম পর্যবেক্ষণ হবে। কোয়ালো তখন থেকে প্রতিটি উত্তর পদ্ধতির কাজের উদাহরণগুলি এন = 5 ডেটার সাথে খুব সহায়কভাবে অন্তর্ভুক্ত করতে মূল প্রশ্নটি আপডেট করেছে।

— গোলাপ হার্টম্যান

3

আপনি পুনরায় মডেলিং / বুটস্ট্র্যাপিং চেষ্টা করতে চাইতে পারেন। আসুন আপনি উল্লিখিত সাধারণ কেসটি দেখুন।

০.৯৯, ০.৯৯ এবং ০.৯৪ এর তিনটি ডাটা পয়েন্ট সহ আপনি পুনরায় মডেলিং করতে পারবেন না কারণ আপনি কেবলমাত্র সমস্ত 27 সম্ভাব্য ক্রমবিধি তালিকাভুক্ত করতে পারবেন, প্রতিটি ক্ষেত্রে এর অর্থ খুঁজে বের করতে পারেন এবং তারপরে উপায়গুলি বাছাই করতে পারেন।

আপনি যদি তালিকাটি তৈরি করেন এবং মাঝারি 25 টি পর্যবেক্ষণগুলি গ্রহণ করেন তবে আপনার কাছে [0.9400, 0.9733] এর 25/27 92.6% আস্থার ব্যবধান রয়েছে। আপনি যদি আত্মবিশ্বাস 26/27 96.3% এ বাড়িয়ে দিতে চান তবে আপনার অন্তরগুলির দুটি একতরফা পছন্দ রয়েছে। হয় [0.9400, 0.9733] বা [0.94, 0.99]। $25/27=$ $26/27=$

আমি ধরে নিলাম আপনার 3 এর চেয়ে অনেক বেশি হবে, সুতরাং আপনি প্রতিস্থাপনের সাথে পুনরায় নমুনা পাবেন। বলুন আপনি এটি 1000 বার করেছেন। তারপরে প্রতিটি ক্ষেত্রে মাধ্যমটি সন্ধান করুন। 1000 এর সেট থেকে মধ্যবর্তী 950 মানটি নিন। এই সাবসেটের সর্বনিম্ন এবং সর্বাধিক মানগুলি 95% আত্মবিশ্বাসের ব্যবধান গঠন করে। $n$

এখানে প্রশ্ন: আমরা কীভাবে কোনও পারমিটেশন পরীক্ষার প্যারামিটারের জন্য একটি আত্মবিশ্বাসের ব্যবধান তৈরি করব? কিছু আর কোড সহ আরও বিশদ দেয়।

— soakley
সূত্র

অন্য মন্তব্যে যেমন লেখা আছে, এন "3 এর চেয়ে বেশি" হবে না তবে প্রয়োজনে এন = 10 সম্ভব। যদিও এই পদ্ধতির গ্যারান্টি দেয় যে আমার আত্মবিশ্বাসের ব্যবধানটি ১.০ ছাড়িয়ে যাবে না, এটি অন্যান্য পদ্ধতির দ্বারা দেওয়া আস্থার ব্যবধানকে যথেষ্ট কম বলে মনে হচ্ছে। আসলে, এটি কখনই [মিনিট, সর্বাধিক] ব্যবধানের চেয়ে বড় হবে না।

— কোওলো

আপনি কত ঘন ঘন গড়টি [মিনিট, সর্বাধিক] এর বাইরে হবে বলে মনে করেন?

— soakley

সম্ভবত খুব কমই, তবে এর অর্থ কি এই যে যদি আমার দাবিকে সমর্থন করার পক্ষে [ন্যূনতম, সর্বাধিক] ব্যবধানটি খুব কম হয় তবে আমি আত্মবিশ্বাসের ব্যবধানটি ভুলে যেতে পারি এবং [মিনিট, সর্বোচ্চ] সরবরাহ করতে পারি? আমার অভিজ্ঞতায়, ছোট নমুনা আকারগুলির জন্য, [কমপক্ষে, সর্বাধিক] তুলনায় আত্মবিশ্বাসের ব্যবধানটি বড় large

— কোওলো

2

দ্বিপদী আত্মবিশ্বাসের ব্যবধানগুলি দীর্ঘকাল ধরে পরিসংখ্যানবিদদের বিতর্কের বিষয় হয়ে দাঁড়িয়েছে। আপনার সমস্যাটি 100% এরও কম অনুপাত বিবেচনা করে তবে আমরা যদি 100% ব্যবহার করি তবে এটি আরও বেশি সমস্যাযুক্ত হয়ে ওঠে। প্রশ্ন জিজ্ঞাসার একটি অন্তর্দৃষ্টিপূর্ণ উপায়:

গত ২,০০০ বছর ধরে প্রতিদিন সূর্যের ব্যর্থতা ছাড়াই বেড়েছে, আগামীকালই ওঠার সম্ভাবনা কত?

এ জাতীয় উচ্চ সাফল্যের হারের সাথে আমরা মনে করি সম্ভাবনাগুলি বেশ উচ্চতর, তবে আমরা 100% নিশ্চিত হতে পারি না (মহাবিশ্বটি প্রথমে বিস্ফোরণ হতে পারে বা কোনও কিছু)। সুতরাং, আপনার যদি 100% অনুপাত থাকে, তবে আমরা আত্মবিশ্বাসের ব্যবধানটিকে এ হ্রাস করতে পারি না । $p=1$

এই লেজগুলি গণনা করার জন্য অনেকগুলি পদ্ধতি রয়েছে। আমি গণিতের জন্য উইকিপিডিয়া যাচাই করার পরামর্শ দেব বা যদি আপনি কেবল উত্তর চান তবে এই জাতীয় দ্বিপদী ব্যবধান ক্যালকুলেটরটি অনুসন্ধান করুন (যার পিছনে গণিতটির আরও কিছু ব্যাখ্যা রয়েছে)।

— টিম
সূত্র

এটি আমি যা খুঁজছি তার খুব কাছাকাছি, তবে সূত্রগুলি কেবলমাত্র আমার পরীক্ষার একক রানের ফলাফলের জন্য আত্মবিশ্বাসের ব্যবধান গণনা করেছে এবং বেশ কয়েকটি পরীক্ষার জন্য আস্থা অন্তর নয়।

— কোওলো

আপনার এক রান বা বেশ কয়েকটি রান রয়েছে কিনা তা বিবেচ্য নয়, যতক্ষণ না ডিনমিনেটর (আপনার মধ্যে 100 প্যাকেট উদাহরণস্বরূপ) সমস্ত রানে একই থাকে। প্রত্যেকের 100 টির 3 টি পরীক্ষা-নিরীক্ষা গাণিতিকভাবে 300 প্যাকেটের সাথে এক পরীক্ষা চালানোর সমান এবং আপনি দ্বিপদী সূত্রগুলি ব্যবহার করতে পারেন তবে এন = 300 দিয়ে এবং এন = 100 নয়। ডিনোমিনেটরগুলি সমান না হলে আপনাকে ওজনযুক্ত গড় (n এর দ্বারা ভারিত) খুঁজে বের করতে হবে এবং নতুন এনটি n এর যোগফল হবে।

— জাহাভ কোর

@ জাহাওয়াকর যেহেতু একটি মন্তব্যের জন্য এটি দীর্ঘ দীর্ঘ, তাই আমি আমার প্রশ্নে একটি সম্পাদনা যুক্ত করেছি। আমি এটি ভুল বলি না, তবে এটি আমার বর্তমান বোঝার সাথে মেলে না।

— কোওলো

2

একটি বায়েশিয়ান পদ্ধতির:

অনন্য বিটা বিতরণ খুঁজুন যে পরীক্ষা-নিরীক্ষা দ্বারা প্রবর্তিত হয় (এবং পূর্বে, বলো, জেফ্রিস পূর্বে), এবং তারপর, যার জন্য ক্ষুদ্রতম ব্যবধান চয়ন আপনার পছন্দসই "আস্থা" থেকে এর ঘনত্ব সংহত করে। সেখানে একাধিক সমাধান হওয়া সম্ভব এবং আপনার পূর্বের উপর নির্ভর করে গড় অনুপাতটি আপনার বিরতিতে নাও থাকতে পারে। $B$ $B$

— নীল জি
সূত্র

+1, যদিও এটি কোনও আত্মবিশ্বাসের ব্যবধান নয়, তবে একটি বিশ্বাসযোগ্য ব্যবধান। আপনি কীভাবে বিটা বিতরণটি সন্ধান করবেন সে সম্পর্কে আরও কিছু বলতে পারেন? একটি ফ্ল্যাট পূর্বের বিটা (1,1) দিয়ে শুরু করা যেতে পারে, তবে কীভাবে এটি আপডেট করবেন যেমন eg 0.985,0.986,0.935,0.890,0.999}? একজন সাধারণত বিণোমিয়ালের সংযোগ হিসাবে বিটা ব্যবহার করে এবং সেখানে প্রতিটি পর্যবেক্ষণের জন্য আপডেট করা সহজ, তবে কীভাবে কেবল দেওয়া আপডেট করবেন ?

p = n / m

$p=n/m$

p

$p$

— অ্যামিবা বলছেন মনিকাকে