দ্বিপদী র্যান্ডম ভেরিয়েবলের জন্য পূর্বাভাস ব্যবধান

Question

দ্বিপদী র‌্যান্ডম ভেরিয়েবলের পূর্বাভাস ব্যবধানের সূত্রটি (আনুমানিক বা সঠিক) কী?

ধরে , এবং আমরা পালন Y (থেকে টানা ওয়াই )। এন পরিচিত হয়।$Y \sim \mathsf{Binom}(n, p)$$y$$Y$$n$

আমাদের লক্ষ্য হ'ল থেকে নতুন অঙ্কনের জন্য 95% পূর্বাভাস অন্তর্ভুক্তি অর্জন ।$Y$

বিন্দু অনুমান , যেখানে P = $n\hat{p}$ । জন্য একটি কনফিডেন্স ব্যবধান পি সহজবোধ্য, কিন্তু আমি জন্য একটি পূর্বানুমান ব্যবধান জন্য একটি সূত্র খুঁজে পাচ্ছি নাওয়াই। আমরা জানতাম তাহলেপি(বদলে পি ), তারপর 95% ভবিষ্যদ্বাণী ব্যবধান মাত্র একটি দ্বিপদ এর quantiles খোঁজার জড়িত। আমি কি কিছু অবহেলা করছি?$\hat{p}=\frac{y}{n}$$\hat{p}$$Y$$p$$\hat{p}$

Comments

ভবিষ্যদ্বাণীমূলক অনুমানের জন্য নন-বায়েশিয়ান পদ্ধতিগুলি দেখুন কি? । এক্ষেত্রে পাইভটগুলি ব্যবহার করার পদ্ধতিটি উপলভ্য নয় (আমি মনে করি না) তবে আপনি ভবিষ্যদ্বাণীমূলক সম্ভাবনার একটি ব্যবহার করতে পারেন। বা অবশ্যই, একটি বায়েশিয়ান পদ্ধতির।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

হাই গাইস, আমি যে উদ্বেগ উত্থাপিত হয়েছিল তার সমাধানের জন্য কিছুটা সময় নিতে চাই। - পি সম্পর্কে আত্মবিশ্বাস সম্পর্কে: আমি এটির জন্য আগ্রহী নই। - পূর্বাভাস 95% বিতরণের ক্ষেত্রে: হ্যাঁ, প্রেক্ষাপট নির্বিশেষে হুবহু হুবুহু হুবহু একই রকম হয় (রিগ্রেশনে আপনাকে সাধারণ ত্রুটিগুলি ধরে নিতে হবে, যেখানে আত্মবিশ্বাসের ব্যবধানগুলি সিএলটি-র উপর নির্ভর করে - হ্যাঁ, মাথা সংখ্যার পূর্বাভাস দেওয়ার উদাহরণ একটি মুদ্রা উল্টানো অভিক্ষেপ একটি অনুমান সঠিক কি এই সমস্যা কঠিন করে তোলে আমরা এখন না "পি"

— Statseeker

@ অ্যাডিসন জি.হান এবং ডব্লিউ মিকারের স্ট্যাটিস্টিকাল ইন্টারভাল বইটি পড়ুন। তারা আত্মবিশ্বাসের ব্যবধান, পূর্বাভাস অন্তর, সহনশীলতা অন্তর এবং বায়সিয়ান বিশ্বাসযোগ্য ব্যবধানগুলির মধ্যে পার্থক্য ব্যাখ্যা করে। একটি 95% পূর্বাভাস ব্যবধানে 95% বিতরণ থাকে না। এটি সর্বাধিক ঘন ঘন ব্যবধানকারী যা করে। যদি আপনি বার বার বি (এন, পি) থেকে নমুনা করেন এবং প্রতিবার একই পদ্ধতি ব্যবহার করে পি এর জন্য 95% পূর্বাভাস অন্তর তৈরি করে থাকেন তবে পূর্বাভাস অন্তরগুলির 95% আপনি পি এর আসল মান পাবেন contain আপনি যদি 95% বন্টন কভার করতে চান তবে একটি সহনশীলতার ব্যবধান তৈরি করুন।

— মাইকেল আর। চেরনিক

সহনশীলতা বিরতি বিতরণের শতকরা এক ভাগ। ৯০% বন্টনের জন্য ৯৫% সহনশীলতার ব্যবস্থার জন্য আপনি আবার অনেকবার পুনরায় প্রক্রিয়াটি পুনরাবৃত্তি করেন এবং প্রতিবার অন্তর উত্পাদন করতে একই পদ্ধতি ব্যবহার করেন তবে প্রায় 95% ক্ষেত্রে অন্তত 90% বন্টন ব্যবধানে নেমে আসবে এবং বিতরণের 90% এরও কম সময়ের 5% অন্তর অন্তর্ভুক্ত থাকবে।

— মাইকেল আর চেরনিক

ললেস অ্যান্ড ফ্রেডেট (2005), "ফ্রিকোয়েনসিস্ট প্রেডিকশন ইন্টারভেলস অ্যান্ড প্রেডিকটিভ ডিস্ট্রিবিউশনস", বায়োমেট্রিকা , 92 , 3 হ'ল আমি যে লিঙ্কটি দিয়েছি সেগুলি ছাড়াও এটি আরও একটি ভাল রেফারেন্স।

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

Answer 1

ঠিক আছে, এটি চেষ্টা করুন। আমি দুটি উত্তর দেব - বায়েশিয়ান একটি, যা আমার মতে সাধারণ এবং প্রাকৃতিক, এবং সম্ভাব্য ঘন ঘন ঘন ঘন একটি।

বায়েশিয়ান সমাধান

আমরা ধরে নিই উপর একটি বিটা পূর্বে , আমি, ই।, পৃ ~ বি ই টি একটি ( α , β ) , কারণ বিটা-বাইনমিয়াল মডেল অনুবন্ধী, যার মানে অবর বন্টন সাথে একটি বিটা বিতরণ হয় পরামিতি α = α + + ট , β = β + + N - ট , (আমি ব্যবহার করছি ট সফলতাগুলি সংখ্যা বোঝাতে এন বিচারের পরিবর্তে Y )। সুতরাং, অনুমান ব্যাপকভাবে সরল করা হয়। এখন, যদি এর সম্ভাব্য মানগুলি সম্পর্কে আপনার কিছু পূর্ব জ্ঞান থাকে$p$$p \sim Beta(\alpha,\beta)$$\hat{\alpha}=\alpha+k,\hat{\beta}=\beta+n-k$$k$$n$$y$ , আপনি এটি ব্যবহার করতে পারে মান সেট করতে α এবং β , অর্থাত্, আগে নিজে থেকেই আপনার বিটা সংজ্ঞায়িত করতে, অন্যথায় আপনি পূর্বে, সঙ্গে একটি অভিন্ন অনুমান করা হতে পারে (noninformative) α = β = 1 , বা অন্যান্য noninformative গতকাল দেশের সর্বোচ্চ তাপমাত্রা (উদাহরণস্বরূপ দেখুনএখানে)। যাই হোক না কেন, আপনার উত্তরসূরি হয়$p$$\alpha$$\beta$$\alpha=\beta=1$

$Pr(p|n,k)=Beta(\alpha+k,\beta+n-k)$

বায়েশিয়ান অনুমান অনুসারে, সমস্ত কিছু গুরুত্বপূর্ণ বিষয়গুলি উত্তরোত্তর সম্ভাবনা, যার অর্থ একবার আপনি যখন তা জানেন, আপনি আপনার মডেলটিতে অন্য সমস্ত পরিমাণের জন্য অনুসন্ধান তৈরি করতে পারেন। আপনি পর্যবেক্ষণযোগ্য উপর অনুমান করতে চান : বিশেষত, নতুন ফলাফলগুলির একটি ভেক্টরের উপর y = y 1 , … , y মি , যেখানে এম অগত্যা n এর সমান নয় । বিশেষ করে, প্রত্যেকের জন্য ঞ = 0 , ... , মি , আমরা ঠিক থাকার সম্ভাবনা গনা করতে চান ঞ পরবর্তী সফলতাগুলি মি বিচারের দেওয়া, যে আমরা পেয়েছিলাম $y$$\mathbf{y}=y_1,\dots,y_m$$m$$n$$j=0,\dots,m$$j$$m$$k$পূর্ববর্তী পরীক্ষায় সাফল্য ; পূর্ববর্তী ভবিষ্যদ্বাণীপূর্ণ গণ ফাংশন:$n$

$Pr(j|m,y)=Pr(j|m,n,k)=\int_0^1 Pr(j,p|m,n,k)dp = \int_0^1 Pr(j|p,m,n,k)Pr(p|n,k)dp$

তবে, জন্য আমাদের দ্বিপদী মডেলটির অর্থ এই যে, শর্তসাপেক্ষে পি এর একটি নির্দিষ্ট মান রয়েছে, এম ট্রায়ালগুলিতে জে সাফল্য অর্জনের সম্ভাবনা অতীত ফলাফলের উপর নির্ভর করে না: এটি কেবল সহজ$Y$$p$$j$$m$

$f(j|m,p)=\binom{j}{m} p^j(1-p)^j$

এভাবে অভিব্যক্তি হয়ে যায়

$Pr(j|m,n,k)=\int_0^1 \binom{j}{m} p^j(1-p)^j Pr(p|n,k)dp=\int_0^1 \binom{j}{m} p^j(1-p)^j Beta(\alpha+k,\beta+n-k)dp$

এই ইন্টিগ্রালের ফলাফলটি বিটা-বোনমিয়াল ডিস্ট্রিবিউশন নামে পরিচিত একটি সুপরিচিত বিতরণ: প্যাসেজগুলি এড়িয়ে যাওয়া, আমরা ভয়াবহ প্রকাশ পেয়েছি

$Pr(j|m,n,k)=\frac{m!}{j!(m-j)!}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+k)\Gamma(\beta+n-k)}\frac{\Gamma(\alpha+k+j)\Gamma(\beta+n+m-k-j)}{\Gamma(\alpha+\beta+n+m)}$

চতুর্ভুজ ক্ষতির প্রদত্ত জন্য আমাদের পয়েন্ট আনুমানিকটি অবশ্যই এই বিতরণের অর্থ, অর্থাৎ,$j$

$\mu=\frac{m(\alpha+k)}{(\alpha+\beta+n)}$

এখন, একটি পূর্বাভাস অন্তর সন্ধান করুন। যেহেতু এটি একটি বিযুক্ত বন্টন, আমরা জন্য একটি বদ্ধ ফর্ম অভিব্যক্তি নেই , এই ধরনের যে পি দ ( ঞ 1 ≤ ঞ ≤ ঞ 2 ) = 0.95 । কারণটি হ'ল আপনি কোয়ান্টাইলকে কীভাবে সংজ্ঞায়িত করেন তার উপর নির্ভর করে, আলাদা বিতরণের জন্য কোয়ান্টাইল ফাংশন হয় কোনও ফাংশন নয় বা বিচ্ছিন্ন ফাংশন। তবে এটি কোনও বড় সমস্যা নয়: ছোট মিটারের জন্য , আপনি কেবল এম সম্ভাব্যতাগুলি লিখতে পারেন P r ( j = $[j_1,j_2]$$Pr(j_1\leq j \leq j_2)= 0.95$$m$$m$ এবং এখান থেকে খুঁজে ঞ 1 , ঞ 2 যেমন যে$Pr(j=0|m,n,k),Pr(j\leq 1|m,n,k),\dots,Pr(j \leq m-1|m,n,k)$$j_1,j_2$

$Pr(j_1\leq j \leq j_2)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\geq 0.95$

অবশ্যই আপনি একাধিক দম্পতি খুঁজে পাবেন, তাই আপনি আদর্শভাবে সবচেয়ে ছোট জন্য সন্ধান করবেন যে উপরেরটি সন্তুষ্ট। মনে রাখবেন যে$[j_1,j_2]$

$Pr(j=0|m,n,k)=p_0,Pr(j\leq 1|m,n,k)=p_1,\dots,Pr(j \leq m-1|m,n,k)=p_{m-1}$

বিটা-বাইনোমিয়াল ডিস্ট্রিবিউশনের সিএমএফ (সংশ্লেষক গণ ফাংশন) এর মানগুলি এবং যেমন একটি বদ্ধ ফর্ম এক্সপ্রেশন রয়েছে , তবে এটি সাধারণীকরণের হাইপারজেমেট্রিক ফাংশনের ক্ষেত্রে এবং এটি বেশ জটিল। আমি কেবল আর প্যাকেজটি ইনস্টল করব extraDistrএবং pbbinomবিটা-বোনমিয়াল বিতরণের সিএমএফ গণনা করার জন্য কল করব to বিশেষত, যদি আপনি সমস্ত সম্ভাব্যতা একসাথে গতিতে চান তবে কেবল লিখুন:$p_0,\dots,p_{m-1}$

library(extraDistr)  
jvec <- seq(0, m-1, by = 1) 
probs <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

কোথায় alphaএবং betaআপনার বিটা পূর্বের পরামিতিগুলির মানগুলি হয়, অর্থাত্, এবং β (এইভাবে 1 যদি আপনি p এর আগে ইউনিফর্ম ব্যবহার করছেন )। অবশ্যই বিটা-বাইনোমিয়াল বিতরণের জন্য আর যদি কোয়ান্টাইল ফাংশন সরবরাহ করে তবে এটি সব থেকে সহজ হবে, তবে দুর্ভাগ্যক্রমে এটি হয় না।$\alpha$$\beta$$p$

বায়েশিয়ান সমাধান সহ ব্যবহারিক উদাহরণ

আসুন , কে = 70 (এইভাবে আমরা প্রাথমিকভাবে 100 পরীক্ষায় 70 সাফল্য পর্যবেক্ষণ করেছি)। আমরা একটি বিন্দু অনুমান এবং চান একটি 95% -prediction ব্যবধান সফলতা সংখ্যার জন্য ঞ পাশের মি = 20 বিচারের। তারপর$n=100$$k=70$$j$$m=20$

n <- 100
k <- 70
m <- 20
alpha <- 1
beta  <- 1

যেখানে আমি আগে ইউনিফর্ম গ্রহণ করেছি : আপনার নির্দিষ্ট প্রয়োগের পূর্বের জ্ঞানের উপর নির্ভর করে এটি ভাল প্রাক হতে পারে বা নাও হতে পারে। এইভাবে$p$

bayesian_point_estimate <- m * (alpha + k)/(alpha + beta + n) #13.92157

স্পষ্টতই জন্য একটি অ-পূর্ণসংখ্যার অনুমানটি কোনও অর্থবোধ করে না, তাই আমরা কেবল নিকটতম পূর্ণসংখ্যা (14) করতে পারি। তারপরে, পূর্বাভাস ব্যবধানের জন্য:$j$

jvec <- seq(0, m-1, by = 1)
library(extraDistr)
probabilities <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

সম্ভাবনাগুলি হ'ল

> probabilities
 [1] 1.335244e-09 3.925617e-08 5.686014e-07 5.398876e-06
 [5] 3.772061e-05 2.063557e-04 9.183707e-04 3.410423e-03
 [9] 1.075618e-02 2.917888e-02 6.872028e-02 1.415124e-01
[13] 2.563000e-01 4.105894e-01 5.857286e-01 7.511380e-01
[17] 8.781487e-01 9.546188e-01 9.886056e-01 9.985556e-01

একটি সমান-লেজ সম্ভাব্যতা INTERVAL জন্য, আমরা ক্ষুদ্রতম চান যেমন যে পি দ ( ঞ ≤ ঞ 2 | মি , এন , ট ) ≥ 0,975 এবং বৃহত্তম ঞ 1 যেমন যে পি দ ( ঞ < ঞ 1 | মি , এন , ট ) = পি দ ( ঞ ≤ ঞ 1 - 1 | মি , এন , $j_2$$Pr(j\leq j_2|m,n,k)\ge 0.975$$j_1$ । এইভাবে, আমাদের হবে$Pr(j < j_1|m,n,k)=Pr(j \le j_1-1|m,n,k)\le 0.025$

$Pr(j_1\leq j \leq j_2|m,n,k)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\ge 0.975-0.025=0.95$

সুতরাং, উপরের সম্ভাব্যতাগুলি দেখে আমরা দেখতে পাই যে এবং জে 1 = 9 । এই বায়েশিয়ান পূর্বাভাস ব্যবধানের সম্ভাবনা 0.9778494, যা 0.95 এর চেয়ে বড়। আমরা খাটো অন্তর যেমন যে খুঁজে পাইনি পি দ ( ঞ 1 ≤ ঞ ≤ ঞ 2 | মি , এন , ট ) ≥ 0.95 , কিন্তু যে ক্ষেত্রে লেজ সম্ভাব্যতা জন্য দুটি অসাম্য অন্তত এক সন্তুষ্ট হবো না।$j_2=18$$j_1=9$$Pr(j_1\leq j \leq j_2|m,n,k)\ge 0.95$

ঘন ঘন সমাধান

$Y\sim Binom(m,p)$$X\sim Binom(n,p)$$1-2\alpha-$$Y$$X$$I=[L(X;n,m,\alpha),U(X;n,m,\alpha)]$

$Pr_{X,Y}(Y\in I)=Pr_{X,Y}(L(X;n,m,\alpha)\leq Y\leq U(X;n,m,\alpha)]\geq 1-2\alpha$

$\geq 1-2\alpha$$X$$X+Y=k+j=s$$s$$n$$n+m$

$Pr(X=k|X+Y=s,n,n+m)=\frac{\binom{n}{k}\binom{m}{s-k}}{\binom{m+n}{s}}$

$X$$X+Y=s$

$Pr(X\leq k|s,n,n+m)=H(k;s,n,n+m)=\sum_{i=0}^k\frac{\binom{n}{i}\binom{m}{s-i}}{\binom{m+n}{s}}$

$p$$k$$1-\alpha$$L$

$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

$1-\alpha$

$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$

$[L,U]$$Y$$1-2\alpha$$p$$n$$m$$1-2\alpha$

ফ্রিকোয়েন্সিস্ট সমাধান সহ ব্যবহারিক উদাহরণ

$\alpha$$\beta$

n <- 100
k <- 70
m <- 20

$\hat{p}=\frac{k}{n}$$m$

frequentist_point_estimate <- m * k/n #14

$U$$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$$U$$[0,m]$

jvec <- seq(0, m, by = 1)
probabilities <- phyper(k,n,m,k+jvec)

$U$

jvec[which.min(probabilities > 0.025) - 1] # 18

$L$$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

probabilities <- 1-phyper(k-1,n,m,k+jvec)
jvec[which.max(probabilities > 0.025) - 1] # 8

$[L,U]=[8,18]$