সাধারণ এবং দ্বিপদী মডেলগুলিতে, সর্বদা পূর্বের বৈকল্পিকের তুলনায় উত্তর বৈকল্পিক কম হয়?

10

বা কি পরিস্থিতিতে গ্যারান্টি দেয়? সাধারণভাবে (এবং কেবলমাত্র সাধারণ এবং দ্বিপদী মডেলই নয়) আমি মনে করি যে এই দাবিটি ভেঙে যাওয়ার মূল কারণটি হল যে স্যাম্পলিং মডেল এবং পূর্ববর্তীগুলির মধ্যে অসঙ্গতি রয়েছে, তবে আর কী? আমি এই বিষয়টি দিয়ে শুরু করছি, তাই আমি সহজ উদাহরণগুলির পক্ষে সত্যই প্রশংসা করি

bayesian variance information-theory

— লাল গোলমাল
সূত্র

9

যেহেতু পূর্ববর্তী এবং পূর্বের রূপগুলি চালু রয়েছে $\theta$ সন্তুষ্ট (সাথে $X$ নমুনা নির্দেশ করে)

var (θ) = E [var (θ | X)] + var (E [θ | X])

$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$ সমস্ত পরিমাণের অস্তিত্ব ধরে নিয়ে, আপনি উত্তরোত্তর বৈকল্পিক গড়ে কম (কম) আশা করতে পারেন

X

$X$ )। এটি বিশেষত ক্ষেত্রে যখন পোস্টেরিয়াল বৈকল্পিক স্থির থাকে

X

$X$ । তবে, অন্য উত্তরের মতো দেখানো হয়েছে, উত্তরোত্তর বৈকল্পিকতাগুলি আরও বড় হতে পারে, কারণ ফলাফলটি কেবল প্রত্যাশায় থাকে।

অ্যান্ড্রু গেলম্যানের কাছ থেকে উদ্ধৃতি দিতে,

আমরা এটি বায়সিয়ান ডেটা অ্যানালাইসিসের দ্বিতীয় অধ্যায়ে বিবেচনা করি, আমি হোমওয়ার্কের বেশ কয়েকটি সমস্যা নিয়ে ভাবি। সংক্ষিপ্ত উত্তরটি হ'ল, প্রত্যাশায়, আপনি আরও তথ্য পাওয়ার সাথে সাথে উত্তরীয় প্রকরণটি হ্রাস পাবে, তবে, মডেলের উপর নির্ভর করে, বিশেষ ক্ষেত্রে প্রকরণটি বাড়তে পারে। সাধারণ এবং দ্বিপদী হিসাবে কিছু মডেলের ক্ষেত্রে, উত্তরীয় বৈকল্পিকতা কেবল হ্রাস করতে পারে। তবে স্বল্প ডিগ্রি সহ স্বাধীনতার টি মডেলটি বিবেচনা করুন (যা সাধারণ গড় এবং বিভিন্ন বৈকল্পের সাথে নরমালগুলির মিশ্রণ হিসাবে ব্যাখ্যা করা যেতে পারে)। যদি আপনি একটি চূড়ান্ত মান পর্যালোচনা করেন তবে তার প্রমাণ যে বৈকল্পিক বেশি, এবং প্রকৃতপক্ষে আপনার উত্তরোত্তর বৈকল্পিকতা উপরে উঠতে পারে।

— সিয়ান
সূত্র

@ জিয়ান, আপনি কি আমার "উত্তর" একবার দেখে নিতে পারেন, যা আপনার বিরোধিতা বলে মনে হচ্ছে? গেলম্যান এবং আপনি যদি বায়েশিয়ার পরিসংখ্যান সম্পর্কে কিছু বলেন তবে আমি নিজেকে থেকে নিজেকে বিশ্বাস করতে অনেক বেশি ঝোঁক ...

— ক্রিস্টোফ হ্যাঙ্ক

1

আমাদের উত্তরের মধ্যে কোনও বিরোধ নেই। বিডিএতে এমন একটি অনুশীলনও রয়েছে যা আপনার উদাহরণের সাথে মিলে যায়, অর্থাত্, এমন ডেটা সন্ধান করুন যা বিটা পশ্চাত্পদটি পূর্বের বৈকল্পিকের চেয়ে বড় হতে পারে sets

— সিয়ান

একটি আকর্ষণীয় ফলো-আপ প্রশ্ন হবে: নমুনার আকার বাড়ার সাথে সাথে এমন শর্তগুলি কী কী 0 এর পরিবর্তনের রূপান্তরকে গ্যারান্টি দেয়।

— জুলিয়েন

8

এটি উত্তরটির চেয়ে @ সিয়ানকে আরও প্রশ্ন করতে চলেছে।

আমি উত্তর দিতে যাচ্ছিলাম যে একটি উত্তর বৈকল্পিক

V (θ | y) = \frac{α_{1} β_{1}}{(α_{1} + β_{1})^{2} (α_{1} + β_{1} + 1)} = \frac{(α_{0} + k) (n - k + β_{0})}{(α_{0} + n + β_{0})^{2} (α_{0} + n + β_{0} + 1)},

$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$ সঙ্গে

n

$n$ পরীক্ষার সংখ্যা,

k

$k$ সাফল্যের সংখ্যা এবং

α_{0}, β_{0}

$\alpha_{0},\beta_0$ পূর্বে বিটার সহগগুলি, পূর্বের বৈকল্পিককে অতিক্রম করে

V (θ) = \frac{α_{0} β_{0}}{(α_{0} + β_{0})^{2} (α_{0} + β_{0} + 1)}

$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$ নীচের উদাহরণের উপর ভিত্তি করে দ্বিপদী মডেলটিতেও এটি সম্ভব, যেখানে সম্ভাবনা এবং পূর্বগুলি একে অপরের বিপরীতে থাকে যাতে উত্তরোত্তর "এর মধ্যে খুব বেশি" থাকে। এটি গেলম্যানের উক্তিটির বিরোধিতা বলে মনে হচ্ছে।

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

অতএব, এই উদাহরণটি দ্বিপদী মডেলের আরও বৃহত্তর পশ্চাত্পদটি প্রস্তাব করে।

অবশ্যই এটি প্রত্যাশিত উত্তর বৈকল্পিকতা নয়। এখানেই কি তাত্পর্য রয়েছে?

সংশ্লিষ্ট চিত্রটি হ'ল

— ক্রিস্টোফ হ্যাঙ্ক
সূত্র

4

নিখুঁত চিত্রণ। এবং বাস্তবের পূর্বের পরিবর্তনের চেয়ে প্রাপ্ত প্রকৃতির পৃথকীকরণের চেয়ে বৃহত্তর এবং প্রত্যাশা আরও ছোট হওয়াতে কোনও পার্থক্য নেই।

— শি'য়ান

1

আমি কি আরো আলোচনা করা হয়েছিল একটি চমৎকার উদাহরণ হিসেবে এই উত্তরটি একটি লিঙ্ক প্রদান করা এখানে .এই ফলাফল (যে ভ্যারিয়েন্স কখনও কখনও বৃদ্ধির ডেটা সংগ্রহ করা হয়) এনট্রপি প্রযোজ্য হইবে।

— ডন স্লোইক