পূর্ববর্তী এবং সম্ভাবনার চেয়ে পূর্ববর্তীটি খুব আলাদা

Question

যদি পূর্ব এবং সম্ভাবনা একে অপরের থেকে খুব আলাদা হয়, তবে কখনও কখনও এমন পরিস্থিতি দেখা দেয় যেখানে উত্তরোত্তর উভয়ের সাথে মিল নেই। উদাহরণস্বরূপ দেখুন এই ছবিটি, যা সাধারণ বিতরণ ব্যবহার করে।

যদিও এটি গাণিতিকভাবে সঠিক, এটি আমার অন্তর্নিহিতের সাথে একমত বলে মনে হচ্ছে না - যদি ডেটা আমার দৃ held়ভাবে ধারণ করা বিশ্বাস বা ডেটার সাথে মেলে না, তবে আমি উভয়ই ভাল ভাড়া পাবে না এবং উভয়ই সমতল উত্তর আশা করব পুরো পরিসর বা সম্ভবত পূর্ব এবং সম্ভাবনার চারপাশে দ্বিপদী বিতরণ (আমি নিশ্চিত নই যা আরও লজিক্যাল বোধ করে)। আমি অবশ্যই আমার পূর্ববর্তী বিশ্বাস বা ডেটা উভয়ের সাথে মেলে না এমন একটি পরিসরের আশেপাশে একটি দৃ tight় পশ্চাৎ প্রত্যাশা করব না। আমি বুঝতে পারি যে আরও ডেটা সংগ্রহ করার সাথে সাথে উত্তরোত্তর সম্ভাবনার দিকে এগিয়ে যাবে তবে এই পরিস্থিতিতে এটি পাল্টা স্বজ্ঞাত বলে মনে হচ্ছে।

আমার প্রশ্ন: এই পরিস্থিতি সম্পর্কে আমার বোঝাপড়াটি কীভাবে ত্রুটিযুক্ত (বা এটি ত্রুটিযুক্ত)। উত্তরবর্তী কি এই পরিস্থিতির জন্য "সঠিক" ফাংশন? এবং যদি তা না হয় তবে কীভাবে এটি মডেল করা যেতে পারে?

সম্পূর্ণতার জন্য, পূর্ববর্তীটিকে এবং ।এন ( μ = 6.1 , σ = 0.4 $\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

সম্পাদনা: প্রদত্ত কয়েকটি জবাব দেখে আমার মনে হচ্ছে আমি পরিস্থিতি খুব ভালভাবে ব্যাখ্যা করিনি। আমার পয়েন্ট ছিল Bayesian বিশ্লেষণ একটি অ-স্বজ্ঞাত ফল বলে মনে হয় দেওয়া মডেল অনুমানের। আমার আশা ছিল উত্তরোত্তর খারাপ মডেলিংয়ের সিদ্ধান্তগুলির জন্য কোনওভাবে 'অ্যাকাউন্ট' হবে, যা যখন ভাবা হত তখন অবশ্যই হয় না। আমি আমার উত্তরে এটিকে প্রসারিত করব।

Comments

তারপরে এর অর্থ হ'ল আপনি উত্তরের স্বাভাবিকতা ধরে নিতে পারবেন না। আপনি যদি ধরে নেন যে উত্তরোত্তরটি স্বাভাবিক, তবে এটি অবশ্যই সঠিক হবে।

— পাসক্যালভিকুটেন

আমি পূর্ববর্তী সম্পর্কে কোনও অনুমান করি নি, কেবল পূর্ব এবং সম্ভাবনা। এবং যে কোনও ক্ষেত্রে, বিতরণের ফর্মটি এখানে অপ্রাসঙ্গিক বলে মনে হচ্ছে - আমি সেগুলি ম্যানুয়ালি আঁকতে পারতাম এবং একই উত্তরোত্তর অনুসরণ করত।

— রোনান ডালি

আমি কেবল বলছি যে আপনি উত্তরোত্তরটি স্বাভাবিক হতে পারে এমনটি ধরে না নিলে আপনি এই উত্তরোত্তর সম্পর্কে আপনার বিশ্বাসকে ফেলে দেবেন। একটি সাধারণ পূর্ব এবং স্বাভাবিক ডেটা বিবেচনা করে, একটি স্বাভাবিক পূর্ববর্তীটি সত্যই এরকম হবে। সম্ভবত ছোট ডেটা কল্পনা করুন, এরকম কিছু তখন বাস্তবে বাস্তবে ঘটে in

— পাসক্যালভিকুটেন

এই চিত্রটি কি সঠিক? মনে হচ্ছে যে সম্ভাবনা পূর্বে খুব 0 পাসে তারা কখনো ওভারল্যাপ যেমন হওয়া উচিত। পূর্বের ওজন 0 এর খুব কাছাকাছি হওয়ায় আপনার উত্তরসূরীটি সেখানে কীভাবে উঁকি দিতে পারে তা দেখতে আমার সমস্যা হচ্ছে। আমি কিছু অনুপস্থিত করছি? $\times$

— লুকা

@ লুকা আপনি পুনরায় সাধারণীকরণের কথা ভুলে যাচ্ছেন। পূর্বের এবং সম্ভাবনার পণ্যটি শূন্যের কাছাকাছি, হ্যাঁ - তবে আপনি যখন এটিকে পুনরায় সাধারণ করেন তাই এটি আবার 1 এর সাথে সংহত হয়, এটি অপ্রাসঙ্গিক হয়ে যায়।

— প্যাট

Answer 1

হ্যাঁ এই পরিস্থিতিটি দেখা দিতে পারে এবং এটি আপনার মডেলিং অনুমানগুলির একটি বৈশিষ্ট্য যা পূর্ববর্তী এবং স্যাম্পলিং মডেলের (সম্ভাবনা) বিশেষত স্বাভাবিকতা। যদি এর পরিবর্তে আপনি আপনার পূর্বের জন্য একটি কাচী বিতরণ বেছে নিয়েছিলেন তবে উত্তরোত্তরটি অন্যরকম দেখায়।

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Comments

আপনার উত্তরটির জন্য ধন্যবাদ, জাজরদন্নি, আপনি কি মনে করেন কোনও কাচি আগে সর্বদা প্রশ্নে প্রদত্ত বিশেষ পরিস্থিতি এড়াতে পারে?

— রোনান ডালি

হ্যাঁ। সাধারণত ভারী লেজযুক্ত প্রিয়াররা ডেটা আরও সহজে পূর্বের দিকে ছাপিয়ে যায়।

— jaradniemi

জার্নাদেমি, এটিও হতে পারে তবে আপনি যদি বলেন যে আপনি পূর্ববর্তীটিকে প্রভাবিত করতে চান না তবে আপনি কেন প্রথমে একটি তথ্যবহুল নির্বাচন করবেন? দেখে মনে হচ্ছে আপনি কৌকি বাছাই করার পরামর্শ দিচ্ছেন কারণ এটি তথ্যবহুল বলে মনে হচ্ছে তবে এটি আসলে তা নয়।

— ফ্লোরিয়ান হারটিগ

যদি পূর্ব এবং সম্ভাবনা সম্মত হয় তবে আপনি পূর্বের থেকে পূর্বের থেকে যথাযথভাবে যথাযথ বৃদ্ধি পেতে পারেন এবং এইভাবে পূর্বটি তথ্যবহুল। তবে ভারী-লেজযুক্ত পূর্বনির্ধারণ পছন্দ করা যখন দু'জনের মধ্যে একমত না হয় তখন খুব সহজেই পূর্বটিকে ছাপিয়ে যাওয়ার সম্ভাবনা থাকে।

— jaradniemi

Answer 2

আমি এখনও পর্যন্ত দেওয়া উত্তরের সাথে কিছুটা দ্বিমত পোষণ করছি - এই পরিস্থিতি সম্পর্কে অদ্ভুত কিছু নেই। সম্ভাবনাটি যাইহোক তাত্পর্যপূর্ণভাবে স্বাভাবিক, এবং একটি সাধারণ পূর্ববর্তীটি মোটেই অস্বাভাবিক নয়। যদি আপনি উভয়কে একত্রে রাখেন, পূর্ব এবং সম্ভাবনা একই উত্তর না দেয় তবে আমাদের এখানে পরিস্থিতি রয়েছে যা আমরা বলছি। আমি নীচে jaradniemi কোড সহ চিত্রিত করেছি।

আমরা 1 এ উল্লেখ করেছি যে এই জাতীয় পর্যবেক্ষণের সাধারণ উপসংহারটি হ'ল হয় ক) মডেল কাঠামোগতভাবে ভুল খ) ডেটা ভুল গ) পূর্বে ভুল। তবে কিছু নিশ্চিতরূপে ভুল হয়েছে এবং আপনি যদি কিছু উত্তর-ভবিষ্যদ্বাণীমূলক চেক করেন, তবে আপনাকে যা করতে হবে তাও এটি দেখতে পাবেন।

1 হার্টিগ, এফ .; ডাইক, জে .; হিকলার, টি।; হিগগিনস, এসআই; ও'হারা, আরবি; স্কিটার, এস ও হুথ, এ। (2012) গতিশীল উদ্ভিদ মডেলগুলিকে ডেটাতে সংযুক্ত করা - একটি বিপরীত দৃষ্টিভঙ্গি। জে বায়োগোগার।, 39, 2240-2252। http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

Answer 3

আমি এই প্রশ্নের উত্তর যখন পেয়েছিলাম তখন আমি উত্তরটির মতো অনুভব করি যা বেইসিয়ান বায়োস্টাটিক্সে লেসফ্রে এবং লসন দ্বারা সর্বোত্তমভাবে সংক্ষিপ্ত করা হয়েছে

অবর স্পষ্টতা পূর্বে এবং নমুনা স্পষ্টতা, অর্থাত্ এর সমষ্টি:

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

এটি আমার জন্য যা সংক্ষিপ্তসার করে এবং অন্যান্য উত্তরে মোটামুটি বর্ণনা করা হয় তা হ'ল স্বাভাবিক সম্ভাবনার সাথে সাধারণ প্রিয়ারদের মডেলিংয়ের ক্ষেত্রে এমন পরিস্থিতি তৈরি হতে পারে যেখানে উত্তরোত্তর যে কোনওটির চেয়ে আরও সুনির্দিষ্ট হয়। এটি বিপরীতমুখী, তবে এই উপাদানগুলিকে এভাবে মডেলিংয়ের একটি বিশেষ পরিণতি।

Comments

এটি ফিশার ম্যাট্রিক্সের সাথে উচ্চতর মাত্রায় সাধারণীকরণ করে। এর শিখরের নিকটবর্তী উত্তরের বিতরণের লগ সম্ভাবনার হেসিয়ান হ'ল পূর্ব এবং সম্ভাবনার বিপরীত সমবায়নের যোগফল। এই অঙ্কের বিপরীতটি হ'ল উত্তরোত্তর সম্প্রচার। যেহেতু দুটি ধনাত্মক (আধা) সুনির্দিষ্ট ম্যাট্রিকেস (বিপরীত কোভেরিয়েনস) যুক্ত করা হয়েছে, এটি গাণিতিকভাবে গ্যারান্টিযুক্ত যে উত্তরোত্তর যথার্থতা পূর্বের বা সম্ভাবনা সম্ভাবনা বিতরণের তুলনায় যে কোনওটি ছাড়িয়ে যাবে। এটি বায়েশিয়ান কাঠামোর সর্বজনীন ফলাফল।

— T3am5hark

Answer 4

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

Answer 5

কিছুক্ষণ এই সম্পর্কে চিন্তাভাবনা করার পরে, আমার উপসংহারটি হল যে খারাপ মডেলিং অনুমানের সাথে উত্তরোত্তর এমন একটি ফলাফল হতে পারে যা পূর্বের বিশ্বাস বা সম্ভাবনার সাথে মিলিত হয় না। এ থেকে প্রাকৃতিক ফলাফলটি উত্তরোত্তর নয় , সাধারণভাবে বিশ্লেষণের শেষ হয় না। যদি এটি ক্ষেত্রে হয় যে পশ্চাৎ অংশটি মোটামুটিভাবে ডেটা ফিট করে বা এটি পূর্ব এবং সম্ভাবনার মধ্যে বিচ্ছিন্ন হওয়া উচিত (এই ক্ষেত্রে), তবে এটি সত্য পরে পরীক্ষা করা উচিত, সম্ভবত কোনও উত্তর-ভবিষ্যদ্বাণীমূলক চেক বা অন্য কিছু অনুরূপ. মডেলটিতে এটি অন্তর্ভুক্ত করার জন্য সম্ভাব্য বিবৃতিতে সম্ভাব্যতা রাখার সক্ষমতা প্রয়োজন বলে মনে হয়, যা আমি মনে করি এটি সম্ভব কিনা।

Comments

হ্যাঁ, আমি সম্মত, আমার আরও বিস্তারিত উত্তর দেখুন

— ফ্লোরিয়ান হারটিগ

Answer 6

আমি মনে করি এটি আসলেই একটি আকর্ষণীয় প্রশ্ন। এটি ঘুমিয়ে থাকার পরে, আমি মনে করি একটি উত্তরে আমার ছুরিকাঘাত আছে। মূল বিষয়টি নিম্নরূপ:

• আপনি গাউস পিডিএফ হিসাবে সম্ভাবনাটি চিকিত্সা করেছেন। তবে এটি কোনও সম্ভাবনা বিতরণ নয় - এটি একটি সম্ভাবনা! আরও কী, আপনি নিজের অক্ষটি পরিষ্কারভাবে লেবেল করেননি। এই জিনিসগুলি সম্মিলিত করে যা অনুসরণ করে সবকিছু বিভ্রান্ত করে।

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$, where $X$ is your observed data; and your posterior is $P(\mu|X, \sigma, \mu', \sigma')$. Given that, the only horizontal axis that makes sense to me in this diagram is one which is plotting $\mu$.

But if the horizontal axis shows values of $\mu$, why does the likelihood $P(X|\mu)$ have the same width and height as the prior? When you break it down that's actually a really weird situation. Think about the form the the prior and likelihood:

$$P(\mu|\mu', \sigma') = exp(-\frac{(\mu-\mu')^2}{2 \sigma'^2})\frac{1}{\sqrt{2 \pi \sigma'^2}}$$

$$P(X|\mu,\sigma) = \prod_{i=1}^N exp(-\frac{(x_i-\mu)^2}{2 \sigma^2})\frac{1}{\sqrt{2 \pi \sigma^2}}$$

The only way I can see that these can have the same width is if $\sigma'^2 = \sigma^2/N$. In other words, your prior is very informative, as its variance is going to be much lower than $\sigma^2$ for any reasonable value of $N$. It is literally as informative as the entire observed dataset $X$!

So, the prior and the likelihood are equally informative. Why isn't the posterior bimodal? This is because of your modelling assumptions. You've implicitly assumed a normal distribution in the way this is set up (normal prior, normal likelihood), and that constrains the posterior to give a unimodal answer. That's just a property of normal distributions, that you have baked into the problem by using them. A different model would not necessarily have done this. I have a feeling (though lack a proof right now) that a cauchy distribution can a have multimodal likelihood, and hence a multimodal posterior.

So, we have to be unimodal, and the prior is as informative as the likelihood. Under these constraints, the most sensible estimate is starting to sound like a point directly between the likelihood and prior, as we have no reasonable way to tell which to believe. But why does the posterior get tighter?

I think the confusion here comes from the fact that in this model, $\sigma$ is assumed to be known. Were it unknown, and we had a two dimensional distribution over $\mu$ and $\sigma$ the observation of data far from the prior might make a high value of $\sigma$ more probable, and so increase the variance of the posterior distribution of the mean too (as these two are linked). But we're not in that situation. $\sigma$ is treated as known here. A such adding more data can only make us more confident in our prediction of the position of $\mu$, and hence the posterior becomes narrower.

(ভিজ্যুয়ালাইজ করার একটি উপায় হতে পারে কেবল দুটি নমুনা পয়েন্ট ব্যবহার করে জানা বৈসাদৃশ্য সহ গাউসের গড় অনুমান করা কল্পনা করা। দুটি নমুনা পয়েন্ট যদি গাউসের প্রস্থের চেয়ে অনেক বেশি আলাদা করা হয় (অর্থাত তারা বাইরে চলে গেছে) লেজগুলিতে), তারপরে এটি দৃ strong় প্রমাণ যে এর অর্থটি আসলে তাদের মধ্যে রয়েছে। এই অবস্থান থেকে সামান্য অর্থটি স্থানান্তর করা কোনও নমুনা বা অন্য কোনও সম্ভাবনার সম্ভাবনাকে ছাড়িয়ে দেবে))

সংক্ষেপে, আপনি বর্ণিত পরিস্থিতিটি কিছুটা স্বতন্ত্র এবং মডেলটি ব্যবহার করে আপনি কিছু অনুমান (যেমন সর্বসম্মততা) যুক্ত করেছেন যে আপনি বুঝতে পারেননি যে সমস্যাটি। তবে অন্যথায়, উপসংহারটি সঠিক।

Comments

আপনার উত্তর @ প্যাট এর জন্য ধন্যবাদ, আপনি এখানে যা বলছেন তার সাথে আমি বেশিরভাগের সাথে একমত, সেট আপ করার সময় সমস্যাটি কিছুটা নিখুঁত ছিল (যদিও সম্ভাবনাটি কেবল পরামিতিগুলির একটি কাজ, তাই এটির জন্য সম্ভাবনা ঘনত্ব হওয়ার পক্ষে এটি ঠিক আছে উদাহরণস্বরূপ)। আমি সত্যিই জন্য বিশ্লেষণ করা উচিত$\mu$ এবং $\sigma$ নিখরচায়, তবে আপনি কি মনে করেন এর আগে কোনও ছড়িয়ে পড়ে $\sigma$ প্রান্তিক উত্তরবর্তী ক্ষেত্রে প্রশ্নে প্রদত্ত পরিস্থিতি সর্বদা এড়াতে চাইবে $\mu$?

— রোনান ডালি