বায়েশিয়ান উত্তরোত্তর একটি সঠিক বিতরণ করা প্রয়োজন?

21

আমি জানি যে প্রিয়ারদের যথাযথ হওয়া উচিত নয় এবং সম্ভাবনা ফাংশনটি 1 এর সাথেও সংহত হয় না। তবে উত্তরোত্তর কি সঠিক বিতরণ হওয়া দরকার? যদি তা হয় / না থাকে তবে তার কী কী প্রভাব পড়বে?

distributions bayesian posterior

— ATJ
সূত্র

15

(পূর্ববর্তী উত্তরগুলি পড়লে এটি কিছুটা অবাক হওয়ার মতো বিষয়, যা পূর্ববর্তী যথাযথ হলে উত্তরের সম্ভাব্য অপ্রয়োজনীয়তার দিকে মনোনিবেশ করে, যেহেতু আমি যতদূর বলতে পারি, প্রশ্নটি উত্তরোত্তর যথাযথ হতে হবে কি না) ( অর্থাত্, একের সাথে একীকরণযোগ্য) যথাযথ (যেমন, বায়সিয়ান অনুমানের জন্য গ্রহণযোগ্য) উত্তরোত্তর হতে হবে)

Bayesian পরিসংখ্যান সালে অবর বন্টন হয়েছে একটি সম্ভাব্যতা বিতরণের, যা থেকে এক অবর গড় মত মুহূর্ত আহরণ করতে হতে এবং সম্ভাব্যতা বিশ্বাসযোগ্য কভারেজ মত বিবৃতি অঞ্চল, । তাহলে অবর পারব না সম্ভাবনার ঘনত্বে সাধারণীকরণ করা উচিত এবং বায়সিয়ান অনুমান কেবল পরিচালনা করা যায় না। এই জাতীয় ক্ষেত্রে উত্তরোত্তর সহজভাবে বিদ্যমান নেই। $\mathbb{E}^\pi[h(\theta)|x]$ $\mathbb{P}(\pi(\theta|x)>\kappa|x)$

\int চ (এক্স | θ) π (θ) ঘ θ = + + \infty, (1)

$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$

π (θ | x)

$\pi(\theta|x)$

আসলে, (1) সবার জন্য রাখা আবশ্যক নমুনা স্থান এর এবং শুধুমাত্র জন্য পর্যবেক্ষিত , জন্য অন্যথায় নির্বাচন পূর্বে উপর নির্ভর করবে তথ্য । এর অর্থ হল, দ্বিপদী বা নেতিবাচক দ্বিপদী ভেরিয়েবল এর সম্ভাব্যতা তে পূর্বের, like এর মতো প্রিয়ারগুলি ব্যবহার করা যাবে না, যেহেতু উত্তরোত্তর নয় জন্য সংজ্ঞায়িত । $x$ $x$ $\pi(p)\propto \{1/p(1-p)\}$ $p$ $X$ $x=0$

আমি একটি ব্যতিক্রম সম্পর্কে জানি যখন কেউ "অনুচিত পোস্টারিয়র" বিবেচনা করতে পারেন: এটি ডেভিড ভ্যান ডাইক এবং জিয়াও-লি মেনগের "আর্ট অফ ডেটা অগমেন্টেশন" তে পাওয়া গেছে । অনুপযুক্ত পরিমাপটি তথাকথিত ওয়ার্কিং প্যারামিটারের উপরে is যেমন পর্যবেক্ষণটি একটি বর্ধিত বিতরণ প্রান্তিকের দ্বারা উত্পাদিত হয় এবং ভ্যান ডাইক এবং মেনগ এই কার্যকারী প্যারামিটারে একটি অনুচিত পূর্ববর্তী রেখেছেন এমসিএমসি কর্তৃক (যা সম্ভাবনার ঘনত্ব হিসাবে ভালভাবে সংজ্ঞায়িত থাকে সিমুলেশনটি গতিশীল করার জন্য । $\alpha$

f (x | θ) = \int_{T (x^{aug}) = x} f (x^{aug} | θ, α) d x^{আগস্ট}

$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$

p (α)

$p(\alpha)$

α

$\alpha$

π (θ | x)

$\pi(\theta|x)$

অন্য দৃষ্টিকোণে, এরিটমোচেলিসের উত্তর সম্পর্কিত কিছুটা সম্পর্কিত , যেমন বায়েশিয়ার সিদ্ধান্ত তত্ত্বের একটি দৃষ্টিভঙ্গি , যেখানে একটি (1) ঘটে সে ক্ষেত্রে এটি গ্রহণযোগ্য হতে পারে যদি এটি সর্বোত্তম সিদ্ধান্ত গ্রহণের দিকে পরিচালিত করে। যথা, যদি সিদ্ধান্ত- ব্যবহারের প্রভাবের মূল্যায়ন একটি ক্ষতির ফাংশন , পূর্ববর্তী অধীনে একটি বায়সিয়ান অনুকূল সিদ্ধান্তটি by এবং সমস্ত কিছু এই অবিচ্ছেদ্য সর্বত্র নয় (ইন ) অসীম। (1) হোল্ড হ'ল জন্য গৌণ $L(\delta,\theta)\ge 0$ $\delta$ $\pi$

δ^{⋆} (x) = \arg min_{δ} \int L (δ, θ) f (x | θ) π (θ) d θ

$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$

δ

$\delta$

δ^{⋆} (x)

$\delta^\star(x)$ যদিও স্বীকৃতি পাওয়ার মতো বৈশিষ্ট্যগুলি কেবল তখনই গ্যারান্টিযুক্ত থাকে যখন (1) থাকে।

— সিয়ান
সূত্র

19

পূর্ববর্তীটি যথাযথ হলেও উত্তরোত্তর বিতরণ সঠিক হতে হবে না। উদাহরণ স্বরূপ, ধরুন একটি গামা পূর্বে আকৃতি 0.25 (যা সঠিক) সঙ্গে আছে, এবং আমরা আমাদের উপাত্ত মডেল যেমন গড় শূন্য এবং ভ্যারিয়েন্স সঙ্গে একটি গসিয়ান বন্টন থেকে টানা । ধরুন শূন্য হতে দেখা গেছে। তারপর সম্ভাবনা সমানুপাতিক , যার জন্য অবর বন্টন তোলে অনুপযুক্ত, যেহেতু এটি সমানুপাতিক । অবিচ্ছিন্ন ভেরিয়েবলগুলির ক্ষুদ্র প্রকৃতির কারণে এই সমস্যা দেখা দেয়। $v$ $x$ $v$ $x$ $p(x|v)$ $v^{-0.5}$ $v$ $v^{-1.25} e^{-v}$

— টম মিনকা
সূত্র

দুর্দান্ত উদাহরণ, টম!

— জেন

+1, যদিও আপনি ওপির শেষ বাক্যটির উত্তরটি প্রসারিত করতে পারেন? এই অসুখী উত্তরোত্তর অর্থবহুল (আপনি সাধারণত কোনও উত্তরকালের সাথে যে ধরণের জিনিসগুলি করতে পারেন তা করতে পারেন), বা কোনও গণনা থেকে কোনও এনএএন বা ইনফ পাওয়ার পক্ষে আরও অনুরূপ? এটি কি এমন একটি চিহ্ন যা আপনার মডেলটির সাথে কিছু ভুল হয়েছে?

— ওয়েইন

5

মডেলটিতে কিছু ভুল নেই। এই উত্তরোত্তর অর্থটি অর্থবোধক যে আপনি যদি অন্য কোনও পর্যবেক্ষণ গ্রহণ করেন তবে আপনি এটিতে বহুগুণে বাড়তে পারেন এবং সম্ভবত একটি সঠিক উত্তরোত্তর ফিরে যেতে পারেন। সুতরাং এটি কোনও NaN এর মতো নয়, যার উপরের সমস্ত অপারেশন NaN।

— টম মিনকা

8

যদিও বিষয়টি সম্ভবত খুব দেরিতে হয়েছে, আমি মনে করি না যে এই জাতীয় "কাউন্টার-উদাহরণগুলি" সহায়তা প্রাথমিকদের ব্যবহার করে: সমস্যাটি দেখা দেয় কারণ আপনি গসীয় ঘনত্বের একটি নির্দিষ্ট সংস্করণটি

, যখন এটি সেটটিতে নির্বিচারে সংজ্ঞায়িত করা যায় শূন্য পরিমাপ। এবং তাই নির্বাচিত সংস্করণটির উপর নির্ভর করে উত্তরকে যথাযথ বা অযৌক্তিক করুন।

x = 0

$x=0$

— শি'আন

আকর্ষণীয় - আপনি যদি সাধারণ

নেন , তবে পশ্চাতটি হ'ল প্যারামিটারগুলি সহ সাধারণীকরণের বিপরীত গাউসিয়ান

। @ শি'য়ান - এ থেকে সঠিক উত্তরোত্তর পাওয়ার বিকল্প উপায়টি দেখে ভাল হবে।

x

$x$

- 0.25, 1, x^{2}

$-0.25,1,x^2$

— সম্ভাব্যতাব্লোগিক

11

সেটটি নির্ধারণ করছে আমাদের কাছে

Bogus Data = {x : \int f (x ∣ θ) π (θ) d θ = \infty},

$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$

লেবেসগু পরিমাপধনাত্মকহলে শেষ অবিচ্ছেদ্য

সমান হবে। তবে এটি অসম্ভব, কারণ এই অবিচ্ছেদ্য আপনাকে সম্ভাবনা দেয় (

এবং

মধ্যে একটি আসল সংখ্যা)। সুতরাং, এটি অনুসরণ করে যে

লেবেসগু পরিমাপ

সমানএবং অবশ্যই এটি

।

P r (X \in Bogus Data) = \int_{Bogus Data} \int f (x ∣ θ) π (θ) d θ d x = \int_{Bogus Data} \infty d x .

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$

\infty

$\infty$

Bogus Data

$\text{Bogus Data}$

0

$0$

1

$1$

Bogus Data

$\text{Bogus Data}$

0

$0$

P r (X \in Bogus Data) = 0

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$

কথায় কথায়: sample নমুনা মানগুলিকে পূর্ববর্তী ভবিষ্যদ্বাণীমূলক সম্ভাবনা যা উত্তরকে অনুচিত করে তোলে শূন্যের সমান।

গল্পটির নৈতিকতা: নাল সেট থেকে সাবধান থাকুন, তারা কামড় ফেলতে পারে, তবে এটি অসম্ভব।

পিএস হিসাবে মন্তব্যগুলিতে অধ্যাপক রবার্টের দ্বারা চিহ্নিত করা হয়েছে, পূর্বেরটি যথাযথ না হলে এই যুক্তিটি ফুরিয়ে যায়।

— জেন
সূত্র

4

আপনি একবার লিখেছিলেন : "আমরা যদি যথাযথ পূর্বের সাথে শুরু করতে পারি এবং একটি অনুচিত উত্তরোত্তর পেতে পারি তবে আমি অনুমান ছেড়ে দেব" "

— টম মিনকা

2

গালে কিছুটা জিহ্বা, একটি অন্তর্নিহিত কোয়ানটিফায়ার ছিল: আমরা যদি প্রতিটি সম্ভাব্য নমুনার মানের জন্য কোনও যথাযথ পূর্বের সাথে শুরু করতে এবং একটি অনুচিত উত্তরোত্তর পেতে পারি তবে আমি অনুমান ছেড়ে দেব। ;-)

— জেন

যাইহোক, অসাধারণ স্মৃতি, টম!

— জেন

4

P r (X \in Bogus Data)

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)$

(θ, x)

$(\theta,x)$

1

আপনি ঠিক বলেছেন। উত্তরের যুক্তি কেবল সঠিক প্রিয়ারদের সাথেই কাজ করে। ভাল যুক্তি. আমি একটি নোট যুক্ত করব।

— জেন

3

যে কোনও "বিতরণ" এর সমষ্টি (বা সংহত) হতে হবে 1.. আমি কয়েকটি উদাহরণ বিবেচনা করতে পারি যেখানে কেউ সাধারণহীন বিতরণগুলির সাথে কাজ করতে পারে তবে আমি অস্বস্তি বোধ করি এমন কিছুকে যা 1 টি "বিতরণ" ব্যতীত অন্য কিছুতে প্রান্তিক করে তোলে।

$x$ $d$

\begin{aligned} \hat{এক্স} & = ARG \underset{এক্স}{সর্বোচ্চ} {পি}_{এক্স | ডি} (এক্স | ঘ) \\ = ARG \underset{এক্স}{সর্বোচ্চ} \frac{{পি}_{ডি | এক্স} (ঘ | এক্স) {পি}_{এক্স} (এক্স)}{{পি}_{ডি} (ঘ)} \\ = ARG \underset{এক্স}{সর্বোচ্চ} {পি}_{ডি | এক্স} (ঘ | এক্স) {পি}_{এক্স} (এক্স) \end{aligned}

$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$

$P_D$ $x$ $\hat{x}$ $P_{D|X}(d|x) P_X(x)$

— eretmochelys
সূত্র

@ জেন এই উত্তরটি সম্পর্কে আপনার কী ভুল (বা মৌলিকভাবে অসম্পূর্ণ) বলে মনে হচ্ছে তা সম্পর্কে আরও স্পষ্ট হওয়া আপনার মনে হবে?

— whuber

1

ওপি প্রশ্নের ব্যাখ্যার একটি উপায় "উত্তরোত্তরকে কি সঠিক বিতরণ করা দরকার?" এটি জিজ্ঞাসা করা উচিত যে কোনও উপযুক্ত পূর্বের সাথে শুরু করা এবং একটি অনুচিত উত্তরোত্তর দিয়ে শেষ করা গণিতের পক্ষে সম্ভব কিনা। মিনকার উত্তরটি একটি স্পষ্ট উদাহরণ দেয় যেখানে এটি ঘটে। আমি আমার উত্তরের সাথে পরিপূরক করার চেষ্টা করেছি এবং এটি উল্লেখ করতে চেষ্টা করেছি যে এটি কেবলমাত্র শূন্যপূর্ব পূর্বাভাসমূলক সম্ভাবনার সংকলনের মধ্যেই ঘটতে পারে।

— জেন

1

@ জেন এটি আমার কাছে মনে হয়েছে যে একটি ঘনিষ্ঠভাবে সম্পর্কিত ব্যাখ্যা "" যদি উত্তরোত্তর সঠিক না হয় তবে এর থেকে আমি কী তথ্য পেতে পারি? " এই গৃহীত উত্তরটি দেখে মনে হচ্ছে এটি কোনও বিশেষ পরিস্থিতিতে (যা পরিষ্কারভাবে বর্ণিত হয়েছে) সম্পর্কিত সম্পর্কিত এবং সঠিক পরামর্শ সরবরাহ করে। গ্রহণযোগ্যতাটি আমার কাছে এমন সিগন্যালের মতো দেখাচ্ছে যা পরিস্থিতি সম্পর্কে এক চাতুর্য অনুমান সহ ইরেটমোচলীরা বাড়িতে আঘাত করেছিল।

— whuber

-2

$n$ $Beta(0,0)$

— omidi
সূত্র

3

এই উত্তরটি ভুল। আমার উত্তর দেখুন।

— টম মিনকা