বায়েশিয়ান সেটিং-এর পূর্বের “ভুলে যাওয়া”?

এটি সুপরিচিত যে আপনার আরও প্রমাণ রয়েছে ( আইআইড উদাহরণগুলির জন্য বৃহত্তর আকারে বলুন ), বায়সিয়ান পূর্বের "ভুলে যাওয়া" হয়ে যায়, এবং বেশিরভাগ অনুমানের প্রমাণ দ্বারা প্রভাবিত হয় (বা সম্ভাবনা)। $n$ $n$

এটি বিভিন্ন নির্দিষ্ট ক্ষেত্রে (যেমন বিটা পূর্বে বা অন্য ধরণের উদাহরণ সহ ) দেখতে এটি সহজ - তবে এটি সাধারণ ক্ষেত্রে সাথে দেখার উপায় আছে কি? এবং কিছু পূর্ববর্তী ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

সম্পাদনা: আমি অনুমান করছি যে এটি কোনও পূর্বের জন্য সাধারণ ক্ষেত্রে প্রদর্শিত হতে পারে না (উদাহরণস্বরূপ, পয়েন্ট-মাস পূর্বে উত্তরোত্তরটিকে একটি পয়েন্ট-ভর রাখে)। তবে সম্ভবত কিছু শর্ত রয়েছে যার অধীনে কোনও পূর্বকে ভুলে যাওয়া হয়।

এই জাতীয় "পথ" আমি এখানে এমন কিছু দেখানোর বিষয়ে ভাবছি:

ধরে প্যারামিটার স্থান , এবং দিন এবং দুটি যা সব জায়গা নন-জিরো সম্ভাব্যতা ভর গতকাল দেশের সর্বোচ্চ তাপমাত্রা হতে । সুতরাং, প্রতিটি পূর্বের পরিমাণের জন্য দুটি পূর্ববর্তী গণনা: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

এবং

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

যদি আপনি দ্বারা ভাগ করে (পোস্টারিয়র), তবে আপনি পাবেন: $p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

এখন আমি উপরের শব্দটি অন্বেষণ করতে চাই যেহেতু যায় । মূলত এটি যেতে হবে একটি নির্দিষ্ট জন্য অথবা অন্য কোনো চমৎকার আচরণ "জ্ঞান করে তোলে" যে, কিন্তু আমি চিন্তা করতে পারে না কিছু দেখানোর জন্য কিভাবে। $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
সূত্র

কিছু স্বজ্ঞাততার জন্য, নোট করুন যে সম্ভাবনাটি নমুনা আকারের সাথে স্কেল করে যখন পূর্বেরটি না করে।

— ম্যাক্রো

@ ম্যাক্রো, ধন্যবাদ, আমারও এই অন্তর্নিহিততা ছিল, তবে আমি এটিকে আরও এগিয়ে নিতে পারিনি। আমার সম্পাদনাগুলি উপরে দেখুন।

— বায়সিয়ানঅরফ্রোসিস্টিস্ট

ঘোষ এবং রামমূর্তির পাঠ্যপুস্তক বয়েশিয়ান ননপ্যারমেট্রিক্সের প্রথম কয়েকটি অধ্যায়গুলি আপনি যে ধরণের বিষয় নিয়ে কথা বলছেন তা বের করে দেয় (প্রথমে একটি প্যারামেট্রিক সেটিংয়ে, তারপরে একটি ননপ্যারামেট্রিক); আপনি যদি কোনও উপযুক্ত প্রতিষ্ঠানে থাকেন তবে এটি স্প্রিংজারের মাধ্যমে অনলাইনে বিনামূল্যে পাওয়া যায়। পূর্ব অ্যাসেম্পোটোটিকভাবে নির্ভরতার অভাবকে আনুষ্ঠানিক করার বিভিন্ন উপায় রয়েছে তবে অবশ্যই কয়েকটি নিয়মিত শর্ত রয়েছে।

— লোক

মনে রাখবেন যে পূর্ববর্তী অনুপাতটি পূর্বের অনুপাতের সাথে সমানুপাতিক, সুতরাং সম্ভাবনা বা প্রমাণ অনুপাত সত্যিই এটিকে প্রভাবিত করে না।

— সম্ভাব্যতাব্লোগিক

উত্তর:

কেবল একটি মোটামুটি, তবে আশা করি স্বজ্ঞাত উত্তর।

লগ-স্পেস দৃষ্টিকোণ থেকে এটি দেখুন: যেখানে একটি ধ্রুবক যা ডেটা উপর নির্ভর করে, তবে প্যারামিটারের উপর নয় এবং যেখানে আপনার সম্ভাবনাগুলি আইড পর্যবেক্ষণগুলি অনুমান করে। সুতরাং, কেবলমাত্র সেই অংশটির প্রতি মনোনিবেশ করুন যা আপনার আকৃতি নির্ধারণ করে, যথা
$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
ধরে নিন যে এখানে একটি রয়েছে যা । এটি পৃথক বিতরণের জন্য যুক্তিসঙ্গত। $D>0$ $-\log P(\theta) \leq D$
পদগুলি সমস্ত ইতিবাচক হওয়ার কারণে, "বাড়বে" (আমি এখানে প্রযুক্তিগত এড়িয়ে যাচ্ছি)। তবে পূর্বের অবদানটি দ্বারা আবদ্ধ । অতএব, পূর্বের দ্বারা প্রদত্ত ভগ্নাংশটি, যা সর্বাধিক , প্রতিটি অতিরিক্ত পর্যবেক্ষণের সাথে একঘেয়েমি হ্রাস পায়। $S_n$ $D$ $D/S_n$

অবশ্যই কঠোর প্রমাণগুলির জন্য প্রযুক্তিগততার মুখোমুখি হতে হবে (এবং তারা খুব কঠিন হতে পারে), তবে উপরের সেটিংটি আইএমএইচও খুব মূল অংশ।

— পেড্রো এ
সূত্র

"পূর্বেরটি ভুলে যাওয়া" এবং "বেশিরভাগ অনুমানের প্রমাণ দ্বারা প্রভাবিত হয়" এর বক্তব্যগুলির অর্থ কী তা বোঝাতে পেরে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি। আমি ধরে নিচ্ছি যে ডেটা পরিমাণ বাড়ার সাথে সাথে আপনার অর্থ বোঝানো হচ্ছে, প্রাক্কলনকারী (গুলি) আমাদের পূর্ব নির্বিশেষে প্যারামিটারের সত্যিকারের মানটির কাছে পৌঁছায়।

উত্তরোত্তর বিতরণ আকারে কিছু নিয়মিততার শর্ত অনুমান করে, বেইস এসটিমেটারগুলি সামঞ্জস্যপূর্ণ এবং অ্যাসেম্পোটোটিক্যালি পক্ষপাতহীন ( জেলম্যান এট আল, অধ্যায় 4 দেখুন )। এর অর্থ নমুনার আকার বাড়ায় বেইস অনুমানকটি প্যারামিটারের আসল মানটির কাছে চলে যায়। ধারাবাহিকতার অর্থ বেইস অনুমানক সম্ভাবনাকে সত্য প্যারামিটার মানকে রূপান্তরিত করে এবং অ্যাসিপটোটিক পক্ষপাতহীনতার অর্থ, ধরে নেওয়া হ'ল প্যারামিটারের আসল মান, $\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

রূপান্তর পূর্বের নির্দিষ্ট ফর্মের উপর নির্ভর করে না, তবে কেবল পূর্বের প্রাপ্ত উত্তোলন এবং সম্ভাবনা নিয়মিততার শর্ত পূরণ করে।

গেলম্যান এট আল-তে উল্লিখিত সর্বাধিক গুরুত্বপূর্ণ নিয়মিততার শর্তটি হ'ল প্যারামিটারের একটি অবিচ্ছিন্ন ফাংশন এবং প্যারামিটারের প্রকৃত মান প্যারামিটার জায়গার অভ্যন্তরে থাকতে পারে । এছাড়াও, যেমনটি আপনি উল্লেখ করেছেন, প্যারামিটারটির সত্যিকারের মূল্যের প্রকৃত মানের একটি উন্মুক্ত প্রতিবেশে অবশ্যই পোস্টটি নোনজারো হতে হবে। সাধারণত, আপনার পূর্ববর্তীটি পুরো পরামিতি স্পেসে ননজারো হওয়া উচিত।

— caburke
সূত্র

ধন্যবাদ, খুব অন্তর্দৃষ্টিপূর্ণ আমি আসলে এমন একটি ফলাফলের জন্য আশা করছিলাম যা এমনকি "সত্য" পরামিতি মানের সাথেও সম্পর্কিত না। প্রযুক্তিগতভাবে কেবল এটি দেখানো, যেমন আপনার আরও প্রমাণ রয়েছে, আপনি যে পোস্টারোয়ারিয়ালটি পেতে যাচ্ছেন তা হ'ল আপনি যে প্রারম্ভের সাথে শুরু করেছিলেন তা একই অনাদর less আমি এটি সম্পাদন করতে কিছু সম্পাদনা করতে যাচ্ছি।

— বায়সিয়ানঅরফ্রোসিস্টিস্ট

@ বায়েশিয়ান অরফ্রোনিস্টবাদী তথাকথিত বায়েশিয়ান কেন্দ্রীয় সীমাবদ্ধতা তত্ত্বটি দেখুন ।

— স্টাফেন লরেন্ট