একটি "অপরিবর্তনীয় পূর্ব" কি? আমরা কি সত্যই কোনও তথ্য সহ এমন কোনও জিনিস পেতে পারি?

73

এই প্রশ্ন থেকে একটি মন্তব্য দ্বারা অনুপ্রাণিত :

আমরা কোন পূর্ববর্তীগুলিতে "অপ্রয়োজনীয়" বিবেচনা করব - এবং অনুমিত অপ্রয়োজনীয় পূর্বে কোন তথ্য রয়েছে?

আমি সাধারণত একটি বিশ্লেষণে পূর্ববর্তীটি দেখতে পাই যেখানে এটি হয় ঘন ঘনবাদী ধরণের বিশ্লেষণ বায়েশীয় বিশ্লেষণ থেকে কিছু সুন্দর অংশ ধার করার চেষ্টা করা হয় (এটি করার মতো গরম জিনিসটির সমস্ত উপায়ে এটি কিছু সহজ ব্যাখ্যা হোক), নির্দিষ্ট পূর্ববর্তীটি হ'ল 0 এ কেন্দ্রিক প্রভাব পরিমাপের সীমানা জুড়ে অভিন্ন বিতরণ, তবে এটি পূর্বের জন্য কোনও আকারকে দৃ as় করে তোলে - এটি কেবল সমতল হয়ে যায়।

ব্যবহারের আগে আরও ভাল তথ্যহীন কি আছে?

bayesian prior

— Fomite
সূত্র

2

সম্ভবত আপনি সর্বাধিক এন্ট্রপির তথাকথিত মূল নীতিটি একবার উপভোগ করবেন । আমি পুরো উত্তরে এটি প্রসারিত করার মতো বোধ করি না - উইকিপিডিয়া নিবন্ধটি ভাল মানের বলে মনে হচ্ছে। আমি যথেষ্ট আত্মবিশ্বাসী কিছু অবদানকারী এর চেয়ে প্রসারিত হবে যা আমার চেয়ে আরও ভাল।

— এলভিস

93

[সতর্কতা: আইএসবিএর অবজেক্টিভ বায়েস বিভাগের কার্ড বহনকারী সদস্য হিসাবে , আমার মতামতগুলি সমস্ত বায়েশিয়ার পরিসংখ্যানবিদদের প্রতিনিধি নয়, একেবারে বিপরীত ...]

সংক্ষেপে, "সত্যিকারের কোনও তথ্য নয়" এর সাথে পূর্বের মতো কোনও জিনিস নেই।

প্রকৃতপক্ষে, "অপরিবর্তনীয়" পূর্ববর্তীটি দুঃখজনকভাবে একটি মিসনোমার। পূর্বের কোনও বিতরণে কিছু স্পেসিফিকেশন থাকে যা কিছু পরিমাণ তথ্যের অনুরূপ। এমনকি (বা বিশেষত) আগে ইউনিফর্ম। প্রকৃতপক্ষে, ইউনিফর্ম পূর্ববর্তী সমস্যার প্রদত্ত পরামিতিগুলির জন্য কেবল সমতল। যদি একটি অন্য প্যারামিটারাইজেশন (এমনকি একটি সীমাবদ্ধও) পরিবর্তন হয়, তবে জ্যাকবীয় পরিবর্তনশীলের পরিবর্তন চিত্র এবং ঘনত্বের মধ্যে আসে এবং পূর্ববর্তীটি আর ফ্ল্যাট হয় না।

এলভিসের নির্দেশ অনুসারে, সর্বাধিক এনট্রপি হ'ল তথাকথিত "অবজ্ঞাতনামা" প্রিরিয়ারগুলি বেছে নেওয়ার পক্ষে একটি উপায়। তবে (ক) যথেষ্ট প্রয়োজন তথ্য কিছু মুহূর্ত উপর পূর্বে বিতরণের সীমাবদ্ধতার উল্লেখ করার যা পূর্ববর্তী এবং (খ) একটি রেফারেন্স পরিমাপের প্রাথমিক পছন্দ [ধারাবাহিক সেটিংসে], এমন একটি পছন্দ যা বিতর্ককে তার প্রাথমিক পর্যায়ে ফিরিয়ে আনে! (এছাড়াও, সীমাবদ্ধতার প্যারামিট্রেশন (যেমন, এর পছন্দ) $h(\theta)$ $\pi(\cdot)$

\int_{Θ} h (θ) d π (θ) = h_{0}

$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$

π^{*} (θ) \propto \exp {λ^{T} h (θ)}

$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$

d μ (θ)

$\text{d}\mu(\theta)$

h

$h$ ) ফলাফল প্রাপ্ত ম্যাক্সেন্টের আকারটি আগে প্রভাবিত করে ))

জোসে বার্নার্ডো রেফারেন্স প্রিয়ারগুলির একটি মূল তত্ত্ব তৈরি করেছেন যেখানে তিনি পূর্বের এবং উত্তরোত্তর মধ্যে কুলব্যাক দূরত্বকে সর্বাধিক করে ডেটা দ্বারা আনা তথ্য সর্বাধিকতর করার জন্য অগ্রাধিকার পছন্দ করেন। কোনও উপদ্রব পরামিতি না থাকা সহজ ক্ষেত্রে, সমাধানটি হ'ল জেফ্রেসের পূর্ববর্তী। আরও জটিল সমস্যাগুলিতে (ক) সুদের পরামিতিগুলির একটি পছন্দ (বা এমনকি তাদের আগ্রহের ক্রমগুলির একটি র‌্যাঙ্কিং) করতে হবে; (খ) পূর্বের গণনা মোটামুটিভাবে জড়িত এবং অযোগ্যতা সমস্যাগুলি এড়াতে এম্বেডড কমপ্যাক্ট সেটগুলির একটি ক্রম প্রয়োজন। ( বিশদগুলির জন্য উদাঃ বায়েশিয়ান পছন্দটি দেখুন ))

একটি আকর্ষণীয় মোড় হিসাবে, বাইশিয়ান দৃষ্টিকোণের বাইরে কিছু গবেষকরা আত্মবিশ্বাস বিতরণ বলে এমন প্রক্রিয়া বিকাশ করছেন যা প্যারামিটার স্পেসে সম্ভাব্যতা বিতরণ, স্পষ্টত পূর্ববর্তী কাঠামো ছাড়াই ফ্রিকোয়েন্সি ভিত্তিক পদ্ধতিগুলি থেকে বিবর্তন দ্বারা নির্মিত বা এমনকি এই পরামিতি জায়গার উপর প্রভাবশালী ব্যবস্থা না constructed তারা যুক্তি দেখান যে পূর্বে ভালভাবে সংজ্ঞায়িত হওয়ার এই অনুপস্থিতি একটি প্লাস, যদিও ফলাফলটি অবশ্যই প্রাথমিকভাবে ফ্রিকোয়েন্সি ভিত্তিক পদ্ধতির নির্বাচনের উপর নির্ভর করে

সংক্ষেপে, "" "" "অবজ্ঞাত" এর আগে কোনও "সেরা" (বা "আরও ভাল") পছন্দ নেই। এবং আমি এটি বিবেচনা করি বিষয়গুলি কীভাবে হওয়া উচিত কারণ বেইসিয়ান বিশ্লেষণের প্রকৃতি প্রকৃতির বোঝায় যে পূর্ববর্তী বিতরণের বিষয়টি গুরুত্বপূর্ণ। এবং এটিতে প্রিয়ারদের তুলনা নেই: একজনের চেয়ে অন্যের তুলনায় "ভাল" হতে পারে না। (ডেটা পর্যবেক্ষণ করার আগে: একবার পর্যবেক্ষণ করা গেলে, প্রিয়ারদের তুলনা মডেল পছন্দ হয়ে যায়)) জোসে বার্নার্ডো, জিম বার্গার, দোংচু সান এবং আরও অনেক "উদ্দেশ্য" বায়েশিয়ানদের উপসংহারটি হ'ল মোটামুটি সমমানের রেফারেন্স প্রিয়াররা থাকতে পারে কারও পূর্বের তথ্য সম্পর্কে অনিশ্চিত থাকা বা বেঞ্চমার্ক বায়েশিয়ান অনুমানের সন্ধানের সময় ব্যবহার করুন, সেই কয়েকজন প্রবক্তিকে আংশিকভাবে তথ্য তত্ত্বের যুক্তি দ্বারা সমর্থন করা হয়েছে,

— সিয়ান
সূত্র

14

(+1) আপনার বই? ধুর ছাই. আমার তাই আপনার জন্য 387 টি প্রশ্ন রয়েছে :)

— এলভিস

4

(+1) কোনও উদ্দেশ্য (কম নয়!) এর জন্য, সহজ উত্তর।

— কার্ডিনাল

2

+1 সমস্যাগুলির একটি ভাল এবং সু-অবহিত ওভারভিউর জন্য আপনাকে ধন্যবাদ।

— whuber

2

একটি অসামান্য উত্তর। ধন্যবাদ. এবং আরও একটি বই ইচ্ছার তালিকায় যেতে হবে।

— ফোমাইট

1

এটা প্রায় অন্যায়। সব মিলিয়ে সে খ্রিস্টান রবার্ট! শুধু মজা করছি. দুর্দান্ত উত্তর। এবং আমি পছন্দ করব যদি @ জিয়ান তার ব্লগে একটি পোস্টে এটি প্রসারিত করতে পারে, বিশেষত "অবজ্ঞাতনামা" প্রবীণদের বিষয়ে প্যারামিট্রাইজেশন কীভাবে গুরুত্বপূর্ণ।

— মানোয়েল গ্যাল্ডিনো

16

আনুষ্ঠানিক নন-ইনফরমটিভ প্রিয়ারগুলির একটি আকর্ষণীয় সম্পত্তি হ'ল "ঘনঘনবাদী-মিলে যাওয়া সম্পত্তি": এর অর্থ একটি উত্তরোত্তর 95% -বিশ্বাসের ব্যবধানও অন্তত (কমপক্ষে, প্রায়) একটি 95% -বিশ্বাস আন্তরিকতার অন্তর অন্তর। এই সম্পত্তিটি আগে বার্নার্ডোর রেফারেন্সের জন্য রয়েছে যদিও এই নন-ইনফরমটিভ প্রিয়ারদের তহবিলি ভাল ঘন ঘন মিলে যাওয়া সম্পত্তির অর্জনের দিকে ভিত্তি করে না, যদি আপনি "সরল" ("ফ্ল্যাট") অবিজ্ঞপ্ত পূর্বে ব্যবহার করেন যেমন ইউনিফর্ম বিতরণ বা গাউসিয়ান একটি বিশাল বৈকল্পিক সঙ্গে বিতরণ তারপর ঘন ঘনবাদী মিলে যায় সম্পত্তি যে কোন গ্যারান্টি আছে। হয়তো বার্নার্ডোর রেফারেন্স পূর্বের একটি ননফর্ম্যাটিক পূর্বের "সেরা" পছন্দ হিসাবে বিবেচনা করা যায় নি তবে সবচেয়ে সফল হিসাবে বিবেচিত হতে পারে।

— স্টাফেন লরেন্ট
সূত্র

9

জেফ্রিস ডিস্ট্রিবিউশন এছাড়াও অসঙ্গতি ভোগা: ওভার একটি পরিবর্তনশীল জন্য জেফ্রিস গতকাল দেশের সর্বোচ্চ তাপমাত্রা বা তার যা জেফ্রিস একটি সম্ভাব্যতা প্যারামিটারের পূর্ববর্তী ঘটনা না অনুপযুক্ত হয়, : পরিমাপ a এর mass ওভার এর ভর রয়েছে । $(-\infty,\infty)$ $(0,\infty)$ $p$ $\text{d}p/\sqrt{p(1-p)}$ $\pi$ $(0,1)$

রেনি দেখিয়েছেন যে একটি অ-তথ্যমূলক বিতরণ অবশ্যই একটি অনুচিত অবিচ্ছেদের সাথে যুক্ত থাকতে হবে। পরিবর্তে লহস্টের বিতরণগুলি দেখুন যা এই অসুবিধাটি এড়ায় এবং ভেরিয়েবলের পরিবর্তনে অদম্য (যেমন জন্য পরিমাপটি হ'ল। )। $p$ $\text{d}p/p(1-p)$

প্রথম, অনুবাদ ভাল!

E. LHOSTE এর জন্য: "লে ক্যালকুলার ডেস প্রোব্যাবিলিটের অ্যাপ্লিক্যালিটি 'ল' আর্টিলিরি", রিভ্যু ডি'রটিলিলি, টোম 91, মাই অওট 1923

এ। রেনাইয়ের জন্য: "সম্ভাবনার নতুন অ্যাক্সিয়োম্যাটিক তত্ত্বের উপর" অ্যাক্টা ম্যাথেম্যাটিকা, অ্যাকাদেমি ডেস সায়েন্সেস হ্যাঙ্গ্রোয়েজস, টোম ষষ্ঠ, ফ্যাস.3.3-4, 1955

আমি যুক্ত করতে পারি: এম ডুমাস: "লুইস ডি প্রব্যাবিলিটটি এ প্রাইরি ডি লহস্টে", সায়েন্সেস অ্যান্ড টেকনিক্স ডি ল'আরমেটমেন্ট, 56, 4ème ফ্যাসিকুল, 1982, পিপি 687-715

— Heymann
সূত্র

3

গুগল ট্রান্সলেটের মতো একটি স্বয়ংক্রিয় অনুবাদ পরিষেবাদির মাধ্যমে যদি এটি বেশ খারাপভাবে করা হয়ে থাকে তবে আপনার পক্ষে কি এটি আবার ইংরেজিতে আবার লেখা সম্ভব? ফরাসী এবং ইংরাজী উভয় ক্ষেত্রেই আরও সাবলীল অন্যান্য ব্যবহারকারীরা আপনার জন্য এটি অনুলিপি করতে সহায়তা করতে পারে।

— সিলভারফিশ

3

যতদূর আমি মনে করি, লস্টের আক্রমণাত্মক ফলাফল যথাক্রমে এবং পরামিতিগুলির জন্য রূপান্তর এবং মধ্যে সীমাবদ্ধ । এবং থেকে Other এ অন্য রূপান্তরগুলি বিভিন্ন প্রিয়ারের ফলস্বরূপ।

\log σ

$\log\sigma$

\log p / (1 - p)

$\log p/(1-p)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

R

$\mathbb{R}$

— শি'য়ান

2

১৯৯০ এর দশকের গোড়ার দিকে মরিস ডুমাসের সাথে আমার সংক্ষিপ্ত চিঠিপত্রের কথা থেকে আমার মনে আছে যে তিনি একটি নোট অক্স কম্পেটিস-রেন্ডাস দে ল'আকাদেমি দেস সায়েন্সেস লিখেছিলেন, যেখানে তিনি এবং রূপান্তর করতে " আক্রমণকারী "প্রিরিয়ার্স।

\log ()

$\log()$

logit ()

$\text{logit}()$

— শি'য়ান

3

আমি শি'আনের চমৎকার উত্তরের সাথে একমত, আমি উল্লেখ করে যে কোনও তথ্য বহন করার অর্থে "অপ্রয়োজনীয়" এমন কোনও পূর্বে নেই। এই বিষয়টিকে প্রসারিত করার জন্য, আমি এটি উল্লেখ করতে চেয়েছিলাম যে একটি বিকল্প হ'ল অসম্পূর্ণ সম্ভাবনার কাঠামোর মধ্যে বায়েশিয়ান বিশ্লেষণ করা ( উদাহরণস্বরূপ , ওয়ালি 1991 , ওয়ালি 2000 ) দেখুন। এই কাঠামোর মধ্যে পূর্বের বিশ্বাস সম্ভাবনা বিতরণের একটি সেট দ্বারা প্রতিনিধিত্ব করা হয়, এবং এটি উত্তরোত্তর বিতরণগুলির সাথে সম্পর্কিত সেট তৈরি করে। এটি খুব সহায়ক হবে না এর মত শোনায় তবে এটি আসলে বেশ আশ্চর্যজনক। এমনকি পূর্বের বিতরণগুলির একটি বিস্তৃত সেট সহ (যেখানে নির্দিষ্ট মুহূর্তগুলি সমস্ত সম্ভাব্য মানের চেয়ে বেশি পরিমাণে বিস্তৃত হতে পারে) আপনি এখনও এখনও হিসাবে একটি একক উত্তরাধিকারসূত্রে উত্তরোত্তর একত্রিত হন । $n \rightarrow \infty$

এই বিশ্লেষণাত্মক কাঠামোটি ওয়ালির নিজস্ব সম্ভাব্য বিশ্লেষণের নিজস্ব রূপ হিসাবে অচল করে দেওয়া হয়েছে, তবে মূলত প্রিয়ারদের একটি সেট ব্যবহার করে শক্তিশালী বায়েশিয়ান বিশ্লেষণের সমতুল্য, পোস্টারিয়ারগুলির সাথে সম্পর্কিত সেট তৈরি করে। অনেকগুলি মডেলগুলিতে কিছু "মুহুর্তের (উদাহরণস্বরূপ, পূর্বের মাধ্যম) মানগুলির সম্পূর্ণ সম্ভাব্য পরিসরের চেয়ে আলাদা হয়ে যাওয়ার জন্য প্রিয়ারদের একটি" অবিজ্ঞানমূলক "সেট সেট করা সম্ভব হয় এবং এটি সত্ত্বেও মূল্যবান উত্তরোত্তর ফলাফল তৈরি করে, যেখানে উত্তরোত্তর মুহুর্তগুলি আবদ্ধ থাকে আরও শক্তভাবে। বিশ্লেষণের এই ফর্মটি তত্ক্ষণাত্ তাদের সম্পূর্ণ অনুমোদনযোগ্য পরিসরে পরিবর্তিত হতে পারে এমন মুহুর্তগুলিতে "আনফর্মেশনাল" বলার পক্ষে আরও ভাল দাবি রয়েছে।

একটি সাধারণ উদাহরণ - বার্নৌল্লি মডেল: ধরুন আমরা ডেটা পর্যবেক্ষণ করি যেখানে হ'ল অজানা প্যারামিটার। সাধারণত আমরা পূর্ব হিসাবে একটি বিটা ঘনত্ব ব্যবহার করব (জেফরির পূর্ববর্তী এবং রেফারেন্স পূর্ববর্তী উভয়ই এই ফর্মের)। আমরা পূর্বের ঘনত্বের এই ফর্মটি পূর্বের গড় এবং অন্য একটি প্যারামিটার হিসাবে উল্লেখ করতে পারি: $X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$ $\theta$ $\mu$ $\kappa > 1$

\begin{aligned} π_{0} (θ | μ, κ) = Beta (θ | μ, κ) = Beta (θ | α = μ (κ - 1), β = (1 - μ) (κ - 1)) . \end{aligned}

$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$

(এই ফর্মটি পূর্বের মুহুর্তগুলি দেয় এবং )) এখন, এক অনর্থক মডেলটিতে আমরা সমস্ত সম্ভাব্য প্রত্যাশিত মানগুলির তুলনায় এই সমস্ত পূর্ব বিতরণের সেট সমন্বিত করতে পূর্ব নির্ধারণ করুন , তবে অন্যান্য পরামিতিগুলির সাথে গড় মানগুলির পরিসীমাটির উপরে নির্ভুলতা নিয়ন্ত্রণ করতে হবে। উদাহরণস্বরূপ, আমরা প্রিয়ার্সের সেটটি ব্যবহার করতে পারি: $\mathbb{E}(\theta) = \mu$ $\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

P_{0} \equiv {Beta (μ, κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$

ধরা যাক আমরা ডেটাতে ধনাত্মক সূচকগুলি পর্যবেক্ষণ । তারপরে, বার্নোল্লি-বিটা মডেলটির জন্য আপডেট করার নিয়মটি ব্যবহার করে, সম্পর্কিত উত্তরোত্তর সেটটি হ'ল: $s = \sum_{i=1}^n x_i$

P_{x} = {Beta (\frac{s + μ (κ - 1)}{n + κ - 1}, n + κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$

উত্তর প্রত্যাশার জন্য সম্ভাব্য মানগুলির ব্যাপ্তি হ'ল:

\frac{s}{n + κ - 1} ⩽ E (θ | x) ⩽ \frac{s + κ - 1}{n + κ - 1} .

$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$

এখানে গুরুত্বপূর্ণ বিষয়টি হ'ল যদিও আমরা প্যারামিটারের প্রত্যাশিত মান (পূর্বের প্রত্যাশা সমস্ত সম্ভাব্য মানের চেয়ে বেশি ছিল) সম্মতিতে "অবজ্ঞাত" ছিল এমন একটি মডেল দিয়ে শুরু করেছি, তবে আমরা পরবর্তী পোস্টগুলি শেষ করেছি যা শ্রদ্ধার সাথে তথ্যমূলক প্যারামিটারের উত্তর প্রত্যাশায় (তারা এখন মানগুলির একটি সংকীর্ণ সংখ্যার উপরে বিস্তৃত)। হিসাবে মূল্যবোধের এই পরিসীমা নিচে একটি একক বিন্দু, যার প্রকৃত মূল্য থেকে চিপা হয় । $n \rightarrow \infty$ $\theta$

— বেন
সূত্র

+1 টি। মজাদার. শেষ সমীকরণে কপা কী? এটা কি কপা স্টার হওয়া উচিত?

— অ্যামিবা

আমি একটি সহজ মডেল দেওয়ার জন্য বিভিন্নতা সরিয়ে সম্পাদনা করেছি । এটা এখন ঠিক করা উচিত।

κ

$\kappa$

— বেন