বায়েশিয়ানস: সম্ভাবনা কাজ দাস?

62

তাঁর "সমস্ত পরিসংখ্যান" বইয়ে অধ্যাপক ল্যারি ওয়াসারম্যান নিম্নলিখিত উদাহরণটি উপস্থাপন করেছেন (১১.১০, পৃষ্ঠা ১৮৮)। ধরুন যে আমরা একটি ঘনত্ব যেমন যে $f$ , যেখানে একটি হলপরিচিত(নন-নেগেটিভ, সমাকলনযোগ্য) ফাংশন, এবং নিয়মমাফিককরণ ধ্রুবক হয়অজানা। $f(x)=c\,g(x)$ $g$ $c>0$

আমরা সেইসব ক্ষেত্রে আগ্রহী যেখানে আমরা গণনা করতে পারি না । উদাহরণস্বরূপ, এটি ক্ষেত্রে যে হতে পারে একটি খুব উচ্চ মাত্রিক নমুনা স্থান উপর একটি পিডিএফ হয়। $c=1/\int g(x)\,dx$ $f$

এটি সুপরিচিত যে সিমুলেশন কৌশল রয়েছে যা অজানা হলেও আমাদের থেকে নমুনা দেয় । সুতরাং, ধাঁধাটি হ'ল: আমরা যেমন একটি নমুনা থেকে অনুমান করতে পারি ? $f$ $c$ $c$

প্রফেসর ওয়েসারম্যান বর্ণনা নিম্নলিখিত Bayesian সমাধান: দিন জন্য কিছু পূর্বে হতে । সম্ভাবনা হ'ল $\pi$ $c$ অতএব, অবর নমুনা মান উপর নির্ভর করে না । সুতরাং, কোনও বায়েশিয়ান নমুনায় থাকা তথ্যকে সম্পর্কে তথ্য নির্ধারণ করতে ব্যবহার করতে পারে না।

L_{x} (c) = \prod_{i = 1}^{n} f (x_{i}) = \prod_{i = 1}^{n} (c g (x_{i})) = c^{n} \prod_{i = 1}^{n} g (x_{i}) \propto c^{n} .

$L_x(c) = \prod_{i=1}^n f(x_i) = \prod_{i=1}^n \left(c\,g(x_i)\right) = c^n \prod_{i=1}^n g(x_i) \propto c^n \, .$

π (c ∣ x) \propto c^{n} π (c)

$\pi(c\mid x) \propto c^n \pi(c)$

x_{1}, \dots, x_{n}

$x_1,\dots,x_n$

c

$c$

প্রফেসর ওয়াসেরম্যান উল্লেখ করেছেন যে "বায়েশিয়ানরা সম্ভাবনা ফাংশনের দাস। সম্ভাবনা কমে যাওয়ার পরে বায়েশিয়ানদের অনুমানও হবে"।

আমার সহযোদ্ধা স্ট্যাকারদের জন্য আমার প্রশ্ন হ'ল: এই বিশেষ উদাহরণটি সম্পর্কে, বয়েসিয়ান পদ্ধতিতে কী ভুল হয়েছে (যদি কিছু থাকে)?

পিএস যেমন প্রফেসর ওয়াসেরম্যান তার উত্তরে সদয়ভাবে ব্যাখ্যা করেছিলেন, উদাহরণটি এড জর্জের কারণে।

bayesian mathematical-statistics

— জেন
সূত্র

10

এই উদাহরণটি কোনও বায়েশিয়ান বিশ্লেষণের চেয়ে সংখ্যাগত সংহতকরণের জন্য কেবল একটি উদ্ভট অকার্যকর পদ্ধতির মতো শোনাচ্ছে।

— whuber

2

আপনি কীভাবে বলতে পারেন যে বেয়েসিয়ান

সম্পর্কে কিছুই শিখেনি । এটি যদি হয় তবে আমাদের

। এটা স্পষ্টভাবে না।

c

$c$

π (c | x) \propto π (c)

$\pi(c|x)\propto\pi(c)$

— সম্ভাব্যতা ব্লগ

2

আমি সত্যিই এই উদাহরণ বুঝতে পারি না। তাহলে

উপর নির্ভর করে না

তারপর হওয়াটা বেশ আশ্চর্যের নয় যে ডেটা তথ্যপূর্ণ হিসাবে তারপর হয় না

শুধুমাত্র আকারে উপর নির্ভর করে

এবং জন্য একই

নমুনা? আমি স্পষ্টত কিছু সূক্ষ্ম (না এত সূক্ষ্ম না) পয়েন্ট মিস করছি।

g ()

$g()$

c

$c$

c

$c$

g ()

$g()$

a n y

$any$

— ডিকরান মার্সুপিয়াল

আমি একটি আনুষ্ঠানিকভাবে বায়েশিয়ান পদ্ধতির সাথে মতামত রেখেছি যা @ জেনের আপত্তি কাটিয়ে উঠতে পারে , শি'র আগ্রহের অভাবকে বিপরীত করে না এবং কেবল সংখ্যার একীকরণের যথার্থতাটি মূল্যায়ন করে শেষ হয়।

— ফ্যানেরন

1

ল্যারির ব্লগে একটি চমৎকার ফলোআপ: normaldeviate.wordpress.com/2012/10/05/…

— জেন

43

এটি আমার কাগজে (কেবল ইন্টারনেটে প্রকাশিত) "ল্যানি ওয়াসারম্যানের উপর একটি উদাহরণ" [ 1 ] এবং ওয়াসারম্যানের ব্লগে আমার, ওয়াসারম্যান, রবিন্স এবং আরও কিছু মন্তব্যকারীদের মধ্যে একটি ব্লগ বিনিময়ে এই বিষয়ে আলোচনা করা হয়েছে : [ ২ ]

সংক্ষিপ্ত উত্তরটি হ'ল ওয়াসারম্যান (এবং রবিনস) উচ্চ মাত্রিক স্থানগুলিতে প্রিয়ারদের "অবশ্যই" এমন বৈশিষ্ট্য থাকতে হবে যা দ্বারা বোঝা যায় যে সুদের প্যারামিটারের কাছাকাছি নির্দিষ্টতা থাকা বা একটি স্পষ্টত প্রাসঙ্গিক সমস্যা (নির্বাচন পক্ষপাত) উপস্থিত না থাকায় নিশ্চিতভাবেই পরিচিত। আসলে, বুদ্ধিমান প্রিয়ারগুলির এই বৈশিষ্ট্যগুলি থাকবে না। এটি একসাথে আঁকতে আমি একটি সংক্ষিপ্ত ব্লগ পোস্ট লেখার প্রক্রিয়ায় আছি। হেমলিং এবং টোসেইন্টের দ্বারা ওয়াসেরম্যান এবং itতভ বিবেচিত উদাহরণগুলির প্রতি বুদ্ধিমান বায়েশিয়ান পদ্ধতির চিত্র দেখিয়ে একটি দুর্দান্ত 2007 পত্রিকা রয়েছে: "রবিন্স-Rতভের সমস্যার জন্য বায়েশিয়ান অনুমানকারী" [ 3 ]

— ক্রিস সিমস
সূত্র

12

আপনার অবদানের জন্য ধন্যবাদ, প্রফেসর সিমস। আপনি কি আমার উত্তর সাথে সম্মত হন? পিএস এখন আমাদের নোবেল পুরস্কার এসইতে পোস্ট করা আছে। কীভাবে? nobelprize.org/nobel_prizes/economics/laureates/2011/sims.html

— জেন

1

@ ক্রিসসিমস প্রফেসর সিমস আপনার খুব অনুমোদনমূলক প্রতিক্রিয়ার সাথে আমার উত্তরটি উড়িয়ে দেওয়ার জন্য ধন্যবাদ জানায়!

— মাইকেল চেরনিক 15

4

আমি এই প্রশ্নের জবাব দিয়েছি যে এই উত্তরটিতে সর্বাধিক ভোট রয়েছে (এখনই)। প্রফেসর ওয়াসারম্যান যেমন উল্লেখ করেছেন, অধ্যাপক সিমসের উত্তরটি জেনের চেয়েছিলেন তার চেয়ে সম্পূর্ণ ভিন্ন ধাঁধা সম্পর্কে uzzle আমি অনুমান করি যে সিমস প্রদত্ত লিঙ্কগুলি না পড়ে এবং না বুঝে বেশিরভাগ লোক এটিকে উন্নত করে।

— সায়ান

3

সায়ান, আপনি এই ধাঁধা সম্পর্কিত প্রফেসর সিমের মন্তব্যগুলি লিঙ্ক [1], ওয়াসেরম্যানকমেন্ট.পিডিএফ, পি তে খুঁজে পেতে পারেন। 10, সপ্তম অধ্যায়। পোস্টস্ক্রিপ্ট ২

— ম্যাডপ্রাব

43

$c$

1 / \int_{X} g (x) d x

$1\big/ \int_\mathcal{X} g(x) \text{d}x$

c

$c$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

c

$c$

c

$c$ (উপরের মানটিতে ডাইরাক ভর ব্যতীত)। এটি কোনও পরিসংখ্যানগত সমস্যা নয় বরং একটি সংখ্যাগত সমস্যা meric

$x_1,\ldots,x_n$ $c$

— সিয়ান
সূত্র

4

কোনও সম্ভাব্যতা সত্যিকারের শর্তাধীন ঘনত্বের কারণে যথাযথ পূর্বের সাথে শুরু করা এবং একটি অনুচিত উত্তরোত্তর দিয়ে শেষ করা সম্ভব নয়!

— শি'য়ান

π

$\pi$

c

$c$

π

$\pi$

X_{1}, X_{2}, \dots, X_{n}

$X_1, X_2, \ldots, X_n$

c

$c$

c

$c$

R

$R$

x = r n o r m (100, c, 1)

$x = rnorm(100,c,1)$

c

$c$

c

$c$

x

$x$

c

$c$

c

$c$

3

আমি ডি ফিনেটি নই, তাই তার পক্ষে আমি উত্তর দিতে পারি না!

— শি'য়ান

3

f (x_{1}, \dots, x_{n} | c)

$f(x_1,\ldots,x_n|c)$

40

আমি একমত যে উদাহরণটি অদ্ভুত is আমি এটি সত্যিই একটি ধাঁধা আরও হতে চেয়েছিলেন। (উদাহরণটি আসলে এড জর্জের কারণে))

$c$ $c$

যে কোনও হারে, কাগজ

এ কং, পি। ম্যাককুলাঘ, এক্স.এল। মেনগ, ডি নিকোলি এবং জেড টান (২০০৩), মন্টে কার্লো ইন্টিগ্রেশনের জন্য পরিসংখ্যানের মডেলগুলির একটি তত্ত্ব , জে রয়্যাল স্ট্যাটিস্টিক। SOC। বি , খণ্ড 65, না। 3, 585–604

(আলোচনা সহ) মূলত একই সমস্যা আচরণ করে।

ক্রিস সিমস তার উত্তরে যে উদাহরণটি প্রমাণ করেছেন তা একেবারেই আলাদা প্রকৃতির।

— ল্যারি ওয়াসারম্যান
সূত্র

3

অধ্যাপক ওয়াসেরম্যান আপনার উদাহরণ এবং এর ইতিহাস ব্যাখ্যা করে আসার জন্য আপনাকে ধন্যবাদ। আমি স্ট্যানফোর্ডে স্নাতক ছাত্র ছিলাম এবং এড জর্জের সাথে ওভারল্যাপ হয়েছি। স্ট্যানফোর্ডের পরিসংখ্যান বিভাগ সে দিনগুলিতে খুব অ-বায়েশিয়ান ছিল যদিও এফ্রন এবং স্টেইনকে নিয়ে আমরা আপনাকে বোধের অভিজ্ঞতাবাদী বায়েসের দিকে রেখেছিলাম। যদিও বিভাগটি খুব মুক্তমনা ছিল এবং ডেনিস লিন্ডলি বায়েশিয়ান পরিসংখ্যানে স্নাতক কোর্স দিয়েছিলেন যে আমি একটি গ্রীষ্ম নিয়েছিলাম। একরকম এড একটি পূর্ণাঙ্গ বায়েশিয়ান হিসাবে রূপান্তরিত হয়েছিলেন এবং এমনকি গিমসকে ডামিদের নমুনা দেওয়ার জন্য একটি কাগজ লিখেছিলেন (যদিও সেই শিরোনামের সাথে নেই)।

— মাইকেল চেরনিক 15

1

আপনার "ছোট পরিসংখ্যান" এবং "ননপ্যারমেট্রিক্সের সমস্ত" বইগুলি পড়তে এবং উপভোগ করি।

— মাইকেল চেরনিক

1

সম্ভবত এতটা কাকতালীয়ভাবে নয়, আমি এই পেপারটি কং এট আল নিয়ে আলোচনা করেছি। (2003), বিতরণ না করে পরিমাপে গ্রুপ ট্রান্সফর্মেশনগুলি ব্যবহার করার দক্ষতা সম্পর্কে বেশিরভাগ নেতিবাচক। ইদানীং, জিয়াও-লি আমাকে কাগজ সম্পর্কে আরও ইতিবাচক উপলব্ধির দিকে নিয়ে গিয়েছিল ...

— শিওন

1

"ধরুন আপনি সংখ্যার অবিচ্ছেদ্য করতে পারবেন না।" আমি বুঝতে পারি যে যৌক্তিক অনিশ্চয়তা (এটি এটির উদাহরণ) যথেষ্ট প্রচেষ্টা সত্ত্বেও বিশ্লেষণকে প্রতিহত করেছে।

— জন সালভাটিয়ার

c

$c$

g

$g$

g (x_{1})

$g(x_1)$

g (x_{2})

$g(x_2)$

g

$g$

23

$g:\mathbb{R}\to\mathbb{R}$ $C$ $X_1,\dots,X_n$ $C=c$ $f_{X_i\mid C}(x_i\mid c)=c\,g(x_i)$ $c>0$

$f_{X_i\mid C}(\,\cdot\mid c)$ $c$ $c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$ $C$ $C$ $\pi$

$x=(x_1,\dots,x_n)$

L_{x} (c) = \prod_{i = 1}^{n} (c g (x_{i})),

$L_x(c) = \prod_{i=1}^n \left(c\,g(x_i)\right) \, ,$

c

$c$

x

$x$

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} π (c) d c = 1

$\int_0^\infty \pi(c)\,dc=1$

π (c ∣ x) \propto \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) .

$\pi(c\mid x) \propto \frac{1}{c^{2-n}}\, I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) d c

$\int_0^\infty \frac{1}{c^{2-n}}\,I_{[1,\infty)}(c)\,dc$

n \geq 1

$n\geq 1$

এটি অসম্ভব: আমরা জানি যে আমরা যদি যথাযথ পূর্বের সাথে শুরু করি তবে আমাদের উত্তরোত্তর প্রতিটি সম্ভাব্য নমুনার জন্য অনুপযুক্ত হতে পারে না (এটি নাল পূর্বে ভবিষ্যদ্বাণীমূলক সম্ভাবনার একটি সেটের মধ্যে অনুচিত হতে পারে)।

— জেন
সূত্র

^{+}

$^+$

1

হাই মাইকেল অবশ্যই আপনি পারবেন: গামা, লগনারমাল ইত্যাদি ইত্যাদি etc. উত্তরের সাথে এটি কীভাবে সম্পর্কিত তা আমি দেখতে পাই না। সম্ভবত আপনি কী বলছেন তা আমি বুঝতে পারছি না।

— জেন 16

আচ্ছা আপনার যুক্তি অনুসরণ করতে আমার সমস্যা হচ্ছে। আপনি বলছেন যে চ এর শর্তসাপেক্ষ ঘনত্ব কেবল একটি গ এর জন্য বিদ্যমান তবে এটি সত্য নয়। আমি দেখতে পাচ্ছি না কেন সম্ভাবনার পক্ষে অভিব্যক্তিটি অবৈধ এবং আপনি কীভাবে একটি যথাযথ পূর্বের ধারণা ধরে কোনও দ্বিধা দ্বন্দ্বের মাধ্যমে একটি প্রমাণ পেয়েছেন এবং কোনওভাবে দেখায় যে এটি অনুচিত উত্তরোত্তর বিতরণের দিকে পরিচালিত করে।

— মাইকেল চেরনিক 16

আমার কাছে মনে হয় যে বিষয়টিটির ক্রুশটি হ'ল ডেটা সত্যই গ এর থেকে স্বতন্ত্র এবং সি সম্পর্কে কোনও তথ্য নেই। আমি মনে করি আপনি বলতে পারেন যে সি একটি জড়িত ফাংশন আছে তবে এই সম্ভাবনা গ এর কার্যকারিতা হিসাবে সর্বাধিক করা যায় না। গ এর প্রতিটি পছন্দের জন্য আমার মনে হয় একটি এফ = সিজি রয়েছে।

— মাইকেল চেরনিক 16

4

g (.)

$g(.)$

g (.)

$g(.)$

p (c | g (.)) = δ (c - \int_{0}^{\infty} g (x) d x)

$p(c|g(.))=\delta(c-\int_{0}^{\infty}g(x)dx)$

p (Z | X Y) \propto p (Z | X)

$p(Z|XY)\propto p(Z|X)$

Y

$Y$

Z

$Z$

X

$X$

11

উদাহরণটি কিছুটা অদ্ভুত এবং সংশ্লেষিত। সম্ভাবনা দূরে যাওয়ার কারণ হ'ল জি একটি পরিচিত ফাংশন। একমাত্র অজানা প্যারামিটার সি যা সম্ভাবনার অংশ নয়। G যেহেতু জানা থাকে তাই ডেটা আপনাকে এফ সম্পর্কে কোনও তথ্য দেয় না। বাস্তবে এমন জিনিস কখন দেখেন? সুতরাং পূর্ববর্তীটি পূর্বের সাথে সমানুপাতিক এবং সি সম্পর্কিত সমস্ত তথ্য পূর্বের মধ্যে রয়েছে।

ঠিক আছে তবে এটি সম্পর্কে চিন্তা করুন। ঘনঘনবাদীরা সর্বাধিক সম্ভাবনা ব্যবহার করে এবং তাই ঘন ঘন ঘন ঘন ঘন সম্ভাবনা ফাংশনের উপরও নির্ভর করে। ভাল ঘনঘন বিশেষজ্ঞ আপনি বলতে পারেন এমন অন্যান্য উপায়ে পরামিতিগুলি অনুমান করতে পারে। তবে এই রান্না আপ সমস্যাটির একটি মাত্র প্যারামিটার সি রয়েছে এবং সি সম্পর্কে ডেটাতে কোনও তথ্য নেই। যেহেতু জি জানা আছে অজানা পরামিতিগুলির সাথে সম্পর্কিত কোনও পরিসংখ্যানগত সমস্যা নেই যা ডেটা পিরিয়ডের বাইরে বেরিয়ে আসতে পারে।

— মাইকেল চেরনিক
সূত্র

c

$c$

\hat{f}

$\hat{f}$

f

$f$

x

$x$

\hat{c} = \hat{f} (x) / g (x)

$\hat{c}=\hat{f}(x)/g(x)$

c

$c$

4

@ জেন ঠিক আছে এই উদাহরণটি নেওয়া যাক। কেন কোনও তথ্য সংগ্রহ করবেন? আমরা জি জানি। সুতরাং আমরা কিছু নির্ণয় না করে আমরা যে নির্ভুলতার যে স্তরের ইচ্ছা তা নির্ধারণ করতে আমরা সংখ্যাসূচকভাবে এটি সংহত করতে পারি! অনুমান যে আমরা সি গণনা করতে পারি না যার অর্থ আমরা x এর ফাংশন হিসাবে জানি যদিও আমরা এটি সংহত করতে পারি না! আমি মনে করি যে তাঁর উদাহরণটি দুর্বল এবং তর্কটিও এবং আমি তাঁর বইগুলি সাধারণত কথা বলতে পছন্দ করি।

— মাইকেল চেরনিক

11

$c$

$g()$ $g()$ $g()$ $g()$

$g()$ $g()$

— ডেভিড রোহদে
সূত্র

আশ্চর্যরূপে এর আরও উত্সাহ নেই। এটি ইস্যুটির কেন্দ্রবিন্দুতে পৌঁছে, যা দ্ব্যর্থহীন দৃser় বক্তব্য যে কোনও ফাংশন কী তা আপনি "জানেন" কারণ আপনি যে কোনও সময়ে মূল্যায়ন করতে পারেন। আমি মনে করি যে আপনাকে একটি ফাংশন "জানুন" বলার জন্য আরও উপযুক্ত মানদণ্ড হ'ল এটির যে কোনও ক্রমাগত রৈখিক কার্যকারিতা মূল্যায়নের ক্ষমতা।

— নিক

@ নিক অ্যালজার: ভাবেন লোকজনের পছন্দ হ্রাস পেয়েছে। আমি এটিকে প্রাধান্য দিচ্ছি না কারণ আমি নিশ্চিত নই যে এটি বেয়েস - সেটের ডি (xi, f (xi)) এর XI কী অধ্যয়নটিতে পর্যবেক্ষণ করা বা এলোমেলোভাবে উত্পন্ন উত্সকে বোঝায়? যদি এটি প্রথম হয়, তবে এটি বেইস তবে কয়েক সেকেন্ডের কম্পিউটিং সময়ের সাথে সাধারণ এমসির সাথে পরাজিত করা খুব সহজ (যাতে এটি কার্যকর হয় না) বা এটি বেয়েস নয় (ডেটা শর্তযুক্ত নয়)।

— ফ্যানেরন

-2

আমরা সম্ভাব্য পরিচিতদের সংজ্ঞাটি প্রসারিত করতে পারি ( ডেটুমের জন্য নিখোঁজ ডেটা যা পর্যবেক্ষণ করা হলেও হারিয়ে গেছে তার জন্য ডেটা বর্ধনের সাথে সমান ) NULL (কোনও ডেটা উত্পন্ন হয়নি) অন্তর্ভুক্ত করতে পারে।

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

$c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

$f_{X_a\mid C}(x_a\mid c) f_{X_i\mid C}(x_i\mid c) =c\,1 g(x_i)$

$f_a{X_a\mid C}(x_a\mid c)=0$

সুতরাং উত্তরোত্তরটি 0 বা 1 (যথাযথ) হবে তবে উপরের ডেটা মডেল থেকে সম্ভাবনা পাওয়া যায় না (কারণ আপনি ডেটা মডেলটিতে প্রয়োজনীয় শর্তটি নির্ধারণ করতে পারবেন না))

তাই আপনি এ বি সি করেন।

পূর্ব থেকে একটি "সি" আঁকুন।

$\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

রক্ষিত "সি এর সত্যিকারের উত্তরোত্তর একটি সংমিশ্রণ হবে।

(আনুমানিকের যথার্থতাটি অ্যাপসিলন এবং সেই আনুষঙ্গিক অবস্থার উপর কন্ডিশনার পর্যাপ্ততার উপর নির্ভর করবে।)

— phaneron
সূত্র

-5

π (c | x) = (Π_{i} g (x_{i})) \cdot c^{n} π (c),

$\pi(c|x) = \left( \Pi_i g(x_i) \right) \cdot c^n \pi(c) \,,$

{x_{i}}

$\{x_i\}$

\propto

$\propto$

— বিভ্রান্ত
সূত্র

2

x

$x$

\int f (x ∣ c) π (c) d c

$\int f(x\mid c)\,\pi(c)\,dc$

\prod_{i = 1}^{n} g (x_{i})

$\prod_{i=1}^n g(x_i)$