বায়েশিয়ানরা কীভাবে বিতরণগুলির তুলনা করতে পারে?

Question

সুতরাং, আমি মনে করি যে আমার কাছে ঘন ঘন সম্ভাবনার সম্ভাবনা এবং পরিসংখ্যানগত বিশ্লেষণের মূল বিষয়গুলি (এবং এটি কীভাবে খারাপভাবে ব্যবহার করা যেতে পারে) সম্পর্কে একটি শালীন উপলব্ধি রয়েছে। একটি ক্রমবর্ধমান বিশ্বে, "এই বিতরণটি কি সেই বিতরণ থেকে আলাদা" হিসাবে এই জাতীয় প্রশ্ন জিজ্ঞাসা করা বোধগম্য হয়, কারণ বিতরণগুলি বাস্তব, উদ্দেশ্যমূলক এবং অপরিবর্তনীয় (একটি নির্দিষ্ট পরিস্থিতির জন্য, কমপক্ষে) বলে ধরে নেওয়া হয়, এবং তাই আমরা চিত্রিত করতে পারি এটি সম্ভবত কতটা সম্ভব যে একটি নমুনা অন্য নমুনার মতো আকৃতির একটি বিতরণ থেকে আঁকা।

বায়েশিয়ান বিশ্বদর্শনে, আমরা আমাদের অতীত অভিজ্ঞতাগুলি (আমরা এখনও এই অংশে কিছুটা অস্পষ্ট, তবে আমি বয়েসিয়ান আপডেট করার ধারণাটি বুঝতে পারি) যা দেখি তার প্রত্যাশা করি। যদি তা হয়, তবে কোনও বায়েসিয়ান কীভাবে "এই সেট ডেটার সেট থেকে আলাদা এই ডেটা সেট" বলতে পারেন?

এই প্রশ্নের উদ্দেশ্যগুলির জন্য, আমি পরিসংখ্যানগত তাত্পর্য বা অনুরূপ, কীভাবে পার্থক্যকে পরিমাণমুক্ত করতে পারি তার কোনও যত্ন করি না। আমি প্যারামেট্রিক এবং নন-প্যারাম্যাট্রিক বিতরণে সমান আগ্রহী।

Comments

"এই ডেটার সেটটি ডেটা সেট থেকে আলাদা কি?" এর অর্থ আপনি কী বলতে চান তা কি আপনি পরিষ্কার করতে পারেন? হিসাবে, আপনি দুটি বা আরও বেশি গ্রুপের তুলনা বোঝাচ্ছেন, যেমন পুরুষদের আয়ের তুলনা মহিলাদের তুলনায়? অথবা সম্ভবত কোনও বায়েশিয়ান কীভাবে লিঙ্গ সম্পর্কে অজান্তেই আয়ের দুটি নমুনার তুলনা করে?

— রামহির

@ জনআ.আরমে: পার্থক্য কী? এটি একবারে সমস্ত সংখ্যা হয়ে গেলে, "পুরুষ" এবং "মহিলা" কেবল নমুনার জন্য লেবেল হয় না?

— nnot101

Answer 1

আপনার বক্তব্যকে ফ্রিকোয়েন্সিস্ট হিসাবে ভাবুন এবং প্রথমে আরও নির্দিষ্ট করুন। কোনও ফ্রিকোয়েন্সিস্ট আরও কোনও ব্যাখ্যা ছাড়াই বলতে পারেনি যে "ডেটা সেট এ ডেটা বি বি থেকে আলাদা"।

প্রথমে আপনাকে "আলাদা" বলতে কী বোঝাতে চাইবে তা বলতে হবে। সম্ভবত আপনার অর্থ "ভিন্ন ভিন্ন মান রয়েছে"। তারপরে আবার আপনার অর্থ হতে পারে "আলাদা আলাদা রূপ রয়েছে"। বা সম্ভবত অন্য কিছু?

তারপরে, আপনি কী ধরণের পরীক্ষা ব্যবহার করবেন তা আপনাকে জানাতে হবে, যা আপনি বিশ্বাস করেন যে ডেটা সম্পর্কে বৈধ অনুমান। আপনি কি ধরে নিয়েছেন যে ডেটা সেটগুলি কোনও উপায় সম্পর্কে উভয়ই সাধারণভাবে বিতরণ করা হয়? অথবা আপনি কি বিশ্বাস করেন যে তারা উভয়ই বিটা-বিতরণ করা হয়েছে? অথবা অন্য কিছু?

এখন আপনি দেখতে পাচ্ছেন যে দ্বিতীয় সিদ্ধান্তটি অনেকটা বায়সিয়ান পরিসংখ্যানের প্রিরিয়ার মতো? এটি কেবল "আমার অতীত অভিজ্ঞতা" নয়, বরং আমি যা বিশ্বাস করি তা হ'ল, এবং আমি যা বিশ্বাস করি আমার সহকর্মীরা বিশ্বাস করবেন এটি আমার ডেটা সম্পর্কে যুক্তিসঙ্গত অনুমান। (এবং বায়েশিয়ানরা ইউনিফর্ম প্রিয়ার ব্যবহার করতে পারে, যা জিনিসগুলিকে ফ্র্যাসোনিস্ট গণনার দিকে ঠেলে দেয়))

সম্পাদনা: আপনার মন্তব্যের জবাবে: পরবর্তী পদক্ষেপটি আমি উল্লেখ করা প্রথম সিদ্ধান্তে অন্তর্ভুক্ত রয়েছে। আপনি যদি দুটি গ্রুপের অর্থ পৃথক কিনা তা নির্ধারণ করতে চান, তবে আপনি এই বিশ্বাসের কোনও স্তরে শূন্য ধারণ করে না কি না তা দুটি গ্রুপের অর্থের পার্থক্যের বিতরণের দিকে লক্ষ্য করবেন। হুবুহু আপনি শূন্যের নিকটবর্তী হন এবং আপনি (উত্তরোত্তর) বিতরণটির কোন অংশটি ব্যবহার করেন তা আপনার এবং আপনার আস্থা অর্জনের স্তরের দ্বারা নির্ধারিত হয়।

এই ধারণাগুলির একটি আলোচনা ক্রুশকের একটি গবেষণাপত্রে পাওয়া যাবে , যিনি ডওিং বেয়েসিয়ান ডেটা অ্যানালাইসিসও খুব পঠনযোগ্য বই লিখেছিলেন , যেখানে 307-309 পৃষ্ঠায় একটি উদাহরণ রয়েছে, "কি আলাদা গ্রুপ সমান?"। (দ্বিতীয় সংস্করণ: পৃষ্ঠা 468-472।) কিছু প্রশ্নোত্তর সহ তাঁরও এই ব্লগ পোস্ট করা আছে ।

আরও সম্পাদনা: বায়েশিয়ান প্রক্রিয়া সম্পর্কে আপনার বিবরণটিও বেশ সঠিক নয়। বেইসিয়ানরা কেবল আমাদের ডেটা থেকে কী জানত, কেবল সেই তথ্যই আমাদের কী বলে তা নিয়ে যত্নশীল। (যেমন ক্রুশকে উল্লেখ করেছেন, ডেটাগুলির আগে পূর্বের অগত্যা ঘটে না the কথাটিই বোঝায় তবে এটি কিছু তথ্য উপাত্ত বাদ দিয়ে সত্যই আমাদের জ্ঞান) এবং অন্তর্নিহিত ডেটা জেনারেশন প্রক্রিয়ার একটি মডেল sensকমত্যের ভিত্তিতে হতে পারে বা অন্যটির (অগত্যা পূর্বে নয়) পরীক্ষার ফলাফল হতে পারে।

Comments

হ্যাঁ, ঠিক আছে, ঘন ঘনবাদীরা একটি বিতরণ অনুমান করে এবং এটি বিষয়গত হয়। তবে তারপরে তারা কেবল প্রতিটি নমুনার প্যারামিটারগুলি ত্রুটি সহ পরিমাপ করতে পারে এবং বলে "ঠিক আছে, এটি প্রতিটি নমুনার সত্যিকারের জনসংখ্যার পরামিতি, এবং এখন সম্ভাব্যতা কী যে কেবলমাত্র নমুনা ত্রুটির কারণে পার্থক্য রয়েছে"। আমার প্রশ্নটি আপনার উত্তরের পরবর্তী পদক্ষেপ সম্পর্কে - কীভাবে বায়েশিয়ান নমুনাগুলির মধ্যে পার্থক্য নির্ধারণ করে (আসুন ধরে নেওয়া যাক নমুনাগুলি একই ধরণের বিতরণ, প্যারামেট্রিক বা না থেকে প্রাপ্ত)।

— nnot101

@ ননট ১০১১: দয়া করে আমার সম্পাদনা দেখুন।

— ওয়েইন

@ ওয়েইন আপনি যে পেপারটি লিঙ্ক করেছেন তা দুর্দান্ত। ভাগ করে নেওয়ার জন্য ধন্যবাদ

— ক্যাম.ড্যাভিডসন.পিলন

@ ননট ১০১১: আমি ব্লগের লিঙ্কটি আপডেট করেছি। তিনি নিবন্ধের পুরানো সংস্করণগুলি এবং প্রতিটি লিঙ্ককে নতুন করে রেখেছেন এবং আমি যেটির সাথে প্রথম লিঙ্ক করেছি তার তিনটি সংস্করণ পুরানো।

— ওয়েইন

এটি বেশ দুর্দান্ত পদ্ধতি, এবং এটি সত্যই স্পষ্ট করে তোলে যে বায়সিয়ান অনুমানটি কীভাবে কাজ করতে পারে (বিতরণের পরামিতিগুলি অনিশ্চয়তার উত্স হিসাবে বিবেচনা করে)। আফসোস এটি এত গণনামূলক নিবিড়। এছাড়াও, 95% সিআই-এর ব্যবহার একটি তাত্পর্য স্তর নির্ধারণের মতো কিছুটা বেশি মনে হচ্ছে তবে আমি পি-ভ্যালুর সমতুল্য রিপোর্ট করার সমতুল উপায় আছে কিনা তা দেখতে পাচ্ছি না (সম্ভবত আরও মানগুলির সম্ভাবনার যোগফল) গড় থেকে 0 টির চেয়ে বেশি, অর্থের পার্থক্যের জন্য?)।

— nnot101

Answer 2

এই কাগজটি আগ্রহী হতে পারে: http://arxiv.org/pdf/0906.4032v1.pdf

এটি দুটি নমুনা সমস্যায় কিছু ঘন ঘন বিশেষজ্ঞ এবং বায়েশিয়ান পদ্ধতির একটি দুর্দান্ত সংক্ষিপ্তসার দেয় এবং প্যারামেট্রিক এবং ননপ্যারামেট্রিক উভয় ক্ষেত্রেই আলোচনা করে।

এটি একটি সাধারণ উদাহরণ দেওয়ার জন্য অন্যান্য উত্তরে কিছু যুক্ত করতে পারে। বলুন আপনার কাছে দুটি সেট x এবং y রয়েছে যেখানে প্রতিটি x i এবং প্রতিটি y j হয় 0 বা 1 হয় । আপনি উভয় ক্ষেত্রেই একটি আইআইডি বের্নোল্লি মডেল ধরেছেন, তাই প্রতিটি এক্স আই ∼ বি ই আর এন ( পি ) এবং প্রতিটি y i ∼ B e r n ( q ) । ঘন ঘন এবং বায়েশিয়ান সেটিংস উভয় ক্ষেত্রেই আপনার অনুমানের পরীক্ষার পরিস্থিতি হতে পারে:$\mathbf{x}$$\mathbf{y}$$x_i$$y_j$$0$$1$$x_i\sim Bern(p)$$y_i\sim Bern(q)$

$\mathcal{H}_0: \: \: p=q$

$\mathcal{H}_1: \: \: p,q$

প্রতিটি ক্ষেত্রে ডেটার সম্ভাবনাগুলি হ'ল:

$\mathcal{H}_0$$L_0(p) = f(\mathbf{x},\mathbf{y};p) = \prod_i p^i (1-p)^{1-i} \prod_j p^j(1-p)^{1-j}$

$\mathcal{H}_1$$L_1(p,q) = f(\mathbf{x},\mathbf{y};p,q) = \prod_i p^i (1-p)^{1-i} \prod_j q^j(1-q)^{1-j}$

(যেহেতু অধীনে$\mathcal{H}_0 \:\: q=p$

$W = -2\log\left\{ \frac{L_0(p_{max})}{L_1(p_{max},q_{max})}\right\},$

$p_{max},q_{max}$$p$$q$$p_{max}$$p_{max}$$W$$\chi^2_1$$\mathcal{H}_0$

$p\sim \pi_0$$\mathcal{H}_0$$p,q\sim \pi_1$$\mathcal{H}_1$

$BF = \frac{ f(\mathbf{x},\mathbf{y}|\mathcal{H}_0) }{f(\mathbf{x},\mathbf{y}|\mathcal{H}_1)} = \frac{ \int_0^1 L_0(p)\pi_0(p)dp}{\int_0^1 \int_0^1 L_1(p,q)\pi_1(p,q)dpdq}$

$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$$\mathcal{H}_1$ $p(\mathcal{H}_0)=p(\mathcal{H}_1) = 1/2$

$\frac{p(\mathcal{H}_0|\mathbf{x},\mathbf{y})}{p(\mathcal{H}_1|\mathbf{x},\mathbf{y})} = BF \times \frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)} = BF \times \frac{1/2}{1/2} = BF.$

$>1$$\mathcal{H}_0$$\mathcal{H}_1$$\mathcal{H}_0$

$\mathcal{H}_1$

আশা করি এটি ইতিমধ্যে পোস্ট করা অন্যান্য উত্তরগুলির সাথে সহায়তা করে।

Answer 3

ডেটা দেওয়া হয়েছে, আমরা কতটা দৃ strongly়ভাবে বিশ্বাস করি যে 2 টি গোষ্ঠী একই জনসংখ্যা থেকে আসে না (এইচ_1: তারা একই জনসংখ্যার থেকে বনাম H_0 আসে না: তারা একই জনসংখ্যা থেকে আসে)। এটি একটি বয়েসিয়ান টি-টেস্ট দিয়ে করা যেতে পারে।

জটিলতাটি একটি অনুমানের সাথে পূর্বেরটি কতটা ওভারল্যাপ হয় তা নির্ধারণ করতে ব্যবহৃত হয়। এক অনুমানের সাথে পশ্চাতটি কতটা ওভারল্যাপ করছে তা নির্ধারণ করতে ফিট ব্যবহার করা হয়। সংযুক্ত আপনি অনুমানগুলি তুলনা করতে পারেন এবং একই উত্তর জনগোষ্ঠী থেকে এসেছেন কি না সে সম্পর্কে আপনার উত্তর বিশ্বাস প্রকাশ করতে পারেন।