রিগ্রেশন সেটিংসে যখন ঘন ঘনবাদী নমুনা বিতরণকে বায়েশীয় উত্তরোত্তর হিসাবে ব্যাখ্যা করা যায় না?

Question

আমার আসল প্রশ্নগুলি শেষ দুটি অনুচ্ছেদে রয়েছে তবে সেগুলি অনুপ্রাণিত করতে:

যদি আমি পরিচিত রুপের সাথে একটি সাধারণ বিতরণ অনুসরণ করে এমন একটি এলোমেলো ভেরিয়েবলের গড় অনুমানের চেষ্টা করি, তবে আমি পড়েছি যে কোনও উত্তরোত্তর বিতরণে গড় ফলাফলের পূর্বে ইউনিফর্ম রাখার সম্ভাবনা ফাংশনের সাথে আনুপাতিক। এই পরিস্থিতিতে বায়েশীয় বিশ্বাসযোগ্য ব্যবধানটি ঘনত্ববাদী আত্মবিশ্বাসের ব্যবধানের সাথে পুরোপুরি ওভারল্যাপ হয় এবং বায়েশিয়ান সর্বাধিক উত্তরোত্তর অনুমান ঘন ঘন সর্বাধিক সম্ভাবনার অনুমানের সমান।

একটি সাধারণ লিনিয়ার রিগ্রেশন সেটিং এ,

$Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2)$

উপর একটি অভিন্ন পূর্বে নির্বাণ এবং একটি বিপরীত-গামা উপর পূর্বে σ 2 একটি অবর ছোট পরামিতির মান ফলাফল সঙ্গে β এম একজন পি যে খুব frequentist অনুরূপ হতে হবে β এম এল ই , এবং অবর বিতরণের জন্য বিশ্বাসযোগ্য ব্যবধান এর বিটা | এক্স যা সম্ভাবনা সর্বাধিক সম্ভাবনার অনুমানের কাছাকাছি আত্মবিশ্বাসের ব্যবধানের সাথে খুব সমান হবে। তারা ঠিক একই হবে না কারণ পূর্ববর্তী। 2 $\beta$$\sigma^2$$\hat\beta^{MAP}$$\hat\beta^{MLE}$$\beta|X$$\sigma^2$প্রভাব অল্প পরিমাণ পারতো, এবং যদি অবর প্রাক্কলন এমসিএমসি সিমুলেশন যে অমিল আরেকটি উৎস পরিচয় করিয়ে দিতে হবে মাধ্যমে সম্পন্ন করা হয়, কিন্তু প্রায় Bayesian বিশ্বাসযোগ্য ব্যবধান β এম একজন পি এবং প্রায় frequentist আস্থা ব্যবধান β এম এল ই হতে হবে একে অপরের খুব কাছাকাছি, এবং অবশ্যই নমুনার আকার বাড়ার সাথে সাথে তাদের একত্রিত হওয়া উচিত কারণ সম্ভাবনার প্রভাব পূর্বেরটির উপর প্রভাব ফেলতে পারে।$\hat\beta^{MAP}$$\hat\beta^{MLE}$

তবে আমি পড়েছি যে এখানেও রয়েছে রিগ্রেশন পরিস্থিতি যেখানে এই সমীকরণের সমতা নেই। উদাহরণস্বরূপ, এলোমেলো প্রভাবগুলি বা লজিস্টিক রিগ্রেশন সহ শ্রেণিবিন্যাস সংক্রান্ত রেগ্রেশনগুলি - এগুলি এমন পরিস্থিতি যেখানে আমি এটি বুঝতে পেরেছি, সেখানে কোনও "ভাল" উদ্দেশ্য বা রেফারেন্স প্রিয়ার নেই।

তাই আমার সাধারণ প্রশ্ন এই - অভিমানী যে আমি সম্পর্কে অনুমান করতে চাই $P(\beta|X)$এবং আমার যে পূর্ববর্তী তথ্য আমি অন্তর্ভুক্ত করতে চাই তা নেই, কেন আমি এই পরিস্থিতিতে ঘন ঘন সর্বাধিক সম্ভাবনা অনুমানের সাথে এগিয়ে যেতে পারি না এবং ফলিত সহগের অনুমান এবং স্ট্যান্ডার্ড ত্রুটিগুলি বায়েসিয়ান এমএপি অনুমান এবং স্ট্যান্ডার্ড বিচ্যুতি হিসাবে ব্যাখ্যা করতে পারি এবং এগুলি স্পষ্টভাবে চিকিত্সা করি "উত্তরোত্তর" প্রাক্কলনের ফলাফল হিসাবে অনুমান করে যে অবশ্যই পূর্বরূপের সুস্পষ্ট সূত্র খোঁজার চেষ্টা না করে অবশ্যই "অবজ্ঞাত" হয়ে পড়েছিল যা এরকম উত্তরোত্তর দিকে নিয়ে যায়? সাধারণভাবে, রিগ্রেশন বিশ্লেষণের ক্ষেত্রের মধ্যে, এই লাইনগুলি (উত্তরোত্তর মতো সম্ভাবনার সাথে আচরণ করার ক্ষেত্রে) এগিয়ে যাওয়া কখন ঠিক আছে এবং কখন ঠিক হয় না? সম্ভাবনা-ভিত্তিক নয় যেমন ঘনঘনবাদী পদ্ধতিগুলির সাথে কী করা যায় যেমন অর্ধ-সম্ভাবনা পদ্ধতিগুলি,

উত্তরগুলি নির্ভর করে যে আমার অনুমানের লক্ষ্যটি গুণফলের বিন্দু অনুমান, বা একটি নির্দিষ্ট পরিসরের মধ্যে সহগের সম্ভাবনা বা ভবিষ্যদ্বাণীমূলক বিতরণের পরিমাণের উপর নির্ভর করে?

Answer 1

এটি মূলত মূল্য$p$ এবং সর্বোচ্চ সম্ভাবনা সম্পর্কে একটি প্রশ্ন about আমাকে এখানে কোহেন (1994) উদ্ধৃতি দিন

আমরা যা জানতে চাই তা হ'ল এই ডেটা দেওয়া হয়েছে যে টি সত্য হওয়ার সম্ভাবনা কী ? " তবে আমাদের বেশিরভাগই জানেন, এটি [ পি- মূল্য] আমাদের যা বলেছে তা হল " এইচ 0 টি সত্য, এটি দেওয়া (বা আরও চরম) ডেটার সম্ভাবনা কী?" এগুলি এক নয় (...)$H_0$$p$$H_0$

সুতরাং মূল্য আমাদের পি ( ডি | এইচ 0 ) কী তা জানায় , যখন আমরা পি ( এইচ 0 | ডি ) তে আগ্রহী ( ফিশেরিয়ান বনাম নেইম্যান-পিয়ারসন কাঠামোর বিষয়ে আলোচনাও দেখুন )।$p$$P(D|H_0)$$P(H_0|D)$

আসুন এক মুহুর্তের জন্য মূল্য সম্পর্কে ভুলে যাই। কিছু প্যারামিটার দেওয়া আমাদের তথ্য দেখে সম্ভাবনা θ হল সম্ভাবনা ফাংশন$p$$\theta$

$$L(\theta | D) = P(D|\theta)$$

এটি স্ট্যাটিস্টিকাল ইনফেরেন্স দেখার এক উপায়। অন্য উপায় হ'ল বায়েশিয়ান পদ্ধতির যেখানে আমরা বেয়েস উপপাদ্যকে নিয়োগ করে এবং i এর জন্য প্রিয়ার ব্যবহার করে সম্পর্কে সরাসরি (অপ্রত্যক্ষভাবে নয়) শিখতে চাই $P(\theta|D)$$\theta$

$$\underbrace{P(\theta|D)}_\text{posterior} \propto \underbrace{P(D|\theta)}_\text{likelihood} \times \underbrace{P(\theta)}_\text{prior}$$

এখন, আপনি যদি সামগ্রিক চিত্রটি দেখেন তবে আপনি দেখতে পাবেন যে মূল্য এবং সম্ভাবনাগুলি বায়েসিয়ান অনুমানের চেয়ে আলাদা প্রশ্নের উত্তর দেয়।$p$

সুতরাং, যদিও সর্বাধিক সম্ভাবনা অনুমানগুলি ইউনিফর্ম প্রিয়ারগুলির অধীনে এমএপি বায়েশিয়ান অনুমানের সমান হওয়া উচিত, আপনার মনে রাখতে হবে যে তারা একটি পৃথক প্রশ্নের উত্তর দিয়েছে।

---

কোহেন, জে। (1994)। পৃথিবী গোলাকার (p <.05)। আমেরিকান সাইকোলজিস্ট, 49, 997-1003।

Comments

আপনার উত্তর @ টিম ধন্যবাদ। আমার আরও পরিষ্কার হওয়া উচিত ছিল - আমি বুঝতে পেরেছি যে পি (ডি | এইচ) এবং পি (এইচ | ডি) সাধারণভাবে এক নয় এবং পরামিতিগুলিতে সম্ভাব্যতা বিতরণ বরাদ্দ করা উপযুক্ত কিনা তা নিয়ে ঘনত্ববাদী এবং বয়েশিয়ানরা মতামতের মধ্যে পৃথক ( বা হাইপোথেসিসগুলি আরও সাধারণভাবে)। আমি যে পরিস্থিতিগুলির বিষয়ে জিজ্ঞাসা করছি সেগুলি হ'ল যেখানে একটি অনুমানকারীের (ঘন ঘনবাদী) নমুনা বিতরণটি সত্য পরামিতি মানের (বয়েসিয়ান) উত্তরোত্তর বিতরণের সংখ্যাসূচক হবে ।

— ইয়াকানোমিকিকা

আমার পূর্ববর্তী মন্তব্যের ধারাবাহিকতা: আপনি লিখেছেন: "সুতরাং, যদিও সর্বাধিক সম্ভাবনা অনুমানটি ইউনিফর্ম প্রিয়ারদের অধীনে এমএপি বায়েশিয়ানদের অনুমানের সমান হওয়া উচিত," - আমি জিজ্ঞাসা করছি যে এমন পরিস্থিতি রয়েছে যেখানে এই সম্পর্ক ভেঙে যায় - উভয় ক্ষেত্রেই বিন্দু অনুমান এবং চারপাশে বিতরণ।

— ইয়াকানোমিকিকা

একটি চূড়ান্ত সংযোজন - কিছু লোক বলবেন যে বায়সিয়ান পদ্ধতির মূল গুণ হ'ল এটি পূর্বের জ্ঞানকে নমনীয়ভাবে অন্তর্ভুক্ত করার ক্ষমতা। আমার কাছে, বায়েশিয়ান পদ্ধতির আবেদনটি ব্যাখ্যায় রয়েছে - একটি প্যারামিটারে সম্ভাব্যতা বন্টন দেওয়ার ক্ষমতা। প্রিয়ারদের নির্দিষ্ট করার প্রয়োজন একটি উপদ্রব। আমি জানতে চাই যে কোন পরিস্থিতিতে আমি ঘন ঘনবাদী পদ্ধতি ব্যবহার করতে পারি তবে ফলাফলটি একটি বায়েশিয়ান ব্যাখ্যা নির্ধারণ করে যে বারবারবাদী এবং বায়েশীয়ানের ফলাফলগুলি বিচারহীনভাবে নন-ইনফর্মটিভ প্রিয়ারের অধীনে সংখ্যার সাথে মিলিত হয় argu

— ইয়াকানোমিকিকা

@ ইয়াকানোকিকা আমি বুঝতে পেরেছি, এটি একটি আকর্ষণীয় প্রশ্ন, তবে এর সহজ উত্তর (উপরে বর্ণিত) হ'ল আপনার এমন ব্যাখ্যা করা উচিত নয় কারণ ফ্রিকোয়েস্টতম পদ্ধতিগুলি বায়েশিয়ানের চেয়ে আলাদা প্রশ্নের উত্তর দেয়। এমএল এবং এমএপি পয়েন্টের অনুমানের সাথে একমত হওয়া উচিত, তবে আত্মবিশ্বাসের ব্যবধান এবং এইচডিআই পৃথক হতে পারে এবং বিনিময়যোগ্যতার ব্যাখ্যা করা উচিত নয়।

— টিম

তবে @ টিম, এমন পরিস্থিতি রয়েছে যেখানে আত্মবিশ্বাসের ব্যবধান এবং এইচডিআই ওভারল্যাপ হয়। উদাহরণস্বরূপ, p.1906-তে এমএল অনুমানের সাথে বেইসিয়ান উত্তরোত্তর অনুমানের সাথে তুলনা করুন (সহগ্রে ইউনিফর্ম প্রিয়ারগুলির উপর ভিত্তি করে এবং স্কেলের আগে আইজি) প্রোক জেনমোড উদাহরণ হিসাবে । এমএল পয়েন্টের প্রাক্কলন এবং 95% আত্মবিশ্বাসের সীমাটি বায়সিয়ান উত্তরোত্তর গড় অনুমান এবং 95% এইচপিডি ব্যবধানের সাথে খুব মিল।

— ইয়াকানোমিকিকা