কোনটি সর্বোচ্চ সর্বাধিক সম্ভাবনা বা প্রান্তিক সম্ভাবনা এবং কেন?

রিগ্রেশন করার সময় যদি আমরা এর সংজ্ঞাটি অনুসরণ করি: আংশিক সম্ভাবনা, প্রোফাইল সম্ভাবনা এবং প্রান্তিক সম্ভাবনার মধ্যে পার্থক্য কী?

যে, সর্বাধিক সম্ভাবনা
সন্ধান করুন L এবং θ যা এল (β, θ | ডেটা) সর্বাধিক করে তোলে ।

যদিও, প্রান্তিক
সম্ভাবনা আমরা equ শর্তসাপেক্ষে distribution এর সম্ভাব্যতা বন্টন সনাক্ত করতে পারি এই সত্যটি কাজে লাগিয়ে সম্ভাবনা সমীকরণ থেকে integ সংহত করি β

সর্বাধিকতর সর্বোত্তম পদ্ধতি কোনটি এবং কেন?

regression maximum-likelihood

— অঙ্কিত চিপলুঙ্কার
সূত্র

উত্তর:

এর প্রত্যেকটি আলাদা ব্যাখ্যা দিয়ে আলাদা ফলাফল দেবে। প্রথম খুঁজে বের করে যুগল , যা সর্বাধিক সম্ভাব্য দ্বিতীয় খুঁজে বের করে যা (সীমিতভাবে) হল সবথেকে সম্ভাব্য। ভাবুন যে আপনার বিতরণটি এমন দেখাচ্ছে: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

তারপরে সর্বাধিক সম্ভাবনার উত্তরটি হ'ল ( ), সর্বাধিক প্রান্তিক সম্ভাবনার উত্তরটি (যেহেতু, প্রান্তিককরণ , )। $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

আমি বলতে চাই যে সাধারণভাবে, প্রান্তিক সম্ভাবনা প্রায়শই আপনি চান - যদি আপনি সত্যিই পরামিতিগুলির মানগুলির যত্ন না রাখেন তবে আপনার কেবল তাদের উপরেই পড়ে যাওয়া উচিত। কিন্তু সম্ভবত বাস্তবে এই পদ্ধতি ভিন্ন ফলাফল উত্পাদ করা হবে না - যদি তারা করে, তাহলে এটি আপনার সমাধান মধ্যে কিছু অন্তর্নিহিত অস্থিরতা, বিভিন্ন সমন্বয় সঙ্গে যেমন একাধিক মোড নির্দেশ পারে , যে সব অনুরূপ ভবিষ্যদ্বাণী দেব। $\theta$ $\beta$ $\theta$

— ক্রিস
সূত্র

আমি সর্বাধিক / প্রান্তিক সম্ভাবনা পদ্ধতিগুলির জন্য আলাদা ফলাফল পেয়েছি এবং সেই কারণে প্রশ্নটি। আমি বলব যে আমার ক্ষেত্রে দুটি ফলাফল ভিন্ন ব্যাখ্যা দেয় তবে সম্ভাব্য ফলাফল দেয়।

— অঙ্কিত চিপলুঙ্কার

আমি এই মুহূর্তে নিজেই এই প্রশ্নটি জাগিয়ে তুলছি। এখানে একটি ফলাফল যা সহায়ক হতে পারে's রৈখিক মডেল বিবেচনা করুন

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

যেখানে এবং এবং সুদের পরামিতি। যৌথ সম্ভাবনা হ'ল $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

যৌথ সম্ভাবনা ফলন অনুকূল

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

যেখানে এর pseudoinverse হয় এবং $X^+$ $X$ হইয়া অবশিষ্ট বাহক। নোট যেআছেপরিবর্তে পরিচিত ডিগ্রী অফ স্বাধীনতা অনুপাত সংশোধন। এই অনুমানক সসীম-নমুনা ক্ষেত্রে পক্ষপাতদুষ্ট বলে পরিচিত। $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

এখন পরিবর্তে উভয় উপর নিখুঁত এর অনুমান করা এবং , আমরা সংহত আউট এবং অনুমান ফলে ইন্টিগ্রেটেড সম্ভাবনা থেকে: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

প্রাথমিক লিনিয়ার বীজগণিত এবং গাউসিয়ান অবিচ্ছেদ্য সূত্র ব্যবহার করে আপনি এটি প্রদর্শন করতে পারেন

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

এটিতে ডিগ্রি অফ স্বাধীনতা সংশোধন রয়েছে যা এটিকে পক্ষপাতহীন করে তোলে এবং সাধারণত যৌথ এমএল অনুমানের চেয়ে বেশি পছন্দ করে।

এই ফলাফলটি থেকে কেউ জিজ্ঞাসা করতে পারেন যে সমন্বিত সম্ভাবনা সম্পর্কে অন্তর্নিহিতভাবে সুবিধাজনক কিছু আছে কিনা তবে আমি এই প্রশ্নের উত্তর দিয়েছি এমন কোনও সাধারণ ফলাফল সম্পর্কে জানি না। Sensক্যমত্য বলে মনে হচ্ছে যে বেশিরভাগ অনুমানের সমস্যার মধ্যে অনিশ্চয়তার জন্য অ্যাকাউন্টিংয়ে সংহত এমএল ভাল। বিশেষত, আপনি যদি এমন কোনও পরিমান নির্ধারণ করছেন যা অন্যান্য প্যারামিটারের প্রাক্কলনের উপর নির্ভর করে (এমনকি অন্তর্নিহিতও), তবে অন্যান্য পরামিতিগুলির সাথে একীকরণ করা তাদের অনিশ্চয়তার জন্য আরও ভাল অ্যাকাউন্ট হবে।

— পল
সূত্র

β

$\beta$

@ তবে আমি আপনার উদ্বেগগুলি ভাগ করে নিই এবং এর কোনও উত্তর নেই, তবে মনে রাখবেন যে প্রান্তিককরণের সম্ভাবনা হ'ল পূর্ববর্তীতে

β

$\beta$

β

$\beta$

প্রকৃতপক্ষে, এই পোস্টের উপর ভিত্তি করে এবং এতে মন্তব্য করা হয়েছে, আমি মনে করি যে আমরা এখানে যা করছি তার জন্য সংহত এমএল, প্রান্তিক এমএল নয়, সঠিক শব্দটি। সেই অনুসারে সম্পাদিত।

— পল

+1 আমি জানি যে আমি এই পার্টিতে বেশ দেরি করেছি কিন্তু ঠিক ততক্ষণে আরএএমএল যা করে তা তাদের উপর একটি অকার্যকর ইউনিফর্ম রেখে স্থির প্রতিক্রিয়াগুলি সংহত করা হচ্ছে না, তাই আপনি আসলে আরএএমএল অনুমানটি পেয়েছেন এবং এই ডিএফ সংশোধনটি হুবহু এখানে কারণ যে ছোট নমুনার জন্য আরএমএল ভাল?

— jld

@ চকন হ্যাঁ, এই পোস্টটি আরএমএল বোঝার চেষ্টা করে প্রেরণা পেয়েছিল! আমার কাছে (প্রায়) কোনও আনুষ্ঠানিক পরিসংখ্যান শিক্ষা নেই, সুতরাং এগুলি প্রাপ্তি আমার কাছে সমস্ত নতুন।

— পল

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$

— Seeda
সূত্র