সর্বাধিক সম্ভাবনা অনুমানের জন্য কোন বিতরণে ক্লোড-ফর্ম সমাধান রয়েছে?

21

স্বাধীন পর্যবেক্ষণের নমুনা থেকে প্যারামিটারগুলির সর্বাধিক সম্ভাবনা অনুমানের জন্য কোন বিতরণে ক্লোজার-ফর্ম সমাধান রয়েছে?

distributions mathematical-statistics maximum-likelihood

25

সাধারণতার কোনও প্রশংসনীয় ক্ষতি ছাড়াই আমরা ধরে নিতে পারি যে কোনও পর্যবেক্ষণের জন্য সম্ভাব্যতা ঘনত্ব (বা ভর) ( পর্যবেক্ষণের বাইরে ) কঠোরভাবে ইতিবাচক, আমাদের এটি একটি ক্ষতিকারক হিসাবে লিখতে সক্ষম করে $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

একটি পরামিতি ভেক্টরের জন্য । $\theta = (\theta_j)$

লগ সম্ভাবনা ফাংশনটির গ্রেডিয়েন্টকে শূন্যের সাথে সমান করা (যা সম্ভাবনার স্থির পয়েন্টগুলি খুঁজে পায়, যার মধ্যে সমস্ত অভ্যন্তরীণ গ্লোবাল ম্যাক্সিমামার উপস্থিতি রয়েছে) ফর্মের সমীকরণের একটি সেট দেয়

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

প্রতিটি জন্য একটি । এর মধ্যে যে কোনো একজন প্রস্তুত সমাধান আছে করার জন্য, আমরা পৃথক করতে সক্ষম হতে চাই থেকে পদ পদ । ( গাণিতিক অলসতার নীতি দ্বারা পরিচালিত এই মূল ধারণাটি থেকে সমস্ত কিছুই প্রবাহিত হয়েছে : যতটা সম্ভব কম কাজ করুন; কম্পিউটিংয়ের আগে এগিয়ে ভাবেন; প্রথমে কঠিন সমস্যার সহজ সংস্করণগুলি মোকাবেলা করুন)) এটি করার সবচেয়ে সাধারণ উপায় সমীকরণগুলি গ্রহণ করার জন্য ফর্ম $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

জ্ঞাত ফাংশনগুলির জন্য , এবং , তখন একসাথে সমীকরণগুলি সমাধান করে সমাধানটি পাওয়া যায় $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

জন্য । সাধারণভাবে এই সমস্যার সমাধান করা কঠিন হতে হবে, কিন্তু মান সেট প্রদান করা সম্পর্কে পূর্ণ তথ্য দিতে , আমরা পারা কেবলমাত্র এই ভেক্টরটিকে থিয়েটার জায়গায় ব্যবহার করুন (এর ফলে কিছুটা "বদ্ধ ফর্ম" সমাধানের ধারণাটি সাধারণীকরণ করা হয়েছে, তবে একটি উচ্চ উত্পাদনশীল উপায়ে)। এই জাতীয় ক্ষেত্রে, ফলনের সাথে সম্মানের সাথে একীকরণ করা $\theta$ $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(যেখানে ব্যতীত এর সমস্ত উপাদানকে )। বাম দিকটি স্বাধীন , তাই আমাদের অবশ্যই কিছু নির্দিষ্ট ফাংশন জন্য ; যে অবশ্যই উপর নির্ভর করে না মোটেও ; এবং কিছু ফাংশন এবং কিছু অন্য ফাংশন এর ডেরাইভেটিভ , উভয়ই ডেটা থেকে পৃথক। কোথা হইতে $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

ঘনত্বের এই ফর্মটি লেখা যেতে পারে সুপরিচিত আপ করতে Koopman-পিটম্যান-Darmois , অথবা সূচকীয় , পরিবার। এটি গুরুত্বপূর্ণ স্থিতিমাপ পরিবার, উভয় ক্রমাগত এবং বিযুক্ত গামা, স্বাভাবিক, চি-ছক, পইসন, মাল্টিনমিয়াল, সহ গঠিত এবং আরও অনেক কিছু ।

— whuber
সূত্র

এবং যাদের ফর্মগুলি বন্ধ নেই তাদের জন্য আমরা ইএম অ্যালগরিদম ব্যবহার করতে পারি। উদাহরণস্বরূপ, শূন্য-স্ফীত পোয়েসন মডেলেলটি বিবেচনা করুন: stats.stackexchange.com/questions/32133/…

— ড্যামিয়েন

0

আমি জানি না যে আমি তাদের সব তালিকা করতে পারি কিনা। ক্ষতিকারক, স্বাভাবিক এবং দ্বিপদী মনে আসে এবং তারা সবাই ঘৃণ্য পরিবারের শ্রেণিতে পড়ে। ক্ষতিকারক পরিবারটির ঘাটে প্রচুর পরিসংখ্যান থাকে এবং ম্লে প্রায়শই এই পর্যাপ্ত পরিসংখ্যানগুলির একটি দুর্দান্ত কাজ।

— মাইকেল আর চেরনিক
সূত্র

8

এই প্রশ্নটি অবিশ্বাস্যভাবে বিস্তৃত তবে এটি প্রতীয়মান হয় যে ওপেন এমন কোনও বিতরণকে বৈশিষ্ট্যযুক্ত যা জিজ্ঞাসা করছে যা এমএলইয়ের জন্য ক্লোজাল তালিকার চেয়ে জিজ্ঞাসা করার চেয়ে ক্লোজড-ফর্ম সমাধান রয়েছে । যাইহোক, একটি সম্পূর্ণ তালিকা এমনকি সম্ভব নয় isn't

— ম্যাক্রো

2

এটি সর্বদা একটি "সুন্দর ফাংশন" নয়, উদাহরণস্বরূপ, বিটা বিতরণের পর্যাপ্ত পরিসংখ্যান , যেখান থেকে সংখ্যার পদ্ধতিতে আকৃতি পরামিতিগুলি এবং ।

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

— নীল জি

যে নির্দেশ করে জন্য নীল Thnaks। আমি অনুমান করি যে সমস্ত তাত্পর্যপূর্ণ পরিবারের বিতরণগুলি ফর্ম সমাধানগুলি বন্ধ করে দেয় না।

— মাইকেল আর চেরনিক