এর MLE হয়

ধরুন $(X,Y)$ এর পিডিএফ আছে

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

নমুনা ঘনত্ব $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$ এই নতুন জনগোষ্ঠীতে থেকে টানা তাই হয়

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

সর্বোচ্চ সম্ভাবনা মূল্নির্ধারক $\theta$ যেমন আহরিত হতে পারে

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

আমি জানতে চাই যে এই এমএলইয়ের সীমাবদ্ধ বিতরণ স্বাভাবিক কিনা।

এটা পরিষ্কার যে জন্য একটি যথেষ্ট পরিসংখ্যাত $\theta$ নমুনার উপর ভিত্তি করে হয় $(\overline X,\overline Y)$ ।

এখন আমি বলতাম যে এমএলই নিয়মিত ওয়ান-প্যারামিটার ত্বরান্বিত পরিবারের সদস্য হলে সন্দেহ ছাড়াই অসম্পূর্ণভাবে স্বাভাবিক। আমি মনে করি না এটিই কেস, আংশিক কারণ আমাদের কাছে একটি মাত্রিক প্যারামিটারের (যেমন $N(\theta,\theta^2)$ বন্টন হিসাবে, উদাহরণস্বরূপ) দ্বি-মাত্রিক পর্যাপ্ত পরিসংখ্যান রয়েছে ।

আসলে ব্যবহার করে $X$ এবং $Y$ সত্য স্বাধীন সূচকীয় ভেরিয়েবল আছে, আমি করতে দেন যে সঠিক বন্টন যে এই ধরনের হয় $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

আমি সম্ভবত এখান থেকে সীমাবদ্ধ বিতরণ সন্ধান করতে এগিয়ে যেতে পারছি না।

পরিবর্তে আমি WLLN যে তর্ক করতে পারেন $\overline X\stackrel{P}\longrightarrow\theta$ এবং $\overline Y\stackrel{P}\longrightarrow 1/\theta$ , যাতে $\hat\theta\stackrel{P}\longrightarrow\theta$ ।

এটি আমার যে বলে বিতরণের মধ্যে এগোয় । কিন্তু এই, যেহেতু একটি আশ্চর্য হিসাবে আসে না একটি 'ভাল' এর মূল্নির্ধারক হয় । এবং এই ফলাফলটি মতো কিছু কিনা তা উপস্থাপনের পক্ষে যথেষ্ট strong নয় $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$ এসিম্পটোটিকভাবে স্বাভাবিক বা নয়। আমি সিএলটি ব্যবহার করে যুক্তিসঙ্গত যুক্তি দিয়ে আসতে পারিনি।

সুতরাং একটি প্রশ্ন রয়ে গেছে যে এখানে পিতামাতাদের বিতরণ এমএলইয়ের সীমিত বন্টনকে স্বাভাবিক হওয়ার জন্য নিয়মিততার শর্ত পূরণ করে।

— StubbornAtom
সূত্র

অভিজ্ঞতাগতভাবে এটি স্বাভাবিকের খুব কাছাকাছি মনে হয়। আপনি

থেকে

সেট করা আরও সহজ মনে করতে পারেন (এটি কেবলমাত্র একটি স্কেলিং ফ্যাক্টর) এবং তারপরে আইড এক্সফেনশিয়াল এলোমেলো ভেরিয়েবলের নমুনা মাধ্যমের অনুপাতের বর্গমূলের বিতরণ asyptotically স্বাভাবিক কিনা তা বিবেচনা করুন। ব-দ্বীপ পদ্ধতিটি ব্যবহার করে, এটি আইডি এক্সফেনশনাল এলোমেলো ভেরিয়েবলের নমুনা মাধ্যমের অনুপাতের বন্টনের সাথে মিলে যায় asyptotically স্বাভাবিক being এবং এটি আকারের প্যারামিটার বাড়ার সাথে সাথে দুটি আইড গামা র্যান্ডম ভেরিয়েবলের অনুপাতের বন্টনের সাথে মিলে যায় y

θ

$\theta$

1

$1$

— হেনরি

এমএলই-এর এ্যাসিম্পোটিক স্বাভাবিকতার কোনও তাত্পর্যপূর্ণ পরিবারগুলির সাথে কোনও সম্পর্ক নেই। স্বজ্ঞাতভাবে, অ্যাসিপটোটিক স্বাভাবিকতার জন্য আপনাকে কেবল এটি নিশ্চিত করতে হবে যে সমাধানটি প্যারামিটার স্পেসের সীমানার কাছাকাছি হওয়ার কোনও সম্ভাবনা নেই।

— হোবার

@ হুবুহু যতদূর আমি জানি, পিডিএফগুলি যেগুলি প্রৌ .়ীয় তাত্পর্যপূর্ণ পরিবারের সদস্য তারা প্রায়শই এমএলই থাকে যা অ্যাসেম্পোটোটিক্যালি স্বাভাবিক (এটি নয় যে এটি এক্সপেট পরিবারের কারণে হয়)। সেই সংযোগটিই আমি তুলে ধরার চেষ্টা করছিলাম।

— জেদীআটম

ঠিক: তবে সংযোগটি এক উপায়। এমএলই-এর পক্ষে অ্যাসিম্পটোটিক ফলাফলগুলি আরও সাধারণ এবং তাই আমি সুপারিশ করার চেষ্টা করছিলাম যে সাধারণ ঘনিষ্ঠ পরিবারগুলির সম্পত্তিগুলিতে মনোনিবেশ করার চেয়ে সাধারণ দিকটি অনুসন্ধান করা আরও ফলপ্রসূ তদন্ত হতে পারে।

— whuber

মাল্টিভারিয়েট সিএলটি এবং ডেল্টা পদ্ধতি ব্যবহার করে একটি প্রমাণও এখানে করা সম্ভব ।

— জেদীআটম

অ্যাসিপটোটিক স্বাভাবিকতার জন্য প্রত্যক্ষ প্রমাণ:

এখানে লগ-সম্ভাবনা হয়

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

প্রথম এবং দ্বিতীয় ডেরাইভেটিভ হয়

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLE সন্তুষ্ট $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

আমাদের কাছে থাকা প্রকৃত মান $\theta_0$ আশেপাশে গড় মানের সম্প্রসারণ প্রয়োগ করা

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

for some $\tilde \theta_n$ in between $\hat \theta_n$ and $\theta_0$ . Re-arranging we have,

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

But in our single-parameter case, the inverse is just the reciprocal, so, inserting also the specific expressions of the derivatives,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

The variance of the sum is

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipulating the expression we can write, using $S_n$ for the sum of the i.i.d. elements,

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

More over, we have that $E(x_i-\theta_0^2 y_i) = 0$ , so $E(S_n)=0$ . So we have the subject matter of a classical CLT, and one can verify that the Lindeberg condition is satisfied. It follows that

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Due to the consistency of the estimator, we also have

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

and by Slutsky's Theorem we arrive at

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Nice. Double the information, half the variance (compared to the case where we would estimate $\theta_0$ based on a sample from a single random variable).

PS: The fact that in the above expressions $\theta_0$ appears in the denominator, points towards @whuber's comment that MLE's asymptotic normality needs the unknown parameter to be away from the boundary of the parameter space (in our case, away from zero).

— Alecos Papadopoulos
সূত্র

Sorry for the late reply. All this time I was pondering whether this is a curved exponential family and so the MLE might behave differently.

— StubbornAtom

@StubbornAtom Asymptotic normality is certainly lost when the parameter under estimation is on the boundary of the parameter (a quite intuitive result if you think about it).

— Alecos Papadopoulos