গড় এবং বৈকল্পিক যখন জানা যায় তখন দ্বিগুণ স্বাভাবিক তথ্যগুলির সমাহারের সর্বাধিক সম্ভাবনার অনুমান কত?

মনে করুন আমাদের কাছে একটি দ্বিবির্ভর সাধারণ বিতরণ থেকে এলোমেলো নমুনা রয়েছে যার অর্থ হিসাবে শূন্য রয়েছে এবং বৈচিত্র হিসাবে এটি রয়েছে, সুতরাং একমাত্র অজানা প্যারামিটারটি হল কোভেরিয়েন্স। সমবায় এর MLE কি? আমি জানি এটি মতো কিছু হওয়া উচিত তবে আমরা কীভাবে এটি জানি? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— স্ট্যাসির
সূত্র

স্টার্টার হিসাবে, আপনি কি মনে করেন না যে

\bar{x}

$\bar{x}$ এবং

with দিয়ে উপায়গুলি অনুমান করা কিছুটা অস্পষ্ট

\bar{y}

$\bar{y}$ যখন বাস্তবে আমরা জানি যে সেগুলি 0 এবং 0?

— ওল্ফগ্যাং

খুব মামুলি, ঠিক করে ফেলেছি। এটি সহজে কীভাবে অনুসরণ করতে পারে তা দেখুন না। এটি নমুনা বৈকল্পিকের সাথে সাদৃশ্যযুক্ত তবে কেন এটি এমএলই (যদি তা না হয় এবং আমি অন্য কোনও ভুল না করে)

— স্ট্যাসি

আপনি কি

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$ ? এই সূত্রটি গ্রহণের অর্থ এই নয় যে আপনি

\bar{x}

$\bar x$ এবং

\bar{y}

$\bar y$ অর্থের অনুমান হিসাবে বিবেচনা করছেন।

— স্টাফেন লরেন্ট

@ স্টাফেনলরেন্ট হ্যাঁ, প্রাথমিক পোস্টে সূত্রটি আপনি যেমন লিখেছেন তেমনই দেওয়া হয়েছিল।

— ওল্ফগ্যাং

পারস্পরিক সম্পর্কের সহগের জন্য অনুমানক (যা দ্বিগুণ মানক সাধারণের ক্ষেত্রে সমানভাবে সমান হয়)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

মুহুর্তের প্রাক্কলনকারী, নমুনা কোভেরিয়েন্স। আসুন দেখা যাক এটি সর্বাধিক সম্ভাবনার প্রাক্কলনকারী, সাথে মিলে যায় কিনা । $\hat \rho$

একটি bivariate মান যুগ্ম ঘনত্ব পারস্পরিক সম্পর্কের সহগের সাথে স্বাভাবিক হয় $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

এবং তাই আকারের IID নমুনা লগ-সম্ভাবনা হয় $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(এখানে আইআইডি অনুমানটি অবশ্যই দ্বি-মাত্রিক জনসংখ্যার প্রতিটি অঙ্কের প্রতি সম্মানের সাথে রয়েছে)

সাথে সম্মানের সাথে ডেরাইভেটিভ নেওয়া এবং এটি শূন্যের সমান নির্ধারণ করা একটি 3 ডি-ডিগ্রি : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

গণনাগুলি সঠিক কিনা তা যাচাই করা যায় যদি কেউ সত্য গুণফল এ মূল্যায়িত ডেরিভেটিভের প্রত্যাশিত মান গ্রহণ করে তবে এটি শূন্যের সমান হবে। $\rho$

সংক্ষিপ্ততার জন্য, লিখুন , যা এবং নমুনা পরিবর্তনের যোগফল । আমরা দ্বারা 1 ম-ডেরিভেটিভ এক্সপ্রেশনটিকে বিভক্ত করে মোম অনুমানকারী উপস্থিত হবে, নির্দিষ্ট $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

বীজগণিত করা, এই সিদ্ধান্তে কঠিন নয় যে আমরা যাব , এবং কেবল যদি, , অর্থাত্ যদি এটি ঘটে তবেই নমুনা রূপগুলির সমষ্টি সমান হয় সত্য রূপের যোগফল। তাই সাধারণভাবে $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

তাহলে এখানে কী ঘটে? কারো তিমিরে এটা ব্যাখ্যা করবে, মুহূর্তে, এর একটি সিমুলেশন চেষ্টা করা যাক: আমি পারস্পরিক সম্পর্কের সহগের দুটি মান লম্ব একজন IID নমুনা উত্পন্ন । নমুনার আকার । নমুনা মান ছিল $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

মেথড অফ অফ মুহুর্তের অনুমানকারী আমাদের দেয়

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

লগ-সম্ভাবনা দিয়ে কি হয়? দৃশ্যত, আমরা আছে

এখানে চিত্র বর্ণনা লিখুন

সংখ্যায়, আমাদের আছে

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

এবং আমরা দেখতে পাই যে লগ-সম্ভাবনার সর্বাধিক একটি বাচ্চা থাকে আগে যেখানে 1 ম ডেরিভেটিভও শূন্য হয় । এর মানগুলির জন্য কোনও আশ্চর্য নয়। এছাড়াও, 1 ম ডেরিভেটিভের অন্য কোনও মূল নেই। $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

সুতরাং এই সিমুলেশন ফলাফলটির সাথে একমত হয় যে সর্বাধিক সম্ভাবনা অনুমানকারী মুহুর্তের অনুমানের পদ্ধতির সাথে সমান হয় না (যা দুটি আরভি'র মধ্যে নমুনা সমান্তরালতা)।

তবে দেখা যাচ্ছে যে "প্রত্যেকে" বলছে যে এটি করা উচিত ... সুতরাং কারও উচিত একটি ব্যাখ্যা নিয়ে আসা উচিত।

হালনাগাদ

এমন একটি রেফারেন্স যা প্রমাণ করে যে এমএলই হ'ল মেথড অফ অফ মুহুর্তের প্রাক্কলনকারী: অ্যান্ডারসন, টিডাব্লু, এবং অলকিন, আই (1985)। মাল্টিভারিয়েট স্বাভাবিক বিতরণের পরামিতিগুলির সর্বাধিক সম্ভাবনার অনুমান। লিনিয়ার বীজগণিত এবং এর অ্যাপ্লিকেশনগুলি, 70, 147-171।
এখানে কী সমস্ত অর্থ এবং প্রকরণগুলি পৃথক এবং স্থির নয় তা নির্বিঘ্নে কি কার্যকর?

... সম্ভবত হ্যাঁ, কারণ অন্য (বর্তমানে মুছে ফেলা হয়েছে) উত্তরে @ লোক এর মন্তব্য বলছেন যে, সঙ্গে দেওয়া গড় এবং ভ্যারিয়েন্স প্যারামিটার, bivariate স্বাভাবিক একজন সদস্য হয়ে বাঁকা সূচকীয় পরিবার (এবং তাই কিছু ফলাফল এবং বৈশিষ্ট্যাবলী পরিবর্তন) ... যা একমাত্র উপায় যা দুটি ফলাফলের পুনর্মিলন করতে পারে বলে মনে হয়।

— আলেকোস পাপাদোপল্লোস
সূত্র

এটি কিছুটা আশ্চর্যজনক তবে কিছু প্রতিচ্ছবি হওয়ার পরে এটি আশা করা উচিত। যেখানে মডেলটিতে রিগ্রেশন কোফিলিটি অনুমান হিসাবে সমস্যাটি পুনরায় সমাধান করা যেতে পারে । এটি লিনিয়ার মডেল নয়, সুতরাং এমএলই একটি সাধারণ ডট পণ্য হিসাবে প্রত্যাশা করার কোনও কারণ নেই। একই যুক্তি প্রদর্শন করে (আমি মনে করি!) যে আমরা যদি কেবলমাত্র তবে এমএলই হ'ল , এবং যদি আমরা কেবল জানি । যদি আমরা উভয়ই জানতে না পারি তবে আমরা আপনার এমওএম অনুমানকারী পাই।

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— লোক

@ গুই: খুব ইন্টারেস্টিং আমি মনে করি এই যুক্তিগুলি যদি সামান্য প্রসারিত হয় তবে আলাদাভাবে উত্তর হিসাবে পোস্ট করার উপযুক্ত!

— অ্যামিবা

@ গুয়ে আমি এই সূত্রটি সমতুল্য বলে মনে করি না, কারণ, আপত্তিজনক সেট আপের লগ-সম্ভাবনাটিতে বর্গক্ষেত্র । সহগ সংযুক্ত bivariate ঘনত্ব সূত্র উপস্থিত নয়।

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— অ্যালেকোস পাপাদোপল্লোস

আমার অনুমান । এবং কল্পনা করুন , তারপরে অনুমানের আশা করা যায়।

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— স্টাফেন লরেন্ট

@ অ্যালোকোসপ্যাপাডোপল্লোস । মেয়াদ হর দ্বারা বাতিল করা হয়েছে , তাই তথ্য থেকে শুধুমাত্র শব্দটি আপনার মূল লগ-সম্ভাবনা ইন্ধন জোগায় যে । তবে এটি , । যদিও আমার অন্যান্য দাবিগুলি ভুল, যেহেতু আমি তাদের মধ্যে শব্দটি অন্তর্ভুক্ত করতে অবহেলা করেছি।

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— লোক

বর্ণিত অবস্থার অধীনে ( এবং ), আকার এর এলোমেলো নমুনার সম্ভাবনা ফাংশন হ'ল $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

এখন লগ-সম্ভাবনা সন্ধান করুন এবং to এর সাথে সম্মান সহ ডেরিভেটিভ নিন । এর পরে, এটা 0 সমান জন্য সমাধানে সেট । আপনি যা খুঁজে পেয়েছেন তা বাস্তবে বৈশ্বিক সর্বাধিক সর্বাধিক দেখাতে আপনার অবশ্যই কিছু উপযুক্ত পরীক্ষা করা উচিত। $\rho$ $\hat{\rho}$

— ডেনিস
সূত্র