আপনি একটি জিএলএম এর এমএলএল খুঁজে পেতে আইআরএলএস পদ্ধতির একটি সাধারণ স্বজ্ঞাত ব্যাখ্যা দিতে পারেন?

পটভূমি:

আমি জিএলএম এর জন্য প্রিন্সটনের এমএলই অনুমানের পর্যালোচনা অনুসরণ করার চেষ্টা করছি ।

আমি MLE প্রাক্কলন বুনিয়াদি তা বুঝে দেখ likelihood, score, পালন ও প্রত্যাশিত Fisher informationএবং Fisher scoringটেকনিক। এবং আমি জানি যে কীভাবে এমএলই অনুমান সহ সাধারণ লিনিয়ার রিগ্রেশনকে ন্যায়সঙ্গত করা যায় ।

প্রশ্নটি:

আমি এই পদ্ধতির প্রথম লাইনটিও বুঝতে পারি না :(

ওয়ার্কিং ভেরিয়েবলের পিছনে অন্তর্নিহিততাটি কী হিসাবে সংজ্ঞায়িত করা হয়েছে: $z_i$

{z- র}_{আমি} = {\hat{η}}_{আমি} + + (Y_{আমি} - {\hat{μ}}_{আমি}) \frac{ঘ η_{আমি}}{ঘ μ_{আমি}}

$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$

অনুমান করার জন্য এগুলি পরিবর্তে কেন ব্যবহার করা হয় ? $y_i$ $\beta$

এবংresponse/link function মধ্যকার সংযোগটি যার সাথে তাদের সম্পর্ক কী $\eta$ $\mu$

কারও যদি সাধারণ ব্যাখ্যা থাকে বা এ সম্পর্কে আমাকে আরও বেসিক-স্তরের পাঠ্যে নির্দেশনা দিতে পারে তবে আমি কৃতজ্ঞ হব।

— ihadanny
সূত্র

পার্শ্ব দ্রষ্টব্য হিসাবে, আমার জন্য আমি পুরো "জিএলএম" কাঠামোটি (যা এখনও আমি পুরোপুরি বুঝতে পারি না) শুনার আগে দৃust় (এম-) অনুমানের প্রসঙ্গে আইআরএলএস সম্পর্কে শিখেছি । এই পদ্ধতির উপর ব্যবহারিক দৃষ্টিভঙ্গির জন্য, সর্বনিম্ন স্কোয়ারগুলির সাধারণ সাধারণীকরণ হিসাবে, আমি যে উত্সটি প্রথম সম্মুখীন হয়েছিল তার প্রস্তাব দেব: রিচার্ড সেলিস্কির কম্পিউটার ভিশন (ফ্রি ই-) বইয়ের প্রথম পরিশিষ্ট , প্রথম, সত্যই, যদিও এই লিঙ্কটি কিছু চমৎকার উদাহরণ)।

— জিওম্যাটট 22

কয়েক বছর আগে আমি আমার শিক্ষার্থীদের (স্প্যানিশ ভাষায়) এই সম্পর্কে একটি কাগজ লিখেছিলাম, তাই আমি এখানে এই ব্যাখ্যাগুলি আবার লিখতে চেষ্টা করতে পারি। আমি ক্রমবর্ধমান জটিলতার কয়েকটি উদাহরণের মাধ্যমে আইআরএলএস (পুনরাবৃত্তভাবে ন্যূনতম স্কোয়ারগুলি পুনর্বিবেচনা) দেখব। প্রথম উদাহরণের জন্য আমাদের প্রয়োজন একটি অবস্থান-স্কেল পরিবারের ধারণা। আসুন কোনও অর্থে শূন্যকে কেন্দ্র করে একটি ঘনত্বের ক্রিয়া হয়। আমরা নির্ধারণ করে ঘনত্বের একটি পরিবার গঠন করা যেতে পারে $f_0$ যেখানেএকটি স্কেল প্যারামিটার এবংএকটি অবস্থান প্যারামিটার। পরিমাপ ত্রুটি মডেলটিতে, যেখানে ত্রুটি শব্দটি সাধারণত একটি সাধারণ বিতরণ হিসাবে মডেল করা হয়, আমরা সেই সাধারণ বন্টনের জায়গায় উপরে নির্মিত হিসাবে কোনও লোকেশন-স্কেল পরিবার ব্যবহার করতে পারি। যখনমানক সাধারণ বিতরণ হয়, উপরেরপরিবার দেয়।

f (x) = f (x; μ, σ) = \frac{1}{σ} f_{0} (\frac{x - μ}{σ})

$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$

σ > 0

$\sigma > 0$

μ

$\mu$

f_{0}

$f_0$

N (μ, σ)

$\text{N}(\mu, \sigma)$

এখন আমরা কয়েকটি সহজ উদাহরণে আইআরএলএস ব্যবহার করব। প্রথমে আমরা মডেলটিতে এমএল (সর্বাধিক সম্ভাবনা) অনুমানকারী খুঁজে পাব ঘনত্বের সাথে

{ওয়াই}_{1}, {ওয়াই}_{2}, ..., {ওয়াই}_{এন} IID

$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$

কোশি বন্টন অবস্থান পরিবার

(তাই এই একটি অবস্থান পরিবার)। তবে প্রথমে কিছু স্বরলিপি। পরিমেয় এর লিস্ট স্কোয়ার মূল্নির্ধারক

দেওয়া হয়

চ (Y) = \frac{1}{π} \frac{1}{1 + + (Y - μ)^{2}}, Y \in আর,

$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$

μ

$\mu$

μ

$\mu$

যেখানে

কিছু ওজন হয়। আমরা যে এমএল মূল্নির্ধারক দেখতে হবে

সঙ্গে, একই আকারে প্রকাশ করা যেতে পারে

অবশিষ্টাংশ কিছু ফাংশন

সম্ভাবনা ফাংশনটি

μ^{*} = \frac{Σ_{আমি = 1}^{এন} W_{আমি} Y_{আমি}}{Σ_{আমি = 1}^{এন} W_{আমি}} ।

$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$

w_{i}

$w_i$

μ

$\mu$

w_{i}

$w_i$

ε_{আমি} = Y_{আমি} - \hat{μ} ।

$\epsilon_i = y_i-\hat{\mu}.$

এবং লগের সম্ভাবনা ফাংশনটি

সম্মান সঙ্গে তার ব্যুৎপন্ন

হয়

এল (Y; μ) = {(\frac{1}{π})}^{এন} Π_{আমি = 1}^{এন} \frac{1}{1 + + (Y_{আমি} - μ)^{2}}

$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$

ঠ (Y) = - এন লগ (π) - Σ_{আমি = 1}^{এন} লগ (1 + + (Y_{আমি} - μ)^{2}) ।

$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$

μ

$\mu$

যেখানে

। লিখন

\begin{array}{rcl} \frac{\partial ঠ (Y)}{\partial μ} & = & 0 - Σ \frac{\partial}{\partial μ} লগ (1 + + (Y_{আমি} - μ)^{2}) \\ = & - Σ \frac{2 (Y_{আমি} - μ)}{1 + + (Y_{আমি} - μ)^{2}} \cdot (- 1) \\ = & Σ \frac{2 ε_{আমি}}{1 + + ε_{আমি}^{2}} \end{array}

$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$

ϵ_{i} = y_{i} - μ

$\epsilon_i=y_i-\mu$

এবং

f_{0} (ϵ) = \frac{1}{π} \frac{1}{1 + ϵ^{2}}

$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$

, আমরা

পাই

f_{0}^{'} (ϵ) = \frac{1}{π} \frac{- 1 \cdot 2 ϵ}{(1 + ϵ^{2})^{2}}

$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$

আমরা খুঁজে

\frac{চ_{0}^{'} (ε)}{চ_{0} (ε)} = \frac{\frac{- 1 \cdot 2 ε}{(1 + + ε^{2})^{2}}}{\frac{1}{1 + + ε^{2}}} = - \frac{2 ε}{1 + + ε^{2}} ।

$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$

যেখানে আমরা সংজ্ঞাটি ব্যবহার করেছি

\begin{array}{rcl} \frac{\partial ঠ (Y)}{\partial μ} & = & - Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \\ = & - Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{1}{ε_{আমি}}) \cdot (- ε_{আমি}) \\ = & Σ W_{আমি} ε_{আমি} \end{array}

$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$

যে মনে

আমরা সমীকরণ প্রাপ্ত

যা IRLS এর আনুমানিক হিসাব সমীকরণ হয়। মনে রাখবেন যে

W_{আমি} = \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{1}{ε_{আমি}}) = \frac{- 2 ε_{আমি}}{1 + + ε_{আমি}^{2}} \cdot (- \frac{1}{ε_{আমি}}) = \frac{2}{1 + + ε_{আমি}^{2}} ।

$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$

ϵ_{i} = y_{i} - μ

$\epsilon_i=y_i-\mu$

Σ W_{আমি} Y_{আমি} = μ Σ W_{আমি},

$\sum w_i y_i = \mu \sum w_i,$

ওজন সবসময় ইতিবাচক। $w_i$
যদি অবশিষ্টগুলি বড় হয় তবে আমরা সংশ্লিষ্ট পর্যবেক্ষণকে কম ওজন দেব।

$\hat{\mu}^{(0)}$

ε_{আমি}^{(0)} = Y_{আমি} - {\hat{μ}}^{(0)}

$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$

W_{আমি}^{(0)} = \frac{2}{1 + + ε_{আমি}^{(0)}} ।

$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$

\hat{μ}

$\hat{\mu}$

{\hat{μ}}^{(1)} = \frac{Σ W_{আমি}^{(0)} Y_{আমি}}{Σ W_{আমি}^{(0)}} ।

$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$

ε_{আমি}^{(ঞ)} = Y_{আমি} - {\hat{μ}}^{(ঞ)}

$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$

W_{আমি}^{(ঞ)} = \frac{2}{1 + + ε_{আমি}^{(ঞ)}} ।

$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$

j + 1

$j+1$

{\hat{μ}}^{(ঞ + + 1)} = \frac{Σ W_{আমি}^{(ঞ)} Y_{আমি}}{Σ W_{আমি}^{(ঞ)}} ।

$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$

{\hat{μ}}^{(0)}, {\hat{μ}}^{(1)}, ..., {\hat{μ}}^{(ঞ)}, ...

$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$

এখন আমরা আরও সাধারণ অবস্থান এবং স্কেল পরিবার, দিয়ে এই প্রক্রিয়াটি অধ্যয়ন করি $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$ $Y_1,Y_2,\ldots,Y_n$ $\epsilon_i=\frac{y_i-\mu}{\sigma}$

ঠ (Y) = - \frac{এন}{2} লগ (σ^{2}) + + Σ লগ (চ_{0} (\frac{Y_{আমি} - μ}{σ})) ।

$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$

ν = σ^{2}

$\nu=\sigma^2$

\frac{\partial ε_{আমি}}{\partial μ} = - \frac{1}{σ}

$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$

\frac{\partial ε_{আমি}}{\partial ν} = (Y_{আমি} - μ) {(\frac{1}{\sqrt{ν}})}^{'} = (Y_{আমি} - μ) \cdot \frac{- 1}{2 σ^{3}} ।

$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$

\frac{\partial ঠ (Y)}{\partial μ} = Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot \frac{\partial ε_{আমি}}{\partial μ} = Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{1}{σ}) = - \frac{1}{σ} Σ \frac{চ_{ণ}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{1}{ε_{আমি}}) (- ε_{আমি}) = \frac{1}{σ} Σ W_{আমি} ε_{আমি}

$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$

σ^{2}

$\sigma^2$

\begin{array}{rcl} \frac{\partial ঠ (Y)}{\partial ν} & = & - \frac{এন}{2} \frac{1}{ν} + + Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot \frac{\partial ε_{আমি}}{\partial ν} \\ = & - \frac{এন}{2} \frac{1}{ν} + + Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{(Y_{আমি} - μ)}{2 σ^{3}}) \\ = & - \frac{এন}{2} \frac{1}{ν} - \frac{1}{2} \frac{1}{σ^{2}} Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot ε_{আমি} \\ = & - \frac{এন}{2} \frac{1}{ν} - \frac{1}{2} \frac{1}{ν} Σ \frac{চ_{0}^{'} (ε_{আমি})}{চ_{0} (ε_{আমি})} \cdot (- \frac{1}{ε_{আমি}}) (- ε_{আমি}) \cdot ε_{আমি} \\ = & - \frac{এন}{2} \frac{1}{ν} + + \frac{1}{2} \frac{1}{ν} Σ W_{আমি} ε_{আমি}^{2} \overset{!}{=} 0। \end{array}

$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$

\hat{σ^{2}} = \frac{1}{এন} Σ W_{আমি} (Y_{আমি} - \hat{μ})^{2} ।

$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$

নিম্নলিখিতটিতে আমরা আর ব্যবহার করে একটি সংখ্যাসূচক পরীক্ষা দিই, ডাবল এক্সফেনশিয়াল মডেলের (জ্ঞাত স্কেল সহ) এবং ডেটা সহ y <- c(-5,-1,0,1,5)। এই ডেটাটির জন্য এমএল অনুমানকারীটির আসল মান 0 হয় প্রাথমিক মানটি হবে mu <- 0.5। অ্যালগরিদমের একটি পাস

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

এই ফাংশনটি দিয়ে আপনি "হাত দ্বারা" পুনরাবৃত্তিগুলি নিয়ে পরীক্ষা করতে পারেন তারপরে পুনরাবৃত্তির অ্যালগোরিদম দ্বারা সম্পন্ন করা যায়

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$ $\sigma$

W_{আমি} = \frac{ট + + 1}{ট + + ε_{আমি}^{2}} ।

$w_i = \frac{k+1}{k+\epsilon_i^2}.$

W (ε) = \frac{1 - ই^{ε}}{1 + + ই^{ε}} \cdot - \frac{1}{ε} ।

$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$

এই মুহুর্তের জন্য আমি এটি এখানে রেখে যাব, আমি এই পোস্টটি চালিয়ে যাব।

— কেজেটিল বি হালওয়ারসেন en
সূত্র

u

$u$

u_{i}

$u_i$

আমি এই আরও যোগ করব, এখনই সময়ের বাইরে! ধারণাগুলি একই থাকে, তবে বিশদগুলি আরও জড়িত।

— কেজেটিল বি হালওয়ারসেন

যে আসবে!

— কেজেটিল বি হালওয়ারসেন

t_{k}

$t_k$

কোথাও এই ব্যাখ্যাটি চালিয়ে যেতে আপনার কোনও ব্লগ পোস্ট লিখতে আপত্তি আছে? আমার পক্ষে সত্যিই দরকারী এবং আমি নিশ্চিত অন্যের পক্ষে হব ...

— ihadanny