লিনিয়ার রিগ্রেশন ক্ষেত্রে এমএলই এবং সর্বনিম্ন স্কোয়ারের মধ্যে সম্পর্ক

হস্টি এবং তিবশিরানী তাদের বইয়ের ৪.৩.২ বিভাগে উল্লেখ করেছেন যে লিনিয়ার রিগ্রেশন সেটিং-এ, সর্বনিম্ন স্কোয়ার্স পদ্ধতির পক্ষে সর্বাধিক সম্ভাবনার একটি বিশেষ ঘটনা। কীভাবে আমরা এই ফলাফলটি প্রমাণ করতে পারি?

পিএস: কোনও গাণিতিক বিশদ ছাড়বেন না।

regression maximum-likelihood least-squares

— প্রদ্ণেশ যোশি
সূত্র

এটি কোনও বিশেষ ক্ষেত্রে নয়: ত্রুটি বিতরণ যখন স্বাভাবিক হয় তখন এগুলি কেবল অভিন্ন।

— Zhanxiong

লিনিয়ার রিগ্রেশন মডেল

$Y = X\beta + \epsilon$ , কোথায় $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ , $X \in \mathbb{R}^{n \times p}$ এবং $\beta \in \mathbb{R}^{p}$

নোট করুন যে আমাদের মডেল ত্রুটি (অবশিষ্ট) ${\bf \epsilon = Y - X\beta}$ । আমাদের লক্ষ্য ভেক্টর সন্ধান করা $\beta$ গুলি যে কমিয়ে দিন $L_2$ এই ত্রুটিটির আদর্শ স্কোয়ার।

স্বল্প স্কোয়ার

দেওয়া তথ্য $(x_1,y_1),...,(x_n,y_n)$ যেখানে প্রতিটি হয় মাত্রিক, আমরা করার চেষ্টা: $x_{i}$ $p$

{\hat{β}}_{L S} = \underset{β}{argmin} | | ϵ | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

সর্বাধিক সম্ভাবনা

উপরের মডেলটি ব্যবহার করে আমরা প্যারামিটারগুলি হিসাবে দেওয়া ডেটার সম্ভাবনা সেট আপ করতে পারি : $\beta$

L (Y | X, β) = \prod_{i = 1}^{n} f (y_{i} | x_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

যেখানে গড় 0 এবং বৈকল্পিক সহ একটি সাধারণ বিতরণের পিডিএফ । এটি প্লাগ ইন: $f(y_i|x_i,\beta)$ $\sigma^2$

L (Y | X, β) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

এখন সাধারণত যখন সম্ভাবনাগুলি মোকাবেলা করা অবিরত হওয়ার আগে লগটি নেওয়া তার গাণিতিকভাবে সহজ হয় (পণ্যগুলি বকেয়া হয়ে যায়, এক্সপেনশিয়ালগুলি চলে যায়), তাই এটি করা যাক।

\log L (Y | X, β) = \sum_{i = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

যেহেতু আমরা সর্বাধিক সম্ভাবনার প্রাক্কলন চাই, আমরা উপরের সমীকরণের সর্বাধিক সন্ধান করতে চাই । প্রথম শব্দটি আমাদের প্রভাবিত করে না , তাই আমরা এটিকে উপেক্ষা করতে পারি: $\beta$ $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmax} \sum_{i = 1}^{n} - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

নোট করুন যে ডিনোমিনিটারটি সম্পর্কিত একটি ধ্রুবক । পরিশেষে, লক্ষ করুন যে যোগফলের সামনে একটি নেতিবাচক চিহ্ন রয়েছে। সুতরাং aণাত্মক সংখ্যার সর্বাধিক সন্ধান করা negativeণাত্মক ছাড়া এটির সর্বনিম্ন সন্ধান করার মতো। অন্য কথায়: $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

মনে রাখবেন যে এটি কাজ করার জন্য আমাদের কিছু নির্দিষ্ট মডেল অনুমান করতে হয়েছিল (ত্রুটির শর্তগুলির স্বাভাবিকতা, 0 গড়, ধ্রুব বৈকল্পিক)। এটি নির্দিষ্ট শর্তে এমএলএর সমতুল্য স্কোয়ার তৈরি করে। দেখুন এখানে এবং এখানে আরও আলোচনার জন্য।

সম্পূর্ণতার জন্য, দ্রষ্টব্য দ্রষ্টব্য হিসাবে লেখা যেতে পারে:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
সূত্র