লিনিয়ার রিগ্রেশন: ওএলএস এবং এমএলইয়ের কোনও অস্বাভাবিক বিতরণ পরিচয় দেয়?

13

এই প্রশ্নটি এখানে মন্তব্যে দীর্ঘ আলোচনা থেকে অনুপ্রাণিত: লিনিয়ার রিগ্রেশন কীভাবে সাধারণ বিতরণ ব্যবহার করে?

সাধারণ লিনিয়ার রিগ্রেশন মডেলটিতে সরলতার জন্য এখানে কেবলমাত্র একজন ভবিষ্যদ্বাণী দিয়ে লেখা হয়: যেখানে পরিচিত ধ্রুবক এবং শূন্য-স্বতন্ত্র ত্রুটি শর্তাবলী। যদি আমরা ত্রুটিগুলির জন্য অতিরিক্ত ধরে নিই, তবে স্বাভাবিকের সর্বনিম্ন স্কোয়ারের অনুমানকারী এবং এর সর্বাধিক সম্ভাবনা অভিন্ন।

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

সুতরাং আমার সহজ প্রশ্ন: ত্রুটির শর্তগুলির জন্য অন্য কোনও বিতরণ রয়েছে কি যে ম্লেটি সাধারণ ন্যূনতম স্কোয়্যার্স অনুমানের সাথে অভিন্ন? একটি জড়িত প্রদর্শন করা সহজ, অন্যটি তেমন নয়।

— কেজেটিল বি হালওয়ারসেন
সূত্র

1

(+1) এটি শূন্যের চারপাশে কেন্দ্রিক বিতরণ হওয়া দরকার এবং এটি মনে হয় এটি একটি প্রতিসাম্যহীন হলে এটি সহায়তা করবে। কিছু প্রার্থী যারা টি- বা ল্যাপ্লেস বিতরণের মতো মাথায় আসে, তারা এমএলই যেমন চালিত কৌশলটি চালিত করে বলে মনে হয় না, এমনকী ধ্রুবক শুধুমাত্র ক্ষেত্রে, বদ্ধ আকারে পাওয়া যায় না বা মিডিয়ান দ্বারা প্রদত্ত হয় respectively

— ক্রিস্টোফ হ্যাঙ্ক

এছাড়াও দেখুন stats.stackexchange.com/questions/99014/… , দেখে মনে হচ্ছে কেবল অনেক কিছুই আছে

— ক্রিস্টোফ হ্যাঙ্ক

আমি নিশ্চিত উত্তরটি নেই। একটি কঠোর প্রমাণ লিখতে কঠিন হতে পারে।

— গর্ডন স্মিথ

11

সর্বাধিক সম্ভাবনা অনুমানের মধ্যে, আমরা গণনা করি

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

সর্বশেষ সম্পর্কটি রিগ্রেশন সমীকরণের লিনিয়ারিটি কাঠামোকে বিবেচনা করে।

তুলনায়, ওএলএসের অনুমানকারী সন্তুষ্ট হন

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Theাল সহগের জন্য অভিন্ন বীজগণিতীয় এক্সপ্রেশন পেতে আমাদের ত্রুটি শর্তের জন্য ঘনত্ব থাকা দরকার যেমন

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

এগুলি ফর্মের ডিফারেনশিয়াল সমীকরণ যে সমাধান আছে $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

যে কোনও ক্রিয়াকলাপ যা এই কার্নেলটি রয়েছে এবং একটি উপযুক্ত ডোমেনের জন্য একতার সাথে সংহত করে, LEাল সহগের জন্য এমএলই এবং ওএলএসকে অভিন্ন করে তুলবে। যথা আমরা খুঁজছি

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

এমন একটি যা সাধারণ ঘনত্ব নয় (বা অর্ধ-স্বাভাবিক বা ত্রুটির কার্যকারিতা থেকে প্রাপ্ত)? $g$

অবশ্যই. কিন্তু আরও একটি জিনিস এক বিবেচনা করা হয়েছে নিম্নলিখিত: যদি একটি ব্যবহার প্লাস এক্সপোনেন্ট সাইন ইন করুন এবং শূন্য উদাহরণস্বরূপ কাছাকাছি একটি প্রতিসম সমর্থন, এক একটি ঘনত্ব একটি অনন্য আছে পাবেন ন্যূনতম মাঝখানে, এবং দুটি স্থানীয় ম্যাক্সিমা সমর্থন সীমানা।

— আলেকোস পাপাদোপ্লোস
সূত্র

দুর্দান্ত উত্তর (+1), তবে যদি কেউ ফাংশনে প্লাস চিহ্ন ব্যবহার করে তবে এটি কি ঘনত্বও? তারপরে এটি উপস্থিত হবে যে ফাংশনটির সীমাহীন ইন্টিগ্রাল রয়েছে এবং সুতরাং এটি ঘনত্বের ক্রিয়ায় স্বাভাবিক করা যায় না। যদি এটি হয় তবে আমরা কেবলমাত্র সাধারণ বন্টন রেখে চলেছি।

— বেন -

1

(a, b)

$(a,b)$

এটি সত্য - আমি এটি ধরে নিচ্ছিলাম।

— বেন - মনিকা পুনরায় ইনস্টল করুন

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

আর একটি সেটিংস যেখানে উভয় অনুমানকারী মিলে যায় যখন ডেটাটি গোলাকৃতির সমন্বিত বিতরণ থেকে আসে , যখন (ভেক্টর) ডেটা condition শর্তযুক্ত ঘনত্ব সঙ্গে হ্রাসকারী ফাংশন। (এই ক্ষেত্রে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে এখনও পাওয়া যায়, যদিও স্বাধীনতার ধৃষ্টতা এর শুধুমাত্র সাধারন ক্ষেত্রে ঝুলিতে।) $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— সিয়ান
সূত্র

1

এটি আমার কাছে সঠিক দেখাচ্ছে না। আপনি যদি একটি ভিন্ন গোলকের সমান্তরাল বিতরণ ব্যবহার করেন, তবে কি এটি বর্গের চেয়ে আদর্শের আলাদা ফাংশনকে হ্রাস করতে পারে না (এভাবে ন্যূনতম-বর্গ অনুমানের নয়)?

— বেন -

1

@ শি'য়ান স্রেফ একটি উত্তর আপডেট না করা পর্যন্ত আমি এই প্রশ্নটি সম্পর্কে জানতাম না। আরও জেনেরিক সমাধান রয়েছে। কিছু পরামিতি সহ সূচকীয় পরিবারের বিতরণগুলি গ্রেগম্যান ডাইভারজেন্সগুলিতে স্থির ফলন দেয়। যেমন বিতরণ মানে মিনিমাইজার। ওএলএস মিনিমাইজারটিও মাধ্যম। সুতরাং এই জাতীয় সমস্ত বিতরণের জন্য যখন লিনিয়ার ক্রিয়াকলাপটি গড় প্যারামিটারের সাথে যুক্ত হয় তখন তাদের মিলে যায়।

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— ক্যাগডাস ওজজেঙ্ক
সূত্র