এল 1 রিগ্রেশন মিডিয়ান অনুমান করে যেখানে এল 2 রিগ্রেশন অনুমানের অর্থ?

24

সুতরাং আমাকে একটি প্রশ্ন জিজ্ঞাসা করা হয়েছিল যার ভিত্তিতে এল 1 (অর্থাত্ লাসো) এবং এল 2 (অর্থাত্ রিজ রিগ্রেশন) কী পরিমাণে পরিমাপ করে। উত্তরটি এল 1 = মিডিয়ান এবং এল 2 = গড়। এটিতে কোনও ধরণের স্বজ্ঞাত যুক্তি রয়েছে কি? নাকি এটি বীজগণিতভাবে নির্ধারণ করতে হবে? যদি তা হয় তবে আমি কীভাবে তা করতে যাব?

— Bstat
সূত্র

4

এল 1 / এল 2 দ্বারা আপনি উদ্দেশ্যমূলক ফাংশন বা সীমাবদ্ধতার কথা উল্লেখ করছেন? যদি উদ্দেশ্যমূলক ফাংশন হয় তবে হ্যাঁ L1 ত্রুটি শর্তসাপেক্ষ মিডিয়েন এবং কন্ডিশনাল গড়ের সাথে L2 কমানো হবে। যদি সীমাবদ্ধতাগুলি (কোন রিজ / লাসো উল্লেখ করে) তবে এটি সম্পর্কে চিন্তা করার এটি ভুল উপায়। তাদের "কেন্দ্রীয় পদক্ষেপগুলি" এখনও শর্তসাপেক্ষে লক্ষ্য রাখছে তবে বিভিন্ন জরিমানা রয়েছে ।

β

$\beta$

— মুরাতো

24

এল 1 ক্ষতি ফাংশন কেন মধ্যমকে দেয় তার জন্য একটি সাধারণ জ্যামিতিক ব্যাখ্যা রয়েছে।

মনে রাখবেন যে আমরা একটি মাত্রায় কাজ করছি, সুতরাং অনুভূমিকভাবে সংখ্যা লাইন ছড়িয়ে পড়ুন। নম্বর লাইনে প্রতিটি ডাটা পয়েন্ট প্লট করুন। আপনার আঙুলটি কোথাও রেখায় রাখুন; আপনার আঙুলটি আপনার বর্তমান প্রার্থীর অনুমান হবে।

মনে করুন আপনি নিজের আঙুলটি ডানদিকে খানিকটা সরিয়ে নিয়েছেন, ডানদিকে ইউনিট বলুন । মোট ক্ষতি কি হয়? ওয়েল, যদি আপনার আঙুল দুটি ডেটা বিন্দুর মধ্যে ছিল, এবং আপনি একটি ডাটা পয়েন্ট জুড়ে এটিকে সরান, আপনি মোট ক্ষতি বৃদ্ধি করে থাকেন প্রতিটি ডেটা পয়েন্টের জন্য আপনার আঙুল বাম এবং তাই দিয়েই কমে প্রতিটি ডেটার জন্য আপনার আঙুলের ডানদিকে নির্দেশ করুন। সুতরাং, যদি আপনার আঙুলের ডানদিকে বাম দিকের চেয়ে আরও বেশি ডেটা পয়েন্ট থাকে তবে ডানদিকে আঙুলটি সরানো মোট ক্ষতি হ্রাস করে। অন্য কথায়, যদি অর্ধেকের বেশি ডেটা পয়েন্ট আপনার আঙুলের ডানদিকে থাকে তবে আপনার আঙুলটি ডানদিকে সরানো উচিত। $\delta$ $\delta$ $\delta$

এটি আপনাকে আপনার আঙুলকে এমন জায়গার দিকে নিয়ে যায় যেখানে ডেটা পয়েন্টগুলির অর্ধেকটি সেই জায়গার উপরে এবং অর্ধেক ডানদিকে থাকে। সেই স্পটটি হ'ল মিডিয়ান।

এটি এল 1 এবং মিডিয়ান। দুর্ভাগ্যক্রমে, আমার কাছে এল 2 এবং গড়ের জন্য কোনও অনুরূপ, "সমস্ত স্বজ্ঞাত, কোনও বীজগণিত নেই" explanation

— ডিডাব্লিউ
সূত্র

7

যদি আমরা একটি সাধারণ পয়েন্ট অনুমানের কথা বলছি তবে এটি সোজা ক্যালকুলাস।

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

— মুরাতো

3

@ মুরাটোয়া, হ্যাঁ, আমি ক্যালকুলাসের ডেরাইভেশন জানি, কিন্তু প্রশ্নটি বিশেষত এমন একটি ব্যাখ্যা জিজ্ঞাসা করে যা অন্তর্দৃষ্টি সম্পর্কে আলোকপাত করে এবং বীজগণিত এড়ায়। আমি ধরে নেব যে প্রশ্নকারী প্রশ্নকর্তা ইতিমধ্যে ক্যালকুলাস ডেরাইভেশন জানেন, তবে এমন কিছু সন্ধান করছেন যা আরও স্বজ্ঞাততা সরবরাহ করে।

— DW

আমি ভেবেছিলাম যে ওপি রিগ্রেশনটির কথা উল্লেখ করেছে যা বোঝায় যে তিনি প্রদত্ত ওয়াইড এক্স এর অনুমানের বিষয়ে কথা বলছেন যা নিরঙ্কুশ ত্রুটির জন্য শর্তাধীন মানে কমপক্ষে স্কোয়ার এবং শর্তসাপেক্ষ মিডিয়ান ব্যবহার করে। একই ব্যাখ্যাগুলি কাজ করা উচিত তবে সমস্যাটি একটু আলাদা। গড়ের জন্য ক্যালকুলাসের ব্যাখ্যাটি বেশ পরিষ্কার এবং সোজা। মধ্যস্বত্বের জন্য ডিডাব্লুএসকে একইভাবে ফর্মের জন্য ব্যাখ্যাটির ব্যাখ্যা দেওয়া যেতে পারে। নমুনা গড়টি জনসংখ্যার গড়ের জন্য একটি নিরপেক্ষ অনুমান।

— মাইকেল আর চেরনিক

আপনি যেমন অনুমানটিকে নমুনা থেকে দূরে সরিয়ে চলেছেন তার অর্থ পক্ষপাত বৃদ্ধির কারণে গড় বর্গ ত্রুটির পরিবর্তন হয়। প্রার্থীর অনুমান হিসাবে যখন অনুমানটি নমুনাটির সাথে ডি যোগ করে তখন গড় বর্গ ত্রুটি আসলে ডি

বৃদ্ধি পায় ।

^{2}

$^2$

— মাইকেল আর চেরনিক

11

মুরাতোয়া প্রদত্ত বীজগণিতের একটি দ্রুত এবং নোংরা সংস্করণ এল 1 কেসের জন্য বিদ্যমান। মান্য যে ব্যতীত যখন

, ডেরিভেটিভ

wrt

হয়

হলো,

যদি

এবং

যদি

। সুতরাং

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

ছাড়া যখন

একটি হল

। ব্যুৎপন্ন অদৃশ্য হয়ে আছে যখন মধ্যে ইতিবাচক ও নেতিবাচক পদ একই সংখ্যা

, যা মোটামুটিভাবে ভাষী দেখা দেয় যখন

মধ্যমা হয়

।

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

— ইয়ভেস্ট

17

এই ব্যাখ্যাটি একটি একটি সঙ্কলন muratoa এবং ইভস এর ডয়চে ভেলের উত্তরে মন্তব্য নেই। যদিও এটি ক্যালকুলাসের উপর ভিত্তি করে, আমি এটি সহজবোধ্য এবং সহজে বুঝতে পেলাম।

আমরা ধরে নেওয়া যাক আছে এবং একটি নতুন অনুমান পেতে চান তাদের উপর ভিত্তি করে। ক্ষুদ্রতম ক্ষয়টি যখন আমরা পাই তখন তা পাওয়া যায় যা ক্ষতির ডাইরিভেটিভকে শূন্য করে তোলে। $y_1, y_2, ... y_k$ $\beta$ $\beta$

এল 1 ক্ষতি

এল 1 = \frac{1}{ট} Σ_{আমি = 1}^{ট} | Y_{আমি} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

1 যখন

, -1 যখন

। 0 ব্যুৎপন্ন সমান যখন মধ্যে ইতিবাচক ও নেতিবাচক পদ একই সংখ্যা

, যার মানে

মধ্যমা হওয়া উচিত

।

\frac{\partial {এল}_{1}}{\partial β} = - \frac{1}{ট} Σ_{আমি = 1}^{ট} গুলি ছ এন (Y_{আমি} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

এল 2 ক্ষতি

এল 2 = \frac{1}{ট} Σ_{আমি = 1}^{ট} (Y_{আমি} - β)^{2}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial {এল}_{2}}{\partial β} = - \frac{2}{ট} Σ_{আমি = 1}^{ট} (Y_{আমি} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

তাই ও L2 ক্ষতি কমানোর জন্য,

গড় হওয়া উচিত

।

\frac{\partial {এল}_{2}}{\partial β} = 0 \to β = \frac{1}{ট} Σ_{আমি = 1}^{ট} Y_{আমি}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

— chefwen
সূত্র

3

আরও বেশি ব্যবহারিক উদাহরণ সহ LW এর উত্তরে যুক্ত করা (L2 ক্ষতি ফাংশনের জন্যও):

একে অপরের নিকটবর্তী 4 টি বাড়ির (যেমন 10 মিটার) একটি ছোট্ট গ্রাম কল্পনা করুন। এর থেকে 1 কিলোমিটার দূরে, আপনার আর একটি খুব বিচ্ছিন্ন বাড়ি রয়েছে। এখন, আপনি সেই শহরে পৌঁছেছেন এবং কোথাও আপনার নিজের বাড়ি তৈরি করতে চান। আপনি অন্য বাড়ির কাছাকাছি থাকতে এবং সবার সাথে বন্ধুত্ব করতে চান। এই দুটি বিকল্প পরিস্থিতি বিবেচনা করুন:

যে কোনও বাড়ির গড় দূরত্ব সবচেয়ে কম (যে কোনও এল 1 ক্ষতি কার্য কমিয়ে দেয়) সেই স্থানে আপনি সিদ্ধান্ত নেবেন।
- আপনি যদি নিজের বাড়িটিকে গ্রামের কেন্দ্রে রাখেন তবে আপনি 4 বাড়ি থেকে প্রায় 10 মিটার দূরে এবং একটি বাড়ি থেকে 1 কিলোমিটার দূরে থাকবেন, যা আপনাকে প্রায় 200 মিটার দূরত্ব দেয় (10 + 10 + 10 + 10 + 1000 / 5)।
- আপনি যদি আপনার বাড়িটি গ্রাম থেকে 500 মিটার দূরে রাখেন তবে আপনি 5 বাড়ি থেকে 500 মিটার দূরে থাকবেন, যা আপনাকে গড়ে 500 মিটার দূরত্ব দেয়।
- যদি আপনি নিজের বাড়িটি বিচ্ছিন্ন বাড়ির পাশে রাখেন তবে আপনি গ্রাম থেকে ৪ কিলোমিটার দূরে এবং 1 বাড়ি থেকে প্রায় 10 মিটার দূরে থাকবেন যা আপনাকে প্রায় 800 মিটার দূরত্ব দেয়।
তাই গ্রামে আপনার বাড়ি তৈরি করে সর্বনিম্ন গড় দূরত্বটি 100 মিটারে পৌঁছে যায়। আরও সুনির্দিষ্টভাবে, আপনি আরও কয়েক মিটার গড় দূরত্ব অর্জন করতে এই 4 টি বাড়ির মাঝখানে আপনার ঘর তৈরি করবেন। এবং দেখা যাচ্ছে যে এই বিন্দুটি " মিডিয়ান পয়েন্ট ", আপনি একইভাবে মধ্য সূত্রটি ব্যবহার করে গ্রহণ করতে পারতেন।
আপনি গণতান্ত্রিক পদ্ধতির সিদ্ধান্ত নেবেন decide আপনি আপনার পাঁচ ভবিষ্যতের প্রতিবেশীকে প্রত্যেককে আপনার নতুন বাড়ির জন্য তাদের পছন্দের অবস্থান জিজ্ঞাসা করুন। তারা সবাই আপনাকে পছন্দ করে এবং আপনি তাদের নিকটে থাকতে চান। সুতরাং তারা সকলেই নিজের বাড়ির ঠিক পাশের জায়গাটি হিসাবে তাদের পছন্দসই অবস্থানটি বর্ণনা করে। আপনি আপনার পাঁচ প্রতিবেশীর ভোট প্রাপ্ত সমস্ত জায়গার গড় গড় নিন এবং ফলাফলটি "গ্রাম থেকে 200 মিটার দূরে" (ভোটের গড়: 0 + 0 + 0 + 0 + 1000/5 = 200), যা হ'ল 5 টি বাড়ির " গড় পয়েন্ট ", যে আপনি গড় সূত্রটি ব্যবহার করে একইভাবে অর্জন করতে পারবেন। এবং এই অবস্থানটি ঠিক একই রকম হয় যা স্কোয়ার দূরত্বের যোগফলকে (যেমন এল 2 ক্ষতি ফাংশন) হ্রাস করে। এটি দেখার জন্য গণিতটি করা যাক:
- এই অবস্থানটিতে স্কোয়ার দূরত্বের যোগফল: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- যদি আমরা গ্রামের কেন্দ্রে বাড়িটি তৈরি করি তবে আমাদের স্কোয়ারের দূরত্বের যোগফল হবে: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1000 ^ 2 = 1 000 000
- আমরা যদি গ্রামটি থেকে 100 মিটার দূরে বাড়িটি তৈরি করি (1 এর মতো), স্কোয়ার দূরত্বগুলির যোগফল: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- যদি আমরা বিচ্ছিন্ন বাড়ি থেকে 100 মিটার দূরে বাড়িটি তৈরি করি তবে স্কোয়ার দূরত্বগুলির যোগফল: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

সুতরাং হ্যাঁ, এটি লক্ষ্য করা আকর্ষণীয় যে, কিছুটা স্বতঃস্ফূর্তভাবে যখন আমরা দূরত্বের যোগফলকে কমিয়ে আনি, তখন আমরা অর্থে অর্থে "মাঝারি" হয়ে উঠি না, তবে অর্থে মধ্যমা. এই কারণগুলির অংশ যা ওএলএস, অন্যতম জনপ্রিয় রিগ্রেশন মডেল, পরম ত্রুটির পরিবর্তে স্কোয়ার ত্রুটি ব্যবহার করে।

— জোনাথন জিম্মারম্যান
সূত্র

1

ইতিমধ্যে পোস্ট করা উত্তরগুলি ছাড়াও (যা আমার পক্ষে খুব সহায়ক হয়েছে!), এল 2 আদর্শ এবং গড়ের মধ্যে সংযোগের জন্য জ্যামিতিক ব্যাখ্যা রয়েছে।

শেফওয়েনের মতো একই স্বরলিপি ব্যবহার করতে , এল 2 ক্ষতির জন্য সূত্রটি হ'ল:

এল 2 = \frac{1}{ট} Σ_{আমি = 1}^{ট} (Y_{আমি} - β)^{2}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

$\beta$ $L2$ $k$

\sqrt{Σ_{আমি = 1}^{ট} (Y_{আমি} - β)^{2}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

$y$ $k$ $y$ $\vec{\beta} = (\beta, \beta, ..., \beta)$

সুতরাং সমস্যা মান খুঁজে পেতে যা বিন্দুর মধ্যে ইউক্লিডিয় দূরত্ব ছোট এবং $\beta$ $y$ $\vec{\beta}$ $\vec{\beta}$ $\vec{1} = (1, 1, ..., 1)$ $y$ $\vec{1}$

$k = 2$ $y = (2, 6)$ $\vec{1}$ $(4, 4)$

$k > 2$

\begin{aligned} \vec{β} & = {PROJ}_{\vec{1}} Y \\ = \frac{Y \cdot \vec{1}}{| \vec{1} |^{2}} \vec{1} \\ β & = \frac{Σ_{আমি = 1}^{ট} Y_{আমি}}{ট} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

— পল
সূত্র