ত্রিভুজটিতে ধ্রুবক যুক্ত করে কেন রিজ অনুমানটি ওএলএসের চেয়ে ভাল হয়?

আমি বুঝতে পারি যে রিজ রিগ্রেশন অনুমানটি হ'ল যা বর্গের অবশিষ্টাংশ এবং আকারের জরিমানার পরিমাণকে হ্রাস করে $\beta$ $\beta$

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y = argmin [RSS + λ ‖ β ‖_{2}^{2}]

$\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big]$

যাইহোক, আমি সম্পূর্ণরূপে সত্য যে তাৎপর্য বুঝতে পারছি না $\beta_\text{ridge}$ থেকে পৃথক $\beta_\text{OLS}$ শুধুমাত্র তির্যক করার জন্য একটি ছোট ধ্রুবক যোগ করে $X'X$ । প্রকৃতপক্ষে,

β_{OLS} = (X^{'} X)^{- 1} X^{'} y

$\beta_\text{OLS} = (X'X)^{-1}X'y$

আমার বই উল্লেখ করেছে যে এটি অনুমানকে আরও সংখ্যায় স্থিতিশীল করে তোলে - কেন?
সংখ্যার স্থায়িত্ব কি রিজ অনুমানের 0 এর দিকে সঙ্কুচিত হওয়ার সাথে সম্পর্কিত, বা এটি কেবল একটি কাকতালীয় ঘটনা?

— হাইজেনবার্গ
সূত্র

উত্তর:

আনপেনালাইজড রিগ্রেশনে আপনি প্রায়শই প্যারামিটার স্পেসে একটি রিজ * পেতে পারেন, যেখানে রিজ বরাবর বিভিন্ন মান বিভিন্নভাবে বা প্রায় কমপক্ষে স্কোয়ারের মাপদণ্ডে করে।

* (অন্ততপক্ষে, এটি সম্ভাব্য কার্যক্রমে একটি রিজ - তারা আসলে উপত্যকা the আরএসএসের মানদণ্ডে, তবে আমি এটিকে একটি রিজ বলতে যাব, এটি প্রচলিত বলে মনে হয় - বা এমনকি আলেক্সিস পয়েন্ট হিসাবেও মন্তব্যে, আমি কল করতে পারি যে একটি থ্যালওয়েজ , উপত্যকার একটি রাজ্যের সমকক্ষ হয়ে)

প্যারামিটার স্পেসের সর্বনিম্ন স্কোয়ার মাপদণ্ডে একটি শৃঙ্খলার উপস্থিতিতে, পরামিতিগুলি পরামিতি থেকে দূরে সরে যাওয়ার সাথে সাথে আপনি যে পেনাল্টিটি রিজ রিগ্রেশনের সাথে পেয়েছেন সেগুলি মাপদণ্ডটিকে ধাক্কা দিয়ে মুক্তি দেয়:

এখানে চিত্র বর্ণনা লিখুন
[ পরিষ্কার চিত্র ]

প্রথম চক্রান্তে, প্যারামিটার মানগুলির একটি বৃহত পরিবর্তন (রিজ বরাবর) আরএসএসের মানদণ্ডে একটি ক্ষুদ্র পরিবর্তন আনবে। এটি সংখ্যার অস্থিরতার কারণ হতে পারে; এটি ছোট পরিবর্তনগুলির জন্য খুব সংবেদনশীল (উদাহরণস্বরূপ একটি ডেটা মানের একটি ছোট পরিবর্তন, এমনকি কাটা বা গোলাকার ত্রুটি)। পরামিতি অনুমান প্রায় নিখুঁতভাবে সম্পর্কিত হয়। আপনি প্যারামিটারের অনুমানগুলি পেতে পারেন যা পরিমাণে খুব বড় large

বিপরীতে, প্যারামিতি 0 থেকে দূরে থাকলে রিজ রিগ্রেশন কমিয়ে দেয় এমন জিনিসটি মাধ্যমে ( পেনাল্টি যোগ করে ) শর্তে ছোট পরিবর্তন (যেমন একটি সামান্য বৃত্তাকার বা কাটা ত্রুটি) ফলাফলের মধ্যে বিশাল পরিবর্তন আনতে পারে না অনুমান. জরিমানার শর্তটি 0 এর দিকে সঙ্কুচিত হয় (ফলে কিছু পক্ষপাত ঘটে)। অল্প পরিমাণ পক্ষপাতই বৈকল্পিকতায় (সেই শৃঙ্খলাটি দূর করে) যথেষ্ট পরিমাণে উন্নতি কিনতে পারে। $L_2$

অনুমানের অনিশ্চয়তা হ্রাস পেয়েছে (স্ট্যান্ডার্ড ত্রুটিগুলি বিপরীতভাবে দ্বিতীয় ডেরিভেটিভের সাথে সম্পর্কিত, যা দণ্ডের দ্বারা বড় করা হয়)।

প্যারামিটার অনুমানের সাথে সম্পর্ক হ্রাস করা হয়। আপনি এখন প্যারামিটারের অনুমানগুলি পাবেন না যা যদি ছোট পরামিতিগুলির জন্য আরএসএস আরও খারাপ না হয় তবে আকারে খুব বড়।

— Glen_b
সূত্র

এই উত্তরটি আমাকে সংকোচন এবং সংখ্যাগত স্থায়িত্ব বুঝতে সহায়তা করে। তবে, " সাথে একটি ছোট ধ্রুবক যুক্ত করা" কীভাবে এই দুটি জিনিস অর্জন করে সে সম্পর্কে এখনও আমি অস্পষ্ট ।

X^{'} X

$X'X$

— হাইজেনবার্গ

তির্যক * তে একটি ধ্রুবক যুক্ত করা আরএসএসকে কেন্দ্র করে কেন্দ্র করে একটি বৃত্তাকার প্যারাবোলয়েড যুক্ত করার সমান (উপরে দেখানো ফলাফলের সাথে - এটি শূন্য থেকে দূরে "টান" - রিজটি মুছে ফেলা)। * (এটি অগত্যা ছোট নয়, এটি আপনি কীভাবে দেখেন এবং কতটা যোগ করেছেন তার উপর নির্ভর করে)

0

$0$

$\quad\quad$

— Glen_b

Glen_b আপনি যে ভাষাটি খুঁজছেন সেই ইংরেজী ভাষায় "রিজ" এর প্রতিশব্দ (একটি উপত্যকার তল ধরে সেই পথ / বাঁক) থ্যালওয়েগ । যা আমি মাত্র দু'সপ্তাহ আগে শিখেছি এবং সহজভাবে পছন্দ করি। এমনকি এটি একটি ইংরেজি শব্দের মতো শোনাচ্ছে না ! : ডি

— অ্যালেক্সিস

@ অ্যালেক্সিস এটি নিঃসন্দেহে একটি সহজ শব্দ হতে পারে, তাই এর জন্য ধন্যবাদ। এটি সম্ভবত ইংরেজী শোনায় না কারণ এটি একটি জার্মান শব্দ (প্রকৃতপক্ষে থালটি " নিয়ান্ডারথাল " = " নিয়ান্ডার ভ্যালি", এবং ওয়েজ = 'উপায়' এর মতো একই 'থাল ')। [যেমনটি ছিল, আমি "রিজ" চেয়েছিলাম কারণ আমি এটিকে কী বলব তা ভাবতে পারিনি, তবে লোকেরা এটিকে একটি রিজ বলে বলে মনে হচ্ছে তারা সম্ভাবনা বা আরএসএসের দিকে তাকিয়ে আছে কিনা এবং আমি অনুসরণ করার আমার ইচ্ছাটি ব্যাখ্যা করছি কনভেনশনটি, যদিও এটি বিজোড় বলে মনে হচ্ছে। থ্যালওয়েগ সঠিক শব্দটির জন্য একটি দুর্দান্ত পছন্দ হবে, যদি আমি কনভেনশনের বিজোড়

— থ্যালওগ

এক্স পুরো মাপের নয় এমন একটি ম্যাট্রিক্সের কাছাকাছি হয়ে যায় (এবং তাই এক্স'এক্স প্রায় একবচনে পরিণত হয়) ঠিক যখন কোনও সম্ভাবনাটি দেখা যায়। রিজটি কলামগুলির মধ্যে প্রায় লিনিয়ার সম্পর্কের প্রত্যক্ষ পরিণতি , যা (প্রায়) রৈখিকভাবে নির্ভর করে।

X

$X$

β

$\beta$

— Glen_b

গ্লেন_ব এর চিত্রের উপর +1 এবং রিজ অনুমানকারী সম্পর্কে পরিসংখ্যানের মন্তব্যগুলি। আমি কেবল রিজ রিগ্রেশন সম্পর্কিত খাঁটি গাণিতিক (লিনিয়ার বীজগণিত) pov যুক্ত করতে চাই যা ওপিএস প্রশ্নের উত্তর 1) এবং 2)।

প্রথম দ্রষ্টব্য যে একটি প্রতিসম ধনাত্মক সেমাইডেফিনেট ম্যাট্রিক্স - নমুনা কোভেরিয়েন্স ম্যাট্রিক্সের চেয়ে । সুতরাং এটিতে আইজেন-পচন রয়েছে $X'X$ $p \times p$ $n$

X^{'} X = V D V^{'}, D = [\begin{matrix} d_{1} \\ ⋱ \\ d_{p} \end{matrix}], d_{i} \geq 0

$X'X = V D V', \quad D = \begin{bmatrix} d_1 & & \\ & \ddots & \\ & & d_p \end{bmatrix}, d_i \geq 0$

এখন যেহেতু ম্যাট্রিক্স বিপরীতটি , তাই অনুমানকারীটির (দ্রষ্টব্য যে ) প্রয়োজন। স্পষ্টতই এটি কেবল তখনই কাজ করে যদি সমস্ত শূন্যের চেয়ে কঠোরভাবে হয়, । জন্য এটা অসম্ভব; জন্য এটা সত্য সাধারণভাবে হয় - ছিল এই আমরা সাধারণত সঙ্গে সংশ্লিষ্ট হয় multicollinearity । $(X'X)^{-1} = V D^{-1} V'$ $V ' = V^{-1}$ $d_i > 0$ $p \gg n$ $n \gg p$

পরিসংখ্যানবিদ হিসাবে আমরা এটিও জানতে চাই যে ছোট ছোট কল্পনাগুলি অনুমানগুলিকে কীভাবে পরিবর্তন করে। এটি স্পষ্ট যে কোনও একটি ছোট পরিবর্তন যদি খুব ছোট হয় তবে এ বিশাল পরিবর্তনের দিকে পরিচালিত করে । $X$ $d_i$ $1 / d_i$ $d_i$

সুতরাং রিজ রিগ্রেশন যা করে তা হ'ল শূন্য থেকে সমস্ত ইগন্যালুয়েসকে আরও দূরে সরিয়ে দেয়

X^{'} X + λ I_{p} = V D V^{'} + λ I_{p} = V D V^{'} + λ V V^{'} = V (D + λ I_{p}) V^{'},

$X'X + \lambda I_p = V D V' + \lambda I_p = V D V' + \lambda V V' = V (D + \lambda I_p) V',$ যা এখন ইগেনভ্যালু । এই কারণেই পজিটিভ পেনাল্টি প্যারামিটার নির্বাচন করা ম্যাট্রিক্সকে অবিচ্ছিন্ন করে তোলে - এমনকি ক্ষেত্রেও। রিজ রিগ্রেশন-এর জন্য একটি সামান্য প্রকরণের ম্যাট্রিক্স বিপরীতে খুব অস্থির প্রভাব পড়তে পারে না।

d_{i} + λ \geq λ \geq 0

$d_i + \lambda \geq \lambda \geq 0$

p ≫ n

$p \gg n$

X

$X$

সংখ্যার স্থিতিশীলতা সঙ্কুচিত হওয়ার সাথে শূন্যের সাথে সম্পর্কিত কারণ এরা উভয়ই ইগেনাল্যুয়াসে ইতিবাচক ধ্রুবক যুক্ত করার ফলস্বরূপ: এটি এটিকে আরও স্থিতিশীল করে তোলে কারণ একটি ছোট্ট বিদ্রোহ বিপরীতটি খুব বেশি পরিবর্তন করে না; এটি এটিকে কাছাকাছি সঙ্কুচিত করে এখন থেকে পদটি ) দ্বারা গুণিত হয় যা বিপরীত ইগেনাল্যুয়েজ সাথে ওএলএস সমাধানের তুলনায় শূন্যের কাছাকাছি । $X$ $0$ $V^{-1} X'y$ $1 / (d_i + \lambda)$ $1 / d$

— জর্জি এম গোয়ার্গ
সূত্র

এই উত্তরগুলি সন্তোষজনকভাবে আমার প্রশ্নের বীজগণিত অংশ উত্তর দেয়! Glen_b উত্তরের সাথে একত্রে এটি সমস্যার পুরো ব্যাখ্যা দেয়।

— হাইজেনবার্গ

@ গ্লেন_ব এর প্রদর্শন দুর্দান্ত। আমি কেবল সমস্যাটির সঠিক কারণ এবং চতুর্ভুজযুক্ত দন্ডিত পেনাল্টিভুক্তি কীভাবে কাজ করে সে সম্পর্কে বর্ণনা বাদ দিয়ে, নীচের লাইনটি রয়েছে যে শূন্যের দিকে বিরতি ব্যতীত অন্য সহগুণকে সংকুচিত করার জরিমানার জাল প্রভাব রয়েছে। পরামিতি অনুমানের সংখ্যার সাথে স্যাম্পল আকারটি বড় আকারের না হলে বেশিরভাগ রিগ্রেশন বিশ্লেষণের মধ্যে অন্তর্নিহিত ওভারফিটিংয়ের সমস্যার এটি সরাসরি সমাধান সরবরাহ করে। নন-ইন্টারসেপ্টগুলির জন্য শূন্যের দিকে প্রায় কোনও শাস্তি কোনও অন-পেনাল্টিযুক্ত মডেলের তুলনায় ভবিষ্যদ্বাণীমূলক নির্ভুলতার উন্নতি করতে চলেছে।

— ফ্র্যাঙ্ক হ্যারেল
সূত্র