রিগ্রেশন রিগ্রেশন-এ রিগ্রেশন কো-

রিজ রিগ্রেশনে, উদ্দেশ্যমূলক কার্যকারিতা হ্রাস করা উচিত:

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

এটিকে ল্যাঞ্জরেঞ্জ গুণক পদ্ধতি ব্যবহার করে অনুকূলিত করা যেতে পারে? নাকি তা সরাসরি পার্থক্য?

regression regularization ridge-regression

— মিনাজ
সূত্র

শিরোনাম (যা

উপর দৃষ্টি নিবদ্ধ করে

λ

$\lambda$ ) এবং প্রশ্ন (যা কেবল

সম্পর্কে প্রদর্শিত হবে) এর মধ্যে সংযোগ কী

β_{j}

$\beta_j$ ? আমি উদ্বিগ্ন যে "পরিবর্তিত হতে পারে" এর উপর নির্ভর করে কোন ভেরিয়েবলগুলি বৈচিত্রময় হতে পারে এবং কোনটি স্থির করতে হবে তার উপর নির্ভর করে আলাদা আলাদা ব্যাখ্যা হতে পারে।

— হোয়বার

ধন্যবাদ প্রশ্নটি পরিবর্তিত। আমি পড়েছি যে ক্রস বৈধতা দ্বারা

পাওয়া গেছে - তবে আমি বিশ্বাস করি যে এর অর্থ আপনার কাছে ইতিমধ্যে

এবং

খুঁজে পেতে বিভিন্ন ডেটা ব্যবহার করুন

প্রশ্নটি - আপনি কীভাবে

প্রথম স্থানে খুঁজে পাবেন? যখন

একটি অজানা কে?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— মিনাজ

উত্তর:

রিজ সমস্যার জন্য দুটি ফর্মুলেশন রয়েছে। প্রথম এক

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

বিষযে

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

এই সূত্রটি রিগ্রেশন সহগের উপর আকারের সীমাবদ্ধতা দেখায়। এই সীমাবদ্ধতার অর্থ কী তা উল্লেখ করুন; আমরা ব্যাসার্ধ সঙ্গে উৎপত্তি কাছাকাছি একটি বল শুয়ে কোফিসিয়েন্টস অত্যাচার করছে । $\sqrt{s}$

দ্বিতীয় গঠনটি হ'ল আপনার সমস্যা

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

যা বড়গ্র্যাঞ্জ গুণক সূত্র হিসাবে দেখা হতে পারে। মনে রাখবেন যে এখানে একটি টিউনিং প্যারামিটার এবং এর বৃহত্তর মানগুলি বৃহত্তর সংকোচনের দিকে পরিচালিত করবে। আপনি respect এর সাথে শ্রদ্ধার সাথে অভিব্যক্তিটিকে আলাদা করতে এবং সুপরিচিত রিজ অনুমানকারী পেতে পারেন $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

দুটি সূত্রগুলি সম্পূর্ণ সমতুল্য , যেহেতু এবং মধ্যে একের মধ্যে একটি চিঠিপত্র রয়েছে । $s$ $\lambda$

আমাকে সে সম্পর্কে কিছুটা বিস্তারিত জানাতে দিন। কল্পনা করুন যে আপনার আদর্শ লম্ব ক্ষেত্রে হয়, । এটি অত্যন্ত সরল ও অবাস্তব পরিস্থিতি তবে আমরা অনুমানকারীটিকে আরও নিবিড়ভাবে তদন্ত করতে পারি তাই আমার সাথে সহ্য করা। সমীকরণের কি ঘটে তা বিবেচনা করুন (1)। রিজ অনুমানক কমে যায় $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

লম্ব ক্ষেত্রে হিসাবে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূল্নির্ধারক দেওয়া হয় । এই উপাদান অনুসারে এখন আমরা প্রাপ্ত $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

তারপরে লক্ষ্য করুন যে সঙ্কুচিতকরণটি সমস্ত সহগের জন্য স্থির। এটি সাধারণ ক্ষেত্রে ধরে রাখতে পারে না এবং প্রকৃতপক্ষে এটি দেখানো যেতে পারে যে যদি ম্যাট্রিক্সে হয় তবে সংকোচনগুলি ব্যাপকভাবে পৃথক হবে । $\mathbf{X}^{\prime} \mathbf{X}$

তবে আসুন সীমাবদ্ধ অপ্টিমাইজেশান সমস্যায় ফিরে আসি। কেকেটি তত্ত্ব অনুসারে , অনুকূলতার জন্য প্রয়োজনীয় শর্ত

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

সুতরাং হয় বা (এই ক্ষেত্রে আমরা বলি যে সীমাবদ্ধতা বাধ্যতামূলক) যদি তবে কোনও জরিমানা নেই এবং আমরা নিয়মিত ওএলএস পরিস্থিতিতে ফিরে এসেছি। মনে করুন তাহলে সীমাবদ্ধতা বাধ্যতামূলক এবং আমরা দ্বিতীয় পরিস্থিতিতে আছি। (2) এ সূত্র ব্যবহার করে, আমাদের তখন have $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

আমরা যেখান থেকে প্রাপ্ত

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

ওয়ান-টু-ওয়ান সম্পর্কের দাবি আগে। আমি প্রত্যাশা করি এটি অরર્થোগোনাল ক্ষেত্রে প্রতিষ্ঠা করা আরও কঠিন তবে ফলাফল নির্বিশেষে বহন করবে।

(২) এর দিকে আবার তাকান এবং আপনি দেখতে পাবেন যে আমরা এখনও মিস করছি । এর সর্বোত্তম মান পেতে, আপনি হয় ক্রস-বৈধতা ব্যবহার করতে পারেন বা রিজ ট্রেসটি দেখতে পারেন। পরবর্তী পদ্ধতিতে (0,1) ইন mb একটি সিক্যুয়েন্স তৈরি করা এবং অনুমানগুলি কীভাবে পরিবর্তিত হয় তা সন্ধান করে। তারপরে আপনি সেই নির্বাচন করুন যা তাদের স্থিতিশীল করে। নীচের রেফারেন্সগুলির দ্বিতীয়টিতে এই পদ্ধতিটি উপায় দ্বারা পরামর্শ দেওয়া হয়েছিল এবং এটি সবচেয়ে প্রাচীনতম। $\lambda$ $\lambda$ $\lambda$

তথ্যসূত্র

হোয়ারেল, আর্থার ই।, এবং রবার্ট ডব্লু। কেনার্ড। "রিজ রিগ্রেশন: ননर्थোগোনাল সমস্যার জন্য পক্ষপাতদুষ্ট অনুমান" " টেকনোমেট্রিক্স 12.1 (1970): 55-67।

হোয়ারেল, আর্থার ই।, এবং রবার্ট ডব্লু। কেনার্ড। "রিজ রিগ্রেশন: ননরर्थোগোনাল সমস্যাগুলির জন্য অ্যাপ্লিকেশন" " টেকনোমেট্রিক্স 12.1 (1970): 69-82।

— JohnK
সূত্র

@ মিনাজ রিজ রিগ্রেশনটিতে সমস্ত সহগ (ইন্টারসেপ্ট ব্যতীত) এর জন্য নিয়মিত সঙ্কুচিততা রয়েছে। সে কারণেই কেবল একটি গুণক রয়েছে।

— জনক

@ অ্যামিবা হোরেল এবং কেনার্ডের পরামর্শ, এটি সেই লোক যারা theনসত্তর দশকে রিজ রিগ্রেশন চালু করেছিল। তাদের অভিজ্ঞতা - এবং আমার - এর উপর ভিত্তি করে গুণাগুণগুলি বহুগুণে চূড়ান্ত ডিগ্রি সহ এমনকি সেই অন্তরালে স্থিতিশীল হবে। অবশ্যই, এটি একটি অভিজ্ঞতামূলক কৌশল এবং তাই এটি সর্বদা কাজ করার নিশ্চয়তা দেয় না।

— জনক

আপনি কেবলমাত্র ছদ্ম-পর্যবেক্ষণ পদ্ধতিটি করতে পারেন এবং স্ট্রেইট ন্যূনতম স্কোয়ারস রিগ্রেশন প্রোগ্রামের চেয়ে জটিল কিছু না দিয়ে অনুমানগুলি পেতে পারেন। আপনি একই ধরণের পরিবর্তনের প্রভাবটিও তদন্ত করতে পারেন ।

λ

$\lambda$

— গ্লেন_বি -রিনস্টেট মনিকা

@ অ্যামিবা এটি সত্য যে পাতাগুলি স্কেল অবিস্মরণীয় নয়, এজন্য আগেই ডেটা মানক করা সাধারণ অভ্যাস। আপনি একবার নজর রাখতে চান ক্ষেত্রে আমি প্রাসঙ্গিক উল্লেখগুলি অন্তর্ভুক্ত করেছি। তারা অত্যন্ত আকর্ষণীয় এবং প্রযুক্তিগত না।

— জনক

কার্যকরভাবে রিজ রেজিস্ট্রেশনে জনক প্রতিটি আলাদা পরিমাণে সঙ্কুচিত করে , তাই শুধুমাত্র একটি সঙ্কোচন পরামিতি থাকলেও সঙ্কুচিত হওয়া স্থির থাকে না ।

β

$\beta$

λ

$\lambda$

— ফ্র্যাঙ্ক হ্যারেল

আমার বই রিগ্রেশন মডেলিং স্ট্র্যাটেজিগুলি A বাছাইয়ের জন্য কার্যকর এআইসির ব্যবহার সম্পর্কে । এটি শাস্তিযুক্ত লগ হওয়ার সম্ভাবনা এবং স্বাধীনতার কার্যকর ডিগ্রি থেকে আসে the of এর পরিমাণগুলি দন্ড দ্বারা কতটা হ্রাস হয় তার এককটি এটি। এটি সম্পর্কে একটি উপস্থাপনা এখানে । আর প্যাকেজটি খুঁজে পেয়েছে যা কার্যকর এআইসিকে অনুকূল করে তোলে এবং একাধিক পেনাল্টি প্যারামিটারেরও মঞ্জুরি দেয় (যেমন, লিনিয়ার মেন এফেক্টের জন্য একটি, ননলাইনার মূল প্রভাবের জন্য একটি, লিনিয়ার ইন্টারঅ্যাকশন ইফেক্টের জন্য একটি এবং ননলাইনারের ইন্টারঅ্যাকশন ইফেক্টের জন্য একটি)। $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— ফ্র্যাঙ্ক হ্যারেল
সূত্র

+1 টি। বেছে নেওয়ার জন্য স্পষ্ট সূত্রের মাধ্যমে গণনা করা লেভ-ওয়ান-আউট সিভি ত্রুটি ব্যবহার করার বিষয়ে আপনি কী ভাবেন ? বাস্তবে এটি কীভাবে "কার্যকর এআইসির" সাথে তুলনা করে সে সম্পর্কে আপনার কোনও ধারণা আছে?

λ

$\lambda$

— অ্যামিবা বলেছেন মিনিকা পুনরায়

আমি যে পড়াশোনা করেনি। এলইউসিভি অনেকগুলি গণনা নেয়।

— ফ্রাঙ্ক হ্যারেল

যদি সুস্পষ্ট সূত্র ব্যবহার করা হয় তা নয়: stats.stackexchange.com/questions/32542 ।

— অ্যামিবা বলছেন মিনিকা পুনরায়

এই সূত্রটি সাধারণভাবে সর্বাধিক সম্ভাবনার জন্য নয়, ওএলএস-এর বিশেষ ক্ষেত্রে কাজ করে। তবে স্কোরের অবশিষ্টাংশগুলি ব্যবহার করে একটি আনুমানিক সূত্র রয়েছে। আমি বুঝতে পারি যে আমরা মূলত এই আলোচনায় ওএলএস নিয়ে কথা বলছি।

— ফ্র্যাঙ্ক হ্যারেল

আমি এটি বিশ্লেষণাত্মকভাবে করি না, বরং সংখ্যাগতভাবে করি। আমি সাধারণত আরএমএসই বনাম plot প্লট করি such যেমন:

চিত্র 1. আরএমএসই এবং ধ্রুবক λ বা আলফা।

— Lennart
সূত্র

এই আপনি একটি নির্দিষ্ট মান ঠিক মানে এবং তারপর অভিব্যক্তি পার্থক্য খুঁজে পেতে এর আপনি RMSE গনা এবং প্রক্রিয়া নতুন মানের জন্য সব আবার কি করে যার পরে ?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— মিনাজ