Equivalence এইটার দেখানো মধ্যে

রেফারেন্স বুক 1 , বই 2 এবং কাগজ অনুসারে ।

এটি উল্লেখ করা হয়েছে যে নিয়ন্ত্রিত রিগ্রেশন (রিজ, ল্যাসো এবং ইলাস্টিক নেট) এবং তাদের সীমাবদ্ধ সূত্রগুলির মধ্যে একটি সমতা রয়েছে।

আমি ক্রস ভ্যালিডেটেড 1 এবং ক্রস ভ্যালিডেটেড 2 এর দিকেও নজর রেখেছি, তবে আমি কোনও পরিষ্কার উত্তর দেখতে পাচ্ছি না যে সমতা বা যুক্তি দেখায়।

আমার প্রশ্ন

কারুশ-কুহান uck টকার (কেকেটি) ব্যবহার করে সেই সমতা কীভাবে দেখানো যায়?

নিম্নলিখিত সূত্রগুলি রিজ রিগ্রেশন এর জন্য।

বিঃদ্রঃ

এই প্রশ্নটি হোমওয়ার্ক নয়। এটি কেবলমাত্র এই বিষয়ে আমার বোধগম্যতা বাড়ানোর জন্য।

হালনাগাদ

আমি এখনও ধারণা পাই না।

— jeza
সূত্র

আপনার 1 টির বেশি উত্তর কেন দরকার? বর্তমান উত্তরটি পুরোপুরি প্রশ্নটির সমাধান করার জন্য উপস্থিত হয়। আপনি যদি অপ্টিমাইজেশান পদ্ধতি সম্পর্কে আরও জানতে চান তবে উত্তল অপটিমাইজেশন লাইভেন ভ্যান্ডেনবার্গে এবং স্টিফেন পি বয়েড শুরু করার জন্য একটি ভাল জায়গা।

— সাইকোরাক্স

@ সাইকোরাক্স, আপনার মতামত এবং আপনি যে বই আমাকে সরবরাহ করেছেন তার জন্য ধন্যবাদ। উত্তরটি আমার পক্ষে এতটা পরিষ্কার নয় এবং আমি আরও স্পষ্টতা চাইতে পারি না। সুতরাং, একাধিক উত্তর আমাকে বর্ণনাের আলাদা দৃষ্টিকোণ এবং উপায় দেখতে দেয়।

— জেজা

@ জেজা, আমার উত্তরে কী নেই?

— রয়ি

দয়া করে আপনার প্রশ্নটিকে পাঠ্য হিসাবে টাইপ করুন, কেবল কোনও ফটোগ্রাফ পোস্ট করবেন না ( এখানে দেখুন )।

— গুং - মনিকা পুনরায়

উত্তর:

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$

t^{*}

$t^*$ যা বাইরের অপ্টিমাইজেশান সমস্যা সমাধান করে। এটি আমাদের নিয়ন্ত্রণহীন অপ্টিমাইজেশান সমস্যা থেকে সীমাবদ্ধ সমস্যার মধ্যে এক ধরণের ম্যাপিং দেয়। আপনার নির্দিষ্ট সেটিং-এ, যেহেতু সবকিছু ইলাস্টিক নেট রিগ্রেশন জন্য দুর্দান্তভাবে আচরণ করা হয়, তাই এই ম্যাপিংটি প্রকৃতপক্ষে এক হতে হবে, সুতরাং কোন নির্দিষ্ট অ্যাপ্লিকেশনটির জন্য আরও দরকারী এটির উপর নির্ভর করে এই দুটি বিষয়গুলির মধ্যে স্যুইচ করতে সক্ষম হবে। সাধারণভাবে, সীমাবদ্ধ এবং নিয়ন্ত্রণহীন সমস্যার মধ্যে এই সম্পর্কটি কম ভাল আচরণ করা যেতে পারে তবে আপনি সীমাবদ্ধ এবং নিয়ন্ত্রণহীন সমস্যার মধ্যে কতটা এগিয়ে যেতে পারবেন তা নিয়ে ভাবতে এখনও কার্যকর হতে পারে।

সম্পাদনা: অনুরোধ হিসাবে, আমি রিজ রিগ্রেশনটির জন্য আরও কংক্রিট বিশ্লেষণ অন্তর্ভুক্ত করব, যেহেতু এটি লাসো দন্ডের অ-বিভেদযোগ্যতার সাথে সম্পর্কিত প্রযুক্তিগুলির সাথে মোকাবিলা করা এড়াতে মূল ধারণাগুলি ধারণ করে। প্রত্যাহার করুন, আমরা অপ্টিমাইজেশন সমস্যাটি সমাধান করছি (ম্যাট্রিক্স স্বরলিপিতে):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

যাক OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সমাধান হতে (অর্থাত যখন কোনো বাধ্যতা যায়)। তারপরে আমি সেই ক্ষেত্রে ফোকাস করব যেখানে(যদি এটি বিদ্যমান থাকে) যেহেতু অন্যথায়, এই সীমাবদ্ধতা বাঁধাই না হওয়ায় এই প্রতিবন্ধকতা আগ্রহহীন। এই সমস্যার জন্য তারপরে পার্থক্যগতভাবে আমরা প্রথম অর্ডার শর্ত পেয়েছি: যা কেবল রৈখিক সমীকরণের একটি সিস্টেম এবং তাই সমাধান করা যেতে পারে: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ গুণক choice এর কিছু পছন্দের জন্য । গুণকটি কেবল তখনই সীমাবদ্ধতাটিকে সত্য করতে বাছাই করা হয়, যেমন আমাদের প্রয়োজন

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ যেহেতু এলএইচএস মিউতে একঘেয়ে আছে তাই বিদ্যমান । এই সমীকরণটি গুণকগুলিকে সীমাবদ্ধতায়, স্পষ্ট ম্যাপিং দেয় সাথে যখন আরএইচএস উপস্থিত থাকে এবং এই ম্যাপিংটি আসলে বেশ স্বজ্ঞাত কিছুটির সাথে মিলে যায়। খাম উপপাদ্য আমাদেরকে বলে যে

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ সীমাহীন এর সামান্য শিথিলতা থেকে আমরা ত্রুটির প্রান্তিক হ্রাসের সাথে মিল রাখি । এই ব্যাখ্যা দিয়েছে কেন যখন সাথে সঙ্গতিপূর্ণ। প্রতিবন্ধকতা বাধ্যতামূলক না হয়ে গেলে, এটি আর শিথিল করার কোনও মূল্য নেই, এ কারণেই গুণকটি অদৃশ্য হয়ে যায়।

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
সূত্র

যদি আপনি সম্ভব হন তবে দয়া করে ব্যবহারিক উদাহরণ সহ ধাপে ধাপে আমাদের একটি উত্তর উত্তর সরবরাহ করতে পারেন।

— জিজা 21

অনেক ধন্যবাদ, কেন আপনি কেকেটির কথা উল্লেখ করবেন না? আমি এই অঞ্চলের সাথে পরিচিত নই, তাই আমাকে উচ্চ বিদ্যালয়ের ছাত্র হিসাবে গণ্য করুন।

— জিজা

এই ক্ষেত্রে কে কেটি শর্তগুলি হল "প্রথম অর্ডার শর্ত" এর জেনারালাইজেশন যা আমি উল্লেখ করেছি ল্যাঙ্গরজিয়ানকে আলাদা করে এবং ডেরিভেটিভকে 0 এর সমান করে সেট করে এই উদাহরণস্বরূপ, সীমাবদ্ধতাগুলি সাম্যের সাথে ধারণ করে, আমাদের কেকেটি শর্তগুলির প্রয়োজন নেই সাধারণত পূর্ণ। আরও জটিল ক্ষেত্রে, যা কিছু ঘটে থাকে তা হ'ল উপরের কিছু সমতা অসমতা হয়ে যায় এবং সীমাবদ্ধতা অ-বাধ্যতামূলক হয়ে ওঠার জন্য গুণকটি 0 হয়ে যায়। উদাহরণস্বরূপ, ঠিক তখনই এটি ঘটে উপরে.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

সেখানে দ্বারা একটি মহান বিশ্লেষণ stats_model মধ্যে তার উত্তর ।

আমি অনুরূপ প্রশ্নের উত্তর দেওয়ার চেষ্টা করেছি রিজ রিগ্রেশন অফ ইকুইভ্যালেন্ট সূত্রের প্রুফ এ ।

আমি এই ক্ষেত্রে আরও হ্যান্ড অন পদ্ধতির গ্রহণ করব।
আসুন 2 মডেলের এবং মধ্যে ম্যাপিংটি দেখার চেষ্টা করি । $t$ $\lambda$

হিসাবে আমি লিখেছি এবং থেকে দেখা যায় stats_model মধ্যে তার বিশ্লেষণ ম্যাপিং ডেটা উপর নির্ভর করে। সুতরাং আমরা সমস্যার একটি নির্দিষ্ট উপলব্ধি বেছে নেব। তবুও সমাধান এবং কোডটি স্কেচিং যা চলছে তার অন্তর্দৃষ্টি যোগ করবে।

আমরা নিম্নলিখিত 2 টি মডেল তুলনা করব:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

আসুন ধরে নেওয়া যাক যে নিয়মিত মডেলটির সমাধান হতে হবে এবং সীমাবদ্ধ মডেলের সমাধান হতে পারে। $\hat{x}$ $\tilde{x}$

আমরা থেকে ম্যাপিং এ বেরাচ্ছেন থেকে যেমন যে । উপর খুঁজছি আমার সমাধান করতে নর্ম কনস্ট্রেইন্ট অর্থাৎ লিস্ট স্কোয়ার জন্য সমাধানকারী এক দেখতে পারে সীমাবদ্ধ মডেল সমাধানে নিয়মিত মডেল সমাধানে এবং খোঁজার জড়িত যে মিল (প্রকৃত কোডে উপস্থাপন করা হয় ইউক্লিডিয় (সঙ্গে লিস্ট স্কোয়ার ) আদর্শ প্রতিবন্ধকতা )। $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

সুতরাং আমরা একই সমাধানকারী চলমান করব এবং প্রত্যেকের জন্য আমরা অনুকূল প্রদর্শন করব । $t$ $\lambda$

মূলত সমাধানকারী:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

সুতরাং এখানে আমাদের ম্যাট্রিক্স:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

এবং এখানে আমাদের ভেক্টর:

এটি ম্যাপিং:

উপরে দেখা যাবে, প্যারামিটার - এর উচ্চ মানের জন্য প্রত্যাশার মতো। $t$ $\lambda = 0$

[0, 10] ব্যাপ্তিতে জুম করা:

সম্পূর্ণ কোডটি আমার স্ট্যাক এক্সচেঞ্জ ক্রস ভ্যালিটেড Q401212 গিটহাব রিপোজিটরিতে উপলব্ধ ।

— Royi
সূত্র