সর্বনিম্ন কোণ রিগ্রেশন পারস্পরিক সম্পর্ককে একঘেয়েভাবে হ্রাস এবং বেঁধে রাখে?

আমি কমপক্ষে অ্যাঙ্গেল রিগ্রেশন (এলএআর) এর জন্য কোনও সমস্যার সমাধান করার চেষ্টা করছি। এই একটা সমস্যা 3.23 পৃষ্ঠাতে 97 এর Hastie এট আল।, পরিসংখ্যানগত শিক্ষণ উপাদানসমূহ, 2nd। ইডি। (5 ম মুদ্রণ) ।

সমস্ত ভেরিয়েবল এবং প্রতিক্রিয়া সহ শূন্য এবং স্ট্যান্ডার্ড বিচ্যুতি একের সাথে একটি রিগ্রেশন সমস্যা বিবেচনা করুন। মনে করুন যে প্রতিটি পরিবর্তনকের প্রতিক্রিয়ার সাথে অভিন্ন নিখুঁত সম্পর্ক রয়েছে:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

যাক এর লিস্ট স্কোয়ার সহগ হতে উপর দিন জন্য । $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

আমাকে দেখাতে বলা হচ্ছে যে show এবং আমার এতে সমস্যা হচ্ছে। মনে রাখবেন যে এই করতে পারেন মূলত বলছেন যে প্রতিটি সম্পর্কযুক্তরূপে অবশিষ্টাংশ সঙ্গে মাত্রার সমান থাকা আমরা দিকে অগ্রগতি হিসাবে ।

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

পারস্পরিক সম্পর্কগুলি সমানভাবে কীভাবে দেখানো যায় তা আমি জানি না:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

যে কোনও পয়েন্টার প্রশংসিত হবে!

— : Belmont
সূত্র

@ বেলমন্ট, আপনি কি ? আপনি কি আপনার সমস্যা সম্পর্কে আরও প্রসঙ্গ সরবরাহ করতে পারেন? উদাহরণস্বরূপ LAR এর স্ট্যান্ডার্ড বৈশিষ্ট্যগুলির সাথে নিবন্ধের লিঙ্কটি অনেক সহায়তা করবে।

u (α)

$u(\alpha)$

— এমপিটাস

@ বেলমন্ট, এটি হ্যাস্টি, এট আল।, স্ট্যাটিস্টিকাল লার্নিং এর এলিমেন্ট , ২ য় থেকে একটি সমস্যার মতো দেখাচ্ছে । ইডি। এই হোমওয়ার্ক হয়? যদি তা হয় তবে আপনি ট্যাগটি যুক্ত করতে পারেন।

— কার্ডিনাল

@ বেলমন্ট, এখন @ কার্ডিনাল একটি সম্পূর্ণ উত্তর দিয়েছে, আপনি ভবিষ্যতের রেফারেন্সের জন্য LAR আসলে কী তা নির্দিষ্ট করতে পারেন? উত্তর থেকে বিচার করা এটি প্রাথমিক প্রাথমিক কিছুটা প্রতিবন্ধকতা দেওয়া স্বল্প স্কোয়ার রিগ্রেশনগুলির পণ্যগুলির স্ট্যান্ডার্ড ম্যানিপুলেশন। গুরুতর কারণ ছাড়া এটির জন্য কোনও বিশেষ নাম থাকা উচিত নয়।

— এমপিটকাস

@ এমপিক্টাস, এটি একটি স্টেজওয়্যার অ্যালগরিদম, সুতরাং প্রতিবার কোনও পরিবর্তনশীল নিয়মিতকরণের পথে মডেলটিতে প্রবেশ করে বা ছেড়ে যায়, যথাক্রমে আকারের আকার (অর্থাত্ কার্ডিনালিটি / মাত্রা) যথাক্রমে বৃদ্ধি পায় বা সঙ্কুচিত হয় এবং "নতুন" এলএস অনুমানের ভিত্তিতে ব্যবহৃত হয় বর্তমানে "সক্রিয়" ভেরিয়েবলগুলি। লসোর ক্ষেত্রে, যা উত্তল অপ্টিমাইজেশান সমস্যা, পদ্ধতিটি খুব কার্যকর সমাধান পাওয়ার জন্য মূলত কেকেটি অবস্থার মধ্যে বিশেষ কাঠামোটি ব্যবহার করছে । এছাড়াও আইআরএলএস এবং হেইন-বোরেলের উপর ভিত্তি করে লজিস্টিক রিগ্রেশন (সাধারণ পদক্ষেপের সীমাবদ্ধ নম্বরটি রূপান্তরিত করার জন্য।)

β

$\beta$

— কার্ডিনাল

@ বেলমন্ট -১, যেমন আমি সম্প্রতি হাস্টির বইটি কিনেছি, আমি নিশ্চিত করতে পারি যে এটি এটি থেকে অনুশীলন। সুতরাং আমি আপনাকে একটি বড় -1 দিচ্ছি, যেহেতু আপনি সমস্ত সংজ্ঞা দিতে এমনকি পরিচালনা করেন না, আমি রেফারেন্স দেওয়ার বিষয়েও বলছি না।

— এমপিটিকাস

এই সমস্যা হয় 3.23 পৃষ্ঠাতে 97 এর Hastie এট আল।, পরিসংখ্যানগত শিক্ষণ উপাদানসমূহ , 2nd। ইডি। (5 ম মুদ্রণ) ।

এই সমস্যার মূল চাবিকাঠি হ'ল সাধারণ ন্যূনতম স্কোয়ারগুলি (যেমন, লিনিয়ার রিগ্রেশন) সম্পর্কে ভাল বোঝা, বিশেষত লাগানো মান এবং অবশিষ্টাংশগুলির অরথোগোনালিটি।

Orthogonality থিম : আসুন হতে , নকশা ম্যাট্রিক্স প্রতিক্রিয়া ভেক্টর এবং (সত্য) প্যারামিটার। ধরে নিচ্ছি পুরো-র‌্যাঙ্ক (যা আমরা জুড়ে যাব), এর ওলএস অনুমানগুলি হ'ল । লাগানো মানগুলি হ'ল । তারপরে । অর্থাৎ লাগানো মান লম্ব অবশিষ্টাংশ করতে। এইটা নিচের যেহেতু । $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

আসুন, এখন একটি কলাম ভেক্টর যেমন যে হতে হল তম কলাম । অনুমান করা শর্তগুলি হ'ল: $x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ প্রতিটি , , $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ যেখানে দৈর্ঘ্যের এর ভেক্টরকে বোঝায় এবং $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ all সমস্ত । $j$

লক্ষ্য করুন বিশেষ করে , এর শেষ কথাটা orthogonality থিম অভিন্ন সবার জন্য । $\langle x_j, y - \hat{y} \rangle = 0$ $j$

পারস্পরিক সম্পর্ক বাঁধা

এখন, । সুতরাং, এবং ডানদিকে দ্বিতীয় শব্দটি অরথোগোনালিটি লিমা দ্বারা শূন্য , সুতরাং পছন্দসই হিসাবে। পারস্পরিক সম্পর্কের পরম মান ন্যায্য $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

দ্রষ্টব্য : উপরের ডান দিকের অংশটি স্বতন্ত্র এবং হিসাবে সমান, যেহেতু আমরা ধরে নিয়েছি যে সমস্ত এর এবং কেন্দ্রিক (তাই, বিশেষত, গড়ের কোনও বিয়োগ প্রয়োজন নয় )। $j$ $x_j$ $y$

আলোচ্য বিষয়টি কি? যেমন বৃদ্ধি করে প্রতিক্রিয়া ভেক্টরটি সংশোধিত হয় যাতে এটি মডেলটিতে কেবলমাত্র প্রথম প্যারামিটারগুলি অন্তর্ভুক্ত করে প্রাপ্ত ( সীমাবদ্ধ! ) সর্বনিম্ন-স্কোয়ার সমাধানের দিকে যায় । এগুলি একই সাথে আনুমানিক প্যারামিটারগুলি সংশোধন করে যেহেতু তারা (সংশোধিত) প্রতিক্রিয়া ভেক্টরের সাহায্যে ভবিষ্যদ্বাণীদের সহজ অভ্যন্তরীণ পণ্য। পরিবর্তনটি যদিও একটি বিশেষ রূপ নেয়। এটি পূর্বাভাসকারী এবং পরিবর্তিত প্রতিক্রিয়ার মধ্যে পারস্পরিক সম্পর্ককে পুরো প্রক্রিয়া জুড়েই রাখে (যদিও পারস্পরিক সম্পর্কের মান পরিবর্তন হচ্ছে)। এটি জ্যামিতিকভাবে কী করছে সে সম্পর্কে ভাবুন এবং আপনি প্রক্রিয়াটির নামটি বুঝতে পারবেন! $\alpha$ $p$

(পরম) পারস্পরিক সম্পর্কের সুস্পষ্ট রূপ

আসুন শব্দটি বিন্দুতে ফোকাস করা যাক, যেহেতু অঙ্কটি ইতিমধ্যে প্রয়োজনীয় আকারে রয়েছে। আমাদের কাছে রয়েছে

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

Sub এর প্রতিস্থাপন এবং অভ্যন্তরীণ পণ্যটির রৈখিকতা ব্যবহার করে আমরা পাই $u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

তা পর্যবেক্ষণ করুন

$\langle y, y \rangle = N$ অনুমান দ্বারা,
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , মাঝের দ্বিতীয় পদটিতে অরথোগোনালিটি লেমা (এখনও আবার) প্রয়োগ করে ; এবং,
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ সংজ্ঞা দ্বারা।

এগুলি একসাথে রাখলে আপনি খেয়াল করবেন যে আমরা পেয়েছি

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

জিনিসগুলি গুটিয়ে রাখতে, এবং তাই এটি পরিষ্কার যে monotonically মধ্যে কমছে এবং হিসাবে । $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

Epilogue : এখানে ধারণাগুলিতে মনোনিবেশ করুন। সত্যিই এক আছে। Orthogonality থিম আমাদের জন্য প্রায় সব কাজ করে। বাকিটি কেবল বীজগণিত, স্বরলিপি এবং শেষ দুটিকে কাজ করার ক্ষমতা।

— মৌলিক
সূত্র

@ কার্ডিনাল, +1 উত্তরটি প্রশ্নের চেয়ে প্রস্থের চেয়ে ভাল।

— এমপিটকাস

@ কার্ডিনাল, আপনি লিঙ্কটি অ্যামাজন বা অন্য কোনও সাইটে পরিবর্তন করতে পারেন might আমি মনে করি যে পুরো বইয়ের সাথে লিঙ্ক করা কপিরাইটের কিছু সমস্যা উত্থাপন করতে পারে।

— এমপিটকাস

@ এমপিক্টাস, না কোনও কপিরাইট সমস্যা নেই। এটি বইয়ের অফিসিয়াল ওয়েবসাইট। অনলাইনে বিনামূল্যে পিডিএফ উপলব্ধ করার জন্য লেখক স্প্রিংজারের কাছ থেকে অনুমতি নিয়েছিলেন। (সাইটে এই প্রবন্ধের নোটটি দেখুন)) আমি মনে করি তারা স্টিফেন বয়ড এবং তার উত্তল অপ্টিমাইজেশান পাঠ্যের কাছ থেকে এই ধারণাটি পেয়েছিল । আশা করি আগামী কয়েক বছরের মধ্যে এ জাতীয় একটি প্রবণতা বাষ্প গ্রহণ করবে। উপভোগ করুন!

— কার্ডিনাল

@ কার্ডিনাল, ওহ প্রচুর ধন্যবাদ! এটি লেখকদের কাছ থেকে প্রবল উদার।

— এমপিটিকাস

@ এমপিক্টাস, এটি পরিসংখ্যানের স্প্রিংজার সিরিজের সবচেয়ে জনপ্রিয় বই। এটি একটি আইপ্যাডে দুর্দান্ত দেখাচ্ছে। যা আমাকে মনে করিয়ে দেয় --- আমারও বয়ডের পাঠ্যটি এটির উপরে ডাউনলোড করা উচিত। চিয়ার্স।

— কার্ডিনাল