"বর্ণাল পচন" এর মাধ্যমে রিজ রিগ্রেশন ব্যবহার করে সঙ্কুচিত সহগের প্রমাণ

আমি বুঝতে পেরেছি যে রিজ রিগ্রেশন কীভাবে গুণাগুণকে শূন্য জ্যামিতিক দিকে সঙ্কুচিত করে। তবুও আমি জানি যে বিশেষ "অর্থনোরমাল কেস" এ কীভাবে প্রমাণ করতে হয় তবে আমি বিভ্রান্ত হয়ে পড়েছি যে "স্পেকট্রাল পচন" এর মাধ্যমে সাধারণ ক্ষেত্রে এটি কীভাবে কাজ করে।

— jeza
সূত্র

আপনি বলেছেন যে আপনি বিভ্রান্ত, কিন্তু আপনার প্রশ্ন কি?

— হোবার

প্রশ্নটি এমন একটি বিক্ষোভের জন্য জিজ্ঞাসা করে যা রিজ রিগ্রেশন বর্ণালীর পচন ব্যবহার করে শূন্যের দিকে সহগের অনুমানকে সঙ্কুচিত করে। বর্ণালীর পচনটিকে একক মান মূল্য ক্ষয় (এসভিডি) এর সহজ পরিণতি হিসাবে বোঝা যায় । অতএব, এই পোস্টটি এসভিডি দিয়ে শুরু হয়। এটি এটি সহজ শর্তে ব্যাখ্যা করে এবং তারপরে এটি গুরুত্বপূর্ণ অ্যাপ্লিকেশনগুলির সাথে চিত্রিত করে। তারপরে এটি অনুরোধ করা (বীজগণিত) বিক্ষোভ সরবরাহ করে। (বীজগণিত অবশ্যই জ্যামিতিক বিক্ষোভের সাথে সমান; এটি কেবল একটি ভিন্ন ভাষায় শোভিত))

এই উত্তরের মূল উত্সটি আমার রিগ্রেশন কোর্সের নোটগুলিতে পাওয়া যাবে । এই সংস্করণটি কিছু ছোটখাটো ত্রুটি সংশোধন করে।

এসভিডি কী

যে কোনও ম্যাট্রিক্স , , লিখতে পারবেন যেখানে $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

$U$ হল একটি ম্যাট্রিক্স। $n\times p$
- এর কলাম দৈর্ঘ্য আছে । $U$ $1$
- এর কলামগুলি পারস্পরিক orthogonal হয়। $U$
- তাদের বলা হয় প্রধান উপাদান এর । $X$
$V$ একটি ম্যাট্রিক্স। $p \times p$
- এর কলামগুলির দৈর্ঘ্য । $V$ $1$
- এর কলামগুলি পারস্পরিক orthogonal হয়। $V$
- এই করে তোলে একটি ঘূর্ণন এর । $V$ $\mathbb{R}^p$
$D$ একটি তির্যক ম্যাট্রিক্স। $p \times p$
- তির্যক উপাদানগুলি negative নেতিবাচক নয়। এগুলি হল একবচন মান এর । $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- আমরা যদি চাই, আমরা তাদের বৃহত্তম থেকে ক্ষুদ্রতম পর্যন্ত অর্ডার করতে পারি।

নির্ণায়ক (1) এবং (2) দাবী করে যে, উভয় এবং হয় orthonormal ম্যাট্রিক্স। এগুলি শর্ত দ্বারা পরিষ্কারভাবে সংক্ষিপ্ত করা যেতে পারে $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

ফলস্বরূপ (যে একটি ঘূর্ণন প্রতিনিধিত্ব করে), । এটি নীচে রিজ রিগ্রেশন ডেরাইভেশন ব্যবহার করা হবে। $V$ $VV^\prime = 1_p$

এটা আমাদের জন্য কি করে

এটি সূত্রগুলি সহজতর করতে পারে। এটি বীজগণিত এবং ধারণা উভয়ভাবেই কাজ করে। এখানে কিছু উদাহরণঃ.

সাধারণ সমীকরণ

এর রিগ্রেশন বিবেচনা করুন যেখানে যথারীতি একটি শরীয়ত প্রত্যাশা এবং সীমাবদ্ধতা var রয়েছে এমন একটি আইন অনুসারে স্বতন্ত্র এবং অভিন্নভাবে বিতরণ করা হয় । সাধারণ সমীকরণের মাধ্যমে সর্বনিম্ন স্কোয়ার সমাধান হ'ল এসভিডি প্রয়োগ করা এবং ফলাফলগত বীজগণিত জগাখিটি (যা সহজ) সরলকরণ একটি দুর্দান্ত অন্তর্দৃষ্টি দেয়: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

এই এবং মধ্যে পার্থক্যটি হ'ল এর উপাদানগুলির প্রতিদানসমূহ ব্যবহৃত হয়! অন্য কথায়, "সমীকরণ" "ইনভার্টিং" দ্বারা সমাধান করা হয় : এই সিউডো-ইনভার্শনটি এবং প্রাইমকে ঘুরিয়ে দেয় (কেবলমাত্র সেগুলি ট্রান্সপোজ করে) এবং গুণন ( দ্বারা প্রতিনিধিত্ব করে ) আলাদা করে দেয় প্রতিটি প্রধান দিক। $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

ভবিষ্যতের রেফারেন্সের জন্য লক্ষ্য করুন যে "ঘোরানো" অনুমান হ'ল "আবর্তিত" প্রতিক্রিয়াগুলির এর লিনিয়ার সংমিশ্রণ । কোফিসিয়েন্টস (ধনাত্মক) এর inverses তির্যক উপাদান , এর সমান । $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

সহগের অনুমানের সমাহার

প্রত্যাহার করুন যে অনুমানগুলির হ'ল এসভিডি ব্যবহার করে এটি অন্য কথায়, সহভেদাংক মত কাজ করে লম্ব ভেরিয়েবল, ভেরিয়ানস সঙ্গে প্রতিটি , যে আবর্তিত হয়েছে ।

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$

R^{k}

$\mathbb{R}^k$

হাট ম্যাট্রিক্স

টুপি ম্যাট্রিক্স হ'লপূর্ববর্তী ফলাফলের মাধ্যমে আমরা এটিকে হিসাবে আবার লিখতে পারিসরল!

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

ইগিজেনালাইসিস (বর্ণালী পচন)

যেহেতু এবং এটি অবিলম্বে

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

এর eigenvalues এবং একবচন মূল্যবোধের স্কোয়ার আছে। $X^\prime X$ $XX^\prime$
এর কলামগুলি প্রিম এর ইগেনভেেক্টর । $V$ $X^\prime X$
এর কলামগুলি প্রাইমের কিছু আইগনেক্টর । (অন্যান্য আইজেনভেেক্টর বিদ্যমান তবে শূন্য ইগেনভ্যালুগুলির সাথে মিল রয়েছে)) $U$ $X X^\prime$

এসভিডি কোলাইনারিটির সমস্যাগুলি নির্ণয় ও সমাধান করতে পারে।

নিবন্ধকদের আনুমানিক

আপনি যখন জিরোগুলির সাথে ক্ষুদ্রতম একক মানগুলি প্রতিস্থাপন করেন, আপনি পণ্যটি কেবলমাত্র সামান্য পরিবর্তন করবেন। এখন, শূন্যগুলি কার্যকরভাবে ভেরিয়েবলের সংখ্যা হ্রাস করে , এর সংশ্লিষ্ট কলামগুলি অপসারণ করে । তবে শর্ত থাকে সেই কাটানো কলাম সহ সামান্য পারস্পরিক সম্পর্ক আছে , এই একটি পরিবর্তনশীল-হ্রাস পন্থা হিসেবে কার্যকরভাবে কাজ করতে পারেন। $UDV^\prime$ $U$ $y$

রিজ রিগ্রেশন

এর কলামগুলিকে একই সাথে হিসাবে মানিক করা যাক । (এর অর্থ আমাদের আর ধ্রুবক কলামের প্রয়োজন নেই )) জন্য রিজ অনুমানকারীটি $X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

এই এবং মধ্যে পার্থক্য হ'ল দ্বারা প্রতিস্থাপন । $\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ বাস্তবে, এটি ভগ্নাংশ দ্বারা গুণিত করে । কারণ (যখন ) ডোনামিটারটি স্পষ্টত সংখ্যার চেয়ে বড়, পরামিতিটি অনুমান করে "শূন্যের দিকে সঙ্কুচিত"। $D^2/(D^2+\lambda)$ $\lambda \gt 0$

এই ফলাফলটি পূর্বে চিহ্নিত কিছুটা সূক্ষ্ম অর্থে বুঝতে হবে: ঘূর্ণিত অনুমানগুলি এখনও ভেক্টর এর লিনিয়ার সংমিশ্রণ , তবে প্রতিটি গুণফল - যা be ব্যবহৃত হত যা ল্যাম্বদা গুণক দ্বারা গুণিত হয়েছে । যেমন, আবর্তিত কোফিসিয়েন্টস সঙ্কুচিত হবে, কিন্তু এটা সম্ভব, যখন , পর্যাপ্ত ছোট কিছু নিজেদের আসলে আকার বৃদ্ধি করা সম্ভব। $V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

বিঘ্ন এড়ানোর জন্য, আরও একটি শূন্য একক মানগুলির ক্ষেত্রে এই আলোচনায় বাদ দেওয়া হয়েছিল। এইরকম পরিস্থিতিতে, আমরা যদি প্রচলিতভাবে শূন্য হতে " " নিই , $d_{ii}^{-1}$ তবে সমস্ত কিছু এখনও কাজ করে। সাধারণ সমীকরণগুলি সমাধান করার জন্য যখন সাধারণীকরণ বিপরীতগুলি ব্যবহৃত হয় তখন এটিই চলছে ।

— whuber
সূত্র

@ গ্লেেন_বি এটি একটি ভাল বিষয়: আমি কোন ভগ্নাংশটি বিবেচনা করছি তা সম্পর্কে আমার স্পষ্ট হওয়া দরকার! আমি এটা ঠিক করব।

— হোবার

(1) সমীকরণের অংশের যে এর প্রতিটি কলামের বিন্দু নিজেই , যেখানে প্রতিটি দৈর্ঘ্য (সংজ্ঞা অনুসারে) । (২) পর্যবেক্ষণ থেকে অনুসরণ করে যে একটি ঘূর্ণমান ম্যাট্রিক্স, কারণ এটি বোঝায় also এছাড়াও একটি ঘূর্ণন ম্যাট্রিক্স। সুতরাং । প্লাগিং দেয় ।

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

— whuber

@ বিমল ভাল পরামর্শের জন্য আপনাকে ধন্যবাদ। আমি এখন "সাধারণ সমীকরণ" বিভাগে একটি ব্যাখ্যা অন্তর্ভুক্ত করেছি যেখানে রিগ্রেশন মডেলটি চালু করা হয়েছে।

— whuber

যখন প্রতিসম হয়, তখন সংজ্ঞা অনুসারে বাম এবং ডান দিকের সাথে তুলনা করা অবিলম্বে সত্যিকারের প্রতিসাম্য ম্যাট্রিক্সের তির্যকটি দেখায় এটি এসভিডির একটি বিশেষ ক্ষেত্রে এবং এটিও বোঝায় যে একটি প্রতিসাম্য ম্যাট্রিক্সের এসভিডিতে, । প্রকৃতপক্ষে এটি প্রদত্ত কেসটি হ'ল ননজেনারেটেড - তবে এটি প্রমাণ করা সম্পূর্ণরূপে প্রাথমিক নয়, তাই আমি বিশদে যাব না।

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

— whuber

@ হুইবার, ওহ, এটা কি এরকম? লাগানো মান In তে আমরা সহগের হিসাবগুলি ব্যবহার করব এবং যতক্ষণ না সেগুলি শূন্যের দিকে সঙ্কুচিত থাকে ততক্ষণ মানযুক্ত মানটির জন্য একই হবে।

\hat{y}

$\hat{y}$

— জেজা