লিনিয়ার রিগ্রেশন যখন আপনি কেবল

ধরুন $X\beta =Y$ ।

আমরা জানি না $Y$ ঠিক, প্রতিটি predictor সঙ্গে শুধুমাত্র তার পারস্পরিক সম্পর্ক $X^\mathrm{t}Y$ ।

সাধারণ লিস্ট স্কোয়ারগুলির (OLS ঔজ্জ্বল্যের প্রেক্ষাপটে) সমাধান $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$ এবং একটি সমস্যা নয়।

তবে ধরুন $X^\mathrm{t}X$ একবাক্য (মাল্টিকোলাইনারিটি) এর নিকটবর্তী এবং আপনার সর্বোত্তম রিজ প্যারামিটারটি অনুমান করতে হবে। সমস্ত পদ্ধতিতে সঠিক মান প্রয়োজন বলে মনে হচ্ছে $Y$ ।

শুধুমাত্র $X^\mathrm{t}Y$ জানা গেলে কি বিকল্প বিকল্প আছে ?

regression multicollinearity

— বিদ্ধ করা
সূত্র

আকর্ষণীয় প্রশ্ন। সম্ভবত কোনও প্রকার ইএম অ্যালগরিদম কাজ করবে ...

— সম্ভাব্যতা

আমি বুঝতে পারি না, আপনি অনুকূল রিজ প্যারামিটার অনুমানের জন্য ক্রস-বৈধতা ব্যবহার করতে পারবেন না?

— পার্ডিস

@ পার্ডিস: প্রশ্নের কোনও ক্ষতির ফাংশন দেওয়া হয়নি তাই সর্বোত্তম মানে কী তা আমরা জানি না । ক্ষতির ফাংশনটি যদি এমএসই হয় তবে আমরা কীভাবে যে সমস্যাটি চালাচ্ছি তা দেখতে পাচ্ছেন?

— কার্ডিনাল

@ জনস্মিত: আপনি যে বিন্দুতে গাড়ি চালাচ্ছিলেন সে দিকে আপনি ইঙ্গিত দিচ্ছেন। "অনুকূলতা" কীভাবে পরিমাপ করা যায় তার কোনও ইঙ্গিত নেই। আপনি কার্যকরভাবে যা করছেন তা ভবিষ্যদ্বাণী বা ফিটের "মানের" পরিমাপ করতে একটি আলাদা মেট্রিক (দূরত্ব ফাংশন) প্রবর্তন করা হচ্ছে। আমার সন্দেহ হয় যে খুব দূরে যেতে আমাদের ওপি থেকে আরও বিশদ প্রয়োজন।

— কার্ডিনাল

@ পার্ডিস: অনুগ্রহ করে অনুসন্ধান করা সমস্যা নয়, যেমনটি আপনি লক্ষ্য করেছেন। :) তবে, আপনি যদি ক্রসওয়েডিয়েশন করার সিদ্ধান্ত নেন, আপনি কীভাবে প্রতিটি পুনরাবৃত্তির জন্য বাম-আউট ভাঁজে থাকা নমুনা এমএসইর অনুমান করতে যাচ্ছেন? :)

— কার্ডিনাল

উত্তর:

এটা একটি মজার প্রশ্ন। আশ্চর্যের বিষয় হল, কিছু নির্দিষ্ট অনুমানের আওতায় কিছু করা সম্ভব, তবে অবশিষ্টাংশগুলি সম্পর্কে তথ্যের সম্ভাব্য ক্ষতি রয়েছে। এটি উপর নির্ভর করে যে কতটা হারিয়েছে। $X$

আসুন একবচন মান পচানি নিম্নলিখিত বিবেচনা এর সঙ্গে একটি orthonormal কলাম সহ ম্যাট্রিক্স, একটি তির্যক ইতিবাচক একবচন মান ম্যাট্রিক্স মধ্যে তির্যক এবং একটি অর্থোগোনাল ম্যাট্রিক্স। তারপরে কলামগুলি এবং এর কলাম স্থানের জন্য orthonormal ভিত্তি করে এর অভিক্ষেপের জন্য সহগের ভেক্টর $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$ এই কলাম স্থানটিতে যখন কলাম স্তরে প্রসারিত হবে। সূত্র থেকে আমরা দেখতে পাচ্ছি যে কেবলমাত্র এবং জ্ঞান থেকে গণনাযোগ্য ।

U

$U$

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

যেহেতু প্রদত্ত জন্য রিজ রিগ্রেশন পূর্বাভাসকারীকে হিসাবে গণনা করা যায় আমরা দেখতে পাই যে কলাম স্তরে রিজ রিগ্রেশন প্রেডিক্টরের জন্য সহগগুলি ients Now এখন আমরা অনুমান করি যে এর ডাইমেনশনাল গড় mean এবং কোভেরিয়েন্স ম্যাট্রিক্স । তারপরে এর ডাইমেনশনাল মানে এবং কোভারিয়েন্স ম্যাট্রিক্স । আমরা যদি স্বতন্ত্র কল্পনা করি $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ হিসাবে একই ডিস্ট্রিবিউশনের সাথে (চালু শর্তসাপেক্ষে সবকিছু hereon থেকে) সংশ্লিষ্ট একই হয়েছে হিসাবে বিতরণ এবং স্বতন্ত্র এবং এখানে তৃতীয় সমতা এবং এবং চতুর্থ যে সত্য দ্বারা

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ অরথনরমাল কলাম রয়েছে। পরিমাণ একটি ত্রুটি যে আমরা সম্পর্কে কোনো তথ্য পাওয়া যেতে পারে, কিন্তু এটি উপর নির্ভর করে না পারেন। বাম হাতের ভবিষ্যদ্বাণী ত্রুটিটি হ্রাস করতে আমাদের ডান হাতের দ্বিতীয় শব্দটি ছোট করতে হবে।

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

একটি স্ট্যান্ডার্ড গণনা দ্বারা এখানে প্যারামিটার সহ রিজ রিগ্রেশনের জন্য স্বাধীনতার কার্যকর ডিগ্রি হিসাবে পরিচিত । একটি পক্ষপাতিত্বহীন মূল্নির্ধারক হয়

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

আমরা এটিকে (নিরপেক্ষ) অনুমানকারী এর সাথে একত্রিত করি প্রদত্ত যে আমরা know জানি , যা আমাদের তখন কমিয়ে আনা দরকার। একথাও ঠিক যে, এই শুধুমাত্র কাজ করা যেতে পারে যদি আমরা জানি বা একটি যুক্তিসঙ্গত অনুমান বা মূল্নির্ধারক আছে ।

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

অনুমান করা আরও সমস্যাযুক্ত হতে পারে। এটি দেখানো সম্ভব যে সুতরাং যদি এত ছোট নির্বাচন করা সম্ভব হয় যে স্কোয়ার পক্ষপাতটি উপেক্ষা করা যায় তবে আমরা কে হিসাবে অনুমান করার চেষ্টা করতে পারি এটি যদি কাজ করে তবে উপর অনেক নির্ভর করে । $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

জন্য কিছু কিছু বিবরণ অনুচ্ছেদ 3.4.1 এবং অধ্যায় 7 দেখতে ইএসএল অথবা সম্ভবত আরও ভাল মধ্যে অধ্যায় 2 GAM ।

— NRH
সূত্র

নির্ধারণ প্রশ্ন ও হিসেবে বিভিন্ন পরামিতি জন্য এবং সেট নমুনা লেবেল। তারপরে অজানা থেকে ড্রপ বেরিয়ে যাওয়ার পরে গণনযোগ্য নিয়ম। $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

এটি নিম্নলিখিত অ্যালগরিদম বাড়ে:

গণনা ট্রেনিং সেট কিছু পছন্দ জন্য । $e(λ,K)$ $K$
Mb একটি ফাংশন হিসাবে ফলাফল প্লট করুন । $\lambda$
প্লটটি সর্বাধিক সজ্জিত একটি মান গ্রহণ করুন । $\lambda$
ব্যবহারের চূড়ান্ত হিসাব হিসাবে। $β^*=[X^TX+λI]^{−1}X^TY$

— আর্নল্ড নিউমায়ার
সূত্র

আমি অনুমান করছি "প্লটটি সর্বাপেক্ষা জনপ্রিয় যেখানে" প্রায় 0 :) এর মতো খুব ছোট হবে

λ

$\lambda$

— jboman

@ জাবোম্যান: সমস্যাটি ঠিকঠাক থাকলে এবং নিয়মিতকরণের প্রয়োজন না হলে এটি কেবল তখনই ঘটতে পারে, তবে অবশ্যই পর্যাপ্ত। অসুস্থ নিয়ন্ত্রিত ক্ষেত্রে, বাহিরে আইটেম ভবিষ্যদ্বাণী কারণ overfitting দরিদ্র হবে, এবং অতএব বড় হতে হবে।

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— আর্নল্ড নিউমায়ার

@ আর্নল্ডনিউমায়ার: কে নয়। আমরা কেবল প্রতিটি ভবিষ্যদ্বাণীকের সাথে পারস্পরিক সম্পর্ক জানি। "ভবিষ্যদ্বাণীকারী ডোমেনে" থাকে, "ওয়াই ডোমেন" তে থাকে না (এন যদি নমুনার আকার হয় এবং ভবিষ্যদ্বাণীকারীদের সংখ্যা পি হয় তবে আমাদের কেবলমাত্র পি মান রয়েছে, প্রতিটি ভবিষ্যদ্বাণীকের জন্য একটি)।

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— জাগ

@Jag অতঃপর সেখানে নির্বাচনের জন্য পর্যাপ্ত তথ্য নেই । তবে অবশ্যই কোনওভাবে সংগ্রহ করা উচিত। যদি সংগ্রহের সময় আপনি নমুনা ব্যাচগুলিতে বিভক্ত করেন এবং প্রতিটি ব্যাচের জন্য আলাদাভাবে একত্রিত করেন তবে ক্রস বৈধতার জন্য প্রতিটি একটি ব্যাচ সংরক্ষণ করতে পারে re

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— আর্নল্ড নিউমায়ার

@ আর্নল্ডনিউমার: বাহ্যিকভাবে দেওয়া হয়, সংগ্রহ করা হয় না।

X^{T} Y

$X^TY$

— জাগ