রিগ্রেশন সহগের জন্য এই পক্ষপাত-বৈকল্পিক ট্রেড অফ কী এবং এটি কীভাবে পাওয়া যায়?

9

ইন এই কাগজ , ( ভ্যারিয়েন্স উপাদান জন্য Bayesian ইনফিরেনস শুধু ব্যবহার বৈপরীত্য ত্রুটি , Harville, 1974), লেখক দাবী একটি "সুপরিচিত সম্পর্ক ", লিনিয়ার রিগ্রেশন এর জন্য যেখানে

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

এটি কীভাবে সুপরিচিত? এটি প্রমাণ করার সহজ উপায় কী?

— সিবস জুয়া
সূত্র

1

এটি উইকিপিডিয়ায় রয়েছে , সেখানে 'ডেরাইভেশন' দেখুন।

— ব্যবহারকারী 60

@ ব্যবহারকারী 603 আপনি কি লিঙ্কটি আরও পরিষ্কার করে দিতে চান? ধন্যবাদ!

— Sibbs জুয়া

@ user603 দুঃখিত, লিঙ্কটি কীভাবে সমস্যার সমাধান করে তা আমি সত্যিই দেখতে পারি না। আমার কাছে, আমার ক্ষেত্রে, সমীকরণটি ভার (y) = পক্ষপাত + ... আপনি কী ব্যাখ্যা করতে পারবেন?

— সিবস জুয়া খেলা

4

@ সিবসগাম্বলিং নোট করুন যে ভারী লিনিয়ার রিগ্রেশন গঠনের ক্ষেত্রে আপনার সমীকরণের দুটি বৈকল্পিক-সম্পর্কিত পদ রয়েছে । বাম দিকের শব্দটি সত্য মডেলের চারপাশে পরিবর্তনের সাথে সম্পর্কিত (যথার্থ ম্যাট্রিক্স দ্বারা ভারিত )। ডানদিকে প্রথম শব্দটি লাগানো মডেলগুলির পার্থক্যের সাথে সম্পর্কিত। ডানদিকে দ্বিতীয় শব্দটি বায়াসের বর্গের সাথে সম্পর্কিত । এটাই ভেরিয়েন্স-বায়াস ট্রেড অফ।

H^{- 1}

$H^{-1}$

— এডিএম

6

সমীকরণের শেষ শব্দটি হিসাবে লেখা যেতে পারে

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

এই ফর্মটিতে সমীকরণটি আকর্ষণীয় কিছু বলছে। ধরে নেওয়া যাক ইতিবাচক নির্দিষ্ট এবং প্রতিসম, তাই তার বিপরীত হয়। অতএব, আমরা জ্যামিতি দিয়ে একটি অভ্যন্তরীণ পণ্য দিতে পারি। তারপরে উপরের সাম্যতাটি মূলত এটি বলছে যে, $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

আমি আপনাকে এই বিটটি উপলব্ধি করতে চেয়েছিলাম যেহেতু একজন মন্তব্যকারী ইতিমধ্যে ডেরাইভেশনটিতে একটি লিঙ্ক রেখে গেছে।

সম্পাদনা: উত্তরোত্তর জন্য

LHS:

\begin{array}{rcl} (y - X β)^{'} H^{- 1} (y - X β) & = & y^{'} H^{- 1} y & - & 2 y^{'} H^{- 1} X β & + & β^{'} X^{'} H^{- 1} X β \\ = & (A) & - & (B) & + & (C) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS:

(y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} H^{- 1} y & - 2 y^{'} H^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} & + β X^{'} H^{- 1} X β & - 2 \hat{β} X^{'} H^{- 1} X β & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} \\ = & (A) & - (D) & + (E) & + (C) & - (F) & + (E) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

রিলেশন:

\hat{β} = (X^{'} H^{- 1} X)^{- 1} X^{'} H^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

সম্পর্কের ক্ষেত্রে প্লাগ করে আপনি তা (বি) = (এফ) এবং সেই 2 (ই) = (ডি) প্রদর্শন করতে পারেন। সব শেষ.

— jlimahaverford
সূত্র

দুঃখিত, লিঙ্কটি কীভাবে সমস্যার সমাধান করে তা আমি সত্যিই দেখতে পারি না। আমার কাছে, আমার ক্ষেত্রে, সমীকরণটি ভার (y) = পক্ষপাত + ... আপনি কী ব্যাখ্যা করতে পারবেন?

— সিবস জুবিলিং

@ সিবসগাম্বলিং আমার উত্তরটি ডেরাইভেশন সহ সম্পাদনা করেছেন।

— jlimahaverford 21

@ Jlimahaverford আপনি কি forget for এর সূত্রের শেষে ভুলে যাচ্ছেন না ?

y

$y$

\hat{β}

$\hat{\beta}$

— গুমেও

7

স্কয়ারটি সম্পূর্ণ করার কৌশল দ্বারা তারা এই পরিচয়টি পৌঁছায়। বাম দিকটি চতুষ্কোণ আকারে রয়েছে, সুতরাং এটির গুণ করে শুরু করুন

(y - X β)^{'} H^{- 1} (y - X β) = y^{'} H^{- 1} y - 2 y^{'} H^{- 1} X β + β^{'} X^{'} H^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

চালিয়ে যান এবং তারপরে । বীজগণিত এক প্রকার দীর্ঘ কিন্তু গুগলিং বায়সিয়ান রিগ্রেশন এর স্কোয়ারটি সম্পূর্ণ করে এবং আপনি প্রচুর ইঙ্গিত পেতে পারেন। উদাহরণস্বরূপ, উইকিপিডিয়ার দেখতে রিগ্রেশন রৈখিক Bayesian মত, বর্গাকার সমাপ্তির সংক্রান্ত, এবং অন্যান্য CrossValided উত্তর এখানে । $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
সূত্র

2

আপনি যদি নিজের ম্যাট্রিক্স বীজগণিত জানেন, তবে সমস্ত কিছুকে গুণিত করে এবং উভয় পক্ষেই আপনার সত্যই একই আছে তা যাচাই করে এটি করা উচিত। এটিই জিলিমাহাওয়ারফোর্ড প্রদর্শন করেছেন।

এই তোমাদের অনুমান জন্য সূত্র প্রয়োজন পাবে । লিনিয়ার রিগ্রেশন হিসাবে আমরা সূত্রটি একইরকমভাবে তৈরি করতে পারি যখন আমাদের সাথে সম্পর্কযুক্ত ত্রুটির শর্ত রয়েছে। কৌশলটি মানিক করা। $\hat{\beta}$

এখানে কোনও আরভি কীভাবে মানিক করা যায় সে সম্পর্কে কিছু তথ্য যা একটি বহুবিধ সাধারণ বিতরণ থেকে আসে। আসুন ধরে নেওয়া যাক আপনার কাছে ইতিবাচক সুনিশ্চিত, তাই আপনি এটিকে হিসাবে গুণন করতে পারেন । এখন এলোমেলো পরিবর্তনশীল বিতরণ থেকে আসে । এখন আমরা জানতে আমাদের সমস্যার জন্য এই কৌতুক ব্যবহার করতে পারেন । আসুন গুণক নির্ণয় করা । আমাদের এখন মানক করা হয়েছে, যেমন

X \sim N (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

Y = P^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} y & = X β + ϵ \\ P^{- 1} y & = P^{- 1} X β + P^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ , সুতরাং আমরা এখন এটি একটি সাধারণ একাধিক লিনিয়ার রিগ্রেশন মডেল হিসাবে বিবেচনা করতে পারি যেখানে: সুতরাং আমরা রিগ্রেশন সমস্যা আছে: জন্য সূত্র হয় এটি করার কী এটি, বাকীটি হল বীজগণিত ম্যানিপুলেশন সমাধানে জ্লিমাহাওয়ারফোর্ড দ্বারা প্রদর্শিত।

\tilde{X} = P^{- 1} X, \tilde{y} = P^{- 1} y and \tilde{ϵ} = P^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T} \tilde{X})^{- 1} {\tilde{X}}^{T} \tilde{y} \\ = ((P^{- 1} X)^{T} P^{- 1} X)^{- 1} (P^{- 1} X)^{T} P^{- 1} y \\ = (X^{T} (P P^{T})^{- 1} X)^{- 1} X (P P^{T})^{- 1} y \\ = (X^{T} H^{- 1} X)^{- 1} X H^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— Gumeo
সূত্র