11

আমার স্কেল ইক্যুয়ারিয়েন্সের কোনও আনুষ্ঠানিক সংজ্ঞা নেই, তবে এখানে পরিসংখ্যান শিক্ষার পরিচিতি পিএ সম্পর্কে কী বলে। 217:

স্ট্যান্ডার্ড সর্বনিম্ন স্কোয়ার ... স্কেল : একটি ধ্রুবক দ্বারা কেবল এর একটি ফ্যাক্টর দ্বারা সর্বনিম্ন স্কোয়ার সহগ অনুমানের স্কেলিং বাড়ে । $X_j$ $c$ $1/c$

সরলতার জন্য, সাধারণ রৈখিক মডেল অনুমান করা যাক $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , যেখানে $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ হ'ল একটি $N \times (p+1)$ ম্যাট্রিক্স (যেখানে $p+1 < N$ ) $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ , এবং $\boldsymbol\epsilon$ একটি হল $N$ সঙ্গে রিয়েল-মূল্যবান র্যান্ডম ভেরিয়েবল -dimensional ভেক্টর $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ ।

ওএলএস অনুমান থেকে আমরা জানি যে যদি $\mathbf{X}$ এর পূর্ণ (কলাম) র‌্যাঙ্ক থাকে,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ ধরুন আমরা একটি কলাম গুন

X

$\mathbf{X}$ বলতে

x_{k}

$\mathbf{x}_k$ কিছু

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ ধ্রুবক

দ্বারা

c \neq 0

$c \neq 0$ । এটি ম্যাট্রিক্সের সমতুল্য হবে

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ যেখানে ম্যাট্রিক্স অন্যান্য সমস্ত এন্ট্রি

S

$\mathbf{S}$ উপরে হয়

0

$0$ , আর

c

$c$ হয়

k

$k$ তির্যক তম এন্ট্রি

S

$\mathbf{S}$ । তারপর,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ নতুন ডিজাইনের ম্যাট্রিক্স হ'ল

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ কিছু কাজ করার পর, এক দেখাতে পারি যে,

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ d সিডটস এবং \ ম্যাথবিএফ {x} _ {পি + 1} ^ {টি} \ ম্যাথবিএফ {এক্স} _ {পি + 1} \\ \ এন্ড {বম্যাট্রিক্স} এবং

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ above উপরের উদ্ধৃত দাবিটি দেখতে আমি কীভাবে এখান থেকে যাব (অর্থাত,

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? এটা আমার কাছে পরিষ্কার নয় কিভাবে গনা

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ ।

least-squares linear-model

— Clarinetist
সূত্র

আমি মনে করি আপনার right সঠিক নয়, এটি পুরো সারিতে একটি গুণকটি হারিয়েছে ।

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— ফায়ারব্যাগ

1

এছাড়াও, মনে রাখবেন দাবিটি হ'ল , প্রতিটি নয় ।

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— ফায়ারব্যাগ

@ ফায়ারবাগ হ্যাঁ, আমি ঠিক এটি বুঝতে পেরেছি। আমি একটি উত্তর পোস্ট করছি।

— ক্লারিনেটিস্ট

2

আপনি এই সমস্ত বীজগণিতকে অনেক সহজ ইউনিট বিশ্লেষণ দ্বারা প্রতিস্থাপন করতে পারেন , কারণ দ্বারা করা মাত্র তার পরিমাপের একককে পরিবর্তন করে এবং অতএব এর সহগ এর সাথে সম্পর্কিত ইউনিটগুলির সাথে সম্পর্কিত পরিবর্তনটি এটি দ্বারা ভাগ করে । যে প্রমাণ করে না দ্বারা বিভক্ত করা আবশ্যক , দুর্ভাগ্যবশত। যাইহোক, এই চিন্তার এই শৃঙ্খলা আমাদের মনে করিয়ে দিতে পারে যে একজন বিরুদ্ধে একাধিক পীড়ন চালানো যেতে পারে, যেখানে এটি স্পষ্ট যে দ্বারা বিভক্ত , এবং সুতরাং প্রমাণটি সম্পূর্ণ।

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@ হুবুহর, ফলাফলের স্বজ্ঞাততা স্পষ্ট করার পরেও মনে হচ্ছে একটি প্রমাণ দেওয়ার ক্ষেত্রে কিছুটা বীজগণিত অবশ্যই থাকতে হবে। সর্বোপরি, স্কেলিং ফ্যাক্টর উল্টানো দরকার।

c

$c$

— user795305

11

যেহেতু উদ্ধৃতিতে জোর দেওয়া এর কলামগুলি পুনরুদ্ধার করা সম্পর্কিত বিবৃতিগুলির সংগ্রহ , সুতরাং আপনি সেগুলি একবারে প্রমাণ করতে পারেন। প্রকৃতপক্ষে, দৃ as়তার জেনারালাইজেশন প্রমাণ করতে এখন আর কোনও কাজ লাগে না: $X$

যখন একটি বিপরীত ম্যাট্রিক্স দ্বারা ডান-গুন করা হয় , তারপরে নতুন সহগ হিসাব সমান দ্বারা বাঁ-গুন । $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

আপনার কেবলমাত্র বীজগণিত তথ্যগুলি হ'ল (সহজে প্রমাণিত, সুপরিচিত) যা any যে কোনও ম্যাট্রিকের জন্য এবং জন্য বিপরীত ম্যাট্রিক্স এবং । (আধুনিক একটি subtler সংস্করণ যখন সাধারণ inverses সঙ্গে কাজ প্রয়োজন হয়: বিপরীত জন্য এবং এবং কোন , । ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

বীজগণিতের দ্বারা প্রমাণ :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

Qed। (এই প্রমাণটি পুরোপুরি সাধারণ হওয়ার জন্য, supers সুপারস্ক্রিপ্ট একটি সাধারণ বিপরীতকে বোঝায়)) $^-$

জ্যামিতির দ্বারা প্রমাণ :

প্রদত্ত ঘাঁটি এবং এর এবং যথাক্রমে থেকে একটি রৈখিক রূপান্তর প্রতিনিধিত্ব করে থেকে । ডান গুণ দ্বারা হিসাবে বিবেচনা করা যেতে পারে এই রূপান্তর সংশোধন যাব কিন্তু পরিবর্তন করার (যে কলাম থেকে, )। সেই পরিবর্তনের ভিত্তিতে -তে যে কোনও ভেক্টর of এর প্রতিনিধিত্ব অবশ্যই বাম-গুণ দ্বারা by দ্বারা পরিবর্তন করতে হবে , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ Qed ।

(এই প্রমাণটি কার্যকর হয়, মোড়বিহীন, এমনকি যখন প্রিম অবিচ্ছিন্ন না হয়)) $X^\prime X$

উদ্ধৃতি বিশেষভাবে তির্যক ম্যাট্রিক্সের ক্ষেত্রে বোঝায় সঙ্গে জন্য এবং । $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

সর্বনিম্ন স্কোয়ারের সাথে সংযোগ

ফলাফলটি অর্জনের জন্য এখানে প্রথম নীতিগুলি ব্যবহার করা হ'ল নীতিটি ন্যূনতম বর্গক্ষেত্রের সাথে: অনুমানের গুণাগুণগুলি অনুমান করে যা অবশিষ্টাংশের বর্গের যোগফলকে কমিয়ে দেয়।

আবার (বিশাল) সাধারণীকরণ প্রমাণ করা আর কোনও কঠিন প্রমাণিত হয় না এবং প্রকাশ করে aling ধরুন সত্যিকারের ভেক্টর স্পেসগুলির কোনও মানচিত্র (লিনিয়ার বা না) হ'ল এবং ধরুন on কোনও বাস্তব-মূল্যবান ফাংশন । যাক (সম্ভবত খালি) পয়েন্ট সেট হতে যার জন্য মিনিমাইজ করা হয়।

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

ফলাফল: , যা কেবলমাত্র এবং দ্বারা নির্ধারিত হয় , ভেক্টরগুলির প্রতিনিধিত্ব করতে ব্যবহৃত ভিত্তির কোনও পছন্দের উপর নির্ভর করে না । $U$ $Q$ $\phi$ $E_p$ $V^p$

প্রুফ: কিউইডি।

প্রমাণ করার মতো কিছুই নেই!

ফলাফলের প্রয়োগ: আসুন উপর একটি ধনাত্মক আধা চতুষ্কোণ রূপ হয় , যাক এবং ধরুন একটি লিনিয়ার মানচিত্র যা দ্বারা প্রতিনিধিত্ব করা হয় যখন of এর ঘাঁটি হয় এবং বেছে নেওয়া হয়েছে। সংজ্ঞায়িত করুন । ভিত্তি চয়ন করুন এবং ধরুন সেই ভিত্তিতে এর কিছু উপস্থাপনা । এটি সর্বনিম্ন স্কোয়ার : বর্গক্ষেত্রের দূরত্ব হ্রাস করে । কারণ $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ একটি লিনিয়ার মানচিত্র, এর ভিত্তি পরিবর্তন করা কিছু বিপরীতমুখী ম্যাট্রিক্স দ্বারা ডান-গুণক সাথে সামঞ্জস্য । এটি , QED দ্বারা বাম-গুণ । $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
সূত্র

6

সর্বনিম্ন স্কোয়ারের অনুমানকারী Def , যেখানে ডিজাইন ম্যাট্রিক্স full সম্পূর্ণ র‌্যাঙ্ক। ধরে নিলাম যে স্কেলিং ম্যাট্রিক্স । ইনভারটিভেবল। $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

এই নতুন স্কেলড অনুমানকারীটিকে ine । এর অর্থ for all । ডিফাইনিং উপরের হিসাবে, আমরা পুনর্লিখন করতে এই প্রদর্শিত বৈষম্য সবার জন্য । অতএব ,, এবং এটি অনুসরণ করে যে সর্বনিম্ন স্কোয়ারের অনুমানকারী the স্কেলিং ম্যাট্রিক্স এর ইনভারটিভিটির কারণে $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , এটি অনুসরণ করে যে । আমাদের ক্ষেত্রে, এই শুধুমাত্র পৃথক দ্বারা এন্ট্রি দ্বারা স্কেল করা হচ্ছে ।

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
সূত্র

1

আমি এবং অনুরূপ ফাংশনগুলির সাথে যেমন কাজ করা উচিত সে বিষয়ে আমি পরিচিত নই - আপনি কি আপনার দ্বিতীয় থেকে তৃতীয় লাইনের সমীকরণের রূপান্তরটি ব্যাখ্যা করতে পারবেন?

arg min

$\text{arg min}$

— ক্লারিনেটিস্ট

আমি এটি কিছুটা ভিন্নভাবে লিখেছি, যা পদক্ষেপগুলি আরও স্পষ্ট করে তোলে।

— ব্যবহারকারী795305

এটা সত্যিই চালাক। (+1)

— ক্লারিনেটিস্ট

4

প্রশ্ন পোস্ট করার পরে আমি এটি বুঝতে পেরেছি। আমার কাজটি যদি সঠিক হয় তবে আমি দাবিটির ভুল ব্যাখ্যা দিয়েছি। শুধুমাত্র স্কেলিং এক উপাদান উপর ঘটে কলাম সংশ্লিষ্ট দ্বারা গুন করা হচ্ছে । $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

লক্ষ্য করুন যে , উপরের স্বরলিপিটিতে একটি তির্যক, প্রতিসাম ম্যাট্রিক্স এবং বিপরীত (কারণ এটি তির্যক) দ্রষ্টব্য a হল একটি ম্যাট্রিক্স। ধরা যাক $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ অতএব, এবং এটি দ্বারা গুণ করে effect দ্বারা দ্বারা গুণিত করার সাথে একই প্রভাব রয়েছে - এটি একই থাকে, গুণিত হয়

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : সুতরাং,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ পছন্দ অনুযায়ী।

— Clarinetist
সূত্র

এ একটি টাইপ রয়েছে । আপনাকে স্থানান্তর করতে হবে ।

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

সর্বকালের তুচ্ছ প্রমাণ

আপনি আপনার রৈখিক সমীকরণ দিয়ে শুরু করুন: এখন আপনি আপনার রেজিস্ট্রারগুলির স্কেল পরিবর্তন করতে চান, মেট্রিক সিস্টেম থেকে ইমপিরিয়ালে রূপান্তর করতে পারেন, আপনি কেজি কেজি পাউন্ড, মিটার থেকে গজ ইত্যাদি জানেন So রূপান্তর ম্যাট্রিক্স যেখানে প্রতিটি হ'ল ডিজাইন ম্যাট্রিক্স এ ভেরিয়েবল (কলাম) এর রূপান্তর সহগ ।

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

আসুন সমীকরণটি আবার লিখুন:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

এখন এটি স্পষ্টভাবে স্পষ্ট হয়েছে যে স্কেলিংটি আপনার সমীকরণের রৈখিকতার সম্পত্তি, সহগের অনুমানের ওলএস পদ্ধতি নয়। রৈখিক সমীকরণের সাথে অনুমান পদ্ধতি নির্বিশেষে আপনার কাছে এটি রয়েছে যে রেজিস্ট্রারগণ হিসাবে মাপা হলে আপনার নতুন সহগগুলি হিসাবে হবে $XS$ $S^{-1}\beta$

বীজগণিতের দ্বারা প্রমান কেবল ওএলএস এর জন্য

স্কেলিংটি হ'ল: যেখানে প্রতিটি ভেরিয়েবলের (কলাম) স্কেল ফ্যাক্টর এবং একটি পরিমিত সংস্করণ । আসুন ত্রিভুজ স্কেল ম্যাট্রিক্স । তোমার OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূল্নির্ধারক হয় আসুন প্লাগ ছোটো ম্যাট্রিক্স পরিবর্তে এবং কিছু ব্যবহার ম্যাট্রিক্স বীজগণিত : সুতরাং, আপনি দেখেন যে নতুন সহগটি কীভাবে প্রত্যাশার মতো পুরানো সহগকে কমিয়ে দেওয়া হয়।

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
সূত্র

2

আমি আপনার পন্থাগুলি পছন্দ করি তবে "সর্বকালের সবচেয়ে তুচ্ছ প্রমাণ" দ্বারা অবিস্মৃত। আপনি স্পষ্টতই ধরে নিয়েছেন, এবং এখনও দেখাতে হবে যে, লিখিত মডেলটির অবশ্যই মূলের মতো একই ফিট থাকতে হবে it এটি আরও কঠোরভাবে বলা যায়: যদি আমরা কোনও ফিটনেস পদ্ধতিটিকে একটি ফাংশন হিসাবে দেখি , যেখানে হ'ল সমস্ত সম্ভাব্য ডেটার সেট (যা আমরা জোড় হিসাবে লিখতে পারি ) এবং সমস্ত সম্ভাব্য সহগ অনুমানের সেট, তারপরে আপনাকে এটি প্রদর্শন করতে হবে সমস্ত ইনভারটিবল , সমস্ত এবং সমস্ত । (এটি সর্বদা সত্য নয়!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— হুঁশিয়ারি

@ হুবুহু, আসলে এটি অন্যভাবে: যুক্তিসঙ্গত ফিটিং পদ্ধতির এই শর্তটি পূরণ করা উচিত, অন্যথায় পরিমাপের এককের একটি সাধারণ পরিবর্তন একটি ভিন্ন পূর্বাভাস / অনুমান উত্পাদন করে। আমি আমার উত্তর আপডেট করব, এ সম্পর্কে কিছুটা

— ভাবব

আমি সম্মত - কিন্তু আমি ক্ষেত্রে যেখানে ইন ব্যতিক্রম কল্পনা করতে পারেন পূর্ণ পদে নয়। এটাই আমার কাছে পরিস্থিতিটি ততটা তুচ্ছ নয় বলে মনে হয়েছিল suggested

X

$X$

— whuber

3

রাজকীয় সাথী, রাজকন্যা নয় ...: ডি (চমৎকার উত্তর, +1)

— usεr11852

@ usεr11852, আমি আজ কিছু শিখেছি :)

— আকসকল

2

এই ফলাফলটি পাওয়ার সহজ মনে রাখতে হবে যে হ'ল এর কলাম স্পেসে এর প্রক্ষেপণ co সহগের ভেক্টর যখন a রৈখিক হিসাবে প্রকাশ করা হয় এর কলামগুলির সংমিশ্রণ । যদি কোনও কলামটি একটি ফ্যাক্টর দ্বারা স্কেল করা থাকে তবে এটি স্পষ্ট যে লিনিয়ার সংমিশ্রণে সংশ্লিষ্ট সহগ অবশ্যই দ্বারা স্কেল করা উচিত । $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

যাক মান হতে এবং যখন একটি কলাম দ্বারা স্কেল করা হয় OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সমাধান মান হতে $b_i$ $\hat{\beta}$ $a_i$ $c.$

খ_{1} {এক্স}_{1} + + । । । + + খ_{আমি} {এক্স}_{আমি} + + । । । + + খ_{মি} {এক্স}_{মি} = {একটি}_{1} {এক্স}_{1} + + । । । {একটি}_{আমি} (গ {এক্স}_{আমি}) + + । । । + + {একটি}_{এন} {এক্স}_{এন}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

বোঝায় যে যেখানে এবং , ধরে যে এর কলামগুলি স্বাধীন। $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— জনি লোমন্ড
সূত্র

ওএলএসের অনুমানকারীটি স্কেল সমতুল্য?

সর্বনিম্ন স্কোয়ারের সাথে সংযোগ

সর্বকালের তুচ্ছ প্রমাণ

বীজগণিতের দ্বারা প্রমান কেবল ওএলএস এর জন্য