অনুভূতি

Question

লিনিয়ার রিগ্রেশন এ ডাব্লু এর বন্ধ ফর্ম হিসাবে লেখা যেতে পারে

$\hat{w}=(X^TX)^{-1}X^Ty$

কীভাবে আমরা এই সমীকরণে এর ভূমিকা স্বজ্ঞাতভাবে ব্যাখ্যা করতে $(X^TX)^{-1}$পারি?

Comments

"স্বজ্ঞাত" বলতে কী বোঝাতে চেয়েছিলেন তা কী আপনি ব্যাখ্যা করতে পারেন? উদাহরণস্বরূপ, কমপ্লেক্স প্রশ্নের উত্তর খ্রিস্টেনসেনের প্লেন উত্তরগুলিতে উপস্থাপিত পণ্য স্থানগুলির ক্ষেত্রে একটি আশ্চর্যজনক স্বজ্ঞাত ব্যাখ্যা রয়েছে , তবে সকলেই এই পদ্ধতির প্রশংসা করবে না। অন্য উদাহরণ হিসাবে, আমার উত্তরে একটি জ্যামিতিক ব্যাখ্যা আছে stats.stackexchange.com/a/62147/919 এ , তবে প্রত্যেকে জ্যামিতিক সম্পর্ককে "স্বজ্ঞাত" হিসাবে দেখেন না।

— হোবার

স্বজ্ঞাতভাবে $ (এক্স ^ টিএক্স) ^ {- 1} এর অর্থ কী? এটি কোনও ধরণের দূরত্ব গণনা বা কিছু, আমি এটি বুঝতে পারি না।

— দর্শক

আমি যে উত্তরটিতে লিঙ্ক করেছি তার সাথে এটি পুরোপুরি ব্যাখ্যা করা আছে।

— whuber

এই প্রশ্নটি ইতিমধ্যে এখানে উপস্থিত থাকলেও সম্ভবত কোনও সন্তোষজনক উত্তরের সাথে নয় math.stackexchange.com/Qestions/2624986/…

— সেক্সটাস

Answer 1

আমি এই পোস্টগুলি বিশেষভাবে সহায়ক বলে মনে করেছি:

একাধিক লিনিয়ার রিগ্রেশন জন্য ন্যূনতম বর্গাকার অনুমানকারী কীভাবে পাওয়া যায়?

এসভিডি এবং পিসিএর মধ্যে সম্পর্ক। কীভাবে পিসিএ করতে এসভিডি ব্যবহার করবেন?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

তাহলে একটি হল এন × পি ম্যাট্রিক্স তারপর ম্যাট্রিক্স এক্স ( এক্স টি এক্স ) - 1 এক্স টি একটি সংজ্ঞায়িত অভিক্ষেপ কলাম স্থান সম্মুখের এক্স । Intuitively, আপনি সমীকরণ একটি overdetermined ব্যবস্থা আছে, কিন্তু এখনও এটি ব্যবহার করতে একটি রৈখিক মানচিত্র সংজ্ঞায়িত করতে চান আর পি → আর টি সারি মানচিত্রে করবে x আমি এর এক্স মান কিছু বন্ধ Y আমি , আমি ∈ { 1 , ... , এন $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$ । সুতরাং আমরা নিকটতম জিনিস প্রেরণের জন্য নিষ্পত্তি$X$যা আপনার বৈশিষ্ট্যগুলির একটি লিনিয়ার সংমিশ্রণ হিসাবে প্রকাশ করা যায় ( এক্সের কলামগুলি)। $y$$X$

ব্যাখ্যা হিসাবে এখনও আমার কাছে আশ্চর্যজনক উত্তর নেই। আমি জানি আপনি ( এক্স টি এক্স ) মূলত ডেটাসেটের কোভারিয়েন্স ম্যাট্রিক্স হিসাবে ভাবতে পারেন ।$(X^TX)^{-1}$$(X^TX)$

Comments

কখনও কখনও "স্ক্যাটার ম্যাট্রিক্স" হিসাবে পরিচিত এবং এটি কোভারিয়েন্স ম্যাট্রিক্সের কেবল একটি ছোট আকারে সংস্করণ$(X^T X)$

— জ্যাকউউন

Answer 2

জ্যামিতিক দৃষ্টিভঙ্গি

একটি জ্যামিতিক দৃষ্টিকোণ এন-মাত্রিক ভেক্টর মত হতে পারে এবং এক্স β এন-মাত্রিক-স্পেস পয়েন্ট হচ্ছে ভী । কোথায় এক্স β subspace রয়েছেন ডব্লিউ ভেক্টর দ্বারা দৃশ্যও x 1 , x 2 , ⋯ , এক্স মি ।$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

দুই ধরনের স্থানাঙ্ক

এই উপগ্রহ আমরা কল্পনা করতে পারেন$W$ স্থানাঙ্ক দুই বিভিন্ন ধরনের :

• $\boldsymbol{\beta}$ একটি নিয়মিত তুল্য স্পেসের জন্য স্থানাঙ্ক মত। স্পেস ডাব্লুতে ভেক্টর হ'ল ভেক্টরগুলির রৈখিক সংমিশ্রণ x i z = β 1 x 1 + β 2 x 1 + । । । । β মি x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• $\boldsymbol{\alpha}$ নিয়মিত অর্থে স্থানাঙ্ক নয়, কিন্তু তারা subspace একটি বিন্দু সংজ্ঞায়িত করবেন । প্রতিটি α i ভেক্টরগুলিতে লম্ব অনুমানগুলির সাথে সম্পর্কিত x i । যদি আমরা ইউনিট ভেক্টর x i (সরলতার জন্য) ব্যবহার করি তবে ভেক্টর z এর জন্য "স্থানাঙ্ক" α i এ হিসাবে প্রকাশ করা যেতে পারে:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  এবং সমস্ত স্থানাঙ্কের সেট হিসাবে:

$$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$$

---

স্থানাঙ্ক এবং β এর মধ্যে ম্যাপিং $\boldsymbol{\alpha}$$\boldsymbol{\beta}$

জন্য "স্থানাঙ্ক" এর অভিব্যক্তি α স্থানাঙ্ক থেকে একটি রূপান্তর হয়ে বিটা "স্থানাঙ্ক" করার $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

$$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$$

আপনি দেখতে পেলেন হিসাবে প্রকাশ করেছেন যে প্রতিটি এক্স আমি অন্যান্য এক্স জেতে কতটা প্রজেক্ট করে$(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

তারপর জ্যামিতিক ব্যাখ্যা ভেক্টর অভিক্ষেপ "স্থানাঙ্ক" থেকে মানচিত্র হিসেবে দেখা যেতে পারে α থেকে রৈখিক স্থানাঙ্ক β ।$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

$$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$$

অভিব্যক্তি প্রজেকশন "স্থানাঙ্ক" দেয় Y এবং ( এক্স টি এক্স ) - 1 মধ্যে সক্রিয় তাদের $\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$ ।

---

নোট : প্রজেকশন "স্থানাঙ্ক" একই অভিক্ষেপ এর "স্থানাঙ্ক" হিসাবে Y যেহেতু ( Y - Y ) ⊥ এক্স ।$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Comments

Stats.stackexchange.com/a/124892/3277 বিষয়টির একটি খুব অনুরূপ অ্যাকাউন্ট ।

— ttnphns

$(X^TX)^{-1}$$X^T y = X^TX\beta$

Answer 3

$$y_i=\alpha+\beta x_i+\varepsilon_i$$ $$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$$

$X'y$$X'X$$X'X$ is KxK matrix, and $X'y$ is Kx1 vector. Hence, the order is: $(X'X)^{-1}X'y$

Comments

But that analogy itself doesn't tell you if pre- or postmultiply with the inverse.

— kjetil b halvorsen

@kjetilbhalvorsen, I put the order of operations

— Aksakal