লিনিয়ার-রিগ্রেশন সহগের অনুমানের বিশ্লেষণাত্মক সমাধান

Question

আমি ম্যাট্রিক্স স্বরলিপিটি বোঝার চেষ্টা করছি এবং ভেক্টর এবং ম্যাট্রিক্সের সাথে কাজ করছি।

এই মুহুর্তে আমি বুঝতে চাইছি কীভাবে একাধিক রিগ্রেশনের সহগের অনুমান the এর ভেক্টর গণনা করা হয়।$\hat{\beta}$

প্রাথমিক সমীকরণটি মনে হয়

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

এখন আমি কীভাবে এখানে কোনও ভেক্টর- বিটা সমাধান করব $\beta$?

সম্পাদনা : দাঁড়াও, আমি আটকে আছি আমি এখন এখানে আছি এবং কীভাবে চালিয়ে যেতে জানি না:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

সঙ্গে সকলের জন্য পথিমধ্যে হচ্ছে:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

তুমি কি আমাকে সঠিক দিকনির্দেশনা দিবে?

Comments

@ গাবার্গুলিয়া, সম্পাদনার জন্য ধন্যবাদ, সম্পর্কে জানতেন না smallmatrix, তাই সম্পাদনা করার চেষ্টা করেননি, যেহেতু বেশ কয়েকটি লাইনে সূত্র ভাঙার স্বাভাবিক সমাধান এখানে কাজ করতে পারত না।

— এমপিটকাস

Answer 1

আমাদের আছে

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ ।

উপাদানগুলির সাথে স্পষ্ট করে সমীকরণটি লিখে এটি প্রদর্শিত হতে পারে। উদাহরণস্বরূপ, লেখার পরিবর্তে । তারপরে , , ..., to এর সাথে সম্মানজনকভাবে ডেরিভেটিভস গ্রহণ করুন এবং উত্তর পেতে সমস্ত কিছু স্ট্যাক করুন। দ্রুত এবং সহজ উদাহরণের জন্য, আপনি দিয়ে শুরু করতে পারেন ।$(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

অভিজ্ঞতার সাথে একজন সাধারণ নিয়ম বিকাশ করে, যার কয়েকটি দেওয়া হয়, যেমন । দস্তাবেজে ।

প্রশ্নের যুক্ত অংশের জন্য গাইড করতে সম্পাদনা করুন

সঙ্গে , আমরা$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

থেকে সম্মান সঙ্গে ব্যুৎপন্ন হয়$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

একইভাবে, সম্মান সঙ্গে ব্যুৎপন্ন হয়$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

তাই, সম্মান সঙ্গে ব্যুৎপন্ন হয়$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

এখন, আপনি শেষ এক্সপ্রেশন হিসাবে আবার লিখতে পারেন তা পর্যবেক্ষণ করুন

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

অবশ্যই, বৃহত্তর জন্য সমস্ত কিছু একইভাবে করা হয় ।$p$

Comments

দুর্দান্ত, আমি ঠিক সেই ধরণের পিডিএফ খুঁজছিলাম for অসংখ্য ধন্যবাদ!

— আলেকজান্ডার এঙ্গেলহার্ট

ওহ, আমি ভেবেছিলাম এখন আমি নিজেই এটি করতে পারি, তবে পারি না। আপনি কি আমাকে বলতে পারেন যে আমার পদক্ষেপগুলি সঠিক কিনা বা এটির সমাধান করার জন্য যদি আমার "অন্য কোনও উপায়" নেওয়া উচিত?

— আলেকজান্ডার এঙ্গেলহার্ট

@ অ্যালেক্সেক্স হার্ড্ট: সম্পাদনাতে আমার প্রথম সমীকরণটি আপনার বিশেষ ক্ষেত্রে যেখানে আপনার শেষ সমীকরণের সমান, সেখানে পি = ২. সুতরাং, আপনি উপাদানগুলি 3, 4, ..., পি এর জন্য আমার গণনা নকল করতে পারেন।

— অক্টোবরে

আবারও ধন্যবাদ :) আমি মনে করি আমি আসলে তিনটি পরামর্শই ব্যবহার করব। আমি একটি .পিডিএফ তৈরি করছি যা বুনিয়াদি পরিসংখ্যান ম্যাট্রিক্স বীজগণিতকে ব্যাখ্যা করে এবং তার সংশ্লেষ করে, কারণ আমি আমার ক্লাসে যখন শিখেছিলাম তখন কোনওভাবেই এটি শিখতে চাইনি। এটি তিনটি ভিন্ন উপায়ে সমাধান করার জন্য এটি আরও ভালভাবে বুঝতে সহায়তা করবে, আমি আশা করি।

— আলেকজান্ডার এঙ্গেলহার্ট

ওহ, তবে এটি পি = 2 এবং এন = 2 এর জন্য, তাই না? আমি এটি এন = 3 দিয়ে লিখব আমার মনে হয়।

— আলেকজান্ডার এঞ্জেলহার্ট

Answer 2

আপনি ম্যাট্রিক্স কুকবুক থেকে সূত্রগুলিও ব্যবহার করতে পারেন । আমাদের আছে

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

এখন প্রতিটি পদটির ডেরিভেটিভস গ্রহণ করুন। আপনি লক্ষ্য করতে পারেন । মেয়াদের ব্যুৎপন্ন থেকে সম্মান সঙ্গে শূন্য। বাকী মেয়াদ$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

ফাংশন ফর্ম হয়

$$f(x)=x'Ax+b'x,$$

88 , এবং সহ 11 পৃষ্ঠার বইয়ের সূত্র (88) এ । সূত্রটিতে ডেরিভেটিভ দেওয়া হয়েছে (89):$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

সুতরাং

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

এখন থেকে আমরা পছন্দসই সমাধান :$(X'X)'=X'X$

$$X'X\beta=X'y$$

Comments

+1 এমপিটাস: আপনার সমাধানটি আমার চেয়ে বেশি বুদ্ধিমান এবং আমি মনে করি এটি আরও জটিল ব্যবহারিক পরিস্থিতিতে ব্যবহার করা উচিত।

— অক্টোবরের

@ ক্র্যাম, ধন্যবাদ আমি এটিকে জ্ঞানী বলব না, এটি বিদ্যমান সূত্রগুলির একটি মানক প্রয়োগ। আপনার কেবল সূত্রগুলি জানতে হবে :)

— এমপিটকাস

Answer 3

প্রতিরোধের স্কোয়ারের যোগফলকে হ্রাস করার জন্য এখানে একটি কৌশল রয়েছে যা আসলে আরও সাধারণ সেটিংসে অ্যাপ্লিকেশন রয়েছে এবং যা আমি দরকারী বলে মনে করি।

আসুন ভেক্টর-ম্যাট্রিক্স ক্যালকুলাস পুরোপুরি এড়াতে চেষ্টা করি।

ধরা যাক আমরা যেখানে , এবং । আমরা সরলতার জন্য ধরে নিই যে এবং ।

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

যে কোনও আমরা $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

আমরা করতে পারেন পছন্দ করে (এটি!) একটি ভেক্টর যেমন যে ডানদিকে গত মেয়াদে শূন্য হয় যে , তাহলে আমরা, সম্পন্ন করা হবে যে যেহেতু যে সূচিত করা হবে ।$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

তবে, সকলের জন্য যদি এবং কেবল যদি এবং এই শেষ সমীকরণটি সত্য এবং যদি কেবলমাত্র । সুতরাং গ্রহণের মাধ্যমে হ্রাস করা যায় ।$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

যদিও এটি ক্যালকুলাস এড়ানোর জন্য "কৌশল" বলে মনে হতে পারে তবে এটির আরও বিস্তৃত প্রয়োগ রয়েছে এবং খেলায় আকর্ষণীয় কিছু জ্যামিতি রয়েছে।

ম্যাট্রিক্স কেসটিতে সাধারণীকরণ করার সময় এই কৌশলটি কোনও ম্যাট্রিক্স-ভেক্টর ক্যালকুলাস পদ্ধতির চেয়ে ডার্কিভেশনকে অনেক সহজ করে তোলে । যাক , এবং । ধরুন আমরা প্যারামিটারের পুরো ম্যাট্রিক্স । এখানে একটি সমবায় ম্যাট্রিক্স।$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

উপরোক্ত দ্রুত একটি সম্পূর্ণরূপে অনুরূপ পদ্ধতির প্রতিষ্ঠা যে ন্যূনতম গ্রহণ করে সাধিত হয় অর্থাৎ একটি রিগ্রেশন সেটিং যেখানে প্রতিক্রিয়া একটি হল ভেক্টর সহভেদাংক সঙ্গে ও পর্যবেক্ষণের স্বাধীন, তারপর OLS ঔজ্জ্বল্যের প্রেক্ষাপটে অনুমান করে সাধিত হয় সাড়া উপাদান পৃথক রৈখিক রিগ্রেশন।$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Comments

ভাগ্যক্রমে ফোরামের নিয়মগুলি প্রতিটি উত্তরে +1 যোগ করার অনুমতি দেয়। শিক্ষার জন্য ধন্যবাদ, ছেলেরা!

— ডিউইন

@ ডিউইন, আপনি কি প্রশ্নের মন্তব্যে এটি পোস্ট করার অর্থ দিয়েছিলেন?

— কার্ডিনাল

আমি মনে করি আমি থাকতে পারে। আমি ধারাবাহিকভাবে প্রশ্নটি দিয়েছিলাম এবং তারপরে সমস্ত উত্তর (ম্যাথএমএল প্রক্রিয়াজাতকরণের পরে চারপাশে ঝাঁকুনি বন্ধ হয়ে গেছে) এবং প্রতিটি উত্তর তথ্যবহুল পেয়েছি। আমি আপনার উপর আমার মন্তব্য ফেলেছিলাম কারণ এটি ছিল যেখানে আমি পড়া বন্ধ করেছিলাম।

— ডিওয়িন

@ ডবিন, হ্যাঁ, রেন্ডারিং কিছুটা মজাদার। আমি ভেবেছিলাম আপনি সম্ভবত অন্য একটি পোস্টের জন্য মন্তব্যটি করতে চেয়েছেন কারণ এইটির কোনও ভোট নেই (উপরে বা নীচে) এবং সুতরাং মন্তব্যটি জায়গাটির বাইরে বলে মনে হচ্ছে। চিয়ার্স।

— কার্ডিনাল

@ কার্ডিনাল +1, দরকারী কৌশল এই প্রশ্নটি বেশ ভাল রেফারেন্সে পরিণত হয়েছে।

— এমপিক্টাস

Answer 4

একটি উপায় যা আপনাকে বুঝতে সাহায্য করতে পারে তা হ'ল ম্যাট্রিক্স বীজগণিত ব্যবহার না করা এবং প্রতিটি উপাদানগুলির প্রতিটি সম্মানের সাথে পার্থক্য করা এবং তারপরে ফলাফলগুলি একটি কলাম ভেক্টরে "সঞ্চয়" করা। তাহলে আমাদের আছে:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

এখন আপনার কাছে এই সমীকরণগুলির আছে , প্রতিটি বিটার জন্য একটি। এটি চেইন নিয়মের একটি সহজ প্রয়োগ:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

এখন আমরা বন্ধনীর ভিতরে যোগফলটি আবার লিখতে পারি সুতরাং আপনি পান:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

এখন আমাদের কাছে এই সমীকরণগুলির রয়েছে এবং আমরা একটি কলাম ভেক্টরে "এগুলি স্ট্যাক করব"। লক্ষ্য করুন যে কীভাবে একমাত্র পদ যা নির্ভর করে , তাই আমরা এটি ভেক্টর into এর মধ্যে স্ট্যাক করতে পারি এবং আমরা পাই:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

এখন আমরা যোগফলের বাইরে বিটা নিতে পারি (তবে অবশ্যই যোগফলের আরএইচএসে থাকতে হবে), এবং তারপরে ইনভার্ভেস নিতে পারি:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$