তাদের রিগ্রেশন সহগের গণনা করার সময় ব্যাখ্যামূলক ভেরিয়েবলের ক্রম কী বিবেচনা করে?

প্রথমে আমি ভেবেছিলাম অর্ডারটি কোনও ব্যাপার নয় তবে তারপরে আমি একাধিক রিগ্রেশন সহগের গণনা করার জন্য গ্রাম-স্কমিট অর্থোগোনালাইজেশন প্রক্রিয়াটি সম্পর্কে পড়েছিলাম এবং এখন আমি দ্বিতীয় চিন্তাভাবনা করছি।

গ্রাম-স্কমিড প্রক্রিয়া অনুসারে, পরবর্তীকালে একটি ব্যাখ্যামূলক পরিবর্তনশীল অন্যান্য ভেরিয়েবলগুলির মধ্যে সূচী করা হয়, এর অবশিষ্ট অবশিষ্ট ভেক্টর যত ছোট হয় কারণ পূর্ববর্তী ভেরিয়েবলের রেসিডুয়াল ভেক্টরগুলি এটি থেকে বিয়োগ করা হয়। ফলস্বরূপ, ব্যাখ্যামূলক ভেরিয়েবলের রিগ্রেশন সহগ আরও ছোট।

যদি এটি সত্য হয়, তবে প্রশ্নটিতে পরিবর্তনশীলের অবশিষ্ট ভেক্টরটি যদি আগে সূচকযুক্ত হয় তবে এটি বৃহত্তর হবে, যেহেতু এর থেকে কম অবশিষ্ট অবশিষ্ট ভেক্টর বিয়োগ করা হবে। এর অর্থ হ'ল রিগ্রেশন সহগটি আরও বড় হবে too

ঠিক আছে, তাই আমাকে আমার প্রশ্নটি পরিষ্কার করতে বলা হয়েছে। সুতরাং আমি পাঠ্য থেকে স্ক্রিনশট পোস্ট করেছি যা আমাকে প্রথম স্থানে বিভ্রান্ত করেছে। ঠিক আছে, এখানে যায়।

আমার উপলব্ধি হ'ল রিগ্রেশন সহগগুলি গণনা করার জন্য কমপক্ষে দুটি বিকল্প রয়েছে। নীচের স্ক্রিনশটে প্রথম বিকল্পটি চিহ্নিত করা হয়েছে (3.6)।

প্রথম উপায়

এখানে দ্বিতীয় বিকল্পটি রয়েছে (আমাকে একাধিক স্ক্রিনশট ব্যবহার করতে হয়েছিল)।

দ্বিতীয় উপায়

এখানে চিত্র বর্ণনা লিখুন

আমি যদি কোনও কিছু অপ্রত্যাশিত না করি (যা অবশ্যই সম্ভব) তবে মনে হয় অর্ডারটি দ্বিতীয় বিকল্পটিতে গুরুত্বপূর্ণ। এটি কি প্রথম বিকল্পের সাথে বিবেচনা করে? কেন অথবা কেন নয়? বা আমার রেফারেন্সের ফ্রেমটি এতটাই গণ্ডগোল করেছে যে এটি এমনকি একটি বৈধ প্রশ্ন নয়? এছাড়াও, এগুলি কি কোনওভাবে স্কোয়ারের টাইপ আই সুমের তুলনায় বনাম টাইপের দ্বিতীয় সমার সাথে সম্পর্কিত?

অগ্রিম অনেক ধন্যবাদ, আমি এত বিভ্রান্ত!

regression multiple-regression regression-coefficients

— রায়ান জোতি
সূত্র

সহগগুলি কীভাবে গণনা করা হয় তা আপনি সঠিক পদ্ধতির রূপরেখা দিতে পারেন? গ্রাম-স্কমিট অর্টোগোনালাইজেশন সম্পর্কে এবং আমি কীভাবে এটি রিগ্রেশন সমস্যার ক্ষেত্রে প্রয়োগ করতে পারি তার থেকে আমি ধরে নিতে পারি যে জিএস পদ্ধতি ব্যবহার করে আপনি রিগ্রেশনটির উপযুক্ত হতে পারেন তবে মূল সহগগুলি নয়। দ্রষ্টব্য যে রিগ্রেশন ফিট হ'ল কলামগুলির স্থানের অভিক্ষেপ। যদি আপনি কলামগুলিকে অরথোগোনালাইজ করেন তবে কলামগুলিকে বিস্তৃত স্থানের অরথোগোনাল বেসটি পেয়েছেন, সুতরাং ফিটটি এই বেসের লিনিয়ার সংমিশ্রণ এবং মূল কলামগুলির লিনিয়ার সংমিশ্রণও হবে। এটি একই হবে ...

— এমপিটিকাস

তবে সহগগুলি পৃথক হবে। এটি পুরোপুরি স্বাভাবিক।

— এমপিক্টাস

আমি অনুভব করি যে আমি বিভ্রান্ত কারণ আমি "স্ট্যাটিস্টিকাল লার্নিং এর উপাদানগুলি" পড়েছিলাম বলে মনে করি যে গ্রাম-স্কমিট প্রক্রিয়াটি ব্যবহার করে গুণিত গুণাগুলি traditionalতিহ্যগত প্রক্রিয়া ব্যবহার করে গণনা করা সমান হবে: বি = (এক্স'এক্স) ^ - 1 এক্স'ই।

— রায়ান জোতি

প্রক্রিয়াটি সম্পর্কে আলোচনা করা বইয়ের অংশটি এখানে দেওয়া আছে: "আমরা সাধারণ সহনকারীর দুটি প্রয়োগের ফলস্বরূপ [সহগের] অনুমানটি দেখতে পারি steps পদক্ষেপগুলি হ'ল: ১ অবশেষে জেড = উত্পাদনের জন্য x এ 1 চাপুন = x - x ̄1; 2. গুণাগুলি give1 দিতে অবশেষ z এ রেজিস্ট্রেশন করুন। এই রেসিপিটি পি ইনপুটগুলির ক্ষেত্রে সাধারণীকরণ করে, অ্যালগরিদম ৩.১-এ দেখানো হয়েছে। নোট করুন যে ইনপুট z0,।,। zj − 1 পদক্ষেপে 2 অরথোগোনাল, অতএব সেখানে গণনা করা সাধারণ রিগ্রেশন সহগগুলি বাস্তবে একাধিক রিগ্রেশন সহগগুলিও রয়েছে ""

— রায়ান জোতি

আমি এখানে মন্তব্য বিভাগে অনুলিপি করে আটকালে এটি কিছুটা অগোছালো হয়ে যায়, তাই সরাসরি উত্সটি সরাসরি দেখাই ভাল। এটি স্ট্যানফোর্ডের ওয়েবসাইট: www-stat.stanford.edu/~tibs/ElemStatLearn- এ অবাধে ডাউনলোডের জন্য "স্ট্যাটিস্টিকাল লার্নিংয়ের উপাদানগুলি" এর 53 থেকে 54 পৃষ্ঠা ।

— রায়ান জোতি

উত্তর:

আমি বিশ্বাস করি যে বিভ্রান্তিটি কিছুটা সহজ কিছু থেকে উদ্ভূত হতে পারে তবে এটি সম্পর্কিত কিছু বিষয় পর্যালোচনা করার জন্য একটি দুর্দান্ত সুযোগ সরবরাহ করে।

নোট করুন যে পাঠ্যটি দাবি করছে না যে সমস্ত রিগ্রেশন সহগ ধারাবাহিক অবশিষ্টাংশ ভেক্টর মাধ্যমে গণনা করা যায় যেমন বরং আরো কেবলমাত্র সর্বশেষ , , এইভাবে গণনা করা যায়! $\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$

{\hat{β}}_{আমি} \overset{?}{=} \frac{⟨ Y, {z- র}_{আমি} ⟩}{‖ {z- র}_{আমি} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

ধারাবাহিক অরথোগোনালাইজেশন স্কিম (গ্রাম- অরথোগোনালাইজেশনের একটি রূপ) প্রায় (প্রায়) ম্যাট্রিকের একজোড়া উত্পাদন করছে এবং যেমন যে যেখানে হয় orthonormal কলাম এবং সঙ্গে হল উপরের ত্রিদলীয়। আমি বলছি "প্রায়" যেহেতু অ্যালগরিদম কেবলমাত্র কলামগুলির মান অনুযায়ী পর্যন্ত নির্দিষ্ট করে দিচ্ছে, যা সাধারণভাবে এক হবে না, তবে কলামগুলি সাধারণ করে এবং স্থানাঙ্কের সাথে সম্পর্কিত একটি সাধারণ সমন্বয় করে ইউনিট রীতিতে তৈরি করা যেতে পারে ম্যাট্রিক্স । $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$

এক্স = জেড জি,

$\m X = \Z \G \>,$

Z

$\Z$

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

ধরে নিই, অবশ্যই, যে র‌্যাঙ্ক , স্বতন্ত্র সর্বনিম্ন স্কোয়ারস ভেক্টর যা সিস্টেমটি সমাধান করে $\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

প্রতিস্থাপন এবং (নির্মাণ দ্বারা) ব্যবহার করে আমরা যা সমান $\m X = \Z \G$ $\Z^T \Z = \m I$

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

এখন, রৈখিক সিস্টেমের শেষ সারিটিতে মনোনিবেশ করুন । একমাত্র অশূন্য উপাদান শেষ সারি রয়েছে । সুতরাং, আমরা সেই এটি বোঝার জন্য (বোঝার চেক হিসাবে এটি যাচাই করা শক্ত নয়) যেএবং তাই এটি সমাধান দেয়। ( ক্যাভেট লেক্টর : আমি ইতিমধ্যে unit ইউনিট আদর্শ হিসাবে ব্যবহার করেছি , যদিও বইটিতে তারা নেই । বইটির ডিনোমিনেটরে একটি বর্গীয় আদর্শ রয়েছে, যেখানে আমার কেবল আদর্শ আছে)) $\G$ $g_{pp}$

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ ।

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

সমস্ত রিগ্রেশন সহগ খুঁজে পেতে , স্বতন্ত্র সমাধান করার জন্য একটি সাধারণ ব্যাক্সবস্টিটিউশন পদক্ষেপ করা । উদাহরণস্বরূপ, সারি , এবং তাই সিস্টেমের শেষ সারি থেকে প্রথম অবধি "পিছনে" কাজ করা কেউ এই প্রক্রিয়াটি চালিয়ে যেতে পারেন, ইতিমধ্যে গণনা করা রিগ্রেশন সহগের বিয়োগ করে এবং তারপরে পেতে দ্বারা ভাগ করে । $\bhat_i$ $(p-1)$

g_{p - 1, p - 1} {\hat{β}}_{p - 1} + g_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

ইএসএল অধ্যায় পয়েন্ট যে আমরা কলাম পুনর্বিন্যাস পারে একটি নতুন ম্যাট্রিক্স পেতে সঙ্গে ম মূল কলাম এখন গত এক হচ্ছে। তারপরে আমরা যদি নতুন ম্যাট্রিক্সে গ্রাম – শ্মিট প্রক্রিয়া প্রয়োগ করি তবে আমরা একটি নতুন অরথোগোনালাইজেশন পেয়েছি যে উপরের সহজ সমাধান দ্বারা মূল সহগ সমাধান পাওয়া যায়। এটি আমাদেরকে রিগ্রেশন সহগ । জন্য একটি ব্যাখ্যা দেয় । এটি একটি univariate রিগ্রেশন হয় থেকে নকশা ম্যাট্রিক্স অবশিষ্ট কলাম "খুঁজে regressing" দ্বারা প্রাপ্ত অবশিষ্ট ভেক্টর উপর । $\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

সাধারণ কিউআর পচে যাওয়া

গ্রাম – শ্মিট পদ্ধতিটি এর কিউআর পচন রচনার একটি পদ্ধতি । আসলে, গ্রাম-শ্মিট পদ্ধতিতে অন্যান্য অ্যালগরিদমিক পদ্ধতির পছন্দ করার অনেক কারণ রয়েছে। $\m X$

গৃহস্থালীর প্রতিচ্ছবি এবং প্রদত্ত আবর্তনগুলি এই সংখ্যার আরও সংখ্যার স্থিতিশীল পদ্ধতির সরবরাহ করে। নোট করুন যে কিউআর পচে যাওয়ার সাধারণ ক্ষেত্রে উপরের বিকাশ পরিবর্তন হয় না। যেমন, দিন হতে কোন এর কিউ পচানি । তারপরে, উপরের মত ঠিক একই যুক্তি এবং বীজগণিত ম্যানিপুলেশনগুলি ব্যবহার করে আমাদের কাছে রয়েছে যে সর্বনিম্ন-স্কোয়ার সমাধান solution সন্তুষ্ট যা সরল করে যেহেতু উচ্চতর ত্রিভুজাকার, তাই একই ব্যাকসবুস্তিটেশন কৌশলটি কাজ করে। আমরা প্রথমে জন্য সমাধান

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$ এবং তারপরে নীচে থেকে উপরে পর্যন্ত আমাদের পথে কাজ করুন। পছন্দ জন্য যা কিউ পচানি অ্যালগরিদম সাধারণত সংখ্যাসূচক অস্থিরতা নিয়ন্ত্রণ এবং এই দৃষ্টিকোণ থেকে, উপর বিশৃঙ্খল ব্যবহার করার গ্রাম-শ্মিট সাধারণত একটি প্রতিযোগিতামূলক পদ্ধতির নয়।

অর্থোগোনাল ম্যাট্রিক্সের বারের মতো দ্রবীভূত করার এই ধারণাটি লাগানো ভেক্টর general জন্য খুব সাধারণ ফর্ম পাওয়ার জন্য আরও কিছুটা সাধারণ করা যেতে পারে তবে আমি আশঙ্কা করছি যে এই প্রতিক্রিয়াটি ইতিমধ্যে খুব দীর্ঘ হয়ে গেছে has । $\m X$ $\hat{\m y}$

— অঙ্কবাচক
সূত্র

আমি বইটি দেখেছি এবং দেখে মনে হচ্ছে অনুশীলন 3.4 সমস্ত রিগ্রেশন সহগ (কেবলমাত্র চূড়ান্ত সহগ নয় খুঁজে পেতে জিএস ব্যবহার করার ধারণাটি বুঝতে পারে সুতরাং আমি একটি সমাধান লিখেছি Hope আশা করি এটি হ'ল দরকারী। $\beta_j$ $\beta_p$

ESL এ 3.4 অনুশীলন করুন

গ্রাম-শ্মিট প্রক্রিয়াটির একক পাস থেকে কীভাবে ন্যূনতম বর্গাকার সহগের ভেক্টর পাওয়া যায় তা দেখান। কিউআর পচনের ক্ষেত্রে আপনার সমাধানকে উপস্থাপন করুন । $X$

সমাধান

পুনরাহ্বান যে গ্রাম-শ্মিট পদ্ধতি একটি একক পাস দ্বারা, আমরা আমাদের ম্যাট্রিক্স লিখতে পারেন যেমন যেখানে রয়েছে লম্ব কলাম , এবং তির্যক উপর বেশী সঙ্গে একটি উপরের তির্যক ম্যাট্রিক্স, এবং । এটি সংজ্ঞা অনুসারে, $X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

এখন, পচন দ্বারা আমরা লিখতে পারি , যেখানে একটি অর্থোগোনাল ম্যাট্রিক্স এবং একটি উচ্চতর ত্রিভুজাকার ম্যাট্রিক্স। আমাদের এবং , যেখানে সাথে একটি তির্যক ম্যাট্রিক্স। $QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

এখন, সংজ্ঞা অনুসারে , আমাদের কাছে এখন, পচন ব্যবহার করে , আমরা $\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$ ওপরের ত্রিভুজাকার, আমরা লিখতে পারি আমাদের আগের ফলাফল অনুসারে। এখন, পিছনে প্রতিস্থাপনের মাধ্যমে, আমরা রিগ্রেশন সহগের ক্রম । উদাহরণস্বরূপ, গণনা করতে , আমরা

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$ এবং তারপর জন্য সমাধানে । এই প্রক্রিয়াটি সমস্ত জন্য পুনরাবৃত্তি করা যেতে পারে , এইভাবে গ্রাম-শ্মিট প্রক্রিয়াটির একটি পাসে রিগ্রেশন পাওয়া যায়।

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— অ্যান্ড্রু টুলোক
সূত্র

কেন চেষ্টা করে তুলনা করবেন না? রিগ্রেশন সহগের একটি সেট ফিট করুন, তারপরে ক্রম পরিবর্তন করুন এবং তাদের আবার ফিট করুন এবং দেখুন তারা পৃথক কিনা (সম্ভাব্য রাউন্ড-অফ ত্রুটি ব্যতীত)।

@ এমপিক্টাস যেমন উল্লেখ করেছে যে আপনি কী করছেন ঠিক এটি পরিষ্কার নয়।

আমি জিএস ব্যবহার করে সমাধান করতে সর্বনিম্ন বর্গ সমীকরণ । তবে তারপরে আপনি ম্যাট্রিক্সে জিএস করবেন , মূল ডেটা নয়। এই ক্ষেত্রে সহগগুলি একই হওয়া উচিত (সম্ভাব্য গোলাকার ত্রুটি ব্যতীত)। $B$ $(x'x)B=(x'y)$ $(x'x)$

নিপীড়নের ক্ষেত্রে জিএস-এর আরেকটি পদ্ধতির মধ্যে হ'ল জিএসকে ভবিষ্যদ্বাণীকারী ভেরিয়েবলগুলির মধ্যে প্রয়োগ করতে হয় তাদের মধ্যে বন্ধুত্ব দূর করতে। তারপরে অर्थোগোনালাইজড ভেরিয়েবলগুলি ভবিষ্যদ্বাণী হিসাবে ব্যবহৃত হয়। এই ক্ষেত্রে আদেশের বিষয়গুলি এবং সহগগুলি পৃথক হবে কারণ সহগের ব্যাখ্যা অর্ডারের উপর নির্ভর করে। 2 ভবিষ্যদ্বাণীকারী বিবেচনা করুন । এখন আপনি যদি x এর বিপরীত করেন তবে প্রথম নিজেই উপর এর প্রভাব প্রদর্শন করে (উপেক্ষা করে) $x_1$ এবং এবং জিএস করুন তারপরে ভবিষ্যদ্বাণীকারী হিসাবে ব্যবহার করুন। যে ক্ষেত্রে প্রথম সহগ (পথিমধ্যে পরে) শো বস্তুতপক্ষে উপর নিজেই এবং দ্বিতীয় সহগ দ্বারা প্রভাব উপর সমন্বয় করে পরে $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x_1$ বদলে এটা সমন্বয় করে) এবং দ্বিতীয় প্রভাব সমন্বয় । $x_1$ $x_2$

— গ্রেগ স্নো
সূত্র

আমি মনে করি আপনার শেষ অনুচ্ছেদ সম্ভবত আমার বিভ্রান্তির উৎস নিকটস্থ হয় - জিএস করে অর্ডার ব্যাপার আছে। আমি যা ভেবেছিলাম. যদিও আমি এখনও কিছুটা বিভ্রান্ত হয়েছি, কারণ আমি যে বইটি পড়ছি, তাকে বলা হয়েছে: "স্ট্যাটাসটিকাল লার্নিংয়ের উপাদানসমূহ" (স্ট্যানফোর্ডের প্রকাশনা যা নিখরচায়ভাবে পাওয়া যায়: www-stat.stanford.edu/~tibs/ElemStatLearn ) বলে মনে হচ্ছে পরামর্শ দিন যে জিএস সহগের হিসাবের জন্য স্ট্যান্ডার্ড পদ্ধতির সমান; যা, বি = (এক্স'এক্স) 1 - 1 এক্স'আই।

— রায়ান জোটি

এবং আপনি যা বলছেন তার একটি অংশ আমাকেও কিছুটা বিভ্রান্ত করেছে: "আমি জি এর সাহায্যে বি এর সমাধান করতে কমপক্ষে স্কোয়ার সমীকরণ (x′x) can - 1 বি = (x′y) দেখতে পাচ্ছি But তবে তারপরে আপনি এটি করছেন (X′x) ম্যাট্রিক্সের জিএস, মূল ডেটা নয়। " আমি ভেবেছিলাম এক্স'এক্স ম্যাট্রিক্সে মূল ডেটা রয়েছে? ... কমপক্ষে স্ট্যাটাসটিকাল লার্নিংয়ের এলিমেন্টস এটাই বলে। এটি বলে যে x'x এর x হল একটি এন বাই পি ম্যাট্রিক্স যেখানে এন ইনপুটগুলির সংখ্যা (পর্যবেক্ষণ) এবং পি মাত্রার সংখ্যা।

— রায়ান জোতি

জিএস যদি সহগের গণনা করার মানক পদ্ধতি না হয় তবে সাধারণত কোলাইনারিটি কীভাবে চিকিত্সা করা হয়? এক্সের মধ্যে সাধারণত কীভাবে অপ্রয়োজনীয় (কোলাইনারিটি) বিতরণ করা হয়? কোলাইনারিটি traditionতিহ্যগতভাবে সহগকে অস্থির করে তোলে না? তাহলে কি জিএস প্রক্রিয়াটি স্ট্যান্ডার্ড প্রক্রিয়া নয় তা বোঝায় না? কারণ জিএস প্রক্রিয়াটি সহগকেও অস্থিতিশীল করে তোলে - একটি ছোট অবশিষ্ট অবশিষ্ট ভেক্টর সহগকে অস্থির করে তোলে।

— রায়ান জোতি

অন্ততপক্ষে পাঠ্যটি কী বলেছে, "যদি এক্সপি অন্য কয়েকটি এক্সকে এর সাথে খুব বেশি সম্পর্কযুক্ত হয় তবে অবশিষ্ট ভেক্টর জিপিটি শূন্যের কাছাকাছি হবে এবং (৩.২৮) থেকে সহগ βˆp খুব অস্থির হবে।"

— রায়ান জোটি

মনে রাখবেন যে জিএস হ'ল কিউআর পচে যাওয়ার এক রূপ।

— কার্ডিনাল