পিসিএর মাধ্যমে অরথোগোনাল রিগ্রেশন (মোট সর্বনিম্ন স্কোয়ারস) কীভাবে সম্পাদন করবেন?

আমি সবসময় ব্যবহার lm()দ রৈখিক রিগ্রেশনের সম্পাদন করতে উপর । এই ফাংশনটি একটি সহগ যেমন $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

আজ আমি মোট সর্বনিম্ন স্কোয়ার সম্পর্কে শিখেছি এবং এটি princomp()সম্পাদন করার জন্য সেই ফাংশন (প্রধান উপাদান বিশ্লেষণ, পিসিএ) ব্যবহার করা যেতে পারে। এটি আমার পক্ষে ভাল (আরও সঠিক) হওয়া উচিত। আমি কিছু টেস্ট ব্যবহার করে করেছি princomp(), যেমন:

r <- princomp( ~ x + y)

আমার সমস্যাটি: এর ফলাফলগুলি কীভাবে ব্যাখ্যা করা যায়? আমি কীভাবে রিগ্রেশন সহগ পেতে পারি? "সহগ" দ্বারা আমি সংখ্যাকে বলতে বোঝাতে চাই যে একটি সংখ্যা কাছাকাছি দিতে মানকে গুণ করতে হবে । $\beta$ $x$ $y$

— Dail
সূত্র

এক মুহুর্ত বলছি, আমি কিছুটা বিভ্রান্ত। দেখুন: zoonek2.free.fr/UNIX/48_R/09.html এটিকে পিসিএ বলা হয় (প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস, ওরফে " অर्थোগোনাল রিগ্রেশন" বা "লম্ব লম্বা বর্গক্ষেত্র" বা "মোট ন্যূনতম স্কোয়ার") তাই আমি মনে করি আমরা কথা বলছি প্রিনম্পম্প সহ টিএলএস সম্পর্কে () না?

— ডেইল

না; এগুলি দুটি ভিন্ন জিনিস, পিসিএ সম্পর্কে উইকিপিডিয়া নিবন্ধ দেখুন। এখানে এটি ব্যবহার করা হচ্ছে এটি একটি হ্যাক (আমি ঠিক জানি না, তবে আমি এটি যাচাই করতে যাচ্ছি); সহগের জটিল এক্সট্রাকশন why

সম্পর্কিত সম্পর্কিত প্রশ্ন: stats.stackexchange.com/questions/2691/… এবং একটি ব্লগ পোস্ট উত্তরগুলির মধ্যে একটি দ্বারা রেফারেন্স করা হয়: সেরিব্রালমেস্টিকেশন.

— জোনাথন

সাধারণ সর্বনিম্ন স্কোয়ার বনাম মোট সর্বনিম্ন স্কোয়ার

আসুন প্রথমে কেবলমাত্র একজন ভবিষ্যদ্বাণীকারী (স্বতন্ত্র) ভেরিয়েবল এর সহজতম ক্ষেত্রে বিবেচনা করি । সরলতার জন্য, এবং উভয়ই কেন্দ্রীভূত হওয়া উচিত, অর্থাৎ বিরতি সর্বদা শূন্য। স্ট্যান্ডার্ড ওএলএস রিগ্রেশন এবং "অরথোগোনাল" টিএলএস রিগ্রেশন এর মধ্যে পার্থক্যটি পিসিএ-এর সর্বাধিক জনপ্রিয় থ্রেডের সবচেয়ে জনপ্রিয় উত্তর থেকে এই (আমার দ্বারা অভিযোজিত) চিত্রটিতে স্পষ্টভাবে দেখানো হয়েছে : $x$ $x$ $y$

ওএলএস বনাম টিএলএস

OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সমীকরণ ফিট পর্যবেক্ষিত মানের মধ্যে স্কোয়ারড দূরত্বের কমানোর দ্বারা এবং পূর্বাভাস মান । টিএলএস পয়েন্ট এবং লাইনে তাদের প্রক্ষেপণের মধ্যবর্তী স্কোয়ার দূরত্বগুলি হ্রাস করে একই সমীকরণটি ফিট করে । এই সাধারণ ক্ষেত্রে টিএলএস লাইনটি 2D তথ্যের প্রথম প্রধান উপাদান। A খুঁজে পেতে , পয়েন্টগুলিতে পিসিএ করুন , অর্থাত্ কোভারিয়েন্স ম্যাট্রিক্স এবং এর প্রথম ; তারপরে । $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

মতলব-তে:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

আর তে:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

যাইহোক, এবং কেন্দ্রিক না থাকলেও এটি সঠিক opeালু উত্পাদন করবে (কারণ বিল্ট-ইন PCA ফাংশনগুলি স্বয়ংক্রিয়ভাবে কেন্দ্রীকরণ সম্পাদন করে)। বিরতি পুনরুদ্ধার করতে, গণনা করুন । $x$ $y$ $\beta_0 = \bar y - \beta \bar x$

ওএলএস বনাম টিএলএস, একাধিক রিগ্রেশন

একটি নির্ভরশীল পরিবর্তনশীল দেওয়া এবং অনেক স্বাধীন ভেরিয়েবল (আবার, সব সরলীকরণের জন্য কেন্দ্রিক), রিগ্রেশন একটি সমীকরণ ফিটOLS ঔজ্জ্বল্যের প্রেক্ষাপটে পর্যবেক্ষিত মানের মধ্যে স্কোয়ারড ত্রুটি কমানোর দ্বারা মাপসই করা হবে না এবং পূর্বাভাস মান । টিএলএস পর্যবেক্ষণ পয়েন্ট এবং রিগ্রেশন প্লেন / হাইপারপ্লেনের নিকটতম পয়েন্টগুলির মধ্যে বর্গক্ষেত্রের দূরত্বগুলি হ্রাস করে ফিট করে । $y$ $x_i$

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$

নোট করুন যে "আরগ্রেশন রেখা" আর নেই! উপরের সমীকরণটি একটি হাইপারপ্লেনকে নির্দিষ্ট করে : এটি যদি একটি 2 ডি প্লেন থাকে যেখানে দুটি ভবিষ্যদ্বাণী থাকে, 3 ডি হাইপারপ্লেন যদি তিনটি ভবিষ্যদ্বাণী থাকে ইত্যাদি ইত্যাদি। সুতরাং উপরের সমাধানটি কার্যকর হয় না: আমরা কেবল প্রথম পিসি নিয়ে টিএলএস সমাধান পেতে পারি না (যা হ'ল একটি লাইন)। তবুও সমাধানটি পিসিএর মাধ্যমে সহজেই পাওয়া যায়।

আগের মতো, পিসিএ পয়েন্টে সঞ্চালিত হয় । এটি কলামগুলিতে ইগেনভেেক্টর লাভ করে । প্রথম আইজেনভেেক্টরগুলি একটি ডাইমেনশনাল হাইপারপ্লেন- যা আমাদের প্রয়োজন; শেষ (সংখ্যা ) ইগেনভেেক্টর it এটির অর্থেগোনাল। প্রশ্ন হল কিভাবে ভিত্তিতে রূপান্তরিত হয় প্রথম কর্তৃক প্রদত্ত মধ্যে eigenvectors কোফিসিয়েন্টস। $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$

লক্ষ্য করুন যে আমরা যদি সমস্ত এবং কেবল জন্য নির্ধারণ তবে তারপরে , অর্থাৎ ভেক্টর হাইপারপ্লেন । অন্যদিকে, আমরা জানি যে । অর্থাৎ তাদের ডট পণ্য অবশ্যই শূন্য হতে হবে: $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

মতলব-তে:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

আর তে:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

আবার, এবং কেন্দ্রিক না থাকলেও এটি সঠিক opালু উত্পাদন করবে (কারণ বিল্ট-ইন পিসিএ ফাংশনগুলি স্বয়ংক্রিয়ভাবে কেন্দ্রীকরণ সম্পাদন করে)। ইন্টারসেপ্টটি পুনরুদ্ধার করতে, গণনা করুন । $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

স্যানিটি পরীক্ষা হিসাবে, লক্ষ্য করুন যে এই সমাধানটি কেবলমাত্র একক একা ভবিষ্যদ্বাণী ক্ষেত্রে আগেরটির সাথে মিলে যায় । প্রকৃতপক্ষে, তবে স্থানটি 2 ডি, এবং তাই, প্রথম পিসিএ ইগেনভেেক্টরটি দ্বিতীয় (শেষ) একের কাছে অরথোগোনাল, । $x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

টিএলএসের জন্য বন্ধ ফর্ম সমাধান

আশ্চর্যজনকভাবে, এটি দেখা যাচ্ছে যে জন্য বন্ধ ফর্ম সমীকরণ রয়েছে । নীচের যুক্তিটি সাবিন ভ্যান হাফলের "মোট সর্বনিম্ন স্কোয়ারস" (বিভাগ ২.৩.২) থেকে নেওয়া হয়েছে। $\boldsymbol \beta$

আসুন এবং কেন্দ্রিক ডেটা ম্যাট্রিক হয়। গত পিসিএ eigenvector কোভ্যারিয়েন্স ম্যাট্রিক্স একজন eigenvector হয় একটি eigenvalue সঙ্গে । যদি এটি একটি আইজেনভেেক্টর হয়, তবে তা হ'ল । । ইগেনভেেক্টর সমীকরণটি লিখেছেন: $\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$ এবং বামদিকে পণ্যটি গণনা করা, আমরা তত্ক্ষণাত্ সেই যা পরিচিত ওএলএস এক্সপ্রেশন

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

একাধিক রিগ্রেশন মাল্টিভারিয়েট করুন

একই সূত্রটি মাল্টিভাইয়ারেট ক্ষেত্রে সাধারণীকরণ করা যেতে পারে তবে মাল্টিভারিয়েট টিএলএস কী করে তা নির্ধারণ করতে কিছু বীজগণিতের প্রয়োজন হয়। টিএলএস-তে উইকিপিডিয়া দেখুন । বহু নির্ভরযোগ্য ওএলএস রিগ্রেশন প্রতিটি নির্ভরশীল ভেরিয়েবলের জন্য একগুচ্ছ অবিবাহিত ওএলএস রিগ্রেশনগুলির সমতুল্য, তবে টিএলএস ক্ষেত্রে এটি তেমন হয় না।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

আমি আর জানি না, তবে এখনও ভবিষ্যতের রেফারেন্সের জন্য আর স্নিপেট সরবরাহ করতে চেয়েছিলাম। এখানে আর অনেক দক্ষ লোক রয়েছে। দয়া করে প্রয়োজনে আমার স্নিপেটগুলি সম্পাদনা করতে নির্দ্বিধায় অনুগ্রহ করে! ধন্যবাদ.

— অ্যামিবা বলছেন মনিকা পুনরায়

ভাল পোস্ট, তবে আমি যদি জিজ্ঞাসা করতে পারি যে ভেক্টর হাইপারপ্লেনের মধ্যে রয়েছে তার কী?

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$

— JohnK

@ জনক, আমি নিশ্চিত না ঠিক কী অস্পষ্ট। আমি যেমন লিখেছি, সমস্ত বাদে শূন্যের সমান । তারপর যদি আপনি এই প্লাগ , আপনি পাবেন । সুতরাং বিন্দু সমীকরণ দ্বারা সংজ্ঞায়িত হাইপারপ্লেনের উপরে অবস্থিত ।

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— অ্যামিবা বলছেন মনিকাকে

আমি এই অংশটি ভুলভাবে পড়েছি বলে মনে হচ্ছে তবে এটি এখন পরিষ্কার। স্পষ্টতার জন্য ধন্যবাদ।

— K

আর এ, আপনি "ইগেন (সিওবি (সিবিন্ড (এক্স, ওয়াই))) $ ভেক্টরগুলি" ওভার "প্রম্পম্প (সিবিন্ড (এক্স, ওয়াই)) $ ঘূর্ণন" পছন্দ করতে পারেন কারণ বৃহত্তর ভেক্টরগুলির জন্য পূর্বেরটি আরও দ্রুত is

— টমাস ব্রাউন

নিখুঁত জিএনইউ অক্টাভ বাস্তবায়নের ভিত্তিতে এখানে পাওয়া গেছে , এর মতো কিছু (লবণের দানা, দেরীতে) কাজ করে।

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— cashoes
সূত্র

princompমোট সর্বনিম্ন স্কোয়ার রিগ্রেশনের পরিবর্তে মূল উপাদান বিশ্লেষণ চালাচ্ছে । যতদূর আমি জানি যে কোনও টি ফাংশন বা প্যাকেজ নেই যা টিএলএস করে; মেথকম্পে সর্বাধিক রয়েছে ডেমিং রিগ্রেশন ।
তবুও, দয়া করে এটি পরামর্শ হিসাবে আচরণ করুন যে এটি সম্ভবত এটির পক্ষে উপযুক্ত নয়।

আমি ভেবেছিলাম মেথকম্প প্যাকেজে ডেমিং টিএলএস ছিল - পার্থক্য কী?

— 999

আপনাকে অবশ্যই এটি x এবং y এর ত্রুটির অনুপাত দিতে হবে; খাঁটি টিএলএস এটি অনুকূল করে।