নিখুঁত মাল্টিকোলাইনারিটির উদাহরণ কী?

Question

ডিজাইনের ম্যাট্রিক্স এর ক্ষেত্রে নিখুঁত কোলাইনারিটির উদাহরণ কী ?$X$

আমি একটি উদাহরণ চাই যেখানে যেখানে অনুমান করা যায় না কারণ নয়।$\hat \beta = (X'X)^{-1}X'Y$$(X'X)$

Comments

আমি কোলিনারিটির জন্য প্রস্তাবিত পোস্টটি দিয়েছিলাম এবং অনুভব করেছি যে এটি বোঝার জন্য যথেষ্ট, তবে ডেটা ব্যবহার করে একটি সাধারণ উদাহরণ স্পষ্টতা যুক্ত করবে।

— TsTeaTime

"এক্স এবং ওয়াইয়ের ক্ষেত্রে" বলতে কী বোঝ? এক্স ভেরিয়েবলগুলির মধ্যে কোলিনারিটি বিদ্যমান, ওয়াই এর সাথে কিছুই করার নেই।

— গুং - মনিকা পুনরায়

আমি $X$

— TsTeaTime

এর multicollineariry হিসাবে $X$ এর একতা শো $X'X$ আপনার কাছে চান এই প্রশ্নের পড়তে পারে: stats.stackexchange.com/q/70899/3277 ।

— ttnphns

Answer 1

সমীকরণ দ্বারা সম্পর্কিত 3 টি ভেরিয়েবল, $y$ , $x_1$ এবং $x_2$ সহ এখানে একটি উদাহরণ রয়েছে

$$y = x_1 + x_2 + \varepsilon$$

যেখানে $\varepsilon \sim N(0,1)$

বিশেষ তথ্য হয়

         y x1 x2
1 4.520866  1  2
2 6.849811  2  4
3 6.539804  3  6

সুতরাং এটি স্পষ্ট যে একাধিক তাই আমাদের নিখুঁত প্রান্তিকতা রয়েছে।$x_2$$x_1$

আমরা মডেল হিসাবে লিখতে পারেন

$$Y = X \beta + \varepsilon$$

কোথায়:

$$Y = \begin{bmatrix}4.52 \\6.85 \\6.54\end{bmatrix}$$

$$X = \begin{bmatrix}1 & 1 & 2\\1 & 2 & 4 \\1 & 3 & 6\end{bmatrix}$$

তাহলে আমাদের আছে

$$XX' = \begin{bmatrix}1 & 1 & 2\\1 & 2 & 4 \\1 & 3 & 6\end{bmatrix} \begin{bmatrix}1 & 1 & 1\\1 & 2 & 3 \\2 & 4 & 6\end{bmatrix} = \begin{bmatrix}6 & 11 & 16\\11 & 21 & 31 \\16 & 31 & 46\end{bmatrix}$$

এখন আমরা নির্ধারক গণনা করি :$XX'$

$$\det XX' = 6\begin{vmatrix}21 & 31 \\31 & 46\end{vmatrix} - 11 \begin{vmatrix}11 & 31 \\16 & 46\end{vmatrix} + 16\begin{vmatrix}11 & 21 \\16 & 31\end{vmatrix}= 0$$

আর-তে আমরা এটি নিম্নরূপ প্রদর্শন করতে পারি:

> x1 <- c(1,2,3)

তৈরি x2, একাধিকx1

> x2 <- x1*2

Y, একটি রৈখিক সমন্বয় তৈরি x1, x2এবং কিছু যদৃচ্ছতা

> y <- x1 + x2 + rnorm(3,0,1)

যে পর্যবেক্ষণ

> summary(m0 <- lm(y~x1+x2))

x2সহগের জন্য একটি মান অনুমান করতে ব্যর্থ :

Coefficients: (1 not defined because of singularities)
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   3.9512     1.6457   2.401    0.251
x1            1.0095     0.7618   1.325    0.412
x2                NA         NA      NA       NA

Residual standard error: 0.02583 on 1 degrees of freedom
Multiple R-squared:      1,     Adjusted R-squared:  0.9999 
F-statistic: 2.981e+04 on 1 and 1 DF,  p-value: 0.003687

মডেল ম্যাট্রিক্স হ'ল:$X$

> (X <- model.matrix(m0))

(Intercept) x1 x2
1           1  1  2
2           1  2  4
3           1  3  6

তাই হয়$XX'$

> (XXdash <- X %*% t(X))
   1  2  3
1  6 11 16
2 11 21 31
3 16 31 46

যা রূপান্তরযোগ্য নয়, যেমনটি দেখানো হয়েছে

> solve(XXdash)
Error in solve.default(XXdash) : 
  Lapack routine dgesv: system is exactly singular: U[3,3] = 0

বা:

det (XXdash) [1] 0

Answer 2

নিখুঁত বহু-বর্ণাline্যতা উত্পাদনের জন্য বেশ কয়েকটি সাধারণ পরিস্থিতি এখানে দেওয়া হয়েছে, যেমন পরিস্থিতি যেখানে ডিজাইনের ম্যাট্রিক্সের কলামগুলি লাইন নির্ভর করে। লিনিয়ার বীজগণিত থেকে মনে করুন যে এর অর্থ ডিজাইন ম্যাট্রিক্সের কলামগুলির একটি লিনিয়ার সংমিশ্রণ রয়েছে (যার সহগ সমস্ত শূন্য নয়) যা শূন্যের সমান। কেন এই ঘাটতিটি প্রায়শই ঘনঘন হয় তা বোঝাতে সহায়তা করার জন্য আমি কিছু ব্যবহারিক উদাহরণ অন্তর্ভুক্ত করেছি - আমি প্রায় সবগুলির মুখোমুখি হয়েছি!

1. একটি বৈকল্পিক অন্যটির একাধিক, কোনও ইন্টারসেপ্ট শব্দ আছে কিনা তা বিবেচনা না করেই: সম্ভবত আপনি বিভিন্ন ইউনিট ব্যবহার করে দু'বার একই পরিবর্তনশীল রেকর্ড করেছেন (উদাহরণস্বরূপ "সেন্টিমিটার দৈর্ঘ্য" "মিটার দৈর্ঘ্যের" এর চেয়ে 100 গুণ বড়) বা কারণ আপনি একবারে একটি কাঁচা সংখ্যা হিসাবে এবং একবার অনুপাত বা শতাংশ হিসাবে একটি পরিবর্তনশীল রেকর্ড করেছেন, যখন ডিনোমিনেটর স্থির হয় (উদাহরণস্বরূপ "পেট্রি ডিশের উপনিবেশের অঞ্চল" এবং "পেট্রি থালা উপনিবেশের শতাংশ" যদি ক্ষেত্রফল হয় তবে একে অপরের সঠিক গুণক হবে) প্রতিটি পেট্রি থালা একই হয়)। আমরা সমরৈখিকতা আছে কারন যদি যেখানে এবং ভেরিয়েবল (আপনার নকশা ম্যাট্রিক্স কলাম) এবং স্কেলের ধ্রুবক, w x a 1 ( → w ) - a ( → x$w_i = ax_i$$w$$x$$a$$1(\vec w) - a(\vec x)$ভেরিয়েবলের একটি লিনিয়ার সংমিশ্রণ যা শূন্যের সমান।

2. একটা পথিমধ্যে মেয়াদ এবং স্থির দ্বারা অন্য এক পরিবর্তনশীল ভিন্ন ছিল : যদি আপনি একটি পরিবর্তনশীল কেন্দ্র এই ঘটতে হবে ( ) এবং উভয় কাঁচা অন্তর্ভুক্ত এবং কেন্দ্রিক আপনার রিগ্রেশনে। এছাড়াও এটি আপনার ভেরিয়েবল বিভিন্ন ইউনিট সিস্টেমগুলি একটি ধ্রুবক, যেমন দ্বারা পৃথক মাপা হয় যদি ঘটবে যদি "কেলভিন তাপমাত্রা" এবং "° সেঃ তাপমাত্রা" হিসাবে তারপর । যদি আমরা ইন্টারসেপ্ট শব্দটিকে একটি চলক হিসাবে সর্বদা বিবেচনা করি যা সর্বদা (যাকে কলাম হিসাবে উপস্থাপন করা হয়, , ডিজাইনের ম্যাট্রিক্সে) তবে কিছু ধ্রুবক জন্য এক্সWWXWআমি=এক্সআমি+ +273.151 → 1 এনডব্লিউআমি=এক্সআমি+ +টট1( → W )-1( → এক্স )-ট( → 1 এন)Wx$w_i = x_i - \bar x$$x$$w$$w$$x$$w_i = x_i + 273.15$$1$$\vec 1_n$$w_i = x_i + k$$k$মানে যে একটি রৈখিক সমন্বয় , এবং নকশা ম্যাট্রিক্স যে শূন্য সমান এর কলাম।$1(\vec w) - 1(\vec x) - k(\vec 1_n)$$w$$x$$1$

3. একটা পথিমধ্যে শব্দ এবং এক পরিবর্তনশীল অন্য একজন অ্যাফিন রূপান্তর দেওয়া হয় : অর্থাত আপনি ভেরিয়েবল আছে এবং , দ্বারা সম্পর্কিত যেখানে এবং ধ্রুবক আছে। উদাহরণস্বরূপ, যদি আপনি as হিসাবে কোনও ভেরিয়েবলকে এবং আপনার প্রতিরোধের মধ্যে কাঁচা এবং ভেরিয়েবল উভয়ই অন্তর্ভুক্ত করেন । আপনি যদি " temperature F" তাপমাত্রা হিসাবে " রেকর্ড করেন এবং " তাপমাত্রায় "তাপমাত্রা" হিসাবে রেকর্ড করেন তবে যেগুলি ইউনিট সিস্টেমগুলি সাধারণ শূন্য ভাগ করে না তবে দ্বারা সম্পর্কিত হয়x w i = a x i + b a b z i = x i - ˉ $w$$x$$w_i = ax_i + b$$a$$b$ xzwxwi=1.8$z_i = \frac{x_i - \bar x}{s_x}$$x$$z$$w$$x$b $ a $ w i i x i w i = a x i + b 1 ( → w ) - a ( → x ) - b ( → 1 n ) = → 0 এ = 1 বি = $w_i = 1.8x_i + 32$। বা ব্যবসায়ের প্রসঙ্গে, ধরুন প্রতিটি অর্ডারের জন্য নির্ধারিত ব্যয় (যেমন কভারিং ডেলিভারি), পাশাপাশি প্রতি ইউনিট প্রতি ব্যয় ; তারপরে যদি হ'ল অর্ডার ব্যয় হয় এবং অর্ডার করা এককের সংখ্যা, তবে আমাদের কাছে । সুদের রৈখিক সংমিশ্রণটি হ'ল । দ্রষ্টব্য যে যদি , তবে (3) একটি বিশেষ কেস হিসাবে (2) অন্তর্ভুক্ত করে; যদি , তবে (3) একটি বিশেষ কেস হিসাবে (1) অন্তর্ভুক্ত করে।$b$$\$a$$\$w_i$$i$$x_i$$w_i = ax_i + b$$1(\vec w) - a(\vec x) - b(\vec 1_n) = \vec 0$$a=1$$b=0$

4. একটি ইন্টারসেপ্ট টার্ম রয়েছে এবং বেশ কয়েকটি ভেরিয়েবলের যোগফল নির্দিষ্ট করা হয়েছে (যেমন বিখ্যাত "ডামি ভেরিয়েবল ট্র্যাপে)" উদাহরণস্বরূপ যদি আপনার "সন্তুষ্ট গ্রাহকদের শতকরা", "অসন্তুষ্ট গ্রাহকদের শতাংশ" এবং "গ্রাহকদের শতকরা শতাংশই সন্তুষ্ট না থাকে অসন্তুষ্ট নয় "তবে এই তিনটি চলকটি সর্বদা (গোলাকার ত্রুটি ব্যতীত) 100 এর সমষ্টি হবে these এই পরিবর্তনগুলির মধ্যে একটি - বা বিকল্পভাবে, ইন্টারসেপ্ট শব্দটি - প্রান্তিকতা রোধ করার জন্য রিগ্রেশন থেকে বাদ দেওয়া দরকার। "ডামি ভেরিয়েবল ট্র্যাপ "টি তখন ঘটে যখন আপনি শ্রেণিবদ্ধ ভেরিয়েবলের প্রতিটি সম্ভাব্য স্তরের জন্য সূচক ভেরিয়েবল (আরও সাধারণভাবে তবে কম ডেমালি হিসাবে পরিচিত" ডামি ") ব্যবহার করেন। উদাহরণস্বরূপ, ধরুন ফুলদানিগুলি লাল, সবুজ বা নীল রঙের স্কিমগুলিতে উত্পাদিত হয়। আপনি যদি শ্রেণিবদ্ধ পরিবর্তনশীল রেকর্ড করেন তবে "redgreenএবং blueবাইনারি ভেরিয়েবলগুলি হবে, 1"হ্যাঁ" এবং 0"না" হিসাবে সংরক্ষণ করা হবে ) তারপরে প্রতিটি ফুলদানির জন্য কেবলমাত্র একটি ভেরিয়েবল এক হতে পারে এবং তাই red + green + blue = 1। যেহেতু ইন্টারসেপ্ট টার্মের জন্য ভেক্টর রয়েছে, লিনিয়ার সংমিশ্রণ 1(red) + 1(green) + 1(blue) - 1(1) = 0। এখানে সাধারন প্রতিকার হ'ল ইন্টারসেপ্ট বাদ দেওয়া, বা একটি সূচক ফেলে দেওয়া (উদাহরণস্বরূপ ছেড়ে দিন red) যা বেসলাইন বা রেফারেন্স স্তর হয়ে যায়। এই ক্ষেত্রে, এর জন্য রিগ্রেশন সহগ greenএকটি লাল ফুলদানি থেকে সবুজ রঙে বদলে যাওয়ার সাথে যুক্ত গড় প্রতিক্রিয়ার পরিবর্তনকে নির্দেশ করবে, অন্যান্য ব্যাখ্যামূলক ভেরিয়েবলগুলি ধ্রুবক ধারণ করে।

5. ভেরিয়েবলের কমপক্ষে দুটি উপসেট রয়েছে, প্রতিটি একটি স্থিতিশীল যোগফল রয়েছে কিনা তা নির্বিশেষে: একটি ইন্টারসেপ্ট শব্দ রয়েছে: ধরুন (4) এর দানিগুলি তিনটি আকারে উত্পাদিত হয়েছিল, এবং আকারের শ্রেণিবদ্ধ ভেরিয়েবলটি তিনটি অতিরিক্ত সূচক ভেরিয়েবল হিসাবে সংরক্ষণ করা হয়েছিল । আমাদের হবে large + medium + small = 1। তারপরে 1(large) + 1(medium) + 1(small) - 1(red) - 1(green) - 1(blue) = 0কোনও রোধক শব্দ না থাকলেও আমাদের লিনিয়ার সংমিশ্রণ থাকে। দুটি উপগ্রহের একই সমষ্টি ভাগ করার দরকার নেই, উদাহরণস্বরূপ যদি আমাদের ভেরিয়েবলগুলি প্রতিটি এবং তারপরে কে 2 ।u i + v i = k 1 x i + y i = k 2 k 2 ( → u ) + k 2 ( → v ) - কে 1 ( → ডাব্লু ) - কে 1 ( → x ) = → $u, v, w, x$$u_i + v_i = k_1$$x_i + y_i = k_2$$k_2(\vec u) + k_2(\vec v) - k_1(\vec w) - k_1(\vec x) = \vec 0$

6. একটি ভেরিয়েবলকে অন্যান্য বেশ কয়েকটি ভেরিয়েবলের রৈখিক সংমিশ্রণ হিসাবে সংজ্ঞায়িত করা হয় : উদাহরণস্বরূপ, আপনি যদি প্রতিটি আয়তক্ষেত্রের দৈর্ঘ্য , প্রস্থ এবং পেরিমিটার রেকর্ড করেন তবে তাই আমাদের রৈখিক সংমিশ্রণ । একটি পথিমধ্যে শব্দটি সঙ্গে একটি উদাহরণ: অনুমান করা একটি মেইল-অর্ডার ব্যবসা দুই পণ্যসমূহের আছে, এবং আমরা যাতে রেকর্ড গঠিত ইউনিট খরচ প্রথম পণ্যের এবং ইউনিট খরচে সেকেন্ডের , সঙ্গে স্থির বিতরণ চার্জ । আমরা যদি অর্ডার ব্যয়ও অন্তর্ভুক্ত করিডব্লু পি পি আমি$l$$w$$p$ 1 ( → পি ) - 2 ( → ঠ ) - 2 ( → W ) = → 0 আমি তুমি আমি $ একটি বনাম আমি $ খ $ গ $ x এর এক্স আমি = একটি আপনি আমি + বি ভি আই + সি 1 ( $p_i = 2l_i + 2w_i$$1(\vec p) - 2(\vec l) - 2(\vec w) = \vec 0$$i$$u_i$$\$a$$v_i$$\$b$$\$c$$\$x$ পরিবর্তনশীল হিসাবে, তারপরে এবং তাই । এটি (3) এর একটি সুস্পষ্ট সাধারণীকরণ। এটি আমাদের (4) সম্পর্কে চিন্তাভাবনার একটি পৃথক পদ্ধতিও দেয়: একবার আমরা যখন সমস্ত বারটি ভেরিয়েবলের উপসেটের একটির সমষ্টি স্থির করে নিই, তখন বাকীটি তাদের পরিপূরক হয় তাই তাদের এবং তাদের যোগফলের একটি রৈখিক সংমিশ্রণ হিসাবে প্রকাশ করা যায় । যদি আমরা জানি যে 50% গ্রাহক সন্তুষ্ট এবং 20% অসন্তুষ্ট ছিল, তবে 100% - 50% - 20% = 30% অবশ্যই সন্তুষ্ট বা অসন্তুষ্ট হবে না; যদি আমরা জানি যে ফুলদানিটি লাল নয় ( ) এবং এটি সবুজ ( ) তবে আমরা জানি এটি নীল নয় ( )।$x_i = a u_i + b v_i + c$$1(\vec x) - a(\vec u) - b(\vec v) -c(\vec 1_n) = \vec 0$red=0green=1blue = 1(1) - 1(red) - 1(green) = 1 - 0 - 1 = 0

7. একটি পরিবর্তনশীল ধ্রুবক এবং শূন্য , একটি বাধা শব্দ আছে কিনা তা বিবেচনা না করে: পর্যবেক্ষণ গবেষণায়, আপনার নমুনা পর্যাপ্ত (কোনও!) প্রকরণ প্রদর্শন না করলে একটি পরিবর্তনশীল স্থির থাকবে। জনসংখ্যার বিভিন্নতা থাকতে পারে যা আপনার নমুনায় ধরা পড়ে না, উদাহরণস্বরূপ যদি খুব সাধারণ মডেল মান থাকে: সম্ভবত আপনার নমুনার আকার খুব ছোট এবং তাই মোডের থেকে পৃথক কোনও মান অন্তর্ভুক্ত করার সম্ভাবনা ছিল না, বা আপনার পরিমাপগুলি ছিল মোড থেকে ছোট ভিন্নতা সনাক্ত করতে অপর্যাপ্ত নির্ভুল। বিকল্পভাবে, প্রকরণের অভাবের তাত্ত্বিক কারণ থাকতে পারে, বিশেষত যদি আপনি উপ-জনসংখ্যা অধ্যয়ন করছেন। লস অ্যাঞ্জেলেসে নতুন-বিল্ড প্রোপার্টিগুলির একটি গবেষণায়, এটি অবাক হওয়ার মতো হবে না যে প্রতিটি ডাটা পয়েন্ট রয়েছে AgeOfProperty = 0এবংState = California! পরীক্ষামূলক গবেষণায় আপনি পরীক্ষামূলক নিয়ন্ত্রণে থাকা একটি স্বতন্ত্র ভেরিয়েবল পরিমাপ করেছেন। আপনার ব্যাখ্যামূলক ভেরিয়েবল এক করা উচিত উভয় ধ্রুবক এবং শূন্য হতে, তাহলে আমরা অবিলম্বে যে রৈখিক সমন্বয় আছে (যে কোন অন্যান্য ভেরিয়েবলের জন্য সহগ শূন্য দিয়ে) হল ।1 ( → x ) → $x$$1(\vec x)$$\vec 0$

8. একটা পথিমধ্যে শব্দ এবং অন্তত একটি পরিবর্তনশীল ধ্রুবক যদি ধ্রুবক তাই প্রতিটি যে , তারপর রৈখিক সমন্বয় ।x i = k ≠ 0 1 ( → x ) - কে ( → 1 এন ) = → $x$$x_i = k \neq 0$$1(\vec x) - k(\vec 1_n) = \vec 0$

9. অন্তত দুটি ভেরিয়েবল স্থির থাকে , নির্বিশেষে শব্দটি নির্বিশেষে: প্রতিটি এবং হলে লিনিয়ার সংমিশ্রণ ।$w_i = k_1 \neq 0$$x_i = k_2 \neq 0$$k_2(\vec w) - k_1(\vec x) = \vec 0$

10. ডিজাইনের ম্যাট্রিক্স, , কলামগুলির সংখ্যা সারি সংখ্যা ছাড়িয়ে গেছে,$k$$n$ : আপনার ভেরিয়েবলের মধ্যে কোনও ধারণাগত সম্পর্ক না থাকলেও, গাণিতিকভাবে আবশ্যক যে আপনার ডিজাইনের ম্যাট্রিক্সের কলামগুলি যখন নির্ভর করবে তখনই এটি নির্ভর করবে । এটা শুধু আছে করা সম্ভব নয় সুসংগত মাত্রা একটি নম্বর দিয়ে একটি স্থান স্বাধীন ভেক্টর কম : উদাহরণস্বরূপ, আপনি (কাগজ একটি চাদর একটি দ্বি-মাত্রিক সমতল, উপর দুটি স্বাধীন ভেক্টর আহরণ করতে পারে যখন$k > n$$k$$k$$\mathbb R^2$) পৃষ্ঠায় আঁকা আরও কোনও ভেক্টর অবশ্যই তাদের স্প্যানের মধ্যেই থাকা উচিত, এবং তাই এগুলির একটি রৈখিক সংমিশ্রণ হওয়া উচিত। নোট করুন যে একটি ইন্টারসেপ্ট শব্দটি ম্যাট্রিক্সের নকশায় একটি কলামকে অবদান রাখে, তাই আপনার কলামগুলির মধ্যে একটি হিসাবে গণ্য । (এই দৃশ্যটিকে প্রায়শই "বৃহত , ছোট " সমস্যা বলা হয়: এটি সম্পর্কিত সিভি প্রশ্নটিও দেখুন ))$k$$p$$n$

আর কোড সহ ডেটা উদাহরণ

প্রতিটি উদাহরণ একটি ডিজাইনের ম্যাট্রিক্স দেয় , ম্যাট্রিক্স (নোট করুন এটি সর্বদা বর্গক্ষেত্র এবং প্রতিসম হয়) এবং । নোট করুন যে যদি (শূন্য নির্ধারণকারী, অতএব নয়) তবে আমরা অনুমান করতে পারি না । এই শর্তে যে অ একবচন হতে শর্তে যে সমতূল্য পূর্ণ র্যাঙ্ক তাই তার কলাম সুসংগত স্বাধীন রয়েছে: এই গণিত দঃপূঃ প্রশ্ন দেখতে পাবেন , অথবা এই এক এবং তার বিপরীতটি ।$X$$X'X$$\det (X'X)$$X'X$$\hat \beta = (X'X)^{-1}X'y$$X'X$$X$

(1) একটি কলাম অন্যটির একাধিক

# x2 = 2 * x1
# Note no intercept term (column of 1s) is needed
X <- matrix(c(2, 4, 1, 2, 3, 6, 2, 4), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    4
#[2,]    1    2
#[3,]    3    6
#[4,]    2    4


t(X) %*% X
#     [,1] [,2]
#[1,]   18   36
#[2,]   36   72

round(det(t(X) %*% X), digits = 9)
#0

(২) ইন্টারসেপ্ট শব্দ এবং এক পরিবর্তনশীল ধ্রুবক দ্বারা অন্যের থেকে পৃথক হয়

# x1 represents intercept term
# x3 = x2 + 2
X <- matrix(c(1, 2, 4, 1, 1, 3, 1, 3, 5, 1, 0, 2), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    4
#[2,]    1    1    3
#[3,]    1    3    5
#[4,]    1    0    2


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6   14
#[2,]    6   14   26
#[3,]   14   26   54

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, cols now linearly independent
# x2 = x1 + 2 with no intercept column
X <- matrix(c(2, 4, 1, 3, 3, 5, 0, 2), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    4
#[2,]    1    3
#[3,]    3    5
#[4,]    0    2


t(X) %*% X
#     [,1] [,2]
#[1,]   14   26
#[2,]   26   54
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#80
# Non-zero determinant so X'X is invertible

(৩) ইন্টারসেপ্ট টার্ম এবং একটি ভেরিয়েবল হ'ল অন্যটির অ্যাফাইন ট্রান্সফর্মেশন

# x1 represents intercept term
# x3 = 2*x2 - 3
X <- matrix(c(1, 2, 1, 1, 1, -1, 1, 3, 3, 1, 0, -3), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    1
#[2,]    1    1   -1
#[3,]    1    3    3
#[4,]    1    0   -3


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6    0
#[2,]    6   14   10
#[3,]    0   10   20

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, cols now linearly independent
# x2 = 2*x1 - 3 with no intercept column
X <- matrix(c(2, 1, 1, -1, 3, 3, 0, -3), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    1
#[2,]    1   -1
#[3,]    3    3
#[4,]    0   -3


t(X) %*% X
#     [,1] [,2]
#[1,]   14   10
#[2,]   10   20
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#180
# Non-zero determinant so X'X is invertible

(৪) ইন্টারসেপ্ট টার্ম এবং বিভিন্ন ভেরিয়েবলের যোগফল স্থির হয়

# x1 represents intercept term
# x2 + x3 = 10
X <- matrix(c(1, 2, 8, 1, 1, 9, 1, 3, 7, 1, 0, 10), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    8
#[2,]    1    1    9
#[3,]    1    3    7
#[4,]    1    0   10


t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    4    6   34
#[2,]    6   14   46
#[3,]   34   46  294

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, then columns now linearly independent
# x1 + x2 = 10 with no intercept column
X <- matrix(c(2, 8, 1, 9, 3, 7, 0, 10), ncol = 2, byrow=TRUE)

X
#     [,1] [,2]
#[1,]    2    8
#[2,]    1    9
#[3,]    3    7
#[4,]    0   10

t(X) %*% X
#     [,1] [,2]
#[1,]   14   46
#[2,]   46  294
# Can you see how this matrix is related to the previous one, and why?

round(det(t(X) %*% X), digits = 9)
#2000
# Non-zero determinant so X'X is invertible

(4 এ) ডমি ভেরিয়েবল ট্র্যাপের সাথে ইন্টারসেপ্ট টার্ম

# x1 represents intercept term
# x2 + x3 + x4 = 1
X <- matrix(c(1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 0, 1, 0, 1, 0), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    1    0    0    1
#[2,]    1    1    0    0
#[3,]    1    0    1    0
#[4,]    1    1    0    0
#[5,]    1    0    1    0

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    5    2    2    1
#[2,]    2    2    0    0
#[3,]    2    0    2    0
#[4,]    1    0    0    1
# This matrix has a very natural interpretation - can you work it out?

round(det(t(X) %*% X), digits = 9)
#0

# NB if we drop the intercept, then columns now linearly independent
# x1 + x2 + x3 = 1 with no intercept column
X <- matrix(c(0, 0, 1, 1, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0), ncol = 3, byrow=TRUE)  

X
#     [,1] [,2] [,3]
#[1,]    0    0    1
#[2,]    1    0    0
#[3,]    0    1    0
#[4,]    1    0    0
#[5,]    0    1    0

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    2    0    0
#[2,]    0    2    0
#[3,]    0    0    1
# Can you see how this matrix is related to the previous one?

round(det(t(X) %*% X), digits = 9)
#4
# Non-zero determinant so X'X is invertible

(5) নির্দিষ্ট পরিমাণের সাথে ভেরিয়েবলের দুটি উপসেট

# No intercept term needed
# x1 + x2 = 1
# x3 + x4 = 1
X <- matrix(c(0,1,0,1,1,0,0,1,0,1,1,0,1,0,0,1,1,0,1,0,0,1,1,0), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    0    1    0    1
#[2,]    1    0    0    1
#[3,]    0    1    1    0
#[4,]    1    0    0    1
#[5,]    1    0    1    0
#[6,]    0    1    1    0

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    3    0    1    2
#[2,]    0    3    2    1
#[3,]    1    2    3    0
#[4,]    2    1    0    3
# This matrix has a very natural interpretation - can you work it out?

round(det(t(X) %*% X), digits = 9)
#0

()) একটি পরিবর্তনশীল হ'ল অন্যের রৈখিক সংমিশ্রণ

# No intercept term
# x3 = x1 + 2*x2
X <- matrix(c(1,1,3,0,2,4,2,1,4,3,1,5,1,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    3
#[2,]    0    2    4
#[3,]    2    1    4
#[4,]    3    1    5
#[5,]    1    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   15    8   31
#[2,]    8   11   30
#[3,]   31   30   91

round(det(t(X) %*% X), digits = 9)
#0

(7) একটি পরিবর্তনশীল ধ্রুবক এবং শূন্য

# No intercept term
# x3 = 0
X <- matrix(c(1,1,0,0,2,0,2,1,0,3,1,0,1,2,0), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    0
#[2,]    0    2    0
#[3,]    2    1    0
#[4,]    3    1    0
#[5,]    1    2    0

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   15    8    0
#[2,]    8   11    0
#[3,]    0    0    0

round(det(t(X) %*% X), digits = 9)
#0

(8) ইন্টারসেপ্ট শব্দ এবং একটি ধ্রুবক পরিবর্তনশীল

# x1 is intercept term, x3 = 5
X <- matrix(c(1,1,5,1,2,5,1,1,5,1,1,5,1,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    1    5
#[2,]    1    2    5
#[3,]    1    1    5
#[4,]    1    1    5
#[5,]    1    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]    5    7   25
#[2,]    7   11   35
#[3,]   25   35  125

round(det(t(X) %*% X), digits = 9)
#0

(9) দুটি ধ্রুবক পরিবর্তনশীল

# No intercept term, x2 = 2, x3 = 5
X <- matrix(c(1,2,5,2,2,5,1,2,5,1,2,5,2,2,5), ncol = 3, byrow=TRUE)

X
#     [,1] [,2] [,3]
#[1,]    1    2    5
#[2,]    2    2    5
#[3,]    1    2    5
#[4,]    1    2    5
#[5,]    2    2    5

t(X) %*% X
#     [,1] [,2] [,3]
#[1,]   11   14   35
#[2,]   14   20   50
#[3,]   35   50  125

round(det(t(X) %*% X), digits = 9)
#0

(10)$k > n$

# Design matrix has 4 columns but only 3 rows
X <- matrix(c(1,1,1,1,1,2,4,8,1,3,9,27), ncol = 4, byrow=TRUE)

X
#     [,1] [,2] [,3] [,4]
#[1,]    1    1    1    1
#[2,]    1    2    4    8
#[3,]    1    3    9   27

t(X) %*% X
#     [,1] [,2] [,3] [,4]
#[1,]    3    6   14   36
#[2,]    6   14   36   98
#[3,]   14   36   98  276
#[4,]   36   98  276  794

round(det(t(X) %*% X), digits = 9)
#0

Answer 3

অন্তর্দৃষ্টি সাহায্য করার জন্য কিছু তুচ্ছ উদাহরণ:

1. $\mathbf{x_1}$ সেন্টিমিটারে উচ্চতা। মিটারে উচ্চতা। তারপর: $\mathbf{x_2}$
   • $\mathbf{x_1} = 100 \mathbf{x_2}$ , এবং আপনার ডিজাইনের ম্যাট্রিক্স রৈখিক স্বাধীন কলাম থাকবে না।$X$
2. $\mathbf{x_1} = \mathbf{1}$ (যেমন আপনি আপনার প্রতিরোধের একটি ধ্রুবক অন্তর্ভুক্ত), ফারেনহাইট তাপমাত্রা, এবং তাপমাত্রা সেলসিয়াস হয়। তারপর: $\mathbf{x_2}$$\mathbf{x_3}$
   • $\mathbf{x_2} = \frac{9}{5}\mathbf{x_3} + 32 \mathbf{x_1}$ , এবং আপনার ডিজাইনের ম্যাট্রিক্স রৈখিক স্বতন্ত্র কলাম থাকবে না।$X$
3. প্রত্যেকেই 5 বছর বয়সে স্কুল শুরু করে, (অর্থাত্ সমস্ত পর্যবেক্ষণ জুড়ে 1 এর ধ্রুবক মান), বছর, বয়স এবং কোনও এক নয় স্কুল ছেড়ে গেছে তারপর: $\mathbf{x_1} = \mathbf{1}$$\mathbf{x_2}$$\mathbf{x_3}$
   • $\mathbf{x_2} = \mathbf{x_3} - 5\mathbf{x_1}$ , এবং আপনার ডিজাইনের ম্যাট্রিক্স রৈখিক স্বতন্ত্র কলাম থাকবে না।$X$

তথ্যের এক কলাম আপনার অন্যান্য ডেটার লিনিয়ার ফাংশন হবে এমন অনেক উপায়ে রয়েছে। এর মধ্যে কিছু স্পষ্ট (উদাহরণস্বরূপ মিটার বনাম সেন্টিমিটার) অন্যরা আরও সূক্ষ্ম হতে পারে (উদাহরণস্বরূপ, ছোট বাচ্চাদের বয়স এবং বিদ্যালয়ের বছর)।

উল্লেখযোগ্য দ্রষ্টব্য: আসুন এর প্রথম কলামটি বোঝায় , second দ্বিতীয় কলাম ইত্যাদি ... এবং ones এর একটি ভেক্টরকে বোঝায় যা ডিজাইনের ম্যাট্রিক্স এক্স-এ অন্তর্ভুক্ত রয়েছে যদি আপনি আপনার প্রতিরোধের মধ্যে একটি ধ্রুবক অন্তর্ভুক্ত করেন। এক্স x 2$\mathbf{x_1}$$X$$\mathbf{x_2}$$\mathbf{1}$

Comments

স্কুলের পড়াশোনা এবং বয়সের উদাহরণটি খুব ভাল, যদিও এটি স্কুলে দেখানো মূল্যবান যে প্রত্যেকে স্কুলে থাকাকালীনই এই সম্পর্কটিকে ধরে রাখে! এর যৌক্তিক বর্ধন হ'ল যখন আপনার বয়স, বিদ্যালয়ের বছর এবং কাজের বছর, যা স্নাতকের পরেও সম্পর্ক চালিয়ে যেতে পারে। (অবশ্যই বাস্তবে এই জাতীয় বহুবিশেষটি খুব কমই নিখুঁত হতে থাকে - সেখানে সবসময় ব্যতিক্রম হয়, বাচ্চাদের মতো যারা পৃথক বয়সে স্কুল শুরু করেছিল কারণ তারা একটি ভিন্ন দেশ থেকে এসেছিল - তবে এটি প্রায়শই বেশ গুরুতর হয়))

— সিলভারফিশ

@ সিলভারফিশ ভাল পয়েন্ট! আমি সবেমাত্র কিছু সম্পাদনা / সংশোধন করেছি।

— ম্যাথু গন