Lm ব্যবহার করার সময় আর-তে ওজন যুক্তির পিছনে তত্ত্ব


12

Grad স্কুল এক বছর পরে, "পরিমেয় লিস্ট স্কোয়ার" এর আমার বোঝার নিম্নলিখিত হল: দিন yRn , X কিছু হতে n×p নকশা ম্যাট্রিক্স, একটি প্যারামিটার হতে ভেক্টর, একটি ত্রুটি ভেক্টর হতে যেমন যে , যেখানে এবং । তারপরে βRpϵRnϵN(0,σ2V)V=diag(v1,v2,,vn)σ2>0

y=Xβ+ϵ
অনুমানের অধীনে "ওজনযুক্ত সর্বনিম্ন স্কোয়ার" মডেল বলা হয়। ডাব্লুএলএস সমস্যাটি সমাপ্তি করুন \ mathbf {y} = \ শুরু {bmatrix } y_1 & \ বিন্দু & y_n \ শেষ {bmatrix} ^ {টি} , \ boldsymbol \ বিটা = \ শুরু {bmatrix} \ beta_1 & \ বিন্দু & \ beta_p \ শেষ {bmatrix} ^ {টি} , এবং \ mathbf {x } = \ শুরু {বম্যাট্রিক্স} x_ {11} & \ সিডটস এবং x_ {1 পি} \\ x_ {21} & d সিডটস এবং x_ {2 পি} \\ \ ভিডটস & d ভিডটস & \ ভিডটস \\ x_ {n1} & d সিডটস এবং এক্স_ {এনপি} \ এন্ড {বম্যাট্রিক্স} = \ শুরু {বম্যাট্রিক্স \ th ম্যাথবিএফ {এক্স} _ {1} ^ {টি} \\ \ টি ম্যাথবিএফ {এক্স} _ {2} ^ {টি} \\ \ ভিডটস \ th mathbf {x} _ {n} ^ {T} \ শেষ {bmatrix} \ পাঠ্য {{
argminβ(yXβ)TV1(yXβ).
y=[y1yn]Tβ=[β1βp]T
X=[x11x1px21x2pxn1xnp]=[x1Tx2TxnT].
xiTβR1 , সুতরাং
yXβ=[y1x1Tβy2x2TβynxnTβ].
এটি \ start {align} (\ mathbf {y} - th mathbf {X} \ boldsymbol \ beta) {} T} gives দেয় gives mathbf {V} ^ {- 1} & = \ start {bmatrix} y_1- \ mathbf {x} _ {1} ^ {T} \ boldsymbol \ beta & y_2- th mathbf {x} _ {2} ^} T} \ বোল্ডসাইম্বল \ বিটা ও d সিডটস এবং y_n- \ ম্যাথবিএফ {এক্স} _ {এন} ^ {টি} \ বোল্ডসিমবোল \ বিটা \ শেষ {বম্যাট্রিক্স \ \ পাঠ্য {ডায়াগ} (v_1 ^ {- 1}, ভি 2 ^ {- 1 }, \ বিন্দু, v_n ^ {- 1}) \\ & = \ শুরু {বম্যাট্রিক্স} v_1 ^ {- 1} (y_1- \ mathbf {x} _ {1} ^} টি} \ বোল্ডসাইম্বল \ বিটা) & v_2 ^ {-1} (y_2- \ mathbf {x} _ {2} ^ T} \ সাহসী স্মৃতি \ বিটা) & d সিডটস এবং
(yXβ)TV1=[y1x1Tβy2x2TβynxnTβ]diag(v11,v21,,vn1)=[v11(y1x1Tβ)v21(y2x2Tβ)vn1(ynxnTβ)]
v_n ^ {- 1} (y_n- \ mathbf {x} _ {n} ^ {T} \ boldsymbol \ beta) \ শেষ {bmatrix \ \ end {align} এভাবে প্রদান
argminβ(yXβ)TV1(yXβ)=argminβi=1nvi1(yixiTβ)2.
β অনুমান করা হয়
β^=(XTV1X)1XTV1y.
I আমি যে জ্ঞানের সাথে পরিচিত সেটির এটিই পরিধি। আমাকে কখনই শিখানো হয়নি যে কীভাবে v1,v2,,vn নির্বাচন করা উচিত, যদিও মনে হয়, এখানে বিচার করে , সাধারণত \ পাঠ্য {ভার} (\ সাহসী মাইন্ডস \ এপসিলন Var(ϵ)=diag(σ12,σ22,,σn2), যা স্বজ্ঞাত অর্থে তোলে। (ডাব্লুএলএস সমস্যায় অত্যন্ত পরিবর্তনশীল ওজন কম ওজন দিন এবং কম পরিবর্তনশীল বেশি ওজন সহ পর্যবেক্ষণ দিন))

আমি যে বিষয়ে বিশেষভাবে আগ্রহী তা হ'ল যখন ওজনকে পূর্ণসংখ্যার হিসাবে নির্ধারিত করা হয় তখন ফাংশনে Rওজন কীভাবে পরিচালনা করা lm()হয়। ব্যবহার থেকে ?lm:

অ- NULLওজনকে বিভিন্ন পর্যবেক্ষণের বিভিন্ন রূপ রয়েছে তা বোঝাতে ব্যবহার করা যেতে পারে (ওজনের মানগুলির সাথে বৈকল্পিকগুলির সাথে বিপরীত অনুপাত হয়); বা সমতুল্যভাবে, যখন ওজনের উপাদানগুলি ধনাত্মক পূর্ণসংখ্যার , প্রতিটি প্রতিক্রিয়া হ'ল ইউনিট-ওজন পর্যবেক্ষণের মাধ্যম (যে ক্ষেত্রে পর্যবেক্ষণ সমান এবং ডেটা সংক্ষিপ্ত করা হয়েছে) সহ)wiyiwiwiyi

আমি এই অনুচ্ছেদটি বেশ কয়েকবার পুনরায় পড়েছি এবং এটি আমার কাছে বোধগম্য নয়। আমি উপরে যে ফ্রেমওয়ার্কটি বিকাশ করেছি তা ব্যবহার করে, ধরুন আমার কাছে নিম্নলিখিত সিমুলেটেড মান রয়েছে:

x <- c(0, 1, 2)
y <- c(0.25, 0.75, 0.85)
weights <- c(50, 85, 75)

lm(y~x, weights = weights)

Call:
lm(formula = y ~ x, weights = weights)

Coefficients:
(Intercept)            x  
     0.3495       0.2834  

আমি উপরে যে কাঠামোটি তৈরি করেছি তা ব্যবহার করে, এই পরামিতিগুলি কীভাবে উত্পন্ন হয়? এখানে হাতে এই কাজ আমার প্রয়াস আছে: অভিমানী , আমরা এবং এটি প্রদান করে (নোট করুন যে ইনভার্টিবিলিটি এই ক্ষেত্রে কাজ করে না, তাই আমি একটি সাধারণ বিপরীত ব্যবহার করেছি):V=diag(50,85,75)

[β^0β^1]=([111111]diag(1/50,1/85,1/75)[111111]T)1[111111]Tdiag(1/50,1/85,1/75)[0.250.750.85]
R
X <- matrix(rep(1, times = 6), byrow = T, nrow = 3, ncol = 2)
V_inv <- diag(c(1/50, 1/85, 1/75))
y <- c(0.25, 0.75, 0.85)

library(MASS)
ginv(t(X) %*% V_inv %*% X) %*% t(X) %*% V_inv %*% y

         [,1]
[1,] 0.278913
[2,] 0.278913

এগুলি lm()আউটপুট থেকে মানগুলির সাথে মেলে না । আমি কি ভুল করছি?

উত্তর:


4

ম্যাট্রিক্স be হওয়া উচিত নয় এছাড়াও, আপনার হওয়া উচিত , না ।X

[101112],
[111111].
V_invdiag(weights)diag(1/weights)
x <- c(0, 1, 2)
y <- c(0.25, 0.75, 0.85)
weights <- c(50, 85, 75)
X <- cbind(1, x)

> solve(t(X) %*% diag(weights) %*% X, t(X) %*% diag(weights) %*% y)
       [,1]
  0.3495122
x 0.2834146

বিশেষ করে ভুল ডিজাইন ম্যাট্রিক্স পরিষ্কার করার জন্য আপনাকে ধন্যবাদ! আমি এই উপাদান উপর বেশ মরিচা। সুতরাং, একটি শেষ প্রশ্ন হিসাবে, এর অর্থ কি ডাব্লুএলএস অনুমানগুলিতে রয়েছে? Var(ϵ)=diag(1/weights)
Clarinetist

হ্যাঁ, যদিও ওজনগুলি কেবল 1 / বৈকল্পিকের সমানুপাতিক হতে হবে, অগত্যা সমান নয়। উদাহরণস্বরূপ, আপনি weights <- c(50, 85, 75)/2যদি আপনার উদাহরণ ব্যবহার করেন তবে আপনি একই ফলাফল পাবেন।
999

3

আরো সংক্ষেপে নিম্নোক্তভাবে এই উত্তর দেওয়ার জন্য ব্যবহার পরিমেয় লিস্ট স্কোয়ার রিগ্রেশন weightsমধ্যে Rনিম্নলিখিত অনুমানের তোলে: অনুমান করা আছে weights = c(w_1, w_2, ..., w_n)। যাক , একটি হতে নকশা ম্যাট্রিক্স, একটি প্যারামিটার ভেক্টর হতে, এবং mean গড় এবং ভেরিয়েন্স ম্যাট্রিক্স , যেখানে সাথে একটি ত্রুটি ভেক্টর হতে হবে । তারপরে, মূল পোস্টে একই পদক্ষেপগুলি অনুসরণ করে, yRnXn×pβRpϵRn0σ2Vσ2>0

V=diag(1/w1,1/w2,,1/wn).
argminβ(yXβ)TV1(yXβ)=argminβi=1n(1/wi)1(yixiTβ)2=argminβi=1nwi(yixiTβ)2
এবং অনুমান করা হয় using জিএলএস থেকে অনুমানβ
β^=(XTV1X)1XTV1y
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.