প্রমাণ যে কোনও ওএলএস মডেলের সহগগুলি স্বাধীনতার (এনকে) ডিগ্রি সহ টি-বিতরণ অনুসরণ করে


29

পটভূমি

ধরা যাক, আমাদের কাছে একটি সাধারণ সর্বনিম্ন স্কোয়ার্স মডেল রয়েছে যেখানে আমাদের রিগ্রেশন মডেলটিতে

Y=এক্সβ+ +ε

যেখানে একটি হল কোফিসিয়েন্টস এর ভেক্টর, হয় নকশা ম্যাট্রিক্স দ্বারা সংজ্ঞায়িতβ(k×1)এক্স

X=(1x11x12x1(k1)1x211xn1xn(k1))
the এবং ত্রুটিগুলি আইআইডি হয় স্বাভাবিক,
ϵN(0,σ2I).

আমরা আমাদের অনুমান সেটিং দ্বারা সমষ্টি অফ ছক-ত্রুটি কমান হতে বিটা = ( এক্স টি এক্স ) - 1 এক্স টি Yβ

β^=(XTX)1XTy.

এর নিরপেক্ষ অনুমানকটি হ'ল s 2 = \ frac {\ বাম \ ভার্ট \ ম্যাথবিএফ {Y} - th ম্যাথবিএফ \ \ টুপি {এনপি} যেখানে \ ম্যাথবিএফ {\ \ টুপি {Y}} \ সমান \ mathbf {এক্স} \ mathbf \ \ টুপি \ বিটা}} ( রেফ )।গুলি 2 = Y - Y 2σ2Yএক্স β

s2=yy^2np
y^Xβ^

\ Mathbf \ \ hat {\ beta} The এর ar ক্যটি \ অপেরাটর্নাম {কোভ} \ বামβ^ দ্বারা দেওয়া হয়েছে

Cov(β^)=σ2C
যেখানে C(XTX)1 ( রেফ )।

প্রশ্ন

আমি কীভাবে প্রমাণ করতে পারি যে β^i , \ ফ্র্যাক rac \ টুপি \ বিটা} _ আই - \ বিটা_আই} {এস _ \ \ টুপি \ a বিটা} _ আই}} \ সিম টি_ {এন কে t

β^iβisβ^itnk
যেখানে tnk একটি সঙ্গে টি-ডিস্ট্রিবিউশান (nk) স্বাধীন ডিগ্রীগুলির, এবং মান ত্রুটি β^i দ্বারা অনুমান করা হয় sβ^i=scii

আমার চেষ্টা

আমি জানি যে জন্য র্যান্ডম ভেরিয়েবল থেকে নমুনা , আপনাকে দেখাতে পারেন যে the এলএইচএসকে হিসাবে লিখে এবং বুঝতে পেরেছে যে সংখ্যার একটি সাধারণ স্বাভাবিক বন্টন, এবং ডিনোমেনেটর একটি চি-বর্গ বিতরণের বর্গমূল যা ডিএফ = (এন-1) দিয়ে বিভক্ত হয় (n- 1) ( রেফ ) এবং তাই এটি df = (n-1) ( রেফ ) সহ একটি টি-বিতরণ অনুসরণ করে ।x N ( μ , σ 2 ) ˉ x - μnxN(μ,σ2)( ˉ x -μ) μ

x¯μs/ntn1
(x¯μσ/n)s2/σ2

আমি আমার প্রশ্নের এই প্রমাণটি প্রসারিত করতে পারিনি ...

কোন ধারনা? আমি এই প্রশ্নটি সম্পর্কে অবহিত , তবে তারা এটিকে স্পষ্টভাবে প্রমাণ করে না, তারা কেবল থাম্বের একটি বিধি দেয়, "প্রতিটি ভবিষ্যদ্বাণীকারী আপনাকে এক ডিগ্রি স্বাধীনতার জন্য খরচ করে"।


কারণ যৌথভাবে সাধারন ভেরিয়েবল একটি রৈখিক সমন্বয়, এটা একটি সাধারণ বন্টনের হয়েছে। সুতরাং আপনাকে যা করতে হবে তা (1) 1 ; (২) দেখান যে হ'ল একটি নিরপেক্ষ অনুমানকারী ; এবং (3) স্বাধীনতা ডিগ্রী প্রদর্শন হয় । পরবর্তীটি এই সাইটে বেশ কয়েকটি জায়গায় প্রমাণিত হয়েছে, যেমন stats.stackexchange.com/a/16931 । আমি সন্দেহ করি যে আপনি ইতিমধ্যে (1) এবং (2) কীভাবে করবেন তা জানেন। ( β আমি)=βআমিগুলি 2 β আমি Var স্বাগতম( β আমি)গুলি β আমিএন-β^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
হুবুহু

উত্তর:


32

যেহেতু আমরা জানি যে এবং এইভাবে আমরা জানি যে প্রতিটি উপাদানের জন্য এর , যেখানে হয় তির্যক উপাদান । সুতরাং, আমরা জানি যে β -β~এন(0,σ2(এক্সটিএক্স)-1) β β-β~এন(0,σ2এসকে)এসকেকেকেথে(এক্সটিএক্স)

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth(XTX)1
zk=β^kβkσ2SkkN(0,1).

আদর্শ স্ট্যান্ডার্ড নরমাল ভেক্টরে আইডেম্পোটেন্ট কোয়াড্র্যাটিক ফর্ম বিতরণের জন্য উপপাদ্যের বক্তব্যটি নোট করুন ( গ্রিনে উপপাদ্য B.8 ):

তাহলে এবং প্রতিসম এবং idempotent হয়, তাহলে বিতরণ করা হয় যেখানে পদে হয় ।xN(0,I)AxTAxχν2νA

যাক রিগ্রেশন রেসিডুয়াল ভেক্টরকে বোঝান এবং যা অবশিষ্টাংশ প্রস্তুতকারক ম্যাট্রিক্স (যেমন ) । সিমেট্রিক এবং আদর্শবান ot এটি যাচাই করা সহজ ।ε^

M=InX(XTX)1XT,
My=ε^M

আসুন একটি মূল্নির্ধারক হতে ।

s2=ε^Tε^np
σ2

আমাদের তখন কিছু লিনিয়ার বীজগণিত করা দরকার। এই তিনটি লিনিয়ার বীজগণিত বৈশিষ্ট্য নোট করুন:

  • আইডেম্পোটেন্ট ম্যাট্রিক্সের র‌্যাঙ্কটি এর ট্রেস।
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1) যদি হয় এবং হয় ( এই সম্পত্তি কাজ করার জন্য নিচের জন্য সমালোচনামূলক )A1n1×n2A2n2×n1

সুতরাং

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

তারপরে

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

একটি স্ট্যান্ডার্ড সাধারন ভেক্টর (উপরে বর্ণিত) একটি Idempotent দ্বিঘাত ফর্ম বিতরণ জন্য উপপাদ্য প্রয়োগ করা হচ্ছে, আমরা যে জানি ।Vχnp2

যেহেতু আপনি ধরে যে সাধারণত বিতরণ করা হয়, তাই থেকে স্বতন্ত্র , এবং যেহেতু একটি ফাংশন , সুতরাং থেকেও স্বতন্ত্র । সুতরাং, এবং একে অপরের থেকে স্বতন্ত্র।εβ^ε^s2ε^s2β^zkV

তারপরে, একটি চি-স্কোয়ার ডিস্ট্রিবিউশনের বর্গমূলের সাথে একটি আদর্শ সাধারণ বিতরণের অনুপাত স্বাধীনতার একই ডিগ্রি সহ (যেমন ), যা বিতরণের বৈশিষ্ট্য । অতএব, পরিসংখ্যাত টি দিয়ে বন্টন স্বাধীন ডিগ্রীগুলির।

tk=zkV/(np)
npttktnp

এরপরে এটি বীজগণিতভাবে আরও পরিচিত আকারে ম্যানিপুলেট করা যেতে পারে।

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)

এছাড়াও একটি পার্শ্ব প্রশ্ন: জন্য Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, আমরা প্রয়োজন হবে না প্রতিসম হওয়া যায়? দুর্ভাগ্যক্রমে, আমার গ্রীন নেই, তাই আমি প্রমাণটি দেখতে পাচ্ছি না যদিও আমি দেখেছি যে উইকিপিডিয়ায় আপনার মতো ফর্ম রয়েছে । তবে, একটি পাল্টা উদাহরণ হ'ল আদর্শবানী ম্যাট্রিক্স যা বাড়ে যা চি-স্কোয়ারের নয় কারণ এটি নেতিবাচক মান গ্রহণ করতে পারে। ..একজনএকজন=(1100)এক্স12+ +এক্স1এক্স2
গ্যারেট 9

1
@ গ্যারেট আমার ক্ষমাপ্রার্থী, দুটি প্রতিসম ও আদর্শবান হওয়া উচিত। এই নথিতে থিওরেম 3 হিসাবে একটি প্রমাণ সরবরাহ করা হয়েছে: www2.econ.iastate.edu/classes/econ671/hallam/documents/… ভাগ্যক্রমে, প্রতিসম পাশাপাশি তেমনি আদর্শবানও। একজনএম
ব্লু মার্কার 13

1
A নিছক হয় একটি একটি দ্বিঘাত ফর্ম ম্যাট্রিক্স উপস্থাপনা। প্রতিটি দ্বিঘাত ফর্ম একটি প্রতিসম উপস্থাপনা আছে, তাই এর প্রতিসাম্য প্রয়োজন উপপাদ্য বিবৃতিতে অন্তর্নিহিত হয়। (লোকেরা চতুর্ভুজ ফর্ম উপস্থাপনের জন্য অসমমিত ম্যাট্রিক ব্যবহার করে না)) সুতরাং চতুর্ভুজ ফর্ম ম্যাট্রিক্স দ্বারা স্বতন্ত্রভাবে উপস্থাপিত হয় যা নয়A(x1,x2)x12+x1x2A=(11/21/20)
হোবার

1
কেন পরোক্ষভাবে স্বাধীন ? সেখানে বেশিরভাগ অনুসরণ করছেন না। ϵN(0,σ2)β^ϵ^
গ্লাসাওয়েদ

1
@ গ্লাসজাওয়েড যেহেতু এবং are ওয়ারপসিলন both দু'টিই সাধারণত বিতরণ করা হয়, তারপরে নিরপেক্ষতা স্বতন্ত্রতা বোঝায়। এক্সপ্রেশন ব্যবহার এবং থেকে সর্বোপরি, আমরা দেখাতে পারি যে । β^ε^β^=β+(XX)1Xεε^=MεCov(β^,ε^)=0p×n
rzch
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.