সাধারণ লিনিয়ার রিগ্রেশন-এ, অবশিষ্টাংশের বৈচিত্রের সূত্রটি কোথা থেকে আসে?


21

আমি যে পাঠ্যটি ব্যবহার করছি তার মতে, অবশিষ্টগুলির পরিবর্তনের সূত্রটি দেওয়া হয়েছে:ith

σ2(11n(xix¯)2Sxx)

আমি বিশ্বাস করতে পারছি না যেহেতু id অবশিষ্টগুলি পর্যবেক্ষণকৃত মান এবং i ^ {th ; মানযুক্ত মানের মধ্যে পার্থক্য ; যদি কেউ পার্থক্যের বৈচিত্র্য গণনা করে থাকে তবে খুব কমপক্ষে আমি ফলাফল প্রকাশের ক্ষেত্রে কিছু "প্লাস" আশা করব। ডেরাইভেশন বুঝতে কোনও সহায়তা প্রশংসা করা হবে। i t h i t hআমিটিআমিটিআমিটি


এটা কি সম্ভব যে পাঠ্যে কিছু " + " চিহ্নগুলি " - " চিহ্ন হিসাবে ভুল-রেন্ডার করা (বা ভুল লেখা) হচ্ছে ?
হোবার

আমি এটি ভেবেছিলাম, তবে এটি পাঠ্যে দু'বার ঘটেছে (২ টি পৃথক অধ্যায়) তাই আমি এটিকে অসম্ভব বলে মনে করেছি। অবশ্যই, সূত্র একটি বিকাশ সাহায্য করবে! :)
এরিক

Sণাত্মকতা একটি পর্যবেক্ষণ এবং তার লাগানো মানের মধ্যে ইতিবাচক পারস্পরিক সম্পর্কের ফলাফল, যা পার্থক্যের বৈচিত্রকে হ্রাস করে।
গ্লেন_বি -রিনস্টেট মনিকা

@ গ্লেন নীচে আপনার ম্যাট্রিক্স ডেরাইভেশন সহ সূত্রটি কেন অর্থবোধ করে তা প্রমাণিত হওয়ার জন্য ধন্যবাদ।
এরিক

উত্তর:


27

বৈকল্পিক সম্পর্কিত "প্লাস" চিহ্নগুলি সম্পর্কে অন্তর্দৃষ্টি (এটি থেকে যে আমরা স্বতন্ত্র এলোমেলো ভেরিয়েবলের পার্থক্যের গণনা করার পরেও আমরা তাদের রূপগুলি যুক্ত করি) সঠিক তবে মারাত্মক অসম্পূর্ণ: যদি জড়িত র্যান্ডম ভেরিয়েবলগুলি স্বাধীন না হয় , তবে সমবায়িকাগুলিও জড়িত রয়েছে - এবং সমবায়িকাগুলি নেতিবাচক হতে পারে। একটি অভিব্যক্তি বিদ্যমান যা প্রশ্নের প্রায় প্রকাশের মতোই ধারণা করা হয়েছিল যে এটি "ওপি" (এবং আমার) দ্বারা হওয়া উচিত, এবং এটি পূর্বাভাস ত্রুটির বৈকল্পিকতা, এটি চিহ্নিত করুন , যেখানে :Y 0 = β 0 + + β 1 এক্স 0 + + U 00=Y0-Y^0Y0=β0+ +β1এক্স0+ +তোমার দর্শন লগ করা0

var(0)=σ2(1+ +1এন+ +(এক্স0-এক্স¯)2এসএক্সএক্স)

পূর্বাভাস ত্রুটির বৈকল্পিক এবং অনুমানের ত্রুটির (যেমন অবশিষ্টাংশের) পার্থক্যের মধ্যে সমালোচনাগত পার্থক্যটি হ'ল ভবিষ্যদ্বাণী করা পর্যবেক্ষণের ত্রুটি শব্দটি অনুমানকারীর সাথে সম্পর্কযুক্ত নয় , যেহেতু মান value ব্যবহৃত হয়নি was প্রাক-অনুমিতর মান নির্ধারণ এবং অনুমানগুলি গণনা করা, নমুনার বাইরে থাকা মান।Y0

উভয়ের বীজগণিত বিন্দু অবধি ঠিক একই পথে এগিয়ে চলেছে ( পরিবর্তে ব্যবহার করে ) তবে তারপরে বিভক্ত হয়। বিশেষ করে:i0আমি

সরল রৈখিক রিগ্রেশন , , অনুমানকারী এখনও আছে Var স্বাগতম ( U আমি ) = σ 2 β = ( β 0 , বিটা 1 ) 'Yআমি=β0+ +β1এক্সআমি+ +তোমার দর্শন লগ করাআমিvar(তোমার দর্শন লগ করাআমি)=σ2β^=(β^0,β^1)'

var(β^)=σ2(এক্স'এক্স)-1

আমাদের আছে

এক্স'এক্স=[এনΣএক্সআমিΣএক্সআমিΣএক্সআমি2]

এবং তাই

(এক্স'এক্স)-1=[Σএক্সআমি2-Σএক্সআমি-Σএক্সআমিএন][এনΣএক্সআমি2-(Σএক্সআমি)2]-1

আমাদের আছে

[এনΣএক্সআমি2-(Σএক্সআমি)2]=[এনΣএক্সআমি2-এন2এক্স¯2]=এন[Σএক্সআমি2-এনএক্স¯2]=এনΣ(এক্সআমি2-এক্স¯2)এনএসএক্সএক্স

সুতরাং

(এক্স'এক্স)-1=[(1/এন)Σএক্সআমি2-এক্স¯-এক্স¯1](1/এসএক্সএক্স)

যা এর মানে হল যে

var(β^0)=σ2(1এনΣএক্সআমি2) (1/এসএক্সএক্স)=σ2এনএসএক্সএক্স+ +এনএক্স¯2এসএক্সএক্স=σ2(1এন+ +এক্স¯2এসএক্সএক্স)

var(β^1)=σ2(1/এসএক্সএক্স)

Cov(β^0,β^1)=-σ2(এক্স¯/এসএক্সএক্স)

-th অবশিষ্ট হিসাবে সংজ্ঞায়িত করা হয়আমি

তোমার দর্শন লগ করা^আমি=Yআমি-Y^আমি=(β0-β^0)+ +(β1-β^1)এক্সআমি+ +তোমার দর্শন লগ করাআমি

প্রকৃত কোফিসিয়েন্টস, ধ্রুবক হিসাবে গণ্য হয় regressor সংশোধন করা হয়েছে (অথবা এটা উপর শর্তাধীন), এবং ত্রুটি শব্দটি সঙ্গে শূন্য সহভেদাংক আছে, কিন্তু estimators ত্রুটি শব্দটি সঙ্গে সম্পর্কিত করা হয়, কারণ estimators নির্ভরশীল পরিবর্তনশীল ধারণ করে এবং নির্ভরশীল পরিবর্তনশীল ত্রুটি শব্দটি ধারণ করে। তাহলে আমাদের আছে

Var(u^i)=[Var(ui)+Var(β^0)+xi2Var(β^1)+2xiCov(β^0,β^1)]+2Cov([(β0β^0)+(β1β^1)xi],ui)

=[σ2+σ2(1n+x¯2Sxx)+xi2σ2(1/Sxx)+2Cov([(β0β^0)+(β1β^1)xi],ui)

এটি পেতে কিছুটা প্যাক করুন

Var(u^i)=[σ2(1+1n+(xix¯)2Sxx)]+2Cov([(β0β^0)+(β1β^1)xi],ui)

বড় বন্ধনীতে শব্দটির পূর্বাভাস ত্রুটির বৈকল্পিকের সাথে ঠিক একই কাঠামো রয়েছে, তবে একমাত্র পরিবর্তন হ'ল পরিবর্তে আমাদের (এবং তারতম্যটি এবং )। গত সহভেদাংক মেয়াদ ভবিষ্যদ্বাণী ত্রুটির জন্য শূন্য হয় কারণ তাই হয় না estimators অন্তর্ভুক্ত, কিন্তু প্রাক্কলন ত্রুটির জন্য না শূন্য কারণ তাই নমুনা অংশ এবং তাই এটি অন্তর্ভুক্ত করা হয়েছে মূল্নির্ধারক। আমাদের আছেএক্স 0 0 U আমি Y 0 U 0 Y আমি তোমার আমিxix0e0u^iy0u0yiui

2Cov([(β0β^0)+(β1β^1)xi],ui)=2E([(β0β^0)+(β1β^1)xi]ui)

=2E(β^0ui)2xiE(β^1ui)=2E([y¯β^1x¯]ui)2xiE(β^1ui)

কীভাবে গণনা করা হয় তা থেকে সর্বশেষ বিকল্প । অব্যাহত,β^0

...=2E(y¯ui)2(xix¯)E(β^1ui)=2σ2n2(xix¯)E[(xix¯)(yiy¯)Sxxui]

=2σ2n2(xix¯)Sxx[(xix¯)E(yiuiy¯ui)]

=2σ2n2(xix¯)Sxx[σ2nji(xjx¯)+(xix¯)σ2(11n)]

=2σ2n2(xix¯)Sxx[σ2n(xix¯)+(xix¯)σ2]

=2σ2n2(xix¯)Sxx[0+(xix¯)σ2]=2σ2n2σ2(xix¯)2Sxx

অবশিষ্টগুলির বৈচিত্রের জন্য এটি প্রকাশের মধ্যে Inোকানো, আমরা পাই

Var(u^i)=σ2(11n(xix¯)2Sxx)

সুতরাং টুপিগুলি টেক্সটটি ওপি ব্যবহার করছে to

(আমি কিছু বীজগণিত কৌশলগুলি এড়িয়ে গেছি, আশ্চর্য হওয়ার কিছু নেই যে এই দিনগুলিতে ওএলএস বীজগণিত কম-বেশি শেখানো হয় ...)

কিছু ধারণা

সুতরাং দেখা যাচ্ছে যে ভবিষ্যদ্বাণী করার সময় আমাদের "বিপরীতে" (বৃহত্তর বৈকল্পিকতা) কাজ করে, অনুমান করার সময় "আমাদের জন্য" (কম বৈকল্পিক) কাজ করে। মডেলটির ভবিষ্যদ্বাণী করার দক্ষতার জন্য কেন একটি সেরা ফিট একটি খারাপ চিহ্ন হতে পারে তা চিন্তা করার জন্য এটি একটি ভাল সূচনার পয়েন্ট (তবে এর সাথে পাল্টা-স্বজ্ঞাত এটি শুনতে পারে ...)।
আমরা নিবন্ধকের প্রত্যাশিত মানটি অনুমান করছি এই সত্যটি দ্বারা বৈকল্পিকতা হ্রাস পাবে । কেন? কারণ অনুমানের মাধ্যমে আমরা নমুনায় বিদ্যমান কিছু ত্রুটি-পরিবর্তনশীলতার দিকে "আমাদের চোখ বন্ধ করি" , যেহেতু আমরা মূলত একটি প্রত্যাশিত মানটি অনুমান করি। অধিকন্তু, রেজিস্ট্রারের নমুনা থেকে কোনও রেজিস্ট্রারের পর্যবেক্ষণের বৃহত্তর বিচ্যুতি মানে,1/nএই পর্যবেক্ষণের সাথে সম্পর্কিত রেসিডুয়ালের বৈচিত্রটি হবে ... পর্যবেক্ষণটি যত বেশি বিচ্যুত হবে, এর অবশিষ্টাংশ তত কম বিচ্যুত হবে ... এটি অজানা ত্রুটির "জায়গা" নিয়ে আমাদের জন্য কাজকারী রেজিস্ট্রারদের পরিবর্তনশীলতা is পরিবর্তনশীলতা।

তবে এটি অনুমানের পক্ষে ভাল । জন্য ভবিষ্যদ্বাণী , একই জিনিস আমাদের বিরুদ্ধে চালু: এখন পরিবর্তনশীলতা একাউন্টে গ্রহণ অবশ্য ত্রুটিপূর্ণভাবে দ্বারা (যেহেতু আমরা এটা ভবিষ্যদ্বাণী করা চান), আমাদের অপূর্ণ নমুনা থেকে প্রাপ্ত estimators তাদের দুর্বলতা দেন: আমরা আনুমানিক নমুনাটির অর্থ, আমরা প্রকৃত প্রত্যাশিত মানটি জানি না - প্রকরণটি বৃদ্ধি পায়। আমাদের কাছে একটি যা নমুনা থেকে অনেক দূরে অন্য পর্যবেক্ষণগুলি থেকে গণনা করা হয়েছে - খুব খারাপ, আমাদের পূর্বাভাস ত্রুটির বৈকল্পিকতা আরও একটি উত্সাহ পায়, কারণ ভবিষ্যদ্বাণী করা বিপথগামী হবে ... আরও বৈজ্ঞানিক ভাষা "ভবিষ্যদ্বাণী হ্রাস হ্রাস অনুকূল অর্থে সেরা ভবিষ্যদ্বাণীকারী, উপস্থাপন কy0x0 y^0পূর্বাভাসের আওতায় চলকটির গড়ের দিকে সঙ্কুচিত হওয়া । "আমরা নির্ভরশীল ভেরিয়েবলের পরিবর্তনশীলতার প্রতিরূপ তৈরি করার চেষ্টা করি না - আমরা কেবল" গড়ের কাছাকাছি "থাকার চেষ্টা করি।


খুব পরিষ্কার উত্তরের জন্য আপনাকে ধন্যবাদ! আমি আনন্দিত যে আমার "স্বজ্ঞাত" সঠিক ছিল।
এরিক

আলেকোস, আমি সত্যিই এটি সঠিক মনে করি না।
গ্লেন_বি -রিনস্টেট মনিকা

@ অ্যালোকোস ত্রুটি শব্দটির সাথে সম্পর্কযুক্ত হওয়ার জন্য প্যারামিটারের অনুমানটি নেওয়া ভুল। এই অংশ: সঠিক নয়। Var(u^i)=Var(ui)+Var(β^0)+xi2Var(β^1)+2xiCov(β^0,β^1)
গ্লেন_বি -রিনস্টেট মনিকা

@ এরিক আমি আপনাকে এর আগে বিভ্রান্ত করার জন্য ক্ষমা চাইছি। আমি উভয় সূত্রের জন্য কিছু অন্তর্দৃষ্টি দেওয়ার চেষ্টা করেছি।
অ্যালেকোস পাপাদোপল্লোস

+1 আপনি দেখতে পাচ্ছেন যে আমি কেন এর জন্য একাধিক রিগ্রেশন কেস করেছি ... সাধারণ-রিগ্রেশন কেস করার অতিরিক্ত প্রচেষ্টাতে যাওয়ার জন্য ধন্যবাদ।
গ্লেন_বি -রিনস্টেট মনিকা

19

কিছুটা পরিশ্রুত উত্তরের জন্য দুঃখিত, সম্ভবত অত্যধিক-বিমূর্ত এবং স্বজ্ঞাত প্রকাশের একটি পছন্দসই পরিমাণের অভাব রয়েছে, তবে আমি ফিরে এসে আরও কয়েকটি বিশদ পরে যুক্ত করার চেষ্টা করব। অন্তত এটি সংক্ষিপ্ত।

প্রদত্ত ,H=X(XTX)1XT

Var(yy^)=Var((IH)y)=(IH)Var(y)(IH)T=σ2(IH)2=σ2(IH)

অত: পর

Var(yiy^i)=σ2(1hii)

সাধারণ লিনিয়ার রিগ্রেশন এর ক্ষেত্রে ... এটি আপনার প্রশ্নের উত্তর দেয়।

এই : যেহেতু ইতিবাচকভাবে সাথে সম্পর্কিত , তাই পার্থক্যের যোগফলের চেয়ে ছোট হওয়া উচিত।y^iyi

-

সম্পাদনা: কেন ব্যাখ্যা হয় idempotent(IH)

(i) আদর্শবান:H

H2=X(XTX)1XTX(XTX)1XT =X [(XTX)1XTX] (XTX)1XT=X(XTX)1XT=H

(ii)(IH)2=I2IHHI+H2=I2H+H=IH


1
এটির সরলতার জন্য এটি একটি খুব দুর্দান্ত বিকাশ, যদিও একটি পদক্ষেপ যা আমার কাছে পরিষ্কার নয় তা কেন । আপনি যখন নিজের উত্তরটি সামান্য প্রসারিত করবেন, আপনি যেভাবেই করার পরিকল্পনা করছেন, আপনি সে সম্পর্কে কিছু বলতে পারেন? (আমি-এইচ)2=(আমি-এইচ)
জেক ওয়েস্টফল

@ জ্যাক শেষে কয়েক লাইন যুক্ত করেছে
Glen_b -Rininstate মনিকা
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.