অবশিষ্ট এবং নির্ভরশীল ভেরিয়েবলের মধ্যে প্রত্যাশিত সম্পর্ক কী?


26

একাধিক লিনিয়ার রিগ্রেশনে, আমি বুঝতে পারি যে অবশিষ্ট এবং ভবিষ্যদ্বাণীকারীদের মধ্যে পারস্পরিক সম্পর্কগুলি শূন্য, তবে অবশিষ্ট এবং মানদণ্ডের ভেরিয়েবলের মধ্যে প্রত্যাশিত পারস্পরিক সম্পর্ক কী? এটি কি শূন্য বা উচ্চ সম্পর্কের প্রত্যাশা করা উচিত? এর অর্থ কী?


4
"মানদণ্ডের পরিবর্তনশীল" কী ??
whuber

2
@ আমি যে অনুমান করছি জেফ্লি প্রতিক্রিয়া / ফলাফল / নির্ভর / ইত্যাদি উল্লেখ করছে refer পরিবর্তনশীল। davidmlane.com/hyperstat/A101702.html এ জাতীয় চলকগুলির অনেকগুলি নাম দেখানো আকর্ষণীয়: en.wikedia.org/wiki/…
জেরোমি অ্যাংলিম

@ জারোমি ধন্যবাদ! আমি অনুমান করেছি যে এটি অর্থ ছিল তবে নিশ্চিত ছিল না। এটি আমার কাছে একটি নতুন শব্দ - এবং উইকিপিডিয়ায়, স্পষ্টতই।
হোবার

আমি চিন্তা করে এই সমান হবে বা অনুরূপ কিছু, যেমন আর 2 = [ ( Y , Y ) ] 2E[R2]R2=[corr(y,y^)]2
probabilityislogic

y=f(x)+e , যেখানেf হ'ল রিগ্রেশন ফাংশন,e ত্রুটি, এবংCov(f(x),e)=0 । তারপরেCorr(y,e)=SD(e)/SD(y)=1R2 । এটি নমুনা পরিসংখ্যান; এর প্রত্যাশিত মানটি একই রকম তবে মেসিয়র হবে।
রায় কোপম্যান

উত্তর:


20

রিগ্রেশন মডেলটিতে:

yi=xiβ+ui

স্বাভাবিক ধৃষ্টতা যে , আমি = 1 , , n একটি আইড নমুনা। অনুমানের অধীনে যে E x i u i = 0 এবং E ( x i x i ) এর পূর্ণ পদ রয়েছে, সাধারণ সর্বনিম্ন স্কোয়ারের অনুমানকারী:(yi,xi,ui)i=1,...,nExiui=0E(xixi)

β^=(i=1nxixi)1i=1xiyi

সামঞ্জস্যপূর্ণ এবং অ্যাসিপোটোটিকভাবে স্বাভাবিক। একটি অবশিষ্ট এবং প্রতিক্রিয়া পরিবর্তনশীল এর মধ্যে প্রত্যাশিত সমবায়তা হ'ল:

Eyiui=E(xiβ+ui)ui=Eui2

আমরা উপরন্তু অনুমান যদি এবং ( U 2 আমি | x 1 , , X এন ) = σ 2 , আমরা মধ্যে প্রত্যাশিত সহভেদাংক নিরূপণ করতে পারেন y আমি এবং এর প্রতিরোধের অবশিষ্টাংশ:E(ui|x1,...,xn)=0E(ui2|x1,...,xn)=σ2yi

Eyiu^i=Eyi(yixiβ^)=E(xiβ+ui)(uixi(β^β))=E(ui2)(1Exi(j=1nxjxj)1xi)

এখন পারস্পরিক সম্পর্ক আমরা গণনা করতে প্রয়োজন পেতে এবং সরবরাহ Var ( U আমি ) । এটা দেখা যাচ্ছে যেVar(yi)Var(u^i)

Var(u^i)=E(yiu^i),

অত: পর

Corr(yi,u^i)=1Exi(j=1nxjxj)1xi

এখন মেয়াদ টুপি ম্যাট্রিক্স তির্যক থেকে আসে এইচ = এক্স ( এক্স ' এক্স ) - 1 এক্স ' , যেখানে এক্স = [ X আমি , , x N ] । ম্যাট্রিক্স এইচ আদর্শবান, তাই এটি নিম্নলিখিত সম্পত্তিটিকে সন্তুষ্ট করেxi(j=1nxjxj)1xiH=X(XX)1XX=[xi,...,xN]H

trace(H)=ihii=rank(H),

যেখানে এইচ এর তির্যক শব্দ । র্যাঙ্ক ( এইচ ) মধ্যে সুসংগত স্বাধীন ভেরিয়েবল সংখ্যা এক্স আমি , যা সাধারণত ভেরিয়েবল সংখ্যা। আসুন এটি পি । সংখ্যা আমি আমি নমুনা আকার এন । সুতরাং আমাদের এন ননজিগেটিক পদ রয়েছে যা পি পর্যন্ত সমষ্টি হওয়া উচিত । সাধারণত এন পি এর চেয়ে অনেক বড় , তাই প্রচুর এইচ আই ihiiHrank(H)xiphiiNNpNphii শূন্যের কাছাকাছি হবে, অর্থাত্ পর্যবেক্ষণের বৃহত অংশের জন্য অবশিষ্ট এবং প্রতিক্রিয়া ভেরিয়েবলের মধ্যে পারস্পরিক সম্পর্ক 1 এর কাছাকাছি হবে।

প্রভাবশালী পর্যবেক্ষণ নির্ধারণের জন্য শব্দটি বিভিন্ন রিগ্রেশন ডায়াগোনস্টিকগুলিতেও ব্যবহৃত হয়।hii


10
+1 এটি ঠিক সঠিক বিশ্লেষণ। তবে আপনি কেন কাজ শেষ করে প্রশ্নের উত্তর দিচ্ছেন না? ওপি জিজ্ঞাসা করে যে এই পারস্পরিক সম্পর্ক "উচ্চ" কিনা এবং এর অর্থ কী হতে পারে
হোবার

সুতরাং আপনি বলতে পারেন যে পারস্পরিক সম্পর্ক মোটামুটি 1pN
সম্ভাব্যতা ব্লগ

1
প্রতিটি পর্যবেক্ষণের জন্য সহযোগিতা পৃথক পৃথক, তবে হ্যাঁ আপনি এটি বলতে পারেন, প্রদত্ত এক্সের বিদেশী না থাকে।
এমপিটিকাস

21

পারস্পরিক সম্পর্ক উপর নির্ভর করে । যদি আর 2 উচ্চ হয়, তবে এর অর্থ হ'ল আপনার নির্ভরশীল ভেরিয়েবলের প্রচুর প্রকরণটি আপনার স্বাধীন ভেরিয়েবলের পরিবর্তনের জন্য দায়ী করা যেতে পারে, এবং আপনার ত্রুটি শর্ত নয়।R2R2

তবে, যদি কম হয়, তবে এর অর্থ হ'ল আপনার নির্ভরশীল ভেরিয়েবলের অনেকগুলি ভিন্নতা আপনার স্বতন্ত্র ভেরিয়েবলের পরিবর্তনের সাথে সম্পর্কিত নয় এবং সুতরাং ত্রুটি শব্দটির সাথে সম্পর্কিত হতে হবে।R2

নিম্নলিখিত মডেল বিবেচনা করুন:

, যেখানে ওয়াই এবং এক্স পারস্পরিক সম্পর্কযুক্ত।Y=Xβ+εYX

সিএলটি ধরে রাখার জন্য পর্যাপ্ত নিয়মিততার শর্ত অনুমান করে।

থেকে বিন্দুতে মিলিত হবে0, যেহেতুএক্সএবংওয়াইসম্পর্কহীন হয়। অতএব ওয়াই =এক্স β সবসময় শূন্য হবে। সুতরাং,ε:=ওয়াই - ওয়াই =ওয়াই-0=ওয়াইεএবংYপুরোপুরি সম্পর্কযুক্ত !!!β^0XYY^=Xβ^ε:=YY^=Y0=YεY

অন্য সমস্ত স্থির করে রাখা, বৃদ্ধি করা ত্রুটি নির্ভরতার মধ্যে পারস্পরিক সম্পর্ক হ্রাস করবে। একটি শক্তিশালী পারস্পরিক সম্পর্ক অ্যালার্মের জন্য অগত্যা নয়। এর সহজ অর্থ হ'ল অন্তর্নিহিত প্রক্রিয়াটি গোলমাল। যাইহোক, একটি কম আর 2 (এবং ত্রুটি এবং নির্ভরশীল মধ্যে উচ্চ পারস্পরিক সম্পর্ক) মডেল অপব্যবহারের কারণে হতে পারে।R2R2


আমি এই উত্তর, বিভ্রান্তিকর অংশে "তার ব্যবহারের মাধ্যমে এটি " মডেল ত্রুটি শর্তাবলী এবং অবশিষ্টাংশ জন্য উভয় দাঁড়াতে ওয়াই - ওয়াই । বিভ্রান্তির আরেকটি বিষয় হ'ল "রূপান্তরিতকরণ" এর রেফারেন্স যদিও এমন কোনও প্রমাণের কোনও ক্রম নেই যা প্রমাণিত হয়েছে যা অভিযোজন প্রযোজ্য হতে পারে। এক্স এবং ওয়াই সম্পর্কহীন বলে অনুমান করা বিশেষ পরিস্থিতিগুলির উদাহরণ এবং উদাহরণস্বরূপ নয়। এই উত্তরটি যা বলার চেষ্টা করছে বা কোন দাবিগুলি সাধারণত সত্য তা এই সমস্ত अस्पष्ट করে। εYY^XY
whuber

17

আমি এই বিষয়টিকে বেশ আকর্ষণীয় বলে মনে করি এবং বর্তমান উত্তরগুলি দুর্ভাগ্যক্রমে অসম্পূর্ণ বা আংশিক বিভ্রান্তিকর - এই প্রশ্নের প্রাসঙ্গিকতা এবং উচ্চ জনপ্রিয়তা সত্ত্বেও।

শাস্ত্রীয় OLS ঔজ্জ্বল্যের প্রেক্ষাপটে ফ্রেমওয়ার্ক সংজ্ঞামতে সেখানে উচিত মধ্যে কোন সম্পর্ক এবং তোমার দর্শন লগ করাŷu^ থেকে অবশিষ্টাংশ প্রাপ্ত সঙ্গে সম্পর্কহীন নির্মাণ প্রতি, OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূল্নির্ধারক আহরিত। হোমসকেডাস্টিকটির অধীনে সম্পত্তিটি হ্রাসকারী বৈকল্পিকটি নিশ্চিত করে যে অবশিষ্টাংশ ত্রুটি এলোমেলোভাবে লাগানো মানগুলির চারপাশে ছড়িয়ে রয়েছে। এটি আনুষ্ঠানিকভাবে প্রদর্শিত হতে পারে:ŷ

Cov(ŷ,û|X)=Cov(Py,My|X)=Cov(Py,(IP)y|X)=PCov(y,y)(IP)
=Pσ2Pσ2=0

MPP=X(XX)XM=IP

ŷXûûŷ

ûy

Cov(y,û|X)=Cov(yMy|X)=Cov(y,(1P)y)=Cov(y,y)(1P)=σ2M

u^

Var(û)=σ2M=Cov(y,û|X)

yu^

Covscalar(y,û|X)=Var(û|X)=(ui2)/N

(= কোভরিয়েন্স ম্যাট্রিক্সের তির্যক এন্ট্রিগুলি সংক্ষিপ্ত করে এবং এন দ্বারা ভাগ করে)

yu^βu^,y=1Var(û|X)

σ2Myσ2ICorr(y,û)

Corr(y,û)=Var(û)Var(u^)Var(y)=Var(û)Var(y)=Var(û)σ2

Corr(y,û)yy^u^

Corr(y,û)=11+Var(y)^Var(û)

Var(û)0Var(y^)

yûy

yûûu

উদাহরণস্বরূপ, আমি এখানে পূর্ববর্তী পোস্টার দ্বারা তৈরি একটি বিবৃতি নির্দেশ করতে চাই। এটা বলা হয় যে,

"যদি আপনার অবশিষ্টাংশগুলি আপনার স্বাধীন ভেরিয়েবলের সাথে সম্পর্কিত হয়, তবে আপনার মডেলটি হিটারোস্কেস্টাস্টিক ..."

ûxk

Xui=XMy=X(IP)y=XyXPy
=XyXX(XX)Xy=XyXy=0
Xui=0Cov(X,ui|X)=0Cov(xki,ui|xki)=0

yûXXযেমনটি প্রায়শই এফজিএসএল অনুমানকারীদের ক্ষেত্রে হয়। এটি সমতল সম্পর্কের মূল্যায়ন থেকে পৃথক। আমি আশা করি এটি বিষয়গুলিকে আরও স্পষ্ট করে তুলতে সহায়তা করে।


1
var(u^)var(y)=SSETSS=1R2corr(y,u^)=1R2

2
এই উত্তর সম্পর্কে আমি যা আকর্ষণীয় বোধ করি তা হ'ল পারস্পরিক সম্পর্ক সর্বদা ইতিবাচক।
সম্ভাব্যতা ব্লগ

Var(y)

@ প্রোব্যাবিলিটিস্লোগিক: নিশ্চিত না যে আমি আপনার পদক্ষেপটি অনুসরণ করতে পারি কিনা। এটি তখন বর্গাকার 1+ (1/1-R ^ 2) এর অধীনে হবে, যা (2-আর ^ 2) / (1-আর ^ 2)? তবুও সত্য যে এটি ইতিবাচক থেকে যায়। স্বজ্ঞাততাটি হ'ল যদি আপনার কাছে একটি স্ক্র্যাটারপ্লোটের মধ্য দিয়ে একটি লাইন থাকে এবং আপনি এই লাইনটি ত্রুটিগুলি নিয়ে এই রেখাটি প্রত্যাহার করেন তবে এটি স্পষ্ট হওয়া উচিত যে সেই রেখার মান y এর সাথে অবশিষ্টাংশের মানও বাড়বে। এর কারণ, অবশিষ্টাংশগুলি নির্মাণের মাধ্যমে y এর উপর ইতিবাচকভাবে নির্ভরশীল।
মাজেতে

@ এমপিক্টাস: এক্ষেত্রে ম্যাট্রিক্স একটি স্কেলার হয়ে যায় কারণ আমরা কেবলমাত্র এক মাত্রায় Y কাজ করছি।
মাজতে

6

আদমের উত্তর ভুল। এমনকি এমন কোনও মডেল যা পুরোপুরি ডেটা ফিট করে, আপনি এখনও অবশিষ্ট এবং নির্ভরশীল ভেরিয়েবলের মধ্যে উচ্চ সম্পর্ক স্থাপন করতে পারেন। কোনও কারণেই কোনও রিগ্রেশন বই আপনাকে এই সম্পর্কটি যাচাই করতে বলছে না। আপনি ডঃ ড্র্যাপারের "প্রয়োগিত রিগ্রেশন অ্যানালাইসিস" বইয়ের উত্তর খুঁজে পেতে পারেন।


3
এমনকি যদি সঠিক হয় তবে এটি সিভি এর মানদণ্ড অনুসারে উত্তরের চেয়ে বেশি জোর দেওয়া, @ জেফ। আপনার দাবিটি বিশদভাবে / ব্যাক আপ করতে আপনি কি আপত্তি করবেন? এমনকি ড্রপার ও স্মিথের কেবল একটি পৃষ্ঠা নম্বর এবং সংস্করণই যথেষ্ট।
গুং - মনিকা পুনরায়

4

সুতরাং, অবশিষ্টাংশগুলি হ'ল আপনার অব্যক্ত বৈকল্পিকতা, আপনার মডেলের পূর্বাভাসগুলির মধ্যে পার্থক্য এবং আপনি যে মডেলিং করছেন তার প্রকৃত ফলাফল। অনুশীলনে, লিনিয়ার রিগ্রেশন মাধ্যমে উত্পাদিত কয়েকটি মডেলের সমস্ত অবশিষ্টাংশ শূন্যের কাছাকাছি থাকবে যদি না কোনও যান্ত্রিক বা স্থির প্রক্রিয়া বিশ্লেষণ করতে লিনিয়ার রিগ্রেশন ব্যবহার না করা হয়।

আদর্শভাবে, আপনার মডেলের অবশিষ্টাংশগুলি এলোমেলো হওয়া উচিত, যার অর্থ সেগুলি আপনার স্বতন্ত্র বা নির্ভরশীল ভেরিয়েবলগুলির সাথে সম্পর্কযুক্ত হওয়া উচিত নয় (আপনি মানদণ্ডের ভেরিয়েবলটিকে কী বলে)। লিনিয়ার রিগ্রেশন-এ, আপনার ত্রুটি শব্দটি সাধারণত বিতরণ করা হয়, সুতরাং আপনার অবশিষ্টাংশগুলিও সাধারণভাবে বিতরণ করা উচিত। আপনার যদি উল্লেখযোগ্য বহিরাগত থাকে, বা যদি আপনার অবশিষ্টাংশগুলি আপনার নির্ভরশীল ভেরিয়েবল বা স্বতন্ত্র ভেরিয়েবলগুলির সাথে সম্পর্কযুক্ত হয় তবে আপনার মডেলটিতে আপনার সমস্যা আছে।

আপনার যদি অবশিষ্টাংশের উল্লেখযোগ্য বহিরাগত এবং অস্বস্তিকর বিতরণ থাকে, তবে বহিরাগতরা আপনার ওজনগুলি (বেতাস) আঁকছেন এবং আমি আপনার ওজনগুলিতে আপনার পর্যবেক্ষণের প্রভাবগুলি পরীক্ষা করার জন্য ডিএফবিটাস গণনা করার পরামর্শ দেব। যদি আপনার অবশিষ্টাংশগুলি আপনার নির্ভরশীল ভেরিয়েবলের সাথে সম্পর্কিত হয়, তবে আপনি যে অ্যাকাউন্টিং করছেন না তা উল্লেখযোগ্য পরিমাণে অব্যক্ত বিবর্তন রয়েছে। আপনি স্বতঃসংশ্লিষ্টতার কারণে একই জিনিসটির বারবার পর্যবেক্ষণ বিশ্লেষণ করলে আপনি এটিও দেখতে পাবেন। আপনার অবশিষ্টাংশগুলি আপনার সময় বা সূচী ভেরিয়েবলের সাথে সম্পর্কিত কিনা তা দেখে এটি পরীক্ষা করা যায়। যদি আপনার অবশিষ্টাংশগুলি আপনার স্বাধীন ভেরিয়েবলের সাথে সম্পর্কিত হয়, তবে আপনার মডেলটি হেটেরোস্কেস্টাস্টিক (দেখুন: http://en.wikedia.org/wiki/Heteroscedasticity)। আপনার ইনপুট ভেরিয়েবলগুলি সাধারণত বিতরণ করা হয়েছে কিনা তা আপনার পরীক্ষা করা উচিত (যদি না থাকে তবে) আপনার আরও তথ্য তৈরির জন্য আপনার ডেটা স্কেলিং বা রূপান্তর করার বিষয়টি বিবেচনা করা উচিত (সর্বাধিক সাধারণ ধরণের লগ এবং স্কোয়ার-রুট) more স্বাভাবিক।

উভয় ক্ষেত্রে, আপনার অবশিষ্টাংশগুলি এবং আপনার স্বাধীন ভেরিয়েবলগুলির ক্ষেত্রে আপনার মানগুলি নিশ্চিত করার জন্য আপনাকে একটি কিউকিউ-প্লট নেওয়া উচিত এবং পাশাপাশি কোলমোগোরভ-স্মারনভ পরীক্ষা করা উচিত (এই নির্দিষ্ট প্রয়োগটি কখনও কখনও লিলিফর্স পরীক্ষা হিসাবে উল্লেখ করা হয়) make একটি সাধারণ বিতরণ ফিট।

তিনটি জিনিস যা দ্রুত এবং এই সমস্যাটি মোকাবেলায় সহায়ক হতে পারে, আপনার অবশিষ্টাংশের মাঝারি পরীক্ষা করছে, এটি যতটা সম্ভব শূন্যের কাছাকাছি হওয়া উচিত (ত্রুটি শব্দটি কীভাবে সংযুক্ত করা হয় তার ফলস্বরূপ গড় প্রায় সর্বদা শূন্য হবে) লিনিয়ার রিগ্রেশন), আপনার অবশিষ্টাংশগুলিতে স্ব-সংশ্লেষণের জন্য একটি ডুর্বিন-ওয়াটসন পরীক্ষা (বিশেষত আমি আগে উল্লেখ করেছি, আপনি যদি একই জিনিসগুলির একাধিক পর্যবেক্ষণের দিকে তাকিয়ে থাকেন), এবং একটি আংশিক অবশিষ্ট প্লট সম্পাদন আপনাকে ভিন্ন ভিন্নতা এবং বহিরাগতদের সন্ধানে সহায়তা করবে।


আপনাকে অনেক ধন্যবাদ. আপনার ব্যাখ্যা আমার জন্য খুব সহায়ক।
Jfly

1
+1 ভাল, ব্যাপক উত্তর। আমি 2 পয়েন্ট নেটপিক করতে যাচ্ছি। "যদি আপনার অবশিষ্টাংশগুলি আপনার স্বতন্ত্র ভেরিয়েবলগুলির সাথে সম্পর্কিত হয় তবে আপনার মডেলটি হেটেরোসেকস্টেস্টিক" - আমি বলব যদি আপনার অবশিষ্টাংশের বৈকল্পিকতা যদি একটি স্বাধীন ভেরিয়েবলের স্তরের উপর নির্ভর করে তবে আপনার ভিন্ন ভিন্নতা আছে। এছাড়াও, আমি "কুখ্যাতভাবে বিশ্বাসযোগ্য নয়" হিসাবে বর্ণিত কলমোগোরভ-স্মারনভ / লিলিফর্স পরীক্ষাগুলি শুনেছি এবং অনুশীলনে আমি অবশ্যই এটি সত্য বলে পেয়েছি। কিউকিউ প্লট বা একটি সাধারণ হিস্টোগ্রামের ভিত্তিতে বিষয়গত সংকল্প করা ভাল।
rolando2

4
এই থ্রেডের অন্যান্য উত্তরে যেমন ব্যাখ্যা করা হয়েছে যে "আপনার মডেল থেকে অবশিষ্টাংশগুলি ... আপনার ... নির্ভরশীল পরিবর্তনশীল" এর সাথে সম্পর্কযুক্ত হওয়া উচিত নয় দাবি। আপনি কি এই পোস্টে সংশোধন করতে আপত্তি করবেন?
গুং - মনিকা পুনরায়

1
(-1) আমার মনে হয় এই পোস্টটি জিজ্ঞাসা করা প্রশ্নের সাথে যথেষ্ট প্রাসঙ্গিক নয়। এটি সাধারণ পরামর্শ হিসাবে ভাল তবে সম্ভবত "ভুল প্রশ্নের সঠিক উত্তর" এর একটি মামলা।
সম্ভাব্যতাব্লোগিক
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.