আমরা কেন রিগ্রেশনর ত্রুটিগুলির অনুমানগুলি পরীক্ষা করতে অবশিষ্টাংশ ব্যবহার করি?


10

ধরা যাক আমাদের একটি মডেল আছে Yi=β0+β1Xi1+β2Xi2++βkXik+ϵi

রিগ্রেশনটির অনেকগুলি অনুমান রয়েছে যেমন ত্রুটি ϵiসাধারণত গড় শূন্য এবং ধ্রুবক বৈচিত্র সহ বিতরণ করা উচিত। অবশিষ্টাংশের স্বাভাবিকতার জন্য পরীক্ষা করার জন্য আমাকে একটি সাধারণ কিউকিউ প্লট ব্যবহার করে এই অনুমানগুলি পরীক্ষা করতে শেখানো হয়েছেei=YiY^i এবং অবশিষ্টাংশগুলি ধ্রুবক বৈকল্পিকতার সাথে শূন্যের কাছাকাছি পরিবর্তিত হয় তা যাচাই করার জন্য একটি অবশিষ্টাংশ বনাম লাগানো প্লট।

তবে এই পরীক্ষাগুলি সমস্ত ত্রুটি নয়, অবশিষ্টাংশে রয়েছে on

আমি যা বুঝি সেগুলি থেকে ত্রুটিগুলি তাদের 'সত্য' অর্থ মূল্য থেকে প্রতিটি পর্যবেক্ষণের বিচ্যুতি হিসাবে সংজ্ঞায়িত হয়। সুতরাং, আমরা লিখতে পারিϵi=YiE[Yi]। এই ত্রুটিগুলি আমাদের দ্বারা পর্যবেক্ষণ করা যায় না। *

আমার প্রশ্নটি হ'ল: ত্রুটিগুলি অনুকরণ করার ক্ষেত্রে অবশিষ্টাংশগুলি কীভাবে ভাল কাজ করে?

যদি অনুমানগুলি অবশিষ্টাংশগুলিতে সন্তুষ্ট বলে মনে হয়, এর অর্থ কি তারা ত্রুটিগুলিতে সন্তুষ্ট? অনুমানগুলি পরীক্ষা করার মতো আরও কি আরও ভাল উপায় আছে, যেমন কোনও পরীক্ষার ডেটাসেটে মডেলটিকে ফিট করা এবং সেখান থেকে অবশিষ্টাংশগুলি পাওয়া?


* তদুপরি, এর জন্য কি মডেলটি সঠিকভাবে নির্দিষ্ট করা দরকার হয় না ? যে, প্রতিক্রিয়া সত্যই ভবিষ্যদ্বাণীকারীদের সাথে একটি সম্পর্ক আছেX1,X2, মডেল দ্বারা নির্দিষ্ট উপায়।

আমরা যদি কিছু ভবিষ্যদ্বাণী অনুপস্থিত (বলুন, Xk+1 to Xp), তারপরে প্রত্যাশা E[Yi]=β0+β1Xi1+β2Xi2++βkXi এমনকি সত্যিকারের গড়টিও হতে পারে না এবং একটি ভুল মডেল সম্পর্কে আরও বিশ্লেষণ অর্থহীন বলে মনে হয়।

মডেলটি সঠিক কিনা তা আমরা কীভাবে পরীক্ষা করব?

উত্তর:


9

অবশিষ্টাংশগুলি ত্রুটির শর্তগুলির আমাদের অনুমান

এই প্রশ্নের সংক্ষিপ্ত উত্তর তুলনামূলকভাবে সহজ: একটি রিগ্রেশন মডেলের অনুমানগুলি ত্রুটির শর্তগুলির আচরণ সম্পর্কে অনুমান এবং অবশিষ্টাংশগুলি আমাদের ত্রুটি শর্তগুলির অনুমান। ইপসো ফ্যাক্ট , পর্যবেক্ষিত অবশিষ্টাংশের আচরণের পরীক্ষাটি আমাদের জানায় যে ত্রুটির শর্তাবলী সম্পর্কে অনুমানগুলি প্রশংসনীয় কিনা।

আরও সাধারণভাবে যুক্তির এই সাধারণ লাইনটি বোঝার জন্য, এটি একটি স্ট্যান্ডার্ড রিগ্রেশন মডেলের অবশিষ্টাংশের আচরণ সম্পর্কে বিশদভাবে পরীক্ষা করতে সহায়তা করে। স্বতন্ত্র হোমসকেস্টেস্টিক স্বাভাবিক ত্রুটির শর্তাবলী সহ একটি স্ট্যান্ডার্ড একাধিক লিনিয়ার রিগ্রেশন এর অধীনে অবশিষ্টাংশের ভেক্টরের বিতরণ জানা যায় যা আপনাকে রিগ্রেশন মডেলটির অন্তর্নিহিত বিতরণীয় অনুমানগুলি পরীক্ষা করতে দেয় allows মূল ধারণাটি হ'ল আপনি রিগ্রেশন অনুমানের অধীনে অবশিষ্টাংশের ভেক্টরের বিতরণটি সন্ধান করতে পারেন এবং তারপরে অবশিষ্টাংশের মানগুলি এই তাত্ত্বিক বিতরণের সাথে বুদ্ধিমানভাবে মেলে কিনা তা পরীক্ষা করে দেখুন। তাত্ত্বিক অবশিষ্টাংশ বিতরণ থেকে বিচ্যুতিগুলি দেখায় যে ত্রুটির শর্তগুলির অন্তর্নিহিত অনুমিত বিতরণ কিছু ক্ষেত্রে ভুল।

আপনি যদি অন্তর্নিহিত ত্রুটি বিতরণ ব্যবহার করেন εআমি~আইআইডি এন(0,σ2) একটি স্ট্যান্ডার্ড রিগ্রেশন মডেলের জন্য এবং আপনি সহগের জন্য ওএলএস অনুমান ব্যবহার করেন, তারপরে অবশিষ্টাংশের বিতরণকে মাল্টিভারিয়েট সাধারণ বিতরণ হিসাবে দেখানো যেতে পারে:

R=(আমি-)ε~এন(0,σ2(আমি-)),

কোথায় =এক্স(এক্সটিএক্স)-1এক্সটিহয় টুপি ম্যাট্রিক্স রিগ্রেশন জন্য। অবশিষ্ট ভেক্টর ত্রুটি ভেক্টরকে নকল করে, তবে বৈকল্পিক ম্যাট্রিক্সটিতে অতিরিক্ত গুণক শব্দ রয়েছেআমি-। রিগ্রেশন অনুমানগুলি পরীক্ষা করার জন্য আমরা ছাত্রী অবশিষ্টাংশগুলি ব্যবহার করি, যার প্রান্তিক টি-বিতরণ রয়েছে:

গুলিআমিRআমিσ^ext(1-আমি)~টি(df প্রয়োগরেস-1)

(এই সূত্রটি বহিরাগত ছাত্রী অবশিষ্টাংশের জন্য, যেখানে ভেরিয়েন্স অনুমানকারী বিবেচ্য চলকটি বাদ দেয় The মানগুলি আমি=আমি,আমিহ্যাট ম্যাট্রিক্সের তির্যক মানগুলি হ'ল লিভারেজ মানগুলি । ছাত্রী অবশিষ্টাংশগুলি স্বাধীন নয়, তবে যদিএনবড়, তারা স্বাধীন কাছাকাছি। এর অর্থ হ'ল প্রান্তিক বিতরণ একটি সাধারণ জ্ঞাত বিতরণ তবে যৌথ বন্টন জটিল)) এখন সীমা থাকলে ifলিমএন(এক্সটিএক্স)/এন=Δ বিদ্যমান, তারপরে এটি দেখানো যেতে পারে যে সহগের অনুমানকারীরা সত্যিকারের রিগ্রেশন সহগগুলির ধারাবাহিক অনুমানকারী এবং অবশিষ্টাংশগুলি সত্য ত্রুটির শর্তগুলির ধারাবাহিক অনুমানকারী।

মূলত, এর অর্থ হ'ল আপনি ছাত্র-ছাত্রী অবশিষ্টাংশগুলিকে টি-বিতরণের সাথে তুলনা করে ত্রুটি শর্তগুলির জন্য অন্তর্নিহিত বিতরণমূলক অনুমানগুলি পরীক্ষা করেন। ত্রুটি বিতরণের অন্তর্নিহিত প্রতিটি বৈশিষ্ট্য (লিনিয়ারিটি, সমকামিতা, অস্বচ্ছল ত্রুটি, স্বাভাবিকতা) পরীক্ষিত অবশিষ্টাংশের বিতরণের আনুষাঙ্গিক বৈশিষ্ট্যগুলি ব্যবহার করে পরীক্ষা করা যেতে পারে। যদি মডেলটি সঠিকভাবে নির্দিষ্ট করা থাকে তবে বড়এন জন্য অবশিষ্টাংশগুলি সত্য ত্রুটির শর্তগুলির কাছাকাছি হওয়া উচিত এবং তাদের অনুরূপ বিতরণ ফর্ম রয়েছে।

রিগ্রেশন মডেল থেকে একটি ব্যাখ্যামূলক ভেরিয়েবলের নির্গমন সহগের অনুমানকারীগুলিতে বাদ দেওয়া পরিবর্তনশীল পক্ষপাতের দিকে পরিচালিত করে এবং এটি অবশিষ্ট বন্টনকে প্রভাবিত করে। অবশিষ্ট ভেক্টরের গড় এবং প্রকরণ উভয়ই বাদ দেওয়া ভেরিয়েবল দ্বারা প্রভাবিত হয়। যদি রিগ্রেশনটিতে বাদ দেওয়া পদগুলি তবে অবশিষ্টাংশের ভেক্টরটি । যদি বাদ দেওয়া ম্যাট্রিক্স in এর ডেটা ভেক্টরগুলি আইআইডি স্বাভাবিক ভেক্টর এবং ত্রুটির শর্তাবলী থেকে পৃথক থাকে তবেজেডδR=(আমি-)(জেডδ+ +ε)জেডজেডδ+ +ε~এন(μ1,σ*2আমি) যাতে অবশিষ্ট বন্টন হয়ে যায়:

R=(আমি-)(জেডδ+ +ε)~এন(μ(আমি-)1,σ*2(আমি-))

যদি মডেলটিতে ইতিমধ্যে একটি ইন্টারসেপ্ট শব্দটি থাকে (যেমন, ইউনিট ভেক্টর the ডিজাইনের ম্যাট্রিক্সে থাকে) তবে1(আমি-)1=0, যার অর্থ অবশিষ্টাংশগুলির স্ট্যান্ডার্ড বিতরণ ফর্মটি সংরক্ষিত। যদি মডেলটিতে কোনও বাধা পদ না থাকে তবে বাদ পড়া ভেরিয়েবলটি অবশিষ্টাংশের জন্য একটি শূন্য-অর্থ দিতে পারে। বিকল্পভাবে, যদি বাদ দেওয়া ভেরিয়েবল আইআইডি স্বাভাবিক না হয় তবে এটি স্ট্যান্ডার্ড অবশিষ্টাংশ বিতরণ থেকে অন্যান্য বিচ্যুতি ঘটতে পারে। এই পরবর্তী ক্ষেত্রে, অবশিষ্ট পরীক্ষাগুলি বাদ দেওয়া ভেরিয়েবলের উপস্থিতির ফলে ফলাফল সনাক্ত করার সম্ভাবনা কম; তাত্ত্বিক অবশিষ্ট অবদান থেকে বিচ্যুতি বাদ দেওয়া পরিবর্তকের ফলে ঘটেছিল বা কেবল অন্তর্ভুক্ত ভেরিয়েবলগুলির সাথে অশুভ-সম্পর্কের কারণে (এবং তর্কাতীতভাবে এটি কোনও ক্ষেত্রে একই জিনিস) কিনা তা সাধারণত নির্ধারণ করা সম্ভব হয় না।


1
ব্যাপক প্রতিক্রিয়া জন্য আপনাকে ধন্যবাদ। আপনি কোথায় পেয়েছেন তা জিজ্ঞাসা করতে পারি ? আমার কাছে মনে হচ্ছেR=(আমি-)εR=ওয়াই-ওয়াই^=(আমি-)ওয়াই
mai

1
যেহেতু আপনার কাছে রয়েছে যাতে । hx=x(Ih)x=0r=(Ih)Y=(Ih)(xβ+ϵ)=(Ih)ϵ
বেন - মনিকা 22

-4

সাধারণত, পদগুলির অবশিষ্টাংশ এবং ত্রুটি একই জিনিসকে বোঝায়। যদি আপনার মডেলটির কোনও ভবিষ্যদ্বাণী না থাকে তবে ই (ওয়াই) প্রকৃতপক্ষে ওয়াই এর মাঝামাঝি tors এবং ভবিষ্যদ্বাণী করা ওয়াই।


3
"সাধারণত, পদগুলির অবশিষ্টাংশ এবং ত্রুটিগুলির অর্থ একই জিনিস" " আমি এটি সত্য বলে মনে করি না - যতদূর আমি বুঝতে পেরেছি, অবশিষ্টাংশগুলি পর্যবেক্ষণকৃত মান এবং পূর্বাভাসিত মানের মধ্যে পার্থক্য পরিমাপ করে, ত্রুটিগুলি পর্যবেক্ষণ করা মান এবং সত্যিকার গড় মানের মধ্যে পার্থক্য পরিমাপ করে।
মাই

1
কঠোরভাবে বলা ত্রুটি এবং অবশিষ্টাংশগুলি প্রতিশব্দ নয়। পূর্বেরগুলি এলোমেলো পরিবর্তনশীল, পরবর্তীগুলি উপলব্ধি।
রিচার্ড হার্ডি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.