একাধিক প্রতিরোধের অনুমান: স্বাভাবিকতা অনুমান ধ্রুবক বৈকল্পিক অনুমানের থেকে কীভাবে আলাদা?

Question

আমি পড়েছি যে একাধিক রিগ্রেশন মডেল ব্যবহারের জন্য এগুলি শর্তগুলি:

1. মডেলের অবশিষ্টাংশগুলি প্রায় স্বাভাবিক
2. অবশিষ্টাংশের পরিবর্তনশীলতা প্রায় ধ্রুবক
3. অবশিষ্টাংশ স্বাধীন, এবং
4. প্রতিটি পরিবর্তনশীল ফলাফলের সাথে রৈখিকভাবে সম্পর্কিত।

1 এবং 2 কীভাবে আলাদা?

আপনি এখানে একটি দেখতে পারেন:

সুতরাং উপরের গ্রাফটি বলে যে 2 টি স্ট্যান্ডার্ড বিচ্যুতি দূরে অবশিষ্টাংশ ওয়াই-টুপি থেকে 10 দূরে। এর মানে হল যে অবশিষ্টাংশগুলি একটি সাধারণ বিতরণ অনুসরণ করে। আপনি এই 2 থেকে অনুমান করতে পারবেন না? যে অবশিষ্টাংশের পরিবর্তনশীলতা প্রায় ধ্রুবক?

Comments

আমি তর্ক করবে অর্ডার যারা ভুল। গুরুত্বের ক্রম হিসাবে আমি বলতে চাই 4, 3, 2, 1। এই ভাবে, প্রতিটি অতিরিক্ত অনুমান মডেলটিকে আপনার প্রশ্নের আদেশের বিপরীতে, বৃহত্তর সমস্যার সমাধান করতে ব্যবহার করার অনুমতি দেয়, যেখানে সর্বাধিক সীমাবদ্ধ ধারণা প্রথম হয়।

— ম্যাথু ড্রুরি

অনুমানমূলক পরিসংখ্যানগুলির জন্য এই অনুমানগুলি প্রয়োজনীয়। স্কোয়ার ত্রুটির যোগফল হ্রাস করার জন্য কোনও অনুমান করা হয় না।

— ডেভিড লেন

আমি বিশ্বাস করি যে আমি বোঝাতে চাইছি 1, 3, 2, 4। 1 মডেলটির পক্ষে মোটামুটি কার্যকর হওয়ার জন্য কমপক্ষে আনুমানিক 1 টি পূরণ করতে হবে, মডেলটিকে সামঞ্জস্যপূর্ণ হওয়ার জন্য 3 প্রয়োজন, অর্থাত্ আপনি আরও তথ্য পাওয়ার সাথে সাথে স্থিতিশীল কিছুতে রূপান্তরিত করুন 3 , 2 অনুমানটি দক্ষ হওয়ার জন্য প্রয়োজন, অর্থাত একই লাইনটি অনুমান করার জন্য ডেটা ব্যবহারের আর কোনও ভাল উপায় নেই এবং আনুমানিক পরামিতিগুলিতে হাইপোথিসিস পরীক্ষা চালানোর জন্য কমপক্ষে প্রায় 4 টি প্রয়োজন needed

— ম্যাথু ড্রুরি

এ। গেলম্যানের ব্লগ-পোস্টে বাধ্যতামূলক লিঙ্ক লিনিয়ার রিগ্রেশন-এর মূল অনুমানগুলি কী? ।

— usεr11852 বলেছেন মনিক

আপনার নিজের কাজটি না হলে দয়া করে আপনার চিত্রের জন্য উত্স দিন a

— নিক কক্স

Answer 1

1. অবশিষ্টাংশের সাধারণ বিতরণ :

আপনি যখন আত্মবিশ্বাসের ব্যবধান এবং / অথবা পি-মানগুলি পাওয়ার চেষ্টা করছেন তখন স্বাভাবিকতার শর্তটি কার্যকর হয়।

কোনওগাউস মার্কোভ শর্ত নয়।$\varepsilon\vert X\sim N (0,\sigma^2 I_n)$

---

এই প্লটটি নীল বর্ণের জনসংখ্যার পয়েন্টগুলির বন্টনকে চিত্রিত করার চেষ্টা করে (জনসংখ্যার রিগ্রেশন রেখাটি একটি কঠিন সায়ান লাইন হিসাবে), বড় হলুদ বিন্দুতে একটি নমুনা ডেটাসেটের উপর চাপিয়ে দেওয়া হয় (তার আনুমানিক রিগ্রেশন লাইন ড্যাশকৃত হলুদ রেখায় প্লট করা হয়েছিল)। স্পষ্টতই এটি কেবল ধারণাগত ব্যবহারের জন্য, যেহেতু এর প্রতিটি মানের জন্য অনন্ত পয়েন্ট থাকবে - সুতরাং এটি কোনও গড়ের চারপাশে মানগুলির অবিচ্ছিন্ন বন্টন হিসাবে প্রত্যাবর্তনের ধারণার গ্রাফিক্যাল আইকনোগ্রাফিক বিচক্ষণতা (পূর্বাভাসিত মানের সাথে মিলিত) রেজিস্ট্রারের প্রতিটি প্রদত্ত মান বা "ব্যাখ্যাযোগ্য পরিবর্তনশীল" এর "স্বতন্ত্র" ভেরিয়েবলের)$X = x$

যদি আমরা সিমুলেটেড "জনসংখ্যা" ডেটাতে ডায়াগনস্টিক আর প্লটগুলি চালনা করি তবে আমরা ...

এক্সের সমস্ত মানের সাথে অবশিষ্টাংশের বৈচিত্রটি ধ্রুবক ।$X.$

সাধারণ প্লটটি হ'ল:

---

ধারণামূলকভাবে, একাধিক রেজিস্টার বা ব্যাখ্যামূলক ভেরিয়েবল প্রবর্তন করা ধারণাটি পরিবর্তন করে না। আমি প্যাকেজের হ্যান্ডস অন টিউটোরিয়ালটি swirl()বুঝতে পেরেছি যে একাধিক রিগ্রেশন কীভাবে একে অপরের বিরুদ্ধে নির্ভরশীল ভেরিয়েবলগুলি একে অপরের বিরুদ্ধে মডেলটিতে অবশিষ্ট, অব্যক্ত বর্ণনাকে এগিয়ে নিয়ে যাওয়ার প্রক্রিয়াটি সত্যই বুঝতে সহায়তা করে; বা আরও সহজভাবে, সরল রৈখিক প্রতিরোধের একটি ভেক্টোরাল ফর্ম :

সাধারণ কৌশলটি হ'ল একজনকে রেজিস্ট্রার বাছাই করা এবং অন্য সমস্ত ভেরিয়েবলগুলি প্রতিস্থাপনের অবশিষ্টাংশ দ্বারা সেই ব্যক্তির বিরুদ্ধে প্রতিস্থাপন করা।

---

২. অবশিষ্টাংশের পরিবর্তনশীলতা প্রায় ধ্রুবক (সমকামিতা) :

$E[ \varepsilon_i^2 \vert X ] = \sigma^2$

এই অবস্থা লঙ্ঘনের সঙ্গে সমস্যা হল:

ওএলএস অনুমানের জন্য হিটারোসকস্টাস্টিটির গুরুতর পরিণতি রয়েছে। যদিও ওএলএসের অনুমানকারী পক্ষপাতহীন রয়ে গেছে, আনুমানিক এসই ভুল। এ কারণে আত্মবিশ্বাসের অন্তর এবং হাইপোথেসিস পরীক্ষার উপর নির্ভর করা যায় না। এছাড়াও, ওএলএসের অনুমানকারী আর ব্লু নয়।

---

এই চক্রান্তে স্থির থাকার বিপরীতে রেজিস্ট্রারের মান (ব্যাখ্যাযোগ্য ভেরিয়েবল) এর সাথে বৈকল্পিকতা বৃদ্ধি পায়। এক্ষেত্রে অবশিষ্টাংশগুলি সাধারণত বিতরণ করা হয়, তবে বর্ণনামূলক ভেরিয়েবলের সাথে এই সাধারণ বিতরণের পরিবর্তনের পরিবর্তন (বৃদ্ধি) হয়।

লক্ষ করুন যে "সত্য" (জনসংখ্যা) রিগ্রেশন রেখা প্রথম প্লট (কঠিন গা blue় নীল) এর মধ্যে সমকামী অধীনে জনসংখ্যা নিবন্ধন রেখার সাথে সম্মান করে পরিবর্তিত হয় না, তবে এটি স্বজ্ঞাতভাবে স্পষ্ট যে অনুমানগুলি আরও অনিশ্চিত হতে চলেছে।

ডেটাসেটের ডায়াগনস্টিক প্লটগুলি হ'ল ...

যা "ভারী-লেজযুক্ত" বিতরণের সাথে সামঞ্জস্যপূর্ণ , যা বোঝায় যে আমাদের সমস্ত "পাশের পাশে" উলম্ব গাউসিয়ান প্লটগুলি একটি একক মধ্যে টেলিস্কোপ করা উচিত ছিল, এটির বেল আকারটি ধরে রাখতে পারে তবে খুব দীর্ঘ লেজ রয়েছে have

---

@ গ্লেেন_বি "... দুজনের মধ্যে পার্থক্যের সম্পূর্ণ কভারেজও হোমোসটেস্টেস্টিক-তবে-সাধারণ নয় বলে বিবেচিত হবে।"

অবশিষ্টাংশগুলি অত্যন্ত স্কিউড এবং ব্যাখ্যাযোগ্য ভেরিয়েবলের মানগুলির সাথে বৈচিত্রটি বৃদ্ধি পায়।

এগুলি ডায়াগোনস্টিক প্লট হবে ...

চিহ্নিত ডান স্কিউ-নেসের সাথে সম্পর্কিত।

লুপটি বন্ধ করতে, আমরা হোমসকেস্টেস্টিক মডেলটিতে ত্রুটিগুলি বিহীন বিতরণের সাথে স্কিউ-নেস দেখতে চাই:

ডায়াগোনস্টিক প্লট হিসাবে ...

Comments

আপনাকে অনেক ধন্যবাদ. আমি অনুভব করেছি যে ভিজ্যুয়ালাইজেশন সরঞ্জাম হিসাবে ব্যবহার করা জনগণের সামগ্রিক বিবেচ্যতা ব্রিজ করা প্রয়োজন। আমি কোডটি পোস্ট করতে পারি তবে আমি দ্বিধায় পড়েছি যেহেতু কিছুটা সৃজনশীল গণিত ছিল :-)

— আন্তোনি পেরেল্লদা

উভয়কে সন্তুষ্ট করে একটি প্লট দেখিয়ে এবং তারপরে সাধারণ-তবে-না-সমকামী দেখিয়ে সাধারণ ত্রুটি এবং সমকামী ত্রুটির মধ্যে পার্থক্যের চিত্রণটি দুর্দান্ত excellent আমি অনুমান করি যে উভয়ের মধ্যে পার্থক্যের সম্পূর্ণ কভারেজটি হোমোসটেস্টেস্টিক-তবে-সাধারণ নয় not [আমি আপনি এই ধরনের একটি চিত্রণ যোগ সুপারিশ না, কিন্তু এটি একটি দরকারী তৃতীয় বাহু যখন অনুমানের বিবেচনায় মানুষ তাদের হৃদয় ও মন জয় রাখার জন্য।]

— Glen_b -Reinstate মনিকা

Answer 2

এটি ওপি-র দোষ নয়, তবে আমি এইভাবে পড়া ভুল ক্লান্তি হতে শুরু করছি।

আমি পড়েছি যে একাধিক রিগ্রেশন মডেল ব্যবহারের জন্য এগুলি শর্তগুলি:

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

"মাল্টিপল রিগ্রেশন মডেল" হ'ল একটি লেবেল যা ঘোষণা করে যে একটি ভেরিয়েবল অন্যান্য ভেরিয়েবলের ক্রিয়াকলাপ হিসাবে প্রকাশ করা যেতে পারে।

মডেলটির সত্যিকারের ত্রুটি শব্দ বা রেশিয়ালগুলির বিশেষত কোনও কিছুর প্রয়োজন নেই - যদি অবশিষ্টাংশগুলি স্বাভাবিক দেখায় তবে এটি পরবর্তী পরিসংখ্যানগত অনুক্রমের পক্ষে ভাল ।

ত্রুটি শর্তটির পরিবর্তনশীলতা (বৈকল্পিকতা) প্রায় ধ্রুব হওয়া উচিত নয় - এটি না হলে আমাদের কাছে হেটেরোস্কেস্টাস্টিটি সহ একটি মডেল রয়েছে যা আজকাল বরং সহজেই পরিচালনা করা হয়।

অবশিষ্টগুলি কোনও ক্ষেত্রেই স্বতন্ত্র নয়, যেহেতু প্রতিটি সম্পূর্ণ নমুনার কাজ। সত্য ত্রুটি পদ স্বাধীন -if তারা না আমরা autocorrelation, যা, যদিও আরো কঠিন heteroskedasticity চেয়ে একটি ডিগ্রী পর্যন্ত মোকাবেলা করা যাবে সঙ্গে একটি মডেল আছে প্রয়োজন হবে না।

প্রতিটি পরিবর্তনশীল ফলাফলের সাথে রৈখিকভাবে সম্পর্কিত হওয়া প্রয়োজন না। আসলে, "লিনিয়ার" এবং "অ-রৈখিক" রিগ্রেশনের মধ্যে পার্থক্যের সাথে ভেরিয়েবলগুলির মধ্যে সম্পর্কের কোনও সম্পর্ক নেই - তবে কীভাবে অজানা সহগগুলি সম্পর্কের মধ্যে প্রবেশ করে of

যা বলতে পারে তা হ'ল যদি প্রথম তিনটি ধরে রাখা হয় এবং চতুর্থটি যথাযথভাবে বর্ণিত হয় তবে আমরা "ক্লাসিকাল নরমাল লিনিয়ার রিগ্রেশন মডেল" পাই যা একাধিক রিগ্রেশন মডেলের মাত্র একটি (যদিও historতিহাসিকভাবে প্রথম)।

Comments

$X\beta$$X$$\beta$$X$

এবং প্রশ্নটি একেবারে মূল ধারণা অনুপস্থিত যে ত্রুটি শর্তগুলির শর্তসাপেক্ষ প্রত্যাশা শূন্য!

— ম্যাথু গন

@ ম্যাথেজগান ওয়েল, ... আমরা এই মডেলটি নিয়ে কী করছি সে সম্পর্কে এটি একটি বিশাল আলোচনার উদ্বোধন করে: আমরা যদি "ডিটারিস্টিনিস্টিক / ইঞ্জিনিয়ারিং" দৃষ্টিভঙ্গি গ্রহণ করি তবে আমাদের অবশ্যই এই ধারণাটি নিশ্চিত করতে হবে যে স্পেসিটিওটিও সত্যিকার অর্থে নির্ধারিত ডিটারিস্টোনিক এক। আমরা যদি সুনির্দিষ্ট প্রত্যাশাবিদদের সম্মতি দিয়ে শর্তাধীন প্রত্যাশা ফাংশনটি অনুমান করতে চাই , তবে কোডটি স্বয়ংক্রিয়ভাবে সন্তুষ্ট হয় (বা কমপক্ষে তার দুর্বল রূপ, অরথোগোনালিটি)।

— অ্যালেকোস পাপাদোপল্লোস

@ অ্যালোকোসপ্যাপাডোপ্লোস হ্যাঁ, এক অর্থে, সর্বনিম্ন স্কোয়ারগুলি সর্বদা আপনাকে কোনও কিছুর একটি অনুমান দেয়! তবে এটি আপনি চান এমন কিছু নাও হতে পারে। ওপি যদি নির্দিষ্ট রেজিস্ট্রারদের সাথে সম্মতভাবে একটি লিনিয়ার, শর্তসাপেক্ষ প্রত্যাশা ফাংশন চায় তবে আমি স্বীকার করি শর্তটি স্বয়ংক্রিয়ভাবে ধরে নেওয়া হয়েছে। তবে ওপি যদি কিছু প্যারামিটার অনুমানের চেষ্টা করে থাকে তবে অরথোগোনালটির অবস্থাটিকে ন্যায়সঙ্গত করা সমালোচনাযোগ্য!

— ম্যাথু গন

@ ম্যাথেজগান সত্যই, এটি অবশ্যই তাই।

— অ্যালেকোস পাপাদোপল্লোস

Answer 3

আন্তোনি পরেল্লাদার চমৎকার গ্রাফিকাল ইলাস্ট্রেশন সহ একটি সঠিক উত্তর ছিল।

আমি দুটি বক্তব্যের মধ্যে পার্থক্য সংক্ষিপ্ত করতে কেবল একটি মন্তব্য যুক্ত করতে চাই

1. মডেলের অবশিষ্টাংশগুলি প্রায় স্বাভাবিক

2. অবশিষ্টাংশের পরিবর্তনশীলতা প্রায় ধ্রুবক

• বিবৃতি 1 অবশিষ্টাংশের "আকৃতি" দেয় "বেলের আকৃতির বক্ররেখা" ।
• বিবৃতি 2 রিফাইন বিস্তার এর "আকৃতি" 3 ঘণ্টা আকৃতির রেখাচিত্র আছে অ্যান্টনি Parellada এর চক্রান্ত 3 (ধ্রুবক), কিন্তু তারা বিভিন্ন প্রচার করা হচ্ছে।

Answer 4

রিগ্রেশন অনুমানগুলির একক অনন্য সেট নেই, তবে সেখানে বিভিন্ন প্রকরণ রয়েছে। এই অনুমানের কয়েকটি সেট অন্যদের চেয়ে কঠোর, অর্থাত্ সংকীর্ণ। এছাড়াও, বেশিরভাগ ক্ষেত্রে আপনার প্রয়োজন হয় না এবং অনেক ক্ষেত্রে সত্যই ধরে নেওয়া যায় না যে বিতরণটি স্বাভাবিক।

আপনি যে অনুমানগুলি উদ্ধৃত করেছেন সেগুলি সর্বাধিকের চেয়ে কঠোর, তবুও সেগুলি অযথাই আলগা ভাষায় তৈরি করা হয়েছে। উদাহরণস্বরূপ, ঠিক প্রায় কি ? এছাড়াও, এটি অবশিষ্টাংশ নয় যার উপর আমরা অনুমানগুলি চাপিয়ে দিয়েছি, এটির ত্রুটি । অবশিষ্টাংশগুলি ত্রুটিগুলির অনুমান, যা পর্যবেক্ষণযোগ্য নয়। এটি আমাকে বলে যে আপনি একটি দুর্বল উত্স থেকে উদ্ধৃত করছেন। এটি নিক্ষেপ.

আপনার প্রশ্নের সংক্ষিপ্ত উত্তর হ'ল যদি আপনি আপনার ত্রুটির জন্য কোনও বিতরণ যেমন, শিক্ষার্থীদের টি বিতরণ বিবেচনা করেন (আমি আমার উত্তরে সঠিক শব্দটি ব্যবহার করতে যাচ্ছি) তবে আপনি দেখতে পাচ্ছেন যে কীভাবে ত্রুটিগুলি "প্রায় ধ্রুবক" প্রকরণের হতে পারে সাধারণ বিতরণ না করে এবং কীভাবে "প্রায় ধ্রুবক" বৈকল্পিক হওয়া স্বাভাবিক বিতরণের প্রয়োজন হয় না। অন্য কথায়, না, আপনি অতিরিক্ত প্রয়োজনীয়তা ছাড়াই অন্যের কাছ থেকে একটি ধারণা অনুমান করতে পারবেন না।

$$y_i=X_i\beta+\varepsilon_i\\ \varepsilon_i\sim\mathcal N(0,\sigma^2)$$

1. $\mathcal N(.)$
2. $\sigma$$\varepsilon_i$
3. $\mathcal N$$X$
4. $y=X\beta$

সুতরাং যখন আমরা সমস্ত অনুমান এক সাথে এইভাবে এক বা দুটি সমীকরণে বান্ডিল করি তখন মনে হয় তারা সমস্ত একে অপরের উপর নির্ভরশীল, যা সত্য নয়। আমি এটি পরবর্তী প্রদর্শন করতে যাচ্ছি।

উদাহরণ 1

$$y_i=X_i\beta+\varepsilon_i\\ \varepsilon_i\sim t_\nu$$ $\nu$

উদাহরণ 2

$$y_i=X_i\beta+\varepsilon_i\\ \varepsilon_i\sim\mathcal N(0,\sigma^2 i)$$ $i$

Answer 5

আমি আলোচনায় একটি নতুন মাত্রা যুক্ত করার এবং এটিকে আরও সাধারণ করার চেষ্টা করেছি। খুব উদ্বিগ্ন হলে দয়া করে আমাকে ক্ষমা করুন।

একটি রিগ্রেশন মডেল একটি পরিসংখ্যানগত সম্পর্কের দুটি প্রয়োজনীয় উপাদান প্রকাশের একটি আনুষ্ঠানিক উপায়:

1. $Y$$X$
2. একটি পয়েন্ট বিক্ষিপ্ত পরিসংখ্যানগত সম্পর্কের বক্ররেখা প্রায়।

$Y$

পোস্ট করে যে:

1. $Y$$X$

2. $X$

$Y$

$Y$$X$

একইভাবে, রিগ্রেশন বক্ররেখা , যা সম্ভাব্যতা বিতরণের মাধ্যম এবং X এর স্তরের মধ্যে সম্পর্ককে বর্ণনা করে$Y$$X$$Y$$X$

উত্স: ফলিত লিনিয়ার স্ট্যাটিস্টিকাল মডেলস, কেএনএনএল

$Y$$X$

$$Y_i = \beta_0\ + \beta_1X_i + \epsilon$$

$Y_i$$X_i$

$\beta_0\\$$\beta_1\\$ পরামিতি হয়

$\epsilon\\$স্বতন্ত্র $N(O,\sigma^2)$

$i$

সুতরাং, E ( Y | X ) অনুমান করতে$E(Y|X)$$\beta_0\\$, $\beta_1\\$এবং $\sigma^2$$\beta_0\\$, $\beta_1\\$এবং $\sigma^2$ এবং তাদের শূন্যের সমান করে। এটি স্বাভাবিকতার অনুমানের অধীনে তুলনামূলক সহজ হয়ে যায়।

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

1 এবং 2 কীভাবে আলাদা?

প্রশ্ন আসছে

আপনার দ্বারা বর্ণিত প্রথম এবং দ্বিতীয় অনুমানগুলি শূন্য গড় এবং ধ্রুবক বৈকল্পিকতা সহ স্বাভাবিকতার একই অনুমানের দুটি অংশ। আমি মনে করি যে প্রশ্নটি উত্থাপিত হওয়া উচিত দুটি অনুমানের মধ্যে পার্থক্যের চেয়ে সাধারণ ত্রুটি রিগ্রেশন মডেলটির জন্য দুটি অনুমানের কী কী প্রভাব রয়েছে। আমি বললাম যে এটি আপেলকে কমলার সাথে তুলনা করার মতো বলে মনে হচ্ছে কারণ আপনি এর পরিবর্তনশীলতার চেয়ে পয়েন্টের বিচ্ছুরার বিতরণ এবং অনুমানের মধ্যে পার্থক্য খুঁজে পাওয়ার চেষ্টা করছেন। পরিবর্তনশীলতা একটি বন্টনের সম্পত্তি। সুতরাং আমি দুটি অনুমানের এর প্রভাব সম্পর্কে আরও প্রাসঙ্গিক প্রশ্নের উত্তর দেওয়ার চেষ্টা করব।

স্বাভাবিকতা অনুমানের অধীনে সর্বাধিক সম্ভাবনা অনুমানকারী (MLEs) একই হিসাবে লিস্ট স্কোয়ার estimators এবং MLEs হচ্ছে সম্পত্তি ভোগ হয় UMVUE যার অর্থ তারা সব estimators মধ্যে সর্বনিম্ন ভ্যারিয়েন্স আছে।

পরামিতি জন্য homoskedasticity আসাম্প্শান আপ ব্যবধান অনুমান এক সেট করতে দেয় $\beta_0\\$এবং $\beta_1\\$$t$

Comments

এটি রিগ্রেশনের একটি দুর্দান্ত অ্যাকাউন্ট। তবে কীভাবে এটি এই থ্রেডের নির্দিষ্ট প্রশ্নের উত্তর দেয়?

— হোবল