লিনিয়ার রিগ্রেশনটিতে মাল্টিকোলাইনারিটি সমস্যা হওয়ায় এর কোন অন্তর্নিহিত ব্যাখ্যা আছে?

Question

উইকি সমস্যাগুলি নিয়ে আলোচনা করে যেগুলি যখন বহুবিধ লাইনারি রেজিস্ট্রেশনের একটি সমস্যা হয়ে থাকে arise মূল সমস্যাটি অস্থির প্যারামিটার অনুমানের বহুবিধ লাইনারিটির ফলাফল যা নির্ভরশীল ভেরিয়েবলগুলির উপর স্বতন্ত্র ভেরিয়েবলের প্রভাব মূল্যায়ন করা খুব কঠিন করে তোলে।

আমি সমস্যার পিছনে প্রযুক্তিগত কারণগুলি বুঝতে পারি ( , অসুস্থ শর্তযুক্ত ইত্যাদি রূপান্তর করতে সক্ষম নাও হতে পারি) তবে আমি এই সমস্যার জন্য আরও স্বজ্ঞাত (সম্ভবত জ্যামিতিক?) ব্যাখ্যা অনুসন্ধান করছি।এক্স ′$X' X$$X' X$

লিনিয়ার রিগ্রেশন প্রসঙ্গে মাল্টিকোল্লাইনারিটি সমস্যাযুক্ত কেন এমন কোনও জ্যামিতিক বা সম্ভবত অন্য কোনও সহজেই বোধগম্য ব্যাখ্যার ব্যাখ্যা রয়েছে?

Comments

সত্যিই দুর্দান্ত প্রশ্ন। কিছু বোঝার সর্বোত্তম উপায় হ'ল ব্যাখ্যার একাধিক দিক from

— তাল গ্যালি

সম্পর্কিত প্রশ্ন এবং ভিজ্যুয়াল ব্যাখ্যা stats.stackexchange.com/q/70899/3277

— ttnphns

Answer 1

এবং বিপরীতে রিজিট্রেসড এবং এবং অত্যন্ত ইতিবাচকভাবে সম্পর্কযুক্ত এমন সহজতম ক্ষেত্রে বিবেচনা করুন । তারপর প্রভাব উপর প্রভাব থেকে পৃথক করা কঠিন উপর কারণ কোনো বৃদ্ধি বৃদ্ধি সঙ্গে যুক্ত করা থাকে ।$Y$$X$$Z$$X$$Z$$X$$Y$$Z$$Y$$X$$Z$

এটি দেখার আরও একটি উপায় হল সমীকরণটি বিবেচনা করা। তাহলে আমরা লিখতে , তারপর সহগ মধ্যে বৃদ্ধি প্রতিটি ইউনিট বাড়ানোর ধরে রাখার সময় ধ্রুবক। তবে বাস্তবে, ধ্রুবক ধরে রাখা প্রায়শই অসম্ভব এবং এবং মধ্যে ইতিবাচক পারস্পরিক সম্পর্কটির অর্থ এই যে একক বৃদ্ধি সাধারণত একই সময়ে কিছুটা বৃদ্ধি সহ হয় ।$Y = b_0 + b_1X + b_2Z + e$ ওয়াই এক্স জেড জেড এক্স জেড এক্স $b_1$$Y$$X$$Z$$Z$$X$$Z$$X$$Z$

একটি অনুরূপ তবে আরও জটিল ব্যাখ্যা বহুবিধরনের অন্যান্য রূপের জন্য ধারণ করে।

Comments

+1 অত্যন্ত প্যাথলজিকাল কেস যেখানে এটি আরও হাইলাইট করে। এবং হবে। ওয়াই = বি 0 + বি 1 এক্স + বি 2 জেড + ই ওয়াই = বি 0 + ( বি 1 + বি 2 ) এক্স + 0 জেড + $X = Z$$Y = b_0 + b_1 X + b_2 Z + e$$Y = b_0 + (b_1 + b_2) X + 0 Z + e$

— vqv

+1 আমি এই উত্তরটি পছন্দ করি কারণ সর্বাধিক সাধারণ প্রশ্নগুলির একটি হল এরপরে কেন এবং । অনুমানের বাস্তবসম্মত ইনপুটগুলির জন্য অ্যাকাউন্ট করতে হবে। খ 2 < $b_1 > 0$$b_2 < 0$

— মুরাতো

Answer 2

আমি একবার সুশ খাচ্ছিলাম এবং ভেবেছিলাম এটি শর্তযুক্ত সমস্যার একটি ভাল স্বজ্ঞাত প্রদর্শন করতে পারে। মনে করুন আপনি কাউকে তাদের ঘাঁটিতে স্পর্শ করে দুটি লাঠি ব্যবহার করে বিমান দেখাতে চেয়েছিলেন।

আপনি সম্ভবত লাঠিগুলি একে অপরের কাছে অর্থোগোনাল ধরে রেখেছেন। বিমানটিতে আপনার হাতের যে কোনও ধরণের কাঁপুনির প্রভাবের ফলে আপনি লোকেরা কী দেখানোর আশায় ছিলেন তার চারপাশে কিছুটা ঝাঁকুনির কারণ হয়ে দাঁড়ায়, তবে আপনাকে কিছুক্ষণ দেখার পরে তারা কোন প্লেনটি প্রদর্শন করতে চেয়েছিলেন সে সম্পর্কে তারা ভাল ধারণা পান।

তবে আসুন আমরা আপনাকে লাঠিগুলির প্রান্তটি আরও কাছাকাছি আনতে এবং আপনার হাত কাঁপানোর প্রভাব দেখুন। এটি যে প্লেনটি গঠন করবে তা আরও বুনোভাবে পিচ করবে। আপনি যে প্লেনটি প্রদর্শনের চেষ্টা করছেন সেটি সম্পর্কে আপনার ধারণাটি পেতে আপনার শ্রোতাদের আরও বেশি সময় দেখতে হবে।

Comments

+1 আমি মনে করি এটি সরাসরি প্রশ্নের উত্তর দেয়। কারণ যদিও বহুবিধ অনুবাদ ব্যাখ্যাকে প্রভাবিত করে। এটি কেন ইস্যু ইহমো হ'ল অনুমানের স্থিরতা।

— মুরাতো

+1 এই মন্তব্য পোস্ট করার জন্য (এবং কেবল স্ট্যাকওভারফ্লোয়ের ইতিহাসে এই মন্তব্যটি) ব্যবহারকারীর নাম স্নাক্রিফাইস এর অধীনে।

— স্ট্যাকওভারফ্লেক্স

Answer 3

জ্যামিতিক পদ্ধতির মাধ্যমে দ্বারা বিস্তৃত উপস্থানে এর সর্বনিম্ন বর্গক্ষেত্রের প্রক্ষেপণ বিবেচনা করা উচিত ।$Y$$X$

বলুন আপনার কাছে একটি মডেল রয়েছে:

$E[Y | X] = \beta_{1} X_{1} + \beta_{2} X_{2}$

আমাদের অনুমানের স্থানটি ভেক্টর এবং by দ্বারা নির্ধারিত বিমান এবং সমস্যাটি যা ভেক্টর বর্ণনা করবে , একটি লিস্ট স্কোয়ার অভিক্ষেপ যে সমতল থেকে যায়।$X_{1}$$X_{2}$$(\beta_{1}, \beta_{2})$$\hat{Y}$$Y$

এখন ধরা যাক , অর্থাৎ তারা কলিনারি। তারপরে, এবং by দ্বারা নির্ধারিত উপ- কেবল একটি লাইন এবং আমাদের কেবলমাত্র এক ডিগ্রি স্বাধীনতা রয়েছে। সুতরাং আমরা যেমন দুটি জিজ্ঞাসা করা হয়েছিল নির্ধারণ করতে পারি না এবং$X_{1} = 2 X_{2}$$X_{1}$$X_{2}$$\beta_{1}$$\beta_{2}$

Comments

আমি অনেক আগেই উত্সাহিত করেছি কিন্তু আপনার উত্তরটি পুনরায় পড়া এটি আমাকে মনে করিয়ে দেয় যে আমি ক্রাইস্টেনসেন ( j.mp/atRp9w ) এর জটিল প্রশ্নগুলির প্লেন উত্তরগুলি সর্বদা পছন্দ করি ।

— chl

@ সিএইচএল: শীতল, অবশ্যই এটি পরীক্ষা করে নেবে। :)

— Ars

Answer 4

দু'জন লোক একটি পাহাড়কে একটি পাহাড়ের উপরে চাপ দিচ্ছে। আপনি তাদের প্রত্যেকটি কতটা শক্তভাবে চাপ দিচ্ছেন তা জানতে চান। মনে করুন আপনি তাদের দশ মিনিটের জন্য একসাথে ঠেলাঠেলি করেন এবং বোল্ডারটি 10 ​​ফুট চলে যায়। প্রথম লোকটি কি সমস্ত কাজ করেছিল এবং দ্বিতীয়টি কী এটি জাল করেছে? অথবা উলটা? নাকি 50-50? যেহেতু উভয় শক্তিই একই সময়ে কাজ করছে, আপনি কোনওটির শক্তি আলাদাভাবে আলাদা করতে পারবেন না। আপনি যা বলতে পারেন তা হ'ল তাদের সম্মিলিত শক্তি প্রতি মিনিটে 1 ফুট।

এখন কল্পনা করুন যে প্রথম লোকটি নিজে নিজে এক মিনিটের জন্য ধাক্কা দেয়, তারপরে দ্বিতীয় লোকটির সাথে নয় মিনিট, এবং একটি চূড়ান্ত মুহূর্তটি কেবল দ্বিতীয় লোকটিকে ধাক্কা দেয়। এখন আপনি প্রথম এবং শেষ মুহুর্তে প্রতিটি ব্যক্তির বল পৃথকভাবে নির্ধারণের জন্য বাহিনীর অনুমানগুলি ব্যবহার করতে পারেন। যদিও তারা এখনও একইসাথে মূলত কাজ করছে, কিছুটা পার্থক্য রয়েছে তা আপনাকে প্রতিটিটির জন্য বলের অনুমান পেতে দেয়।

আপনি যদি প্রত্যেকে পুরো দশ মিনিটের জন্য স্বতন্ত্রভাবে চাপ দিতে দেখেন তবে এটি বাহিনীতে কোনও বৃহত ওভারল্যাপ না থাকলে বাহিনীর আরও সুনির্দিষ্ট অনুমান দেয় tes

আমি এই কেসটিকে একজনের চড়াই উতরাই করা এবং অন্যজন ডাউনহিলকে চাপানোর জন্য পাঠকের পক্ষে অনুশীলন হিসাবে ছেড়েছি (এটি এখনও কার্যকর)।

নিখুঁত বহুবিশেষ আপনাকে পৃথকভাবে বাহিনী অনুমান করা থেকে বাধা দেয়; বহুবিশেষের নিকটবর্তীকরণ আপনাকে বৃহত্তর স্ট্যান্ডার্ড ত্রুটি দেয়।

Answer 5

এটি সম্পর্কে আমি যেভাবে ভাবছি তা তথ্যের দিক থেকে। প্রতিটি বলুন এবং সম্পর্কে কিছু তথ্য রয়েছে । আরো সম্পর্কিত এবং একে অপরের সাথে হয়, সম্পর্কে আরও তথ্যের বিষয়বস্তু থেকে এবং অনুরূপ বা ওভারল্যাপিং পয়েন্ট যে পুরোপুরি জন্য সম্পর্কিত হয়, এবং , এটি আসলে একই তথ্য সামগ্রী। যদি আমরা এখন ব্যাখ্যা করার জন্য একই (রিগ্রেশন) মডেলটিতে এবং put রাখি , মডেল সেই তথ্যটিকে "ভাগ" করার চেষ্টা করে যা ( এক্স 2 ওয়াই এক্স 1 এক্স 2 ওয়াই এক্স 1 এক্স 2 এক্স 1 এক্স 2 এক্স 1 এক্স 2 ওয়াই এক্স $X_{1}$$X_{2}$$Y$$X_{1}$$X_{2}$$Y$$X_{1}$$X_{2}$$X_{1}$$X_{2}$$X_{1}$$X_{2}$$Y$$X_{1}$ , ) কিছুটা নির্বিচারে পদ্ধতিতে এবং of এর প্রতিটির প্রায় মধ্যে থাকে। এটি ভাগ করার সত্যিই ভাল উপায় নেই, যেহেতু তথ্যের কোনও বিভাজন এখনও মডেলের ( , ) থেকে মোট তথ্য রাখে বাড়ে (পুরোপুরি পারস্পরিক এর জন্য, এটি সত্যিই একটি অ-শনাক্তকরণের ক্ষেত্রে)। এটি এবং of এর পৃথক সহগের জন্য অস্থির পৃথক অনুমানের দিকে পরিচালিত করে , যদিও আপনি পূর্বাভাসিত মানগুলি many অনেক রান ওভারে এবং এবং অনুমান$X_{2}$$Y$$X_{1}$$X_{2}$$X_{1}$$X_{2}$$X$$X_{1}$$X_{2}$$b_{1}X_{1}+b_{2}X_{2}$$b_{1}$$b_{2}$, এগুলি বেশ স্থিতিশীল হবে।

Answer 6

এটির জন্য আমার (খুব) সাধারণ ব্যক্তির অন্তর্নিহিততাটি হল যে ওএলএস মডেলের এক্স ভেরিয়েবেলে একটি নির্দিষ্ট স্তরের "সিগন্যাল" দরকার এটি সনাক্ত করার জন্য ওয়াইয়ের জন্য একটি "ভাল" ভবিষ্যদ্বাণী করে If যদি একই "সংকেত" বহু এক্স এর উপরে ছড়িয়ে থাকে (কারণ এগুলি পারস্পরিক সম্পর্কযুক্ত), তাহলে কোনও পার্সেন্টলেটেড এক্স এর কোনওই "প্রুফ" (পরিসংখ্যানগত তাত্পর্য) দিতে পারে না যে এটি আসল ভবিষ্যদ্বাণী।

পূর্ববর্তী (বিস্ময়কর) উত্তরগুলি কেন ক্ষেত্রে তা বোঝাতে দুর্দান্ত কাজ করে।

Answer 7

ধরে নিন যে দু'জন লোক সহযোগিতা করেছেন এবং বৈজ্ঞানিক আবিষ্কার করেছেন। তাদের অনন্য অবদানগুলি (যারা কী করেছিলেন) তা বলা সহজ, যখন দু'জন সম্পূর্ণ পৃথক ব্যক্তি (একজন তত্ত্বের লোক এবং অন্যটি পরীক্ষায় ভাল), যখন তাদের অনন্য প্রভাবগুলি (রিগ্রেশনের সহগ) আলাদা করা মুশকিল যমজ একইভাবে অভিনয়।

Answer 8

যদি দু'টি রেজিস্ট্রার নিখুঁতভাবে সম্পর্কিত হয় তবে তাদের সহগের গণনা করা অসম্ভব হবে; আমরা যদি সেগুলি গণনা করতে পারি তবে কেন তাদের ব্যাখ্যা করা কঠিন হবে তা বিবেচনা করা সহায়ক । প্রকৃতপক্ষে, এটি ব্যাখ্যা করে যে কেন ভেরিয়েবলগুলি ব্যাখ্যা করা শক্ত যে পুরোপুরি পারস্পরিক সম্পর্কযুক্ত নয় তবে সেগুলি সত্যই স্বতন্ত্র নয়।

মনে করুন যে আমাদের নির্ভরশীল ভেরিয়েবলটি নিউইয়র্কের মাছের প্রতিদিনের সরবরাহ এবং আমাদের স্বাধীন পরিবর্তনশীলগুলির মধ্যে সেদিন বৃষ্টি হয় কিনা তার একটি এবং সেদিন যে পরিমাণ টোপ কেনা হয়েছিল তার একটি অন্তর্ভুক্ত রয়েছে। আমরা যখন আমাদের ডেটা সংগ্রহ করি তখন আমরা যা বুঝতে পারি না তা হ'ল প্রতিবারই বৃষ্টি হয়, জেলেরা কোনও টোপ কিনে না এবং প্রতিবার তা না করে তারা অবিচ্ছিন্ন টোপ কিনে থাকে। সুতরাং টোপ এবং বৃষ্টি পুরোপুরি পারস্পরিক সম্পর্কযুক্ত এবং আমরা যখন আমাদের প্রতিরোধ পরিচালনা করি তখন আমরা তাদের সহগের হিসাব করতে পারি না। বাস্তবে, টোপ এবং বৃষ্টি সম্ভবত পুরোপুরি পারস্পরিক সম্পর্কযুক্ত নয় তবে আমরা তাদের উভয়কেই তাদের স্বল্প বয়স ছাড়িয়ে পরিষ্কার না করে উভয়কেই রেজিস্ট্রার হিসাবে অন্তর্ভুক্ত করতে চাই না।

Answer 9

আমি মনে করি যে ডামি ভেরিয়েবল ট্র্যাপটি আরও বহু কার্যকর সম্ভাবনা সরবরাহ করে যাতে বহুরঙ্গিকরূপ কেন একটি সমস্যা। স্মরণ করুন যে মডেলটিতে যখন আমাদের ধ্রুবক এবং ডামিগুলির একটি সম্পূর্ণ সেট থাকে তখনই এটি উত্থাপিত হয়। তারপরে, ডামির যোগফল একটিকে যুক্ত করে, ধ্রুবক, তাই বহুবিধ লাইন।

যেমন পুরুষদের জন্য একটি ডামি এবং মহিলাদের জন্য একটি:

$$y_i=\beta_0+\beta_1Man_i+\beta_2Woman_i+u_i$$

মান ব্যাখ্যা মধ্যে প্রত্যাশিত পরিবর্তন যে পরিবর্তন করা থেকে দেখা দেয় দুটো কারণে অনুরূপভাবে 1. 0 থেকে, মধ্যে প্রত্যাশিত পরিবর্তন যে পরিবর্তন করা থেকে দেখা দেয় দুটো কারণে 0 থেকে 1 থেকে। Y M a n i β 2 Y W O m a n $\beta_1$$Y$$Man_i$$\beta_2$$Y$$Woman_i$

তবে, আসলে কী প্রতিনিধিত্ব করবে ...? এটি , সুতরাং সেই ব্যক্তিদের জন্য প্রত্যাশিত ফলাফল যা পুরুষ বা মহিলা নয় ... এটি সম্ভবত নিরাপদ যে আপনি কার্যত সমস্ত ডেটাসেটের মুখোমুখি হবেন তা বলা নিরাপদ, এটি নয় জিজ্ঞাসা করার জন্য একটি দরকারী প্রশ্ন :-)। ই ( y i | M a n i = 0 , W o m a n i = 0 $\beta_0$$E(y_i|Man_i=0,Woman_i=0)$