মাল্টিকলাইনারিটির উপস্থিতিতে রিজ রিগ্রেশন কেন ভাল কাজ করে?

Question

আমি রিজ রিগ্রেশন সম্পর্কে শিখছি এবং জানি যে মাল্টিকোলাইনারিটির উপস্থিতিতে রিজ রিগ্রেশন আরও ভাল কাজ করে। আমি ভাবছি কেন এটি সত্য? হয় স্বজ্ঞাত উত্তর বা গাণিতিক উত্তর সন্তুষ্টিজনক হবে (উভয় প্রকারের উত্তর আরও তৃপ্তিদায়ক হবে)।

এছাড়াও, আমি জানি যে always সর্বদা পাওয়া যায় তবে সঠিক কলিনারিটির উপস্থিতিতে রিজ রিগ্রেশন কতটা ভাল কাজ করে (একটি স্বতন্ত্র ভেরিয়েবল অন্যটির লিনিয়ার ফাংশন)?$\hat{\beta}$

Comments

আপনার দ্বিতীয় প্রশ্ন সম্পর্কে: আপনার যদি সঠিক কোলিনারিটি থাকে তবে আপনি কেবলমাত্র একটি পরিবর্তনশীল সরিয়ে ফেলতে পারেন। আপনার রিজ রিগ্রেশন দরকার নেই।

— পিটার ফ্লুম - মনিকা পুনরায়

Answer 1

$x_1$$x_2$$y$এটি তৃতীয় মাত্রা) এবং সেখানে প্রায়শই একটি খুব পরিষ্কার "সেরা" বিমান হয়। কিন্তু কোলিনারিটির সাথে সম্পর্কটি চারদিকে ছড়িয়ে থাকা ডেটা সহ 3 টি মাত্রিক স্থানের মধ্য দিয়ে সত্যই একটি লাইন। তবে রিগ্রেশন রুটিন একটি লাইনে একটি বিমানকে ফিট করার চেষ্টা করে, তাই এমন একটি সীমাহীন সংখ্যক প্লেন রয়েছে যা এই লাইনের সাথে পুরোপুরি ছেদ করে, কোন প্লেনটি নির্বাচিত হয় তা ডেটাগুলির প্রভাবশালী পয়েন্টগুলির উপর নির্ভর করে, এই পয়েন্টগুলির মধ্যে একটিকে কিছুটা পরিবর্তন করুন এবং "সেরা" ফিটিং প্লেনটি বেশ খানিকটা বদলে যায়। রিজ রিগ্রেশন যা করে তা হ'ল নির্বাচিত বিমানটিকে সরল / স্যানার মডেলগুলির দিকে টানানো (পক্ষপাত মানের মান 0)। উত্স থেকে একটি রাবার ব্যান্ডের কথা চিন্তা করুন (0,0,0) বিমানটিতে 0 টি বিমানের দিকে টানলে ডেটা একটি সুন্দর আপস করার জন্য ডেটা এটিকে সরিয়ে ফেলবে।

Comments

@ ট্রাইনা, এমন চিত্র রয়েছে যা চিত্র সহকারে সমস্যা সম্পর্কে গ্রেগ কী বলেছিল তা চিত্রিত করে।

— ttnphns

ওএলএস রিগ্রেশন-এ বহুবিধ লাইনারিটি কেন একটি সমস্যা এটি সম্পর্কে এটি খুব ভাল জ্যামিতিক ব্যাখ্যা! তবে আমি এখনও পুরোপুরি বুঝতে পারি না যে কেন বিমানটিকে উত্সের দিকে টানলে সমস্যা সংশোধন হয়।

— ট্রায়নাডোস্ট্যাট

@ ট্রাইনাডোস্ট্যাট, মূল উদ্বেগ হ'ল বহুমুখীকরণের সাথে অনুমানের পরিবর্তনশীলতা, একটি একক ডাটা পয়েন্টে একটি ছোট পরিবর্তনটি সহগের অনুমানকে (পক্ষপাত ছাড়াই) ঝাঁকুনির সাথে ঝুলতে পারে। 0-এর দিকে পক্ষপাতদুষ্ট করে সহগের অনুমানের খুব বেশি পরিবর্তন হয় না (কারণ যে রাবার ব্যান্ডটি তাদের 0-এর দিকে টানছে) একক ডাটা পয়েন্টে সামান্য পরিবর্তন করে, পরিবর্তনশীলতা হ্রাস করে।

— গ্রেগ স্নো

ছবিগুলির লিঙ্কটির জন্য ধন্যবাদ @ এনটিএনএফএনএস: এটি ছাড়া উত্তর পাওয়ার জন্য এটি বেশ প্রসারিত ছিল। এখন গ্রেগের উত্তর স্পষ্ট এবং ESLII (২ য় সংস্করণ) এ এই লাইনটি বুঝতে আমার কী দরকার ছিল: "একটি ভেরিয়েবলের উপর বন্যভাবে বড় ধনাত্মক সহগ তার পারস্পরিক সম্পর্কযুক্ত কাজিনের উপর অনুরূপ বৃহত্তর negativeণাত্মক সহগ দ্বারা বাতিল করা যেতে পারে on তার উপর একটি আকার বাধা চাপিয়ে By গুণাগুণগুলি এই সমস্যাটির উপশম হয় "

— টমমাসো গেরিনি