মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন বনাম বেশ কয়েকটি অবিভাজনিত রিগ্রেশন মডেল

Question

অবিচ্ছিন্ন রিগ্রেশন সেটিংসে আমরা মডেল করার চেষ্টা করি

$$y = X\beta +noise$$

যেখানে পর্যবেক্ষণগুলির একটি ভেক্টর এবং প্রেডিক্টরগুলির সাথে ডিজাইন ম্যাট্রিক্স । সমাধানটি হ'ল ।$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

মাল্টিভারিয়েট রিগ্রেশন সেটিংসে আমরা মডেল করার চেষ্টা করি

$$Y = X\beta +noise$$

যেখানে হল পর্যবেক্ষণ এবং বিভিন্ন সুপ্ত ভেরিয়েবলের একটি ম্যাট্রিক্স । সমাধানটি হ'ল ।$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

আমার প্রশ্ন কিভাবে যে করণ চেয়ে ভিন্ন হয় বিভিন্ন univariate রৈখিক রিগ্রেশনের? আমি এখানে পড়েছি যে পরবর্তী ক্ষেত্রে আমরা নির্ভরশীল ভেরিয়েবলগুলির মধ্যে পারস্পরিক সম্পর্ক বিবেচনা করি, তবে আমি এটি গণিত থেকে দেখি না।$p$

Comments

ফ্রিচ-ওয়া-লাভল উপপাদ্যটি দেখুন।

— আরএসএম

@ এ্যামফোটি: সুতরাং আমি যদি সঠিকভাবে বুঝতে পারি তবে সেগুলি একই are লোকেরা কেন তাদের সাথে অন্যরকম আচরণ করে?

— রায়

Answer 1

শাস্ত্রীয় মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন সেটিংয়ে আমাদের কাছে মডেলটি রয়েছে:

$$Y = X \beta + \epsilon$$

যেখানে স্বতন্ত্র ভেরিয়েবলগুলি উপস্থাপন করে, একাধিক প্রতিক্রিয়া ভেরিয়েবলগুলি উপস্থাপন করে এবং একটি আইড গাউসিয়ান শব্দ শব্দ। শোরগোলের শূন্য গড় আছে, এবং প্রতিক্রিয়া ভেরিয়েবলগুলি জুড়ে পারস্পরিক সম্পর্কযুক্ত হতে পারে। ওজনগুলির সর্বাধিক সম্ভাব্য সমাধানটি সর্বনিম্ন স্কোয়ার সমাধানের সাথে সমান (শব্দের সংযোগ নির্বিশেষে) [1] [2]:$X$$Y$$\epsilon$

$$\hat{\beta} = (X^T X)^{-1} X^T Y$$

এটি প্রতিটি প্রতিক্রিয়া ভেরিয়েবলের জন্য স্বতন্ত্রভাবে পৃথক রিগ্রেশন সমস্যা সমাধানের সমতুল্য। এই সত্যটি থেকে দেখা যায় যে এর ম কলাম (জন্য ওজন ধারণকারী তম আউটপুট পরিবর্তনশীল) গুন পাওয়া যেতে পারে দ্বারা তম কলাম ( তম প্রতিক্রিয়া ভেরিয়েবলের মান সহ)$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

তবে মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন পৃথক পৃথক রিগ্রেশন সমস্যাগুলি সমাধানের থেকে পৃথক পৃথক কারণ পরিসংখ্যানগত অনুমানের পদ্ধতিগুলি একাধিক প্রতিক্রিয়া ভেরিয়েবলের মধ্যে পারস্পরিক সম্পর্কযুক্ত (যেমন দেখুন [২], [৩], [৪])। উদাহরণস্বরূপ, শব্দের কোভারিয়েন্স ম্যাট্রিক্স নমুনা বিতরণ, পরীক্ষার পরিসংখ্যান এবং অন্তর অন্তর্কে নিয়ে দেখায়।

যদি আমরা প্রতিটি প্রতিক্রিয়া ভেরিয়েবলকে তার নিজস্ব সেট কোভারিয়েট করার অনুমতি দেয় তবে আরেকটি তফাত উত্থাপিত হয়:

$$Y_i = X_i \beta_i + \epsilon_i$$

যেখানে তম প্রতিক্রিয়া ভেরিয়েবলের প্রতিনিধিত্ব করে , এবং এবং এর সাথে সম্পর্কিত কোভারিয়েটস এবং শব্দ শব্দটির উপস্থাপনা করে। উপরে হিসাবে, শব্দ শব্দটি প্রতিক্রিয়া ভেরিয়েবল জুড়ে পারস্পরিক সম্পর্কযুক্ত হতে পারে। এই সেটিংয়ে এমন অনুমানকারী উপস্থিত রয়েছে যা সর্বনিম্ন স্কোয়ারের চেয়ে বেশি দক্ষ এবং প্রতিটি প্রতিক্রিয়া ভেরিয়েবলের জন্য পৃথক রিগ্রেশন সমস্যা সমাধানে হ্রাস করা যায় না। উদাহরণস্বরূপ, [1] দেখুন।$Y_i$$i$$X_i$$\epsilon_i$

তথ্যসূত্র

1. জেলনার (1962) । আপাতদৃষ্টির সাথে সম্পর্কিত নয় এমন রিগ্রেশনগুলি এবং সমষ্টি পক্ষপাতের জন্য পরীক্ষাগুলি অনুমান করার একটি কার্যকর পদ্ধতি।
2. হেলভিগ (2017) । বহুবিভাজনীয় লিনিয়ার রিগ্রেশন [স্লাইডস]
3. ফক্স এবং ওয়েজবার্গ (২০১১) । আর এর মধ্যে বহুবিভাজনীয় রৈখিক মডেলগুলি [পরিশিষ্ট: প্রয়োগিত প্রতিরোধের জন্য একটি আর সাহচর্য]
4. মৈত্র (2013) । মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন মডেল। [স্লাইড]

Comments

ধন্যবাদ, এটি এখন আরও পরিষ্কার। আপনার এই সূত্রটির জন্য একটি রেফারেন্স আছে? আমি কেবল সর্বনিম্ন বর্গাকার ফর্মটির মুখোমুখি হয়েছি। এছাড়াও, আপনি কি পাইথন প্যাকেজ জানেন যে সরঞ্জামগুলি?

— রায়

দ্বিতীয় রেফারেন্স অনুরোধ। কেউ কি পরস্পরের সম্পর্কটিকে কেবলমাত্র ফলাফলের covariance হিসাবে গ্রহণ করে, বা শর্তসাপেক্ষ covariance যদি কেউ কিছু বাছাই করে?

— জেনেরিক_উজার

আমি ১০০% নিশ্চিত নই যে @ ইউজার ২০১60০ এগুলি উল্লেখ করছে তবে আমি মনে করি তারা কি মনে রেখেছিল সমীকরণ / সাধারণীকরণ অনুমানের সমীকরণের অনুমান করে। Eov / GEE যখন সামঞ্জস্য কাঠামোর ভুল বানান হয় ততক্ষণ আপনি সামঞ্জস্য হন এবং আপনি প্রত্যাশিত covariance কাঠামো সেট করতে পারেন। যাইহোক, এই মডেলগুলি পুনরাবৃত্তভাবে একটি বদ্ধ ফর্মের সাথে ওএলএসের বিরোধী হিসাবে অনুমান করা হয়। পাইথনে আপনার জিআইই / ইই অনুমান করতে সক্ষম হওয়া উচিত তবে আমি প্যাকেজগুলি জানি না।

— iacobus

@ রায় আমি উত্তর এবং পুনরায় উল্লেখগুলি পুনরায় লিখেছি। আমার আসল পোস্টটি কেসটি ধরে নিয়েছিল যা এখন সংশোধিত পোস্টের শেষ অনুচ্ছেদ। আমি পরে আরও বিস্তারিত যুক্ত করার চেষ্টা করব।

— ব্যবহারকারী20160