লিনিয়ার রিগ্রেশন, শর্তসাপেক্ষ প্রত্যাশা এবং প্রত্যাশিত মান

Question

ঠিক আছে কিছু বিষয় নিয়ে কিছুটা আড়াল, যে কোনও সাহায্যের অনেক প্রশংসা হবে। লিনিয়ার রিগ্রেশন মডেলটি শর্তসাপেক্ষ প্রত্যাশার মাধ্যমে ভবিষ্যদ্বাণী করা আমার বোধগম্য

$$E(Y|X)=b+Xb+e$$

1. আমরা কি ধরে নিয়েছি যে এবং উভয়ই কিছু অজানা সম্ভাব্যতা বন্টনের সাথে র্যান্ডম ভেরিয়েবল? এটি আমার বুঝতে পেরেছিল যে কেবলমাত্র অবশিষ্টাংশ এবং আনুমানিক বিটা সহগগুলি এলোমেলো পরিবর্তনশীল। যদি তাই হয়, উদাহরণস্বরূপ, যদি স্থূলত্ব এবং বয়স, আমরা শর্তাধীন প্রত্যাশা অর্থ গ্রহণ করি, যদি কোনও ব্যক্তি নমুনা জুড়ে হয় তবে স্থূল হওয়ার প্রত্যাশার মান কী , আমরা কি করব? যেখানে ? এই পর্যবেক্ষণগুলির জন্য কেবল y এর গড় (গাণিতিক গড়) নিন ? তবুও প্রত্যাশিত মানটি সংঘটিত হওয়ার সম্ভাবনা দ্বারা আমাদের এটির গুণ করতে হবে না? কিন্তু সেই অর্থে কীভাবে আমরা সম্ভাবনা খুঁজে পাই$X$$Y$$Y =$$X =$$E(Y|X=35)$$35$$X=35$$X$-বালু পরিবর্তনশীল ঘটবে যদি এটি বয়সের মতো কিছু উপস্থাপন করে?
2. যদি এক্সচেঞ্জ হারের মতো কিছু উপস্থাপন করে তবে এটিকে এলোমেলো হিসাবে শ্রেণিবদ্ধ করা হবে? সম্ভাব্যতা না জেনে পৃথিবীতে আপনি কীভাবে এর প্রত্যাশিত মান খুঁজে পাবেন? অথবা প্রত্যাশিত মানটি সীমাতে গড়ের সমান হবে।$X$
3. আমরা যদি নির্ভর না করি যে নির্ভরশীল ভেরিয়েবলগুলি সেগুলি নিজেরাই এলোমেলো পরিবর্তনশীল, যেহেতু আমরা সম্ভাবনার পক্ষে বাধা পাই না, সেগুলি আমরা কী বলে ধরে নিই? ঠিক ঠিক মান বা কিছু? তবে যদি এটি হয় তবে আমরা কীভাবে শুরুর জন্য একটি নন-র্যান্ডম ভেরিয়েবলের শর্ত রাখতে পারি? আমরা স্বাধীন ভেরিয়েবল বিতরণ সম্পর্কে কি ধরে নিতে পারি?

যদি কিছু কিছু বোধগম্য হয় না বা কারও কাছে সুস্পষ্ট হয় তবে দুঃখিত।

Comments

রিগ্রেশন কোফিলিটি একটি অজানা ধ্রুবক, এলোমেলো পরিবর্তনশীল নয় (অন্তত একটি ঘন ঘন ঘন ঘন বিশ্বের মধ্যে)। $\beta$

— রিচার্ড হার্ডি

শর্তাধীন প্রত্যাশা বলতে কী বোঝ? E (Y | X) এর অর্থ হ'ল Y প্রদত্ত এক্স, অর্থাত্ X এ Y এর প্রত্যাশিত মান Say বলুন, y = 5 + x, তারপরে আপনি E (Y | X = 5) 10। আমি আপনার পয়েন্টটি পেলাম না শর্তসাপেক্ষ প্রত্যাশা

— জমির আকিমবকভ

রিচার্ড হার্দি, এটা আমার বোঝা ছিল যে যেহেতু বিটা বিটার নমুনা বিতরণের মাধ্যম, এটি একটি সাধারণ বন্টন দ্বারা চিহ্নিত এলোমেলো পরিবর্তনশীল। আপনি জনসংখ্যার মডেল উল্লেখ করছেন?

— উইলিয়াম কারুলি

হ্যাঁ, জনসংখ্যার মডেল।

— রিচার্ড হার্ডি

@ উইলিয়াম্যাকারুলি রিচার্ড জনসংখ্যা প্যারামিটার এবং আনুমানিক প্যারামিটারের মধ্যে পার্থক্যের কথা উল্লেখ করছেন । অনুমিত প্যারামিটারটি প্রকৃতপক্ষে একটি এলোমেলো পরিবর্তনশীল তবে (অজানা) সত্য জনসংখ্যার প্যারামিটার একটি নির্দিষ্ট মান।

— ম্যাথু ড্রুরি

Answer 1

সম্ভাব্যতা মডেল রৈখিক রিগ্রেশনের অন্তর্নিহিত সালে X এবং Y হয় র্যান্ডম ভেরিয়েবল।

যদি তাই হয়, উদাহরণস্বরূপ, যদি Y = স্থূলত্ব এবং এক্স = বয়স, আমরা শর্তাধীন প্রত্যাশা E (Y | X = 35) অর্থ গ্রহণ করি, যদি কোনও ব্যক্তি নমুনা জুড়ে 35 হয় তবে স্থূল হওয়ার প্রত্যাশার মানটি কী, আমরা কি করব? এক্স পর্যালোচনা যেখানে X = 35? এই পর্যবেক্ষণগুলির জন্য কেবল y এর গড় (গাণিতিক গড়) নিন?

সেটা ঠিক. সাধারণভাবে, আপনি এক্সের প্রতিটি নির্দিষ্ট মানটিতে পর্যাপ্ত ডেটা পাবেন তা আপনি আশা করতে পারবেন না, বা এক্স যদি ক্রমাগত মানগুলি গ্রহণ করতে পারে তবে এটি করা অসম্ভব হতে পারে। তবে ধারণাগতভাবে, এটি সঠিক।

তবুও প্রত্যাশিত মানটি সংঘটিত হওয়ার সম্ভাবনা দ্বারা আমাদের এটির গুণ করতে হবে না?

নিঃশর্ত প্রত্যাশা এবং শর্তসাপেক্ষ প্রত্যাশা মধ্যে এটিই পার্থক্য । তাদের মধ্যে সম্পর্ক হচ্ছে$E[Y]$$E[Y \mid X = x]$

$$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$$

যা মোট প্রত্যাশার আইন।

তবে সেই বয়সের মতো কিছু উপস্থাপন করে আমরা কীভাবে সেই অর্থে এক্স-ভ্যালু ভেরিয়েবলের সম্ভাবনা খুঁজে পাই?

সাধারণত আপনি লিনিয়ার রিগ্রেশন না। যেহেতু আমরা নির্ধারণের চেষ্টা করছি , তাই আমাদের জানা দরকার নেই ।$E[Y \mid X]$$Pr[X = x]$

আমরা যদি স্বতন্ত্র ভেরিয়েবলগুলি নিজেরাই এলোমেলো ভেরিয়েবলগুলি ধরে না নিই, যেহেতু আমরা সম্ভাবনার পক্ষে বাধা পাই না, সেগুলি আমরা কী বলে ধরে নিই? ঠিক ঠিক মান বা কিছু?

আমরা কি অনুমান ওয়াই একটি র্যান্ডম পরিবর্তনশীল। লিনিয়ার রিগ্রেশন সম্পর্কে ভাবার একটি উপায় হ'ল সম্ভাব্যতা মডেল$Y$

$$Y \sim X \beta + N(0, \sigma)$$

যা বলে যে, একবার আপনি এক্স এর মান জানার পরে, ওয়াইয়ের এলোমেলো প্রকরণটি সামিট ig মধ্যে সীমাবদ্ধ ।$N(0, \sigma)$

Comments

আপনার মন্তব্যের জন্য আপনাকে অনেক ধন্যবাদ, আমাকে প্রচুর সাহায্য করেছেন helped চিয়ার্স।

— উইলিয়াম কারুলি

@ উইলিয়ামক্যারুলি আপনাকে স্বাগতম! যেকোন ফলো আপ প্রশ্ন জিজ্ঞাসা করতে দ্বিধা বোধ করি এবং আমি উত্তর দেওয়ার জন্য যথাসাধ্য চেষ্টা করব। আমি যদি সত্যিই আপনার সমস্ত বিষয় সাফ করে দিই তবে আপনি এটিও মেনে নিতে পারেন।

— ম্যাথু ড্র্যুরি

এটি একটি সূক্ষ্ম পোস্ট। তবে আমি মনে করি যে কোনও উত্তর যা (ক) স্থির হতে পারে বা (খ) একটি এলোমেলো পরিবর্তনশীল (নির্দিষ্ট স্বাধীনতার অনুমান সহ) হতে পারে তা স্বীকার করে না এমন প্রশ্নের উত্তর সত্যই প্রকাশিত উদ্বেগের সমাধান করছে না। $X$

— whuber

@ ম্যাথেজড্রুরি, কেবলমাত্র স্পষ্ট করে বলার জন্য, যদি আমার নির্ভরশীল পরিবর্তনশীলটি যদি বিনিময় হার বলে এবং আমার নির্ভরশীল দেশীয় সুদের হার, তবে

— উইলিয়াম কারুলি

@ ম্যাথিউড্রুরি @ ম্যাথিউড্রুরি, কেবল স্পষ্ট করে বলার জন্য, যদি আমার নির্ভরশীল পরিবর্তনশীলটি যদি বিনিময় হার বলে এবং আমার নির্ভরশীল দেশীয় সুদের হার, তবে ই (ই (এক্সচেঞ্জের হার | সুদের হার)) = ই (এক্সচেঞ্জের হার) = নমুনা গড় বিনিময় হারের? আমার অনুমান যা আমাকে বিভ্রান্ত করছে তা হ'ল আমি সবসময় প্রত্যাশাগুলি সম্ভাবনার ভিত্তিতে গণনা করা অনুমান করি, ম্যাট্রিক্স বীজগণিতের মাধ্যমে সমাধান করার সময় লিনিয়ার রিগ্রেশনকে শর্তাধীন প্রত্যাশা হিসাবে চিহ্নিত করার কারণ আমি দেখতে পাই না সামগ্রিক প্রত্যাশা গ্রহণের পরে different

— উইলিয়াম কারুলি

Answer 2

এই প্রশ্নের প্রচুর উত্তর থাকবে তবে আপনি কিছু আকর্ষণীয় পয়েন্ট তৈরি করার পরে আমি এখনও একটি যুক্ত করতে চাই। সরলতার জন্য আমি কেবল সাধারণ লিনিয়ার মডেলটি বিবেচনা করি।

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

একটি সাধারণ লিনিয়ার রিগ্রেশন বিশ্লেষণের মৌলিক সমীকরণটি হ'ল: এই সমীকরণটির অর্থ হ'ল এর গড় মান এর মানগুলিতে রৈখিক । কেউ লক্ষ্য করতে পারেন যে প্রত্যাশিত মানটি এবং পরামিতিগুলিতেও রৈখিক , এজন্য মডেলটিকে রৈখিক বলা হয়। এই মৌলিক সমীকরণটি আবার লিখিত হতে পারে: যেখানে গড় শূন্য সহ একটি এলোমেলো পরিবর্তনশীল:

$$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$$ $Y$$X$$\beta_0$$\beta_1$ $$Y = \beta_0+\beta_1X+\epsilon,$$ $\epsilon$$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random 

স্বাধীন ভেরিয়েবল এলোমেলো বা স্থির হতে পারে। নির্ভরশীল পরিবর্তনশীল সর্বদা এলোমেলো হয়ে যায়।$X$$Y$

সাধারণত একটি ধরে নেয় যে fixed নির্দিষ্ট সংখ্যা। এর কারণ হ'ল রিগ্রেশন বিশ্লেষণটি বিকাশ করা হয়েছিল এবং নকশাকৃত পরীক্ষাগুলির প্রসঙ্গে প্রচুর প্রয়োগ করা হয়েছিল, যেখানে এর মানগুলি পূর্বনির্ধারিত ছিল।$\{X_1,...,X_n\}$$X$

এর এলোমেলোভাবে ধরে নেওয়া হলেও এবং এর ন্যূনতম স্কোয়ার অনুমানের সূত্রগুলি একই , তবে এই অনুমানের বিতরণটি সাধারণত স্থির অবস্থার তুলনায় একই রকম হবে না ।$\beta_0$$\beta_1$$X$$X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

সহজ মডেল রৈখিক আপনি যদি একটি অনুমান নির্মাণ করতে পারেন ইন এর আনুমানিক পরিসংখ্যান উপর ভিত্তি করে এবং : যথা শর্তসাপেক্ষে গড় ন্যূনতম স্কোয়ার অনুমানকারীটির বর্ণনার সাথে আপনার মতামত রয়েছে যদি আপনার মডেল বিভিন্ন ওজনকে একক ফ্যাক্টরের মাত্রা হিসাবে বিবেচনা করে। এই মডেলগুলি ওয়ানওয়ে আনোভা নামেও পরিচিত, যা লিনিয়ার মডেলের (সাধারণ নয়) একটি বিশেষ ক্ষেত্রে।ই(ওয়াই|এক্স=এক্স) β 0 β 1 φ (এক্স)= β 0+ + β 1$\hat\varphi(x)$$\mathbb E(Y|X = x)$$\hat \beta_0$$\hat \beta_1$

$$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$$

Comments

এই পোস্টে কিছু মন্তব্য অস্বাভাবিক এবং ভুল ধারণা হতে পারে। প্রথমে, মডেলটিকে "লিনিয়ার" বলা হয় কারণ এটি প্যারামিটারগুলিতে রৈখিক , । দ্বিতীয়ত, এবং সম্পর্কে যা ধারণা করা হোক না কেন এলোমেলো পরিবর্তনশীল । তৃতীয়ত, শর্তসাপেক্ষ প্রত্যাশার আপনার চিকিত্সা সত্য শর্তাধীন বিতরণের সাথে পর্যবেক্ষণগুলিকে বিভ্রান্ত করে । অবশেষে, "কোনও পুনরাবৃত্ত মানগুলির" উল্লেখটি বিভ্রান্তিকর কারণ এটি অপ্রাসঙ্গিক। β 0 β 1$X$$\hat\beta_0$$\hat\beta_1$$X$

— whuber

@ শুভ "প্রথমত, মডেলটিকে" রৈখিক "বলা হয় কারণ এটি প্যারামিটারগুলিতে রৈখিক" আমি সমীকরণটির অর্থ ব্যাখ্যা করছিলাম, "রৈখিক মডেল" এর "লিনিয়ার" এর অর্থ নয়। "অনুমান 0 বিটা এবং 1 β নির্বিশেষে কী এক্স অধিকৃত হয় র্যান্ডম ভেরিয়েবল" নিশ্চয়, কিন্তু সেসব র্যান্ডম ভেরিয়েবল বন্টন উপায় উপর নির্ভর করে পরিবর্তন আচরণ এক্স

— Mur1lo

@ তবে আমি আপনার শেষ পয়েন্টগুলির সাথে একমত আমি আমার উত্তরটি সম্পাদন করতে যাচ্ছি যাতে আপনি নির্দেশিত সমস্ত বিষয় এটি পরিষ্কার হয়ে যায় are সাহায্য করার জন্য ধন্যবাদ.

— মার 1lo