যখন আউটপুট এবং ভবিষ্যদ্বাণীকারীদের মধ্যে কোনও উল্লেখযোগ্য সম্পর্ক নেই তখন কীভাবে একটি ভাল লিনিয়ার রিগ্রেশন মডেল পাওয়া সম্ভব?

Question

আমি ভেরিয়েবল / বৈশিষ্ট্যগুলির সেট ব্যবহার করে একটি লিনিয়ার রিগ্রেশন মডেলকে প্রশিক্ষণ দিয়েছি। এবং মডেল একটি ভাল অভিনয় আছে। যাইহোক, আমি বুঝতে পেরেছি যে পূর্বাভাসযুক্ত ভেরিয়েবলের সাথে ভাল সম্পর্কযুক্ত কোনও ভেরিয়েবল নেই। কিভাবে এটা সম্ভব?

Comments

এগুলি দুর্দান্ত উত্তর, তবে প্রশ্নটি উত্তরগুলি পূরণ করার চেষ্টা করছে এমন অনেকগুলি বিবরণ অনুপস্থিত my আমার মনে সবচেয়ে বড় প্রশ্নটি হ'ল "ভাল সম্পর্ক" by

— DHW

সম্ভাব্য সদৃশ একটি অননুমোদিত নিয়ন্ত্রণ পরিবর্তনশীল কার্যকর হতে পারে?

— ব্যবহারকারী3684792

Answer 1

ভেরিয়েবলের একটি জোড়া উচ্চ আংশিক সম্পর্ক (অন্য ভেরিয়েবলের প্রভাবের জন্য অ্যাকাউন্টিং) তবে কম - বা এমনকি শূন্য - প্রান্তিক পারস্পরিক সম্পর্ক (জোড়যুক্ত পারস্পরিক সম্পর্ক) প্রদর্শন করতে পারে।

যার অর্থ একটি প্রতিক্রিয়া, y এবং কিছু ভবিষ্যদ্বাণীকের মধ্যে যুগলতর পারস্পরিক সম্পর্ক, অন্যান্য ভেরিয়েবলের সংকলনের মধ্যে (লিনিয়ার) "ভবিষ্যদ্বাণীমূলক" মান সহ উপযুক্ত ভেরিয়েবল সনাক্তকরণে এক্স এর খুব কম মূল্য হতে পারে।

নিম্নলিখিত তথ্য বিবেচনা করুন:

   y  x
1  6  6
2 12 12
3 18 18
4 24 24
5  1 42
6  7 48
7 13 54
8 19 60

Y ও এক্স মধ্যে কোরিলেশন । আমি যদি সর্বনিম্ন স্কোয়ার লাইন আঁকি, তবে এটি পুরোপুরি অনুভূমিক এবং আর 2 প্রাকৃতিকভাবে 0 হতে চলেছে ।$0$$R^2$$0$

তবে আপনি যখন একটি নতুন ভেরিয়েবল জি যুক্ত করেন যা নির্দেশ করে যে দুটি গ্রুপের মধ্যে কোনটি পর্যবেক্ষণ এসেছে, এক্স অত্যন্ত তথ্যবহুল হয়ে ওঠে:

   y  x g
1  6  6 0
2 12 12 0
3 18 18 0
4 24 24 0
5  1 42 1
6  7 48 1
7 13 54 1
8 19 60 1

এর মধ্যে x এবং g উভয় ভেরিয়েবল সহ লিনিয়ার রিগ্রেশন মডেলের হবে 1।$R^2$

মডেলের প্রতিটি ভেরিয়েবলের সাথে এই ধরণের জিনিসটি ঘটানো সম্ভব - প্রতিক্রিয়াটির সাথে সকলেরই ছোট জুটির সম্পর্ক রয়েছে, তবুও সেখানে তাদের সকলের সাথে মডেলটি প্রতিক্রিয়ার পূর্বাভাস দেওয়ার পক্ষে খুব ভাল।

অতিরিক্ত পড়া:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

Comments

এই আচরণটি কি সত্যিকারের লিনিয়ার মডেলটিতে ঘটতে পারে? এখানে, রঙ (g = 0/1) এবং প্রতিক্রিয়া y এর মধ্যে সম্পর্কটি অ-রৈখিক বলে মনে হচ্ছে। তবে কি ঘটতে পারে যে ছাড়া মডেলের ছ হতে পারে (ইচ্ছামত?) চেয়ে কম আর 2 সঙ্গে মডেল ছ । $R^2$$g$$R^2$$g$

— বিমল

জিৎ, আমার মডেলটি খুব কাছ থেকে দেখার উচিত ছিল :) । সেই প্রশ্নটি স্ক্র্যাচ! $y=x - 41g$

— বিমল

প্রকৃতপক্ষে এটিই সেই মডেল ছিল যার মাধ্যমে প্রতিক্রিয়া তৈরি হয়েছিল; তবে আপনি তাৎক্ষণিকভাবে দেখতে পাচ্ছেন যে কোনও এক স্বেচ্ছাসেবী ইউনিট (পর্দার পৃষ্ঠ থেকে আপনার দিকে, একটি নতুন "জি" অক্ষের দিক দিয়ে) নীল পয়েন্টগুলি উত্তোলনের কল্পনা করে এবং বিমানটি ছয়টি পয়েন্টের সাথে মানিয়ে যায়।

— গ্লেন_বি -রিনস্টেট মনিকা

রিগ্রেশন-এ, এক্স ভেরিয়েবলগুলি শর্তযুক্ত এবং প্রায়শই নিয়ন্ত্রণ করা হতে পারে, সুতরাং "স্বাধীনতা" সাধারণত যেটি সন্ধান করে তা নয়। বাহ্যিক নকশা করা পরীক্ষাগুলির বাইরে, স্বাধীন ভবিষ্যদ্বাণীকারীরা প্রায় কোনও ক্ষেত্রেই দেখা যায় না এবং আপনি যদি পরীক্ষা-নিরীক্ষা করে থাকেন তবে ভবিষ্যদ্বাণীকারীরা এলোমেলো পরিবর্তনশীল না তাই "স্বাধীনতা" (পরিসংখ্যানগত দিক থেকে) আপনি যা খুঁজছেন তা নয় - বরং কিছু পারস্পরিক orthogonality মত, সম্ভবত। ... সিটিডি

— গ্লেন_ বি -রাইনস্টেট মনিকা

সিটিডি ... যদি আপনার ভবিষ্যদ্বাণীকারীদের সত্যিকারের পরিসংখ্যানগত স্বাতন্ত্র্য (পারস্পরিক / পি-ভেরিয়েট) হয় তবে আপনি সেইভাবে অবিচ্ছিন্ন রাজ্যের উপর শূন্য সহগ খুঁজে পাবেন না, তবে আপনাকে উপরের উদাহরণের মতো সম্পূর্ণ বিচ্ছেদ প্রয়োজন হবে না don't ।

— গ্লেন_বি -রিনস্টেট মনিকা

Answer 2

আমি ধরে নিই যে আপনি একাধিক রিগ্রেশন মডেলকে প্রশিক্ষণ দিচ্ছেন, এতে আপনার ওয়াইতে একাধিক স্বতন্ত্র ভেরিয়েবল , এক্স 2 , ... রয়েছে, যা এখানে সরল উত্তর হ'ল জোড়যুক্ত পারস্পরিক সম্পর্কটি হ'ল সংক্ষিপ্ত বিবরণী মডেল চালানোর মতো। যেমন, আপনি গুরুত্বপূর্ণ পরিবর্তনশীল বাদ দিয়েছেন।$X_1$$X_2$

$X_2$$X_1$$X_1$$\rho_{x_{1},y|x_{2}}$ । জুটিওয়ালা পারস্পরিক সম্পর্কের চেয়ে একাধিক রিগ্রেশনের আংশিক সম্পর্কের আরও ঘনিষ্ঠ সম্পর্ক রয়েছে, ρ x 1 , y ।$y=\beta_1X_1 +\beta_2X_2 + \epsilon$$\rho_{x_{1},y}$

Answer 3

ভেক্টর নিরিখে, আপনি ভেক্টর একটি সেট আছে যদি এবং অন্য ভেক্টর Y , তারপর যদি Y প্রতিটি ভেক্টরকে লম্ব (শূন্য পারস্পরিক সম্পর্ক) হল এক্স , তাহলে এটি আরো লম্ব থেকে ভেক্টর কোনো রৈখিক সমন্বয় হবে এক্স । তবে, এক্স এর ভেক্টরগুলিতে যদি বৃহত অসংরক্ষিত উপাদান এবং ছোট ছোট সম্পর্কযুক্ত উপাদান থাকে এবং অসংরক্ষিত উপাদানগুলি রৈখিকভাবে নির্ভরশীল হয়, তবে y এর সাথে এক্স এর লিনিয়ার সংমিশ্রণে সম্পর্কযুক্ত হতে পারে । এটি, যদি এক্স = এক্স 1 , এক্স 2 হয় । । । এবং আমরা নিতে$X$$X$$X$$X$$X$$X={x_1,x_2 ...}$$o_i$x_i অরথোগোনাল থেকে y এর যোগফল , = x_i এর সমান্তরাল y এর সমান্তরাল , তবে যদি সেখানে c i এর মতো থাকে তবে ∑ c i o i = 0 থাকে , তবে ∑ c i x i y এর সমান্তরাল হবে (অর্থাত্ একটি নিখুঁত) predictor)। যদি ∑ c i o i = 0 ছোট হয় তবে ∑ c i x আমি ভাল ভবিষ্যদ্বাণীকারী হব। সুতরাং ধরুন আমাদের কাছে এক্স 1 এবং $p_i$$c_i$$\sum c_io_i =0$$\sum c_ix_i$$\sum c_io_i =0$$\sum c_ix_i$$X_1$ ~ এন (0,1) এবং ই ~ এন (0,100)। এখন আমরা এক্স ′ 1 এবং এক্স ′ 2 নতুন কলাম তৈরি করি । প্রতিটি সারির জন্য, আমরা ই এর থেকে এলোমেলো নমুনা নিই, এক্স ′ 1 পেতেসেই সংখ্যাটি এক্স 1 এ যুক্ত করুন এবং এক্স 2 থেকে এক্স 2 থেকে বিয়োগ করে এক্স ′ 2 পেতে পারেন। যেহেতু প্রতিটি সারিতে E যোগ এবং বিয়োগেরসমান নমুনা রয়েছেতাই X ′ 1 এবং X ′ 2 কলামগুলি Y এর নিখুঁত ভবিষ্যদ্বাণীকারী হবে$X_2$$E$$X'_1$$X'_2$$E$$X_1$$X'_1$$X_2$$X'_2$$E$$X'_1$$X'_2$$Y$ , যদিও প্রত্যেকের স্বতন্ত্রভাবে সাথে কেবল একটি ছোট সম্পর্ক রয়েছে ।$Y$