মানক করা যায়

আমি একটি নিবন্ধের ফলাফলগুলি ব্যাখ্যা করার চেষ্টা করছি, যেখানে তারা বিভিন্ন ফলাফলের পূর্বাভাস দেওয়ার জন্য একাধিক প্রতিরোধ প্রয়োগ করেছিল। তবে 'গুলি (আদর্শায়িত বি কোফিসিয়েন্টস হিসাবে সংজ্ঞায়িত যেখানে নির্ভরশীল পরিবর্তনশীল এবং একটি পূর্বাভাসক) রিপোর্ট করা রিপোর্ট করা সাথে মেলে না বলে মনে হচ্ছে : $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

-0.83, -0.29, -0.16, -0.43, 0.25 এবং -0.29 এর সত্ত্বেও , রিপোর্ট করা কেবলমাত্র 0.20 $\beta$ $R^2$

এছাড়াও, তিনটি ভবিষ্যদ্বাণী: ওজন, বিএমআই এবং ফ্যাট% বহু-কোলাইনারি, লিঙ্গগুলির মধ্যে একে অপরের সাথে r = 0.8-0.9 এর সাথে সম্পর্কিত।

এই বিটা'র সাথে কি মানটি প্রশংসনীয় , বা এবং এর মধ্যে কোনও সরাসরি সম্পর্ক নেই ? $R^2$ $\beta$ $\beta$ $R^2$

অতিরিক্ত হিসাবে, মাল্টিকোল্লাইনারের পূর্বাভাসকারীদের সাথে সমস্যাগুলি কি চতুর্থ ভবিষ্যদ্বাণী (VO2max) এর বিটাকে প্রভাবিত করতে পারে , যা r = 0.4 এর সাথে তিনটি ভেরিয়েবলের সাথে পারস্পরিক সম্পর্কযুক্ত? $\beta$

— সাকারী জুকারায়েন
সূত্র

এই প্রসঙ্গে কী ? একটি বিটা সহগ (মানযুক্ত রেগ্রেশন)? অথবা অন্য কিছু? যদি তাই হয় তবে এগুলি আপনি সত্যিকার অর্থে কিছুই বলতে পারবেন না যা আপনি পেয়ে যাচ্ছেন তা হ'ল স্ট্যান্ডার্ড বিচ্যুতিগুলির শর্তে একটি ব্যাখ্যা।

β

$\beta$

R^{2}

$R^2$

— গুণাগুণটি

standard স্ট্যান্ডার্ডাইজড বি সহগের জন্য ients একটি 1 ভবিষ্যদ্বাণীকারী ক্ষেত্রে For পিয়ারসনের আর এর সমান, যা সরাসরি আর-স্কোয়ারের সাথে সম্পর্কিত, তবে এই মাল্টিভারিয়েট ক্ষেত্রে উচ্চ-উচ্চতর উচ্চতর স্কোয়ারকে কেন বোঝায় না?

— সাকারি জুকারায়েন

না, একটি রেজিস্ট্রার ক্ষেত্রে

β

$\beta$ পিয়ারসনের পারস্পরিক সম্পর্কের সমান নয়:

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$ । মধ্যকার সম্পর্ক

β

$\beta$ গুলি এবং

R^{2}

$R^2$ সহজ হিসাবে না।

— রিচার্ড হার্ডি

@ রিচার্ড হার্ডি আমি সন্দেহ করি যে সংশয়টি সাকারি সংজ্ঞায়িত

β

$\beta$ হতে প্রমিত রিগ্রেশন সহগ। দ্বিখণ্ডিত রৈখিক রেগ্রেশনে রিগ্রেশন সহগ (

b

$b$ সাকারির স্বরলিপিটিতে)

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$ , কোথায়

r

$r$ পারস্পরিক সম্পর্ক এবং

s

$s$ মান বিচ্যুতি একটি রিগ্রেশন কোফিয়েন্টিয়্যান্সকে মানিক করার জন্য আমরা সহগকে এর স্ট্যান্ডার্ড বিচ্যুতির সাথে ভাগ করি

y

$y$ এবং সেই মানক বিচ্যুতির সাথে গুণিত করুন

x

$x$ সুতরাং কেবলমাত্র পারস্পরিক সম্পর্ক বাকি আছে। সুতরাং সাকারি ঠিক আছে।

— মার্টেন বুইস

আমি এখনও দেখতে পাচ্ছি না কেন আপনি এটিকে ভুল বলে মনে করছেন? যদি কাগজে কিছু সংক্ষিপ্ত পরিসংখ্যান থাকে তবে আপনি সংখ্যাগুলি যোগ করেছেন কিনা তা খালি পরীক্ষা করতে পারেন। এমনকি আপনি এটি করার জন্য সূত্রটি সরবরাহ করেছেন। আপনি সিদ্ধান্তে পৌঁছাতে পারবেন না, কেবল প্রভাবগুলি রহস্যজনক আকারে বড় হওয়ায় মডেলগুলি y এর ভিন্নতা ব্যাখ্যা করার জন্য একটি ভাল কাজ করে।

— পুনরায় খেলুন

সাধারণ লিস্ট স্কোয়ার রিগ্রেশন জ্যামিতিক ব্যাখ্যা প্রয়োজনীয় অন্তর্দৃষ্টি দেয়।

আমাদের যা জানতে হবে তার বেশিরভাগটি দুটি রেজিস্ট্রারের ক্ষেত্রে দেখা যেতে পারে $x_1$ এবং $x_2$ সাড়া দিয়ে $y$ । আদর্শায়িত কোফিসিয়েন্টস, বা "বিটাগুলির," উঠা যখন সব তিনটি ভেক্টর একটি সাধারণ দৈর্ঘ্য (যা আমরা ঐক্য হতে সময় লাগতে পারে) এর মান হয়। সুতরাং, $x_1$ এবং $x_2$ একটি বিমানে ইউনিট ভেক্টর হয় $E^2$ - তারা ইউনিট বৃত্তে অবস্থিত - এবং $y$ ত্রি-মাত্রিক ইউক্লিডিয়ান স্পেসের একক ভেক্টর $E^3$ যে বিমান সমেত। লাগানো মান $\hat y$ এর অর্থোগোনাল (লম্ব) প্রক্ষেপণ $y$ সম্মুখের দিকে $E^2$ । কারণ $R^2$ কেবল এর স্কোয়ার দৈর্ঘ্য $\hat y$ , আমাদের এমনকি তিনটি মাত্রা কল্পনা করার দরকার নেই: আমাদের প্রয়োজনীয় সমস্ত তথ্য সেই বিমানটিতে আঁকতে পারে।

অরথোগোনাল রেজিস্ট্রারগণ

প্রথম চিত্রের মতো রেজিস্ট্রাররা অরথগোনাল হওয়ার সময় সবচেয়ে সুন্দর অবস্থা।

$চিত্র 1, বিমানটিতে ভেক্টর হিসাবে নিবন্ধক এবং \। টুপি y showing দেখানো হচ্ছে।$

এটিতে এবং অন্যান্য পরিসংখ্যানগুলিতে আমি ধারাবাহিকভাবে ইউনিট ডিস্কটি সাদা এবং রেজিস্ট্রারগুলিকে কালো তীর হিসাবে আঁকবো। $x_1$ সর্বদা ডান দিকে সরাসরি নির্দেশ করবে। ঘন লাল তীরগুলির উপাদানগুলি চিত্রিত করে $\hat y$ মধ্যে $x_1$ এবং $x_2$ দিকনির্দেশ: এটি, $\beta_1 x_1$ এবং $\beta_2 x_2$ । দৈর্ঘ্য $\hat y$ এটি যে ধূসর বৃত্তের উপরে অবস্থিত তার ব্যাসার্ধ - তবে এটি মনে রাখবেন $R^2$ হয় বর্গ যে দৈর্ঘ্য।

পিথাগোরাসের উপপাদ্য দাবি

{আর}^{2} = | \hat{Y} |^{2} = | β_{1} {এক্স}_{1} |^{2} + + | β_{2} {এক্স}_{2} |^{2} = β_{1}^{2} (1) + + β_{2}^{2} (1) = β_{1}^{2} + + β_{2}^{2} ।

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

পাইথাগোরিয়ান উপপাদ্য যে কোনও সংখ্যক মাত্রায় ধারণ করে, তাই এই যুক্তিটি যে কোনও সংখ্যক রেজিস্ট্রারকে জেনারেলাইজ করে, আমাদের প্রথম ফলাফল দেয়:

যখন রেজিস্ট্রাররা অরথোগোনাল হয়, $R^2$ বিটার স্কোয়ারের যোগফলকে সমান করে।

তাত্ক্ষণিকভাবে একটি বাস্তবায়ন হ'ল যখন একটি মাত্র রেজিস্ট্রার থাকে - অবিবাহিত প্রতিরোধ - $R^2$ মানক slালের বর্গক্ষেত্র।

পরম্পর সম্পর্কযুক্ত

নেতিবাচকভাবে সম্পর্কযুক্ত রেজিস্ট্রারগুলি একটি সমকোণের চেয়ে বেশি কোণে মিলিত হয়।

এই চিত্রটিতে এটি দৃশ্যত স্পষ্ট যে বিটার স্কোয়ারের যোগফল এর চেয়ে কঠোরতর $R^2$ । এটি কোজাইনস ল ব্যবহার করে বা সাধারণ সমীকরণের ম্যাট্রিক্স সমাধানের সাথে কাজ করে বীজগণিতভাবে প্রমাণিত হতে পারে।

দুটি রেজিস্ট্রারকে প্রায় সমান্তরাল করে, আমরা অবস্থান করতে পারি $\hat y$ উত্স কাছাকাছি (একটি জন্য $R^2$ কাছাকাছি $0$ ) এটিতে বৃহত উপাদানগুলি অবিরত থাকাকালীন $x_1$ এবং $x_2$ অভিমুখ. সুতরাং, কত ছোট তার সীমা নেই $R^2$ হতে পারে.

আসুন এই স্পষ্ট ফলাফলটি স্মরণে রাখি, আমাদের দ্বিতীয় সাধারণতা:

যখন রেজিস্ট্রাররা পারস্পরিক সম্পর্কযুক্ত হন, $R^2$ বিটার স্কোয়ারের যোগফলের চেয়ে নির্বিচারে ছোট হতে পারে।

যাইহোক, এটি কোনও সর্বজনীন সম্পর্ক নয়, যেমন পরবর্তী চিত্রটি দেখায়।

এখন $R^2$ বিটাগুলির স্কোয়ারের যোগফলকে কঠোরভাবে ছাড়িয়েছে। দুজন রেজিস্ট্রারকে একসাথে আঁকিয়ে রেখে $\hat y$ তাদের মধ্যে, আমরা বিটা উভয় পদ্ধতির করতে পারি $1/2$ , এমনকি যখন $R^2$ নিকটবর্তী $1$ । আরও বিশ্লেষণে কিছু বীজগণিতের প্রয়োজন হতে পারে: আমি এটিকে নীচে নিয়ে যাই।

ইতিবাচক পারস্পরিক সম্পর্কযুক্ত রেজিস্ট্রারগুলির সাথে অনুরূপ উদাহরণগুলি রচনা করার জন্য আমি এটি আপনার কল্পনার উপরে রেখেছি, যার ফলে তীব্র কোণে দেখা যায়।

লক্ষ্য করুন যে এই সিদ্ধান্তগুলি অসম্পূর্ণ: কত কম তার সীমাবদ্ধতা রয়েছে $R^2$ বিটার স্কোয়ারের যোগফলের সাথে তুলনা করা যেতে পারে। বিশেষত, সম্ভাব্যতাগুলি সাবধানতার সাথে পরীক্ষা করে, আপনি সিদ্ধান্ত নিতে পারেন (দুজন রেজিস্ট্রারের সাথে রিগ্রেশনের জন্য) যা

যখন রেজিস্ট্রাররা ইতিবাচকভাবে সম্পর্কিত হয় এবং বিটাগুলির একটি সাধারণ চিহ্ন থাকে, বা যখন রেজিস্ট্রাররা নেতিবাচকভাবে সম্পর্কিত হয় এবং বিটাগুলির বিভিন্ন চিহ্ন থাকে, $R^2$ বেটাসের স্কোয়ারের যোগফলের চেয়ে কমপক্ষে বড় হওয়া উচিত।

বীজগণিত ফলাফল

সাধারণত, রেজিস্ট্রারগুলি (কলাম ভেক্টর) হতে দিন $x_1, x_2, \ldots, x_p$ এবং প্রতিক্রিয়া হতে হবে $y$ । মানককরণের অর্থ (ক) প্রত্যেকটি ভেক্টরের কাছে অর্থকোনাল $(1,1,\ldots,1)^\prime$ এবং (খ) তাদের ইউনিট দৈর্ঘ্য রয়েছে:

| {এক্স}_{আমি} |^{2} = | Y |^{2} = 1।

$|x_i|^2 = |y|^2 = 1.$

কলামের ভেক্টরগুলিকে একত্র করুন $x_i$ মধ্যে একটি $n\times p$ জরায়ু $X$ । ম্যাট্রিক্সের গুণনের নিয়ম এটি বোঝায়

Σ = {এক্স}^{'} এক্স

$\Sigma = X^\prime X$

এর পারস্পরিক সম্পর্ক ম্যাট্রিক্স $x_i$ । বিটাগুলি সাধারণ সমীকরণ দ্বারা দেওয়া হয়,

β = ({এক্স}^{'} এক্স)^{- 1} {এক্স}^{'} Y = Σ^{- 1} ({এক্স}^{'} Y) ।

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

তদুপরি, সংজ্ঞা অনুসারে, ফিট

\hat{Y} = এক্স β = এক্স (Σ^{- 1} {এক্স}^{'} Y) ।

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

এর স্কোয়ার দৈর্ঘ্য দেয় $R^2$ সংজ্ঞানুসারে:

{আর}^{2} = | \hat{Y} |^{2} = {\hat{Y}}^{'} \hat{Y} = (এক্স β)^{'} (এক্স β) = β^{'} ({এক্স}^{'} এক্স) β = β^{'} Σ β ।

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

জ্যামিতিক বিশ্লেষণ প্রস্তাবিত আমরা সম্পর্কিত অসমতা জন্য সন্ধান করুন $R^2$ এবং বিটার বর্গের যোগফল,

Σ_{আমি = 1}^{পি} β_{আমি}^{2} = β^{'} β ।

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

দ্য $L_2$ যে কোনও ম্যাট্রিক্সের আদর্শ $A$ এর সহগের স্কোয়ারের যোগফল দিয়ে দেওয়া হয় (ম্যাট্রিক্সকে ভেক্টর হিসাবে মূলত চিকিত্সা করা হয়) $p^2$ ইউক্লিডিয়ান স্পেসে থাকা উপাদানগুলি),

| একজন |_{2}^{2} = \underset{আমি, ঞ}{Σ} {একটি}_{আমি ঞ}^{2} = TR ({একজন}^{'} একজন) = TR (একজন {একজন}^{'}) ।

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

কচী-শোয়ার্জ অসমত্ব বোঝায়

{আর}^{2} = TR ({আর}^{2}) = TR (β^{'} Σ β) = TR (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β ।

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

যেহেতু স্কোয়ার পারস্পরিক সম্পর্কের সহগগুলি অতিক্রম করতে পারে না $1$ এবং ঠিক আছে $p^2$ তাদের মধ্যে $p\times p$ জরায়ু $\Sigma$ , $|\Sigma|_2$ অতিক্রম করতে পারে না $\sqrt{1\times p^2} = p$ । অতএব

{আর}^{2} \leq পি β^{'} β ।

$R^2 \le p\, \beta^\prime \beta.$

বৈষম্য অর্জন করা হয়, উদাহরণস্বরূপ, যখন সমস্ত $x_i$ পুরোপুরি ইতিবাচকভাবে সম্পর্কিত হয়।

কত বড় তার উপরের সীমা রয়েছে $R^2$ হতে পারে. রেজিস্ট্রার প্রতি এর গড় মান, $R^2/p$ , মানযুক্ত গুণফলের স্কোয়ারের যোগফল অতিক্রম করতে পারে না।

উপসংহার

আমরা সাধারণভাবে কি উপসংহারে আসতে পারি? স্পষ্টতই, রেজিস্ট্রারগুলির পারস্পরিক সম্পর্ক কাঠামো এবং বিটার চিহ্নগুলির তথ্যগুলি সম্ভাব্য মানগুলিকে আবদ্ধ করার জন্য ব্যবহার করা যেতে পারে either $R^2$ এমনকি এটি ঠিক গণনা করা। সম্পূর্ণ তথ্যের অনুপস্থিতিতে, স্পষ্ট সত্যের বাইরে খুব কমই বলা যায় যে রেজিস্ট্রাররা যখন লিনিয়ারলিফুল স্বাধীন হয়, তখন একটি একক ননজারো বিটা বোঝায় $\hat y$ ননজারো, প্রদর্শন করছে $R^2$ ননজারো

প্রশ্নটির আউটপুট থেকে আমরা নিশ্চিতভাবে সিদ্ধান্ত নিতে পারি যে ডেটাটি পারস্পরিক সম্পর্কযুক্ত: কারণ বিটার স্কোয়ারের সমষ্টি, সমান $1.1301$ , সর্বাধিক সম্ভাব্য মান অতিক্রম করে $R^2$ (যথা $1$ ), কিছুটা পারস্পরিক সম্পর্ক থাকতে হবে।

আরেকটি বিষয় হ'ল যেহেতু বৃহত্তম বিটা (আকারে) $-0.83$ , যার বর্গক্ষেত্র $0.69$ --ফার রিপোর্ট করা ছাড়িয়েছে $R^2$ এর $0.20$ - আমরা উপসংহারে পৌঁছে যেতে পারি যে নিবন্ধভুক্তকারীদের কিছু অবশ্যই নেতিবাচকভাবে সম্পর্কিত হতে হবে। (আসলে, $\text{VO}_{2\,\text{max}}$ পরবর্তীকালের মানগুলির বিস্তৃত পরিসীমা জুড়ে কোনও নমুনায় সম্ভবত বয়স, ওজন এবং চর্বিগুলির সাথে দৃ negative়তার সাথে নেতিবাচকভাবে সম্পর্কযুক্ত)

যদি কেবল দু'জন রেজিস্ট্রার থাকত তবে আমরা আরও অনেক বেশি পরিমাণ অনুমান করতে পারি $R^2$ উচ্চ রেজিস্ট্রার সম্পর্কিত সম্পর্কিত জ্ঞান এবং বিটার পরিদর্শন, কারণ এটি আমাদের কীভাবে সঠিক স্কেচ আঁকতে সক্ষম করবে $x_1$ , $x_2$ , এবং $\hat y$ অবশ্যই অবস্থিত। দুর্ভাগ্যক্রমে, এই ছয়-ভেরিয়েবল সমস্যায় অতিরিক্ত রেজিস্ট্রাররা বিষয়গুলিকে যথেষ্ট জটিল করে তোলে। যে কোনও দুটি ভেরিয়েবল বিশ্লেষণ করতে গিয়ে, আমাদের অন্য চারটি রেজিস্ট্রারকে ("কোভেরিয়েট") "আউট" বা "নিয়ন্ত্রণ" করতে হবে। এটি করার মাধ্যমে আমরা সমস্ত সংক্ষিপ্ত করে রাখি $x_1$ , $x_2$ , এবং $y$ অজানা পরিমাণে (এগুলির তিনটিই কীভাবে কোভারিয়ারগুলির সাথে সম্পর্কিত তার উপর নির্ভর করে), আমরা যে ভেক্টরগুলির সাথে কাজ করছি তার প্রকৃত আকার সম্পর্কে প্রায় কিছুই জেনে আমাদের ছেড়ে যায় ।

— whuber
সূত্র

+1 তবে আমি বুঝতে পারছি না কেন অরર્થোগোনাল কেসে আপনি প্রজেক্ট করেন

\hat{y}

$\hat y$ প্রেজেক্টর বিন্দুযুক্ত রেখাগুলি অন্য ভবিষ্যদ্বাণীকের সমান্তরালে পরিণত করার বিপরীতে ভবিষ্যদ্বাণী অক্ষগুলির জন্য ভেক্টর অরথোগোনাল । এটি জটিল মনে হচ্ছে তবে আমি মনে করি আপনি যা বলতে চাইছেন তা আপনি দেখতে পাবেন। আপনার "অভিক্ষেপ" (দুটি ছোট লাল ভেক্টর) বড় লাল হওয়ার জন্য কিছু করে না

\hat{y}

$\hat y$ ভেক্টর।

— অ্যামিবা

@ মোয়েবা আপনি অনেকটা ঠিক বলেছেন আমি এই চিত্রগুলি তৈরি করতে খুব তাড়াহুড়ো করেছি! আমি সমস্যাটি সংশোধন করার সুযোগ না পাওয়া পর্যন্ত আমি (আশা করি অস্থায়ীভাবে) এই পোস্টটি মুছব। এটি নির্দেশ করার জন্য আপনাকে ধন্যবাদ।

— শুক্র

@ আমোবা আমি ছবিগুলি সংশোধন করেছি এবং সেগুলির সাথে মেলে বিশ্লেষণে পরিবর্তন করেছি। যদিও বিশদগুলি উল্লেখযোগ্যভাবে পরিবর্তিত হয়েছে, সিদ্ধান্তগুলি একই রয়েছে।

— whuber

পুনঃটুইট আপনি আবার ঠিক বলেছেন। আগ্রহী পাঠকদের হারানোর কিছুটা ঝুঁকিতে, তবে এখন জ্যামিতিক অন্তর্নিজ্ঞানের পরিমাণ নির্ণয় করতে বাধ্য বোধ করে, আমি এই উপসংহারটি আরও শক্ত করে দিয়েছি এবং সামান্য বীজগণিতের সাথে এটি ন্যায়সঙ্গত করেছি। (আমি বিশ্বাস করি

— বীজগণিতটি

অনেক ধন্যবাদ! সিডনোট হিসাবে, ভিও 2 ম্যাক্স ওজন এবং বিএমআইয়ের সাথে নেতিবাচকভাবে সম্পর্কযুক্ত, যেহেতু তারা উচ্চ পাতলা শরীরের ভরগুলির সাথে যুক্ত। উল্লিখিত সারণিতে VO2max আসলে ওজন দ্বারা বিভক্ত ভিও 2 ম্যাক্সের সাথে মিল রয়েছে (যা ভিও 2 ম্যাক্সকে শরীরের আকারের স্কেলিং করার একটি খারাপ উপায়)। সারণীতে থাকা ভিও 2 ম্যাক্স / ওজনটি যৌনতা ব্যতীত অন্য সমস্ত ভবিষ্যদ্বাণীকের সাথে নেতিবাচকভাবে সম্পর্কযুক্ত, যা আপনি উল্লিখিত হিসাবে উচ্চ-তবে নিম্ন আর-বর্গক্ষেত্রের ব্যাখ্যা করতে পারে।

— সাকারি জুকারাইনেন