বায়াস-ভেরিয়েন্স সমীকরণের গাণিতিক অন্তর্দৃষ্টি

আমি সম্প্রতি নমুনার গড় এবং বৈচিত্র সম্পর্কিত প্রাথমিক সমীকরণের পিছনে গাণিতিক ব্যাখ্যা / অন্তর্দৃষ্টি চেয়ে একটি প্রশ্ন জিজ্ঞাসা করেছি : , জ্যামিতিক বা অন্যথায়। $E[X^2] = Var(X) +(E[X])^2$

তবে এখন আমি অতিমাত্রায় অনুরূপ পক্ষপাত-বৈকল্পিক ট্রেড অফ সমীকরণ সম্পর্কে আগ্রহী।

\begin{array}{rcl} MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] & = & E [(\hat{θ} - E [\hat{θ}])^{2}] + (E [\hat{θ}] - θ)^{2} \\ = & Var (\hat{θ}) + Bias (\hat{θ}, θ)^{2} \end{array}

$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$ ( উইকিপিডিয়া থেকে সূত্র )

আমার কাছে রিগ্রেশন-এর জন্য পক্ষপাত-বৈকল্পিক ট্রেড অফ সমীকরণের সাথে একটি পৃষ্ঠপোষকতা মিল রয়েছে: স্কোয়ার সহ তিনটি পদ এবং অন্যটিতে দুটি যোগ করা। ভীষণ পাইথাগোরিয়ান। এই সমস্ত আইটেমের জন্য orthogonality সহ একই ভেক্টর সম্পর্ক আছে? নাকি এর সাথে সম্পর্কিত আরও কিছু গাণিতিক ব্যাখ্যা আছে যা প্রযোজ্য?

আমি কিছু অন্যান্য গাণিতিক বিষয়গুলির সাথে গাণিতিক উপমা চাইছি যা আলো ফেলতে পারে। আমি এখানে যথাযথভাবে আবৃত নির্ভুলতা-নির্ভুলতা উপমা খুঁজছি না। তবে যদি লোকেরা পক্ষপাত-বৈকল্পিক ট্রেড অফ এবং অনেক বেশি বুনিয়াদি গড়-বৈচিত্রের সম্পর্কের মধ্যে দিতে পারে এমন প্রযুক্তিগত উপমাগুলি থাকে তবে তা দুর্দান্তও হবে।

variance bias

— মিচ
সূত্র

মিলটি পৃষ্ঠের চেয়ে বেশি।

পাইথাগোরিয়ান উপপাদ্য দুটি লম্ব ইউক্লিডিয়ান ভেক্টরগুলিতে প্রয়োগ করা হিসাবে "বায়াস-ভেরিয়েন্স ট্রেড অফ" ব্যাখ্যা করা যেতে পারে: একটির দৈর্ঘ্য স্ট্যান্ডার্ড বিচ্যুতি এবং অন্যটির দৈর্ঘ্যটি পক্ষপাতিত্ব হয়। অনুমানের দৈর্ঘ্য হ'ল মূল অর্থ স্কোয়ার ত্রুটি।

একটি মৌলিক সম্পর্ক

প্রস্থানের একটি বিন্দু, এই প্রকাশ হিসাব, কোনো দৈব চলক জন্য বৈধ বিবেচনা একটি নির্দিষ্ট দ্বিতীয় মুহূর্ত এবং যেকোনো বাস্তব সংখ্যার সঙ্গে । দ্বিতীয় মুহুর্তটি সীমাবদ্ধ হওয়ায়, একটি সীমাবদ্ধ অর্থ যার জন্য , কোথা থেকে $X$ $a$ $X$ $\mu=\mathbb{E}(X)$ $\mathbb{E}(X-\mu)=0$

\begin{matrix} (1) & \begin{aligned} E ((X - a)^{2}) & = E ((X - μ + μ - a)^{2}) \\ = E ((X - μ)^{2}) + 2 E (X - μ) (μ - a) + (μ - a)^{2} \\ = Var (X) + (μ - a)^{2} . \end{aligned} \end{matrix}

$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$

এই দেখায় কিভাবে মধ্যে গড় স্কোয়ারড বিচ্যুতি এবং কোন "বেসলাইন" মান সঙ্গে পরিবর্তিত হয় : এটি একটি দ্বিঘাত ফাংশন সময়ে একটি সর্বনিম্ন সঙ্গে , যেখানে গড় স্কোয়ারড বিচ্যুতি ভ্যারিয়েন্স হয় । $X$ $a$ $a$ $a$ $\mu$ $X$

অনুমানকারী এবং পক্ষপাতিত্বের সাথে সংযোগ

যে কোনও অনুমানকারী এলোমেলো পরিবর্তনশীল কারণ (সংজ্ঞা অনুসারে) এটি এলোমেলো ভেরিয়েবলগুলির একটি (পরিমাপযোগ্য) ফাংশন। পূর্ববর্তীটিতে এটি ভূমিকা পালন করা এবং প্রাক্কলন (জিনিসটি ta থেইটা অনুমান করার কথা) দেওয়া , আমাদের কাছে রয়েছে $\hat \theta$ $X$ $\hat\theta$ $\theta$

MSE (\hat{θ}) = E ((\hat{θ} - θ)^{2}) = Var (\hat{θ}) + (E (\hat{θ}) - θ)^{2} .

$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$

আসুন এখন ফিরে আসুন আমরা দেখেছি যে কোনও অনুমানকারীটির জন্য পক্ষপাত + বৈচিত্র সম্পর্কে বিবৃতিটি আক্ষরিক অর্থে কেস । প্রশ্নটি "গাণিতিক অবজেক্টের সাথে গাণিতিক উপমা" চাইছে। স্কোয়ার-ইন্টিগ্রেটেবল এলোমেলো ভেরিয়েবলগুলি প্রাকৃতিকভাবে ইউক্যালিডিয়ান স্পেসে তৈরি করা যায় তা দেখিয়ে আমরা এর চেয়ে আরও বেশি কিছু করতে পারি। $(1)$ $(1)$

গাণিতিক পটভূমি

খুব সাধারণ অর্থে, একটি এলোমেলো পরিবর্তনশীল হ'ল একটি সম্ভাব্য স্থান একটি (পরিমাপযোগ্য) আসল-মূল্যবান ফাংশন । বর্গক্ষেত্রের জন্য এই জাতীয় ফাংশনগুলির সমষ্টি যা প্রায়শই (প্রদত্ত সম্ভাব্যতার কাঠামোটি বোঝা যায়) প্রায় একটি হিলবার্ট স্পেস। এটা এক পরিণত করতে, আমরা কোনো দুই র্যান্ডম ভেরিয়েবল গলিয়ে মিশিয়ে আছে এবং যা সত্যিই ইন্টিগ্রেশন পরিপ্রেক্ষিতে ভিন্ন না: যে, আমরা বলতে এবং হয় সমতুল্য যখনই $(\Omega, \mathfrak{S}, \mathbb{P})$ $\mathcal{L}^2(\Omega)$ $X$ $Y$ $X$ $Y$

E (| X - Y |^{2}) = \int_{Ω} | X (ω) - Y (ω) |^{2} d P (ω) = 0.

$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$

সব চেয়ে গুরুত্বপূর্ণ যখন: এটা চেক করার জন্য যে এই একটি সত্য সমানতা সম্পর্ক নেই সহজবোধ্য সমতূল্য এবং সমতূল্য , তারপর অগত্যা সমতূল্য হতে হবে । সুতরাং আমরা সমস্ত বর্গ-সংহতযোগ্য এলোমেলো ভেরিয়েবলকে সমতা শ্রেণিতে বিভক্ত করতে পারি। এই শ্রেণিগুলি সেটটি তৈরি করে । তদুপরি, values এর ভেক্টর স্পেস স্ট্রাকচারকে উত্তরাধিকার সূত্রে প্রাপ্ত মান এবং পয়েন্টওয়াইজ স্ক্যালার গুণকের পয়েন্টওয়াইজ সংজ্ঞা দ্বারা নির্ধারিত হয়। এই ভেক্টর স্পেসে, ফাংশন $X$ $Y$ $Y$ $Z$ $X$ $Z$ $L^2(\Omega)$ $L^2$ $\mathcal{L}^2$

X \to {(\int_{Ω} | X (ω) |^{2} d P (ω))}^{1 / 2} = \sqrt{E (| X |^{2})}

$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$

এটি একটি আদর্শ , প্রায়শই লিখিত হয় । এই আদর্শটি কে হিলবার্ট স্পেসে পরিণত করে। হিলবার্ট স্পেস of কে একটি "অসীম মাত্রিক ইউক্লিডিয়ান স্পেস" হিসাবে মনে করুন। যে কোনও সীমাবদ্ধ মাত্রার উপ-স্থান এই আদর্শের সাথে এবং থেকে আদর্শ উত্তরাধিকার সূত্রে প্রাপ্ত হয় , এটি ইউক্লিডিয়ান স্থান space আমরা এতে ইউক্লিডিয়ান জ্যামিতি করতে পারি। $||X||_2$ $L^2(\Omega)$ $\mathcal{H}$ $V\subset \mathcal{H}$ $\mathcal{H}$ $V$

পরিশেষে, আমাদের একটি সম্ভাব্যতা স্পেসের (বিশেষত সাধারণ পরিমাপের জায়গাগুলির চেয়ে) স্পেসের প্রয়োজন: কারণ a একটি সম্ভাবনা, এটি ( দ্বারা ) আবদ্ধ , যেহেতু ধ্রুবক ক্রিয়াগুলি (যে কোনও ক্ষেত্রে) স্থির প্রকৃত সংখ্যা ) সীমাবদ্ধ নিয়মের সাথে বর্গাকার একীকরণযোগ্য এলোমেলো পরিবর্তনশীল। $\mathbb{P}$ $1$ $\omega\to a$ $a$

একটি জ্যামিতিক ব্যাখ্যা

যে কোনও বর্গ-সংহতযোগ্য এলোমেলো পরিবর্তনশীল বিবেচনা করুন , এর সমতুল্য শ্রেণির প্রতিনিধি হিসাবে ভাবা হয়েছে । এর একটি গড় যা (যেমন এটি পরীক্ষা করতে পারে) কেবলমাত্র সমতুল্য শ্রেণীর উপর নির্ভর করে । যাক হতে ধ্রুব এলোপাতাড়ি ভেরিয়েবলের বর্গ। $X$ $L^2(\Omega)$ $\mu=\mathbb{E}(X)$ $X$ $\mathbf{1}:\omega\to 1$

$X$ এবং a একটি ইউক্লিডিয়ান সাবস্পেস উত্পন্ন করে যার মাত্রা সর্বাধিক । এই subspace সালে এর স্কোয়ারড দৈর্ঘ্য হল এবং হয় ধ্রুবক এলোমেলো পরিবর্তনশীল স্কোয়ার দৈর্ঘ্য । এটা তোলে মৌলিক যে হয় ঋজু থেকে । ( এর একটি সংজ্ঞা হ'ল এটি অনন্য নম্বর যার জন্য এটি ক্ষেত্রে is) সম্পর্কিত লিখিত হতে পারে $\mathbf{1}$ $V\subset L^2(\Omega)$ $2$ $||X||_2^2 = \mathbb{E}(X^2)$ $X$ $||a\,\mathbf{1}||_2^2 = a^2$ $\omega\to a$ $X-\mu\mathbf{1}$ $\mathbf{1}$ $\mu$ $(1)$

| | X - a 1 | |_{2}^{2} = | | X - μ 1 | |_{2}^{2} + | | (a - μ) 1 | |_{2}^{2} .

$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$

এটা তোলে প্রকৃতপক্ষে অবিকল পিথাগোরাসের উপপাদ্য মূলত একই 2500 বছর পূর্বে পরিচিত আকারে। The অবজেক্টটি দিয়ে ডান ত্রিভুজটির এবং ।

X - a 1 = (X - μ 1) - (a - μ) 1

$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$

X - μ 1

$X-\mu\mathbf{1}$

(a - μ) 1

$(a-\mu)\mathbf{1}$

আপনি যদি গাণিতিক উপমাগুলি পছন্দ করতে চান তবে আপনি ইউক্লিডিয়ান স্পেসে ডান ত্রিভুজটির অনুমানের দিক থেকে প্রকাশ করা যেতে পারে এমন কিছু ব্যবহার করতে পারেন। অনুমান "ত্রুটি" উপস্থাপন করবে এবং পাগুলি পক্ষপাত এবং গড় থেকে বিচ্যুতিগুলি উপস্থাপন করবে।

— whuber
সূত্র

চমৎকার। সুতরাং যুক্তিটি আমার আগের প্রশ্নের পুনরায় প্রায় একই । তাহলে তাদের মধ্যে একটি সাদৃশ্য আছে, তাই না? এটি স্বজ্ঞাতভাবে মনে হয় যে পক্ষপাত বলতে বোঝায় অভিন্ন। এবং জেনারালাইজেশনটি হ'ল 0 টির সাথে 1 ম মুহুর্তটি বোঝানো হচ্ছে তবে পক্ষপাতটির সত্যিকারের মান বিবেচনা করে। এটা ঠিক আছে?

V a r = E X^{2} - (E X)^{2}

$Var = EX^2 - (EX)^2$

— মিচ

হ্যাঁ - প্রোভিসো দিয়ে (যা জ্যামিতিক ব্যাখ্যার দ্বারা অন্তর্দৃষ্টি হিসাবে যুক্ত হয়েছে) যে এই জিনিসগুলি পরিমাপ করার সঠিক উপায়টি তাদের স্কোয়ারের ক্ষেত্রে।

— হুঁশিয়ারি

সুতরাং হুঁশিয়ার, আমার একটি সম্পর্কিত প্রশ্ন আছে। যেকোন মেশিন লার্নিংয়ের জন্য আমার কাছে এই দুটি ধারণা আছে "যদি আমরা নমুনার আকার বাড়িয়ে তুলি তবে একটি অনুমানমূলক পক্ষপাতহীন অনুমানকারীটির বৈকল্পিকতা শূন্যে চলে যাবে" এবং "যদি আমরা মডেলের জটিলতা বাড়িয়ে তুলি, সুতরাং আমাদের কম পক্ষপাত এবং উচ্চতর বৈকল্পিকতা থাকবে" । অতএব, আমি কি বলতে পারি যে আরও গণনা শক্তি আরও জটিলতার মঞ্জুরি দেয় যা পক্ষপাত হ্রাস করবে, তবে বৈচিত্র্য বাড়িয়ে তুলবে। অ্যাসিম্পটোটিকের অধীনে, বৈকল্পিকতার এই বৃদ্ধি অফসেট হবে।

— আরট

@ মুস্তফা আপনি কিছু দৃ strong় অনুমান করেছেন। প্রথমটি হ'ল কোনও নমুনা এলোমেলো এবং (কমপক্ষে আনুমানিক) স্বতন্ত্র - এটি এমএল অ্যাপ্লিকেশনগুলিতে প্রায়শই হয় না। মডেল জটিলতা বাড়ানোর বিষয়ে সিদ্ধান্তগুলি সাধারণত সত্য নয়, কিছু অংশে কারণ "বর্ধমান জটিলতা" বোঝায় যে আপনি মডেলটি পরিবর্তন করছেন এবং এটি আপনার অনুমানকারী কী অনুমান করছে তার অর্থ এবং সেই অনুমানকারীটি কীভাবে তার অনুমানের সাথে সম্পর্কিত হতে পারে তার প্রশ্নটি উত্থাপন করে calls । এটি অগত্যা অনুসরণ করে না যে ক্রমবর্ধমান মডেল জটিলতার পক্ষপাত বা বৈকল্পিকতার উপর কোনও সাধারণ অনুমানযোগ্য প্রভাব রয়েছে।

— হোয়বার

নির্ভুলতার বিষয়ে দৃষ্টিভঙ্গি চিন্তা করার উপায় এবং বৈকল্পিক পক্ষপাত বাণিজ্য বন্ধ। ধরুন আপনি কোনও লক্ষ্যটির দিকে তাকিয়ে আছেন এবং আপনি এমন অনেকগুলি শট তৈরি করেন যা লক্ষ্যের কেন্দ্রের কাছে ছড়িয়ে ছিটিয়ে থাকে যাতে কোনও পক্ষপাত নেই। তারপরে নির্ভুলতা সম্পূর্ণরূপে বৈকল্পিক দ্বারা নির্ধারিত হয় এবং যখন বৈকল্পিক ছোট হয় তখন শ্যুটারটি সঠিক হয়।

এখন আসুন আমরা এমন একটি ক্ষেত্রে বিবেচনা করি যেখানে দুর্দান্ত নির্ভুলতা রয়েছে তবে বড় পক্ষপাত রয়েছে। এক্ষেত্রে শটগুলি কেন্দ্র থেকে অনেক দূরে অবস্থিত। কিছুটা এ্যামপয়েন্টকে গোলমাল করছে তবে এই লক্ষ্য বিন্দুর চারপাশে প্রতিটি শট সেই নতুন লক্ষ্য পয়েন্টের কাছাকাছি রয়েছে। পক্ষপাতদুষ্টতার কারণে শ্যুটারটি সুনির্দিষ্ট তবে খুব ভুল।

অন্যান্য পরিস্থিতি রয়েছে যেখানে ছোট পক্ষপাত এবং উচ্চ নির্ভুলতার কারণে শটগুলি সঠিক। আমরা যা চাই তা কোনও পক্ষপাত এবং ছোট বৈরাগ্য বা ছোট পক্ষপাত সহ ছোট বৈকল্পিকতা নয়। কিছু পরিসংখ্যানগত সমস্যায় আপনার উভয়ই থাকতে পারে না। সুতরাং এমএসই নির্ভুলতার পরিমাপ হয়ে যায় যা আপনি ব্যবহার করতে চান যা বৈকল্পিক পক্ষপাত বাণিজ্য বন্ধ করে দেয় এবং এমএসই হ্রাস করা লক্ষ্য হওয়া উচিত।

— মাইকেল আর চেরনিক
সূত্র

চমত্কার স্বজ্ঞাত বর্ণনা আবার পক্ষপাত-বৈকল্পিকতা এবং নির্ভুলতা-নির্ভুলতা উপমা। আমি পাইথাগোরিয়ান উপপাদ্যের মতো একটি গাণিতিক ব্যাখ্যাও খুঁজছি।

— মিচ

আমি এটিতে মনোনিবেশ করিনি কারণ এটি জ্যামিতিক ব্যাখ্যা নিয়ে আলোচনা করা অন্য পোস্টে আচ্ছাদিত ছিল। আমি আপনার জন্য লিঙ্কটি সন্ধান করব।

— মাইকেল আর চেরনিক

@ মিচ "বায়াস-ভেরিয়েন্স ট্রেড অফ" এর অনুসন্ধানের ফলাফলটি সিভি সাইটে 134 হিট হয়েছে। পাইথাগোরিয়ান উপপাদ্যটি আমি এখনও পাইনি তবে এটি সত্যই ভাল এবং এই পোস্টে আমি যে লক্ষ্যবস্তু নিয়ে আলোচনা করেছি তার চিত্র রয়েছে। "পক্ষপাত-বৈকল্পিক ট্রেড অফের স্বজ্ঞাত ব্যাখ্যা"।

— মাইকেল আর চেরনিক 14'17

আমি জানুয়ারী 5 2017 থেকে ভের (এক্স) = ই [ ] - ( ) এর অন্তর্নিহিততা (জ্যামিতিক বা অন্যান্য) থেকে

X^{2}

$X^2$

E [X])^{2}

$E[X])^2$

— একটিকে সন্ধান করেছি

@ মিচ আমি বুঝতে পারি নি যে আপনি যে প্রশ্নটি খুঁজছিলেন তা আপনি পোস্ট করেছিলেন।

— মাইকেল আর চেরনিক 14'17