পক্ষপাত-বৈকল্পিক ট্রেডঅফ ডেরাইভেশন বোঝা

আমি পরিসংখ্যানগত শিক্ষার উপাদানগুলির পক্ষপাতিত্ব-বৈচিত্র্য ট্রেড অফের অধ্যায়টি পড়ছি এবং 29 পৃষ্ঠার সূত্রটিতে আমার সন্দেহ আছে যেখানে এলোমেলোভাবে এমন একটি মডেল থেকে ডেটা উত্থাপন করা যাক data প্রত্যাশিত মান number এবং ভেরিয়েন্স । যাক মডেলের ত্রুটির প্রত্যাশিত মান যেখানে ভবিষ্যদ্বাণী হল আমাদের শিক্ষার্থীর। বই অনুসারে, ত্রুটিটি হ'ল

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

আমার প্রশ্ন হল কেন পক্ষপাত মেয়াদ 0 নয়? ত্রুটির সূত্রটি বিকাশ করে আমি

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

যেমন একটি স্বতন্ত্র এলোমেলো সংখ্যা $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

আমি কোথায় ভুল করছি?

— Emanuele
সূত্র

আপনি ভুল নন, তবে আপনি থেকে এক ধাপে একটি ত্রুটি করেছেন । হ'ল । $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

দ্রষ্টব্য: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
সূত্র

বাইনারি ফলাফলের ক্ষেত্রে, ত্রুটি পরিমাপ হিসাবে ক্রস এনট্রপি সহ একটি সমমানের প্রমাণ আছে?

— emanuele

এটি একটি বাইনারি প্রতিক্রিয়া সঙ্গে এত ভাল কাজ করে না। "পরিসংখ্যানগত শিক্ষার উপাদানসমূহ" এর দ্বিতীয় সংস্করণে প্রাক্তন 7.2 দেখুন।

— ম্যাথু ড্রুরি

আপনি কীভাবে থেকে যেতে পারেন থেকে ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— এন্টোইন

বায়াসের আরও কয়েকটি ধাপ - ভেরিয়েন্স পচে যাওয়া

প্রকৃতপক্ষে, পাঠ্যপুস্তকগুলিতে পুরো ডাইরিভিশনটি খুব কমই দেওয়া হয় কারণ এতে প্রচুর পরিমাণে অনিয়মিত বীজগণিত জড়িত। 223 পৃষ্ঠায় "পরিসংখ্যান সম্পর্কিত উপাদানগুলির উপাদান" বইটি থেকে স্বরলিপিটি ব্যবহার করে এখানে আরও একটি সম্পূর্ণ উত্সাহ প্রাপ্ত

যদি আমরা ধরে নিই যে এবং এবং তবে আমরা রিগ্রেশন ফিটের প্রত্যাশিত ভবিষ্যদ্বাণী ত্রুটির জন্য এক্সপ্রেশনটি পেতে পারি স্কোয়ার ত্রুটি হ্রাস ব্যবহার করে একটি ইনপুট এ $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

সরলতার জন্য আসুন , এবং এবং স্মরণ করুন $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

মেয়াদে আমরা উপরের মতো একটি অনুরূপ কৌতুক ব্যবহার করতে পারেন যোগ এবং বিয়োগ পেতে $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

একসাথে রেখে

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

সম্পর্কে কিছু মন্তব্য $E[\hat f Y] = f E[\hat f]$

Alecos Papadopoulos থেকে নেওয়া এখানে

স্মরণ করুন যে ডেটা পয়েন্টগুলি উপর ভিত্তি করে আমরা প্রেডিকটারটি তৈরি করেছি ict যাতে আমরা এটি মনে রাখতে লিখতে পারি । $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

অন্যদিকে হ'ল ভবিষ্যদ্বাণীটি আমরা উপরের ডেটা পয়েন্টগুলিতে নির্মিত মডেলটি ব্যবহার করে একটি নতুন ডেটা পয়েন্ট । সুতরাং গড় স্কোয়ার ত্রুটি হিসাবে লেখা যেতে পারে $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

পূর্ববর্তী বিভাগ থেকে সমীকরণটি প্রসারণ করা

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ϵ)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ϵ] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

সমীকরণের শেষ অংশটি হিসাবে দেখা যেতে পারে

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

যেহেতু আমরা point পয়েন্টটি সম্পর্কে নিম্নলিখিত অনুমানগুলি করছি : $x^{(m+1)}$

এটা তোলে ছিল না যখন নির্মাণের ব্যবহৃত $\hat f_m$
এটি অন্যান্য সমস্ত পর্যবেক্ষণ independent of of এর থেকে পৃথক $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
এটি of এর থেকে পৃথক $\epsilon^{(m+1)}$

সম্পূর্ণ ডেরাইভেশন সহ অন্যান্য উত্স

— জাভিয়ের বোয়ারেট সিকোত্তে
সূত্র

কেন ? আমি মনে করি না যে এবং স্বতন্ত্র, যেহেতু using মূলত ব্যবহার করে নির্মিত ।

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— ফিলিপে পেরেজ

তবে প্রশ্নটি মূলত একই, কেন ? The এর এলোমেলোতা ত্রুটি থেকে আসে তাই আমি কেন দেখছি না কেন এবং স্বাধীন হতে পারে এবং তাই hence ।

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— ফিলিপে পেরেজ

আপনার পূর্বরূপ থেকে মনে হয় যে নমুনা বনাম নমুনার দৃষ্টিকোণের বাইরে গুরুত্বপূর্ণ। এটা তাই? যদি আমরা কেবলমাত্র নমুনায় কাজ করি এবং, তাহলে, কীভাবে অবশিষ্টাংশ হিসাবে বৈষম্য ট্রেড অফটি অদৃশ্য হবে?

ϵ

$\epsilon$

— মার্কোইটস

@ ফিলিপপ্রেজ যতদূর আমি বুঝতে পেরেছি, rand এর এলোমেলোতা ট্রেন-পরীক্ষার বিভাজন থেকে আসে (যা পয়েন্টগুলি ট্রেনিং সেটে শেষ হয়েছিল এবং প্রশিক্ষিত ভবিষ্যদ্বাণী হিসাবে gave দিয়েছে )। অন্য কথায়, of এর বৈকল্পিকতা প্রদত্ত নির্দিষ্ট ডেটা সেটের সমস্ত সম্ভাব্য উপসর্গ থেকে আসে যা আমরা প্রশিক্ষণের সেট হিসাবে নিতে পারি। ডেটা-সেটটি স্থির থাকায় থেকে কোনও এবং তাই এবং স্বাধীন।

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— আলবার্তো শান্তিনি

পক্ষপাত-বৈকল্পিক ট্রেডঅফ ডেরাইভেশন বোঝা

বায়াসের আরও কয়েকটি ধাপ - ভেরিয়েন্স পচে যাওয়া

সম্পর্কে কিছু মন্তব্যই[ চ^ওয়াই] = চই[ চ^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

সম্পূর্ণ ডেরাইভেশন সহ অন্যান্য উত্স

সম্পর্কে কিছু মন্তব্য $E[\hat f Y] = f E[\hat f]$