আশাবাদ পক্ষপাত - পূর্বাভাস ত্রুটির অনুমান

ইলিমেন্টস অফ স্ট্যাটিস্টিকাল লার্নিং (পিডিএফ অনলাইনে উপলভ্য) বইটি অপটিমাইজম পক্ষপাত (7.21, পৃষ্ঠা 229) নিয়ে আলোচনা করেছে। এটিতে বলা হয়েছে যে আশাবাদ পক্ষপাতটি হ'ল প্রশিক্ষণ ত্রুটি এবং ইন-স্যাম্পল ত্রুটির মধ্যে পার্থক্য (আমরা যদি প্রতিটি প্রশিক্ষণের মূল বিন্দুতে নতুন ফলাফলের মানগুলি নমুনা করি তবে ত্রুটি পরিলক্ষিত হয়) (প্রতি নীচে)।

এখানে চিত্র বর্ণনা লিখুন

এরপরে, এতে বলা হয়েছে যে এই আশাবাদ পক্ষপাত ( ) আমাদের আনুমানিক y মানগুলি এবং প্রকৃত y মানগুলির (নীচে প্রতি সূত্র) সমান। এই সূত্রটি কেন আশাবাদ পক্ষপাতিত্ব নির্দেশ করে তা বুঝতে আমার সমস্যা হয়; নির্লজ্জভাবে আমি ভাবতাম যে বাস্তব এবং ভবিষ্যদ্বাণী করা মধ্যে একটি শক্তিশালী ovকতানতা কেবল নির্ভুলতার বর্ণনা দেয় - আশাবাদ নয়। যদি কেউ সূত্রটি বের করার ক্ষেত্রে সহায়তা করতে পারেন বা অন্তর্দৃষ্টিটি ভাগ করতে পারেন তবে আমাকে জানান। $\omega$ $y$ $y$

এখানে চিত্র বর্ণনা লিখুন

error bias validation

— user1885116
সূত্র

খুব সহায়ক, আপনাকে ধন্যবাদ! আমি মনে করি যে কোনও একটি সমীকরণের গৌণ টাইপ রয়েছে এবং এটি হওয়া উচিত:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— ঘুমন্ত

উত্তর:

অন্তর্দৃষ্টি দিয়ে শুরু করা যাক।

ব্যবহারে কোনও ভুল নেই $y_i$ অনুমান করা $\hat{y}_i$ । আসলে, এটি ব্যবহার না করার অর্থ আমরা মূল্যবান তথ্য ফেলে দিচ্ছি। তবে আমরা এতে থাকা তথ্যের উপর যত বেশি নির্ভর করি $y_i$ আমাদের পূর্বাভাসের সাথে সামনে আসতে আমাদের অনুমানকারী যত বেশি পরিমাণে আশাবাদী হবে।

একটি চরম উপর, যদি $\hat{y}_i$ শুধুমাত্র $y_i$ , আপনার নমুনা পূর্বাভাসে নিখুঁত হবে ( $R^2 = 1$ ), তবে আমরা নিশ্চিত যে নমুনার বাইরে থাকা ভবিষ্যদ্বাণীটি খারাপ হবে pretty এই ক্ষেত্রে (এটি নিজের দ্বারা পরীক্ষা করা সহজ) স্বাধীনতার ডিগ্রি হবে $df(\hat{y}) = n$ ।

অন্য চূড়ান্তভাবে, আপনি যদি নমুনাটির মাধ্যমটি ব্যবহার করেন $y$ : $y_i = \hat{y_i} = \bar{y}$ সবার জন্য $i$ , তাহলে আপনার স্বাধীনতার ডিগ্রি সবেমাত্র 1 হবে।

পরীক্ষা করে দেখুন রায়ান Tibshirani দ্বারা এই সুন্দর বিলিপত্র এই অনুভূতি আরও বিশদের জন্য

এখন অন্য উত্তরের অনুরূপ প্রমাণ, তবে আরও কিছুটা ব্যাখ্যা দিয়ে

মনে রাখবেন যে সংজ্ঞা অনুসারে গড় আশাবাদটি হ'ল:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

এখন একটি চতুর্ভুজ লোকসান ফাংশন ব্যবহার করুন এবং স্কোয়ার শর্তাদি প্রসারিত করুন:

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - \frac{1}{N} \sum_{i = 1}^{N} (y_{i} - {\hat{y}}_{i})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

ব্যবহার $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ প্রতিস্থাপন করতে:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

শেষ করতে, এটি নোট করুন $Cov(x, w) = E[xw] - E[x]E[w]$ যা ফল দেয়:

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
সূত্র

আমাকে উল্লেখ করতে হবে যে তার নামটি "রাইয়ান তিবশিরানি" রব তিবশিরানী

— রবার্ট তিবশিরানী

আমাদের সাইটে আপনাকে স্বাগতম, রব - যদি এখানে কোনও ত্রুটি সংশোধন করার জন্য হয় তবে আপনাকে এখানে রাখা আমার জন্য একটি বিশেষ সুযোগ! আপনি যদি আরও কিছু দেখতে পান তবে দয়া করে আমাদের জানান: এবং অবশ্যই আপনার (বা আপনার শিক্ষার্থীরা) পোস্টের যত্ন নিতে পারে এমন কোনও উত্তর নিয়ে আমরা খুশি হব। আপনার কাজটি এই সাইটে ব্যাপকভাবে উল্লেখ করা হয়, বিশেষত ESL এবং বুটস্ট্র্যাপের ইন্ট্রো।

— whuber

মন বুঝিয়ে দিচ্ছি

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$ ? এটাও

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$ ?

— শুকি 25'18

দিন $\hat{f}(x_i)=\hat{y}_i$ তাহলে

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{i n} - \bar{e r r}] \\ = E_{y} [E r r_{i n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}))] - E_{y} [\frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0} - {\hat{y}}_{i})^{2}] - E_{y} [(y_{i} - {\hat{y}}_{i})^{2}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{1}{N} \sum_{i = 1}^{N} E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E_{y} [y_{i} {\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [y_{i} {\hat{y}}_{i} - y_{i} E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}] {\hat{y}}_{i} + E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]] \\ = \frac{2}{N} \sum_{i = 1}^{N} E_{y} [({\hat{y}}_{i} - E_{y} [{\hat{y}}_{i}]) ([y_{i} - E_{y} [y_{i}])] \\ = \frac{2}{N} \sum_{i = 1}^{N} c o v ({\hat{y}}_{i}, y_{i}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ Q.E.D.

— Maciej Lazarewicz
সূত্র

The last four steps can be simplified by this property of covariance:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98