প্রত্যাশিত ভবিষ্যদ্বাণী ত্রুটি - ডেরাইভেশন

আমি নীচে প্রতি প্রত্যাশিত পূর্বাভাস ত্রুটির (ESL) তাত্পর্য বোঝার জন্য লড়াই করছি, বিশেষত ২.১১ এবং ২.১২ (কন্ডিশনিং, পয়েন্ট-ওয়াইজ ন্যূনতম দিকে ধাপ) the যে কোনও পয়েন্টার বা লিঙ্কগুলি প্রশংসিত।

নীচে আমি ইএসএল পৃষ্ঠা থেকে উদ্ধৃত প্রতিবেদন করছি। 18. প্রথম দুটি সমীকরণ, ক্রম, সমীকরণ 2.11 এবং 2.12।

যাক একটি বাস্তব মূল্যবান র্যান্ডম ইনপুট ভেক্টর, এবং বোঝাতে একটি বাস্তব মূল্যবান র্যান্ডম আউটপুট পরিবর্তনশীল, যুগ্ম ডিস্ট্রিবিউশনের সাথে । আমরা ইনপুট প্রদত্ত মানগুলির পূর্বাভাস দেওয়ার জন্য একটি ফাংশন $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ । ভবিষ্যদ্বাণীতে ত্রুটিগুলি দণ্ডিত করার জন্য এই তত্ত্বটির ক্ষতি একটি ক্ষতি ফাংশন প্রয়োজন $L(Y,f(X))$ , এবং এখন পর্যন্ত সবচেয়ে সাধারণ এবং সুবিধাজনক হ'ল স্কোয়ার ত্রুটি ক্ষতি : $L(Y,f(X))=(Y-f(X))^2$ । এটি আমাদের $f$ নির্বাচনের জন্য একটি মানদণ্ডে নিয়ে যায়,

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

প্রত্যাশিত (স্কোয়ার) পূর্বাভাস ত্রুটি। $X$ কন্ডিশনার করে আমরা ইপিই লিখতে পারি

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

এবং আমরা দেখতে পেলাম যে ইপিই পয়েন্ট-ওয়াইনকে হ্রাস করতে যথেষ্ট হবে:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

সমাধানটি হ'ল

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

শর্তসাপেক্ষ প্রত্যাশা, যা রিগ্রেশন ফাংশন নামেও পরিচিত ।

regression prediction error

— user1885116
সূত্র

ল এর সম্পূর্ণ প্রত্যাশার উইকিপিডিয়া নিবন্ধের প্রথম সমীকরণে

এবং

অদলবদল (2.9) এবং (2.11) এর সমতুল্যতা দেয়। প্রমাণের জন্য যে নিবন্ধটি পড়ুন। (2.12) যে অবিলম্বে করা হচ্ছে বুঝতে উপর

অর্ডার EPE হ্রাস করার জন্য মনোনীত করা হয়।

X

$X$

Y

$Y$

f

$f$

— whuber

পার্শ্ব দ্রষ্টব্য: এটি পরিসংখ্যান শেখার উপাদানগুলি

— ঝুবার্ব

যারা এই বইটি পড়ছেন তাদের জন্যও ওয়েদারম্যাক্স এবং এপস্টেইনের এই বিস্তৃত নোটগুলি দেখুন

— ডডজি

@ ডডজি সেই লিঙ্কটি মারা গেছে: (

— ম্যাথু ড্রুরি

-); @MatthewDrury সৌভাগ্যবশত একটি "Weathermax এবং এপস্টাইন পরিসংখ্যান" এর googling প্রথম ফলে একটি লিঙ্ক ফিরে waxworksmath.com/Authors/G_M/Hastie/WriteUp/...

— Dodgie

উত্তর:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— user48002
সূত্র

আপনি কী লিখেছেন তা আমি বুঝতে পেরেছি, তবে আপনি কি ভাবেন যে যদি প্রশ্নটিতে দেখানো ডাইরিভিশন দ্বারা ওপি বিভ্রান্ত হয়, তবে তিনি আপনার উত্তরটি বুঝতে পারবেন? অবশ্যই, আমি ইতিমধ্যে প্রশ্নটিতে প্রদর্শিত ব্যয় বুঝতে পেরেছি।

— মার্ক এল স্টোন

আমি গুগল থেকে একই প্রশ্নটি নিয়ে এখানে এসেছি এবং এই উত্কৃষ্টতাকে আমার ঠিক যা প্রয়োজন তা হ'ল।

— সেমিকোলনস এবং নালী টেপ

@ MarkL.Stone - এই একটি মূঢ় প্রশ্ন হতে পারে, কিন্তু আপনি ব্যাখ্যা হতে পারে কি দ্বারা বোঝানো হয়

এবং কিভাবে এটা হয়ে

? ধন্যবাদ একগুচ্ছ

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

— জাভেয়ের বউরেট সিকোত্তে

প্রাক্তন বলতে যা বোঝায় তা হ'ল পরেরটি। আমি মনে করি পরিবর্তে ডিপি (এক্স, ওয়াই) বা ডিএফ (এক্স, ওয়াই) ব্যবহার করা বেশি সাধারণ। 1 ডি-তে, আপনি প্রায়শই ডিএফ (এক্স) দেখতে f (x) ডিএক্স দেখতে পাবেন যেখানে f (x) সম্ভাবনা ঘনত্বের ক্রিয়া, তবে স্বরলিপিটি পৃথক সম্ভাব্যতা ভর ক্রিয়াকলাপ (সংক্ষেপে) বা এমনকি একটি মিশ্রণেরও অনুমতি দিতে পারে অবিচ্ছিন্ন ঘনত্ব এবং পৃথক সম্ভাবনা ভর।

— মার্ক এল স্টোন

(শেষ সূত্র)

বলার চেয়ে আরও নির্ভুল হবে না ?

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— ডি 1 এক্স

সমীকরণ (2.11) নিম্নলিখিত সামান্য সাম্যতার একটি পরিণতি। যে কোনও দুটি এলোমেলো ভেরিয়েবলের জন্য এবং এবং যে কোনও ফাংশন $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

$E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

না করে এটিকে ক্ষেত্রে এটি যাচাই করা সহজ easy $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} g (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

The continuous case can either be viewed informally as a limit of this argument, or formally verified once all the measure theoretic do-dads are in place.

To unwind the application, take $Z_1 = Y$ , $Z_2 = X$ , and $g(x, y) = (y - f(x))^2$ . Everything lines up exactly.

The assertion (2.12) asks us to consider minimizing

E_{X} E_{Y ∣ X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

where we are free to choose $f$ as we wish. Again, focusing on the discrete case, and dropping halfway into the unwinding above, we see that we are minimizing

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

Everything inside the big parenthesis is non-negative, and you can minimize a sum of non-negative quantities by minimizing the summands individually. In context, this means that we can choose $f$ to minimize

\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

individually for each discrete value of $x$ . This is exactly the content of what ESL is claiming, only with fancier notation.

— Matthew Drury
সূত্র

I find some parts in this book express in a way that is difficult to understand, especially for those who do not have a strong background in statistics.

I will try to make it simple and hope that you can get rid of confusion.

Claim 1 (Smoothing) $E(X) = E(E(X|Y)),\forall X,Y$

Proof: Notice that E(Y) is a constant but E(Y|X) is a random variable depending on X.

\begin{aligned} E (E (X | Y)) & = \int E (X | Y = y) f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int \int x f_{X Y} (x, y) d x d y \\ = \int x (\int f_{X Y} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

Claim 2: $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

Proof:

\begin{aligned} E ((Y - f (X))^{2} | X) & = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (since E (Y | X) - f (X) is constant given X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) ( use Claim 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Taking expectation both sides of the above equation give Claim 2 (Q.E.D)

Therefore, the optimal f is $f(X) = E(Y|X)$

— thanhtang
সূত্র