শর্তাধীন প্রত্যাশার প্রমাণের সাথে সেরা ভবিষ্যদ্বাণী হিসাবে সমস্যা

19

প্রমাণের সাথে আমার একটি সমস্যা আছে

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

যা খুব সম্ভবত প্রত্যাশা এবং শর্তসাপেক্ষ প্রত্যাশার গভীর ভুল বোঝাবুঝির প্রকাশ করে।

আমার জানা প্রমাণগুলি নীচে চলে যায় (এই প্রমাণের আর একটি সংস্করণ এখানে পাওয়া যাবে )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

তারপরে প্রমাণটি সাধারণত একটি যুক্তি দিয়ে অব্যাহত থাকে যা দেখায় যে $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ , এবং তাই

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

যখন কমে যেতে দেখা যায় $g(X) = E(Y|X)$ ।

প্রমাণ সম্পর্কে আমার ধাঁধা নিম্নলিখিত:

বিবেচনা

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ ।

আমার কাছে এটি মনে হয় যে, প্রথম পদটি সর্বদা শূন্যের সমান হয় এমন কোনও যুক্তি থেকে স্বতন্ত্রভাবে, কেউ দেখতে পাবে যে $g(X) = E(Y|X)$ প্রকাশটি হ্রাস করে যেমন এটি প্রকাশিত হয় $\big(E(Y|X) - g(X)\big) =0$ এবং তাই

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0।

কিন্তু এই যদি সত্য হয় তাহলে এক প্রমাণ প্রতিস্থাপন পুনরাবৃত্তি পারে অন্য কোন ফাংশন দ্বারা বলতে , এবং উপসংহার পেতে হয় নি যে ছোট অভিব্যক্তি। সুতরাং অবশ্যই আমি ভুল কিছু বুঝতে পারি (ডান?) $E(Y|X)$ $X$ $h(X)$ $h(X)$

সমস্যার বিবৃতিতে এর অর্থ সম্পর্কে আমার কিছু সন্দেহ আছে । স্বরলিপিটি কীভাবে ব্যাখ্যা করা উচিত? এটা মানে $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , বা ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— মার্টিন ভ্যান ডার লিন্ডেন
সূত্র

11

(এটি গ্রেঞ্জার এবং নিউবোল্ড (1986) "পূর্বাভাস অর্থনৈতিক সময় সিরিজ" এর একটি রূপান্তর)।

নির্মাণ, আপনি যা ত্রুটি খরচ ফাংশন হয় । এটি একটি সমালোচনা অনুমানকে অন্তর্ভুক্ত করে (যে ত্রুটি ব্যয় ফাংশনটি শূন্যের কাছাকাছি প্রতিসম হয়) - একটি ভিন্ন ত্রুটি ব্যয় শর্তসাপেক্ষ প্রত্যাশিত মানটি তার প্রত্যাশিত মানের মতো প্রয়োজন হয় না। আপনি আপনার ত্রুটি ব্যয় ক্রিয়াকে হ্রাস করতে পারবেন না কারণ এতে অজানা পরিমাণ রয়েছে। সুতরাং আপনি পরিবর্তে এর প্রত্যাশিত মান হ্রাস করার সিদ্ধান্ত নিয়েছেন। তারপরে আপনার উদ্দেশ্যমূলক কার্য হয়ে যায় $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

যা আমি বিশ্বাস করি আপনার উত্তর দ্বিতীয় উত্তর। এটি স্বজ্ঞাত যে প্রত্যাশিত মানটি উপর শর্তযুক্ত হবে , যেহেতু আমরা উপর ভিত্তি করে অনুমান / পূর্বাভাস দেওয়ার চেষ্টা করছি । বর্গক্ষেত্রটি পেতে পচন করুন $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

প্রথম পদটিতে থাকে না তাই এটি হ্রাসকরণকে প্রভাবিত করে না এবং এড়ানো যায়। দ্বিতীয় মেয়াদে অবিচ্ছেদ্য প্রদত্ত এর শর্তসাপেক্ষ প্রত্যাশিত মানের সমান , এবং শেষ মেয়াদে অবিচ্ছেদ্য unityক্যের সমান। সুতরাং $g(X)$ $Y$ $X$

\arg min_{g (x)} ই {[ওয়াই - ছ (এক্স)]}^{2} = ARG \underset{ছ (এক্স)}{সর্বনিম্ন} {- 2 ছ (এক্স) ই (ওয়াই | এক্স) + + [ছ (এক্স)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

প্রথম ডেরাইভেটিভ আর্ট হ'ল হ্রাস করার জন্য প্রথম অর্ডার শর্তের দিকে নিয়ে যায় যখন দ্বিতীয় ডেরাইভেটিভ সমান যা সর্বনিম্ন জন্য যথেষ্ট। $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

অ্যাডেন্ডেন্ডাম: "অ্যাড এবং বিয়োগ" প্রমাণ পদ্ধতির যুক্তি।

প্রশ্নটিতে বর্ণিত পদ্ধতির দ্বারা ওপি বিস্মিত হয়েছে, কারণ এটি টোটোলজিকাল বলে মনে হচ্ছে। এটি এমনটি নয়, কারণ যুক্ত এবং বিয়োগের কৌশলটি ব্যবহার করার সময় সংযোজন এবং বিয়োগফল শব্দের একটি স্বেচ্ছাসেবী পছন্দের জন্য উদ্দেশ্য ফাংশনের একটি নির্দিষ্ট অংশকে শূন্য করে তোলে , এটি মান ফাংশনকে সমান করে না , অর্থাত্ মূল্যের মানকে প্রার্থী মিনিমাইজারে ফাংশন মূল্যায়ন করা হয়।

পছন্দের জন্য আমাদের মান ফাংশন স্বেচ্ছাসেবী পছন্দের জন্য আমাদের মান fun । $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

আমি দাবি করি

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

এলএইচএস এবং আরএইচএসের প্রথম মেয়াদ বাতিল হয়ে যায়। এছাড়াও লক্ষ করুন যে বাইরে বাইরের প্রত্যাশা শর্তযুক্ত । শর্তাধীন প্রত্যাশার বৈশিষ্ট্য দ্বারা আমরা শেষ করি $X$

। । । \Rightarrow - 2 ই (ওয়াই | এক্স) \cdot ই (ওয়াই | এক্স) + + [ই (ওয়াই | এক্স)]^{2} \leq - 2 ই (ওয়াই | এক্স) জ (এক্স) + + [জ (এক্স)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [ই (ওয়াই | এক্স)]^{2} - 2 ই (ওয়াই | এক্স) জ (এক্স) + + [জ (এক্স)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [ই (ওয়াই | এক্স) - জ (এক্স)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ যা হলে কঠোর বৈষম্য সহ ধারণ করে । সুতরাং হ'ল বৈশ্বিক এবং অনন্য মিনিমাইজার।

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

তবে এটি আরও বলেছে যে "অ্যাড-এন্ড-বিয়োগ" পদ্ধতিটি এখানে প্রমাণের সবচেয়ে আলোকিত উপায় নয়।

— আলেকোস পাপাদোপ্লোস
সূত্র

উত্তর দেওয়ার জন্য আপনাকে ধন্যবাদ। এটি আমার দ্বিতীয় প্রশ্নটি পরিষ্কার করতে সহায়তা করে। আমি যেমন প্রশ্নের শিরোনামে জানাতে চেষ্টা করেছি, আমার মূল ইস্যু (পোস্টের প্রথমটি) প্রুফ মেকানিজম সম্পর্কে বেশি ছিল। আমার প্রধান উদ্বেগ হ'ল আমি প্রশ্নটিতে যে প্রমাণটি উপস্থাপন করেছি সে সম্পর্কে আমার বোঝা about আমি যেমন ব্যাখ্যা করেছি, আমার প্রুফ সম্পর্কে আমার বোঝাপড়া আমাকে স্পষ্টতই সমস্যাযুক্ত বক্তব্যের দিকে নিয়ে যায়। সুতরাং আমি বুঝতে চাই যে আমার ভুলটি যেমন প্রত্যাশা ধারণা এবং শর্তসাপেক্ষ প্রত্যাশা সম্পর্কে কিছু গভীর ভুল বোঝাবুঝি করতে পারে। এই সম্পর্কে কোন চিন্তা?

— মার্টিন ভ্যান ডের লিন্ডেন

1

আমি প্রমাণের "যোগ এবং বিয়োগ" পদ্ধতির বিষয়ে কিছু ব্যাখ্যা যুক্ত করেছি।

— অ্যালেকোস পাপাদোপল্লোস

এটি বুঝতে আমাকে কিছুটা সময় নিয়েছিল, তবে অবশেষে আমি আমার মূল ভুলটি পেয়েছি: যথার্থ পরিমাণে যখন , তবে কোনওভাবেই এটি বোঝায় না যে এক্সপ্রেশনটি হ্রাস করবে । বন্ধুর প্রকাশটি শূন্যের চেয়ে কম হতে পারে না এমন কোনও কারণ নেই। এর সামনে বিয়োগ চিহ্নের কারণে যে কোনও একটি খুঁজে পেতে পারে যেমন ।

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— মার্টিন ভ্যান ডের লিন্ডেন

1

হুমম ... আপনি যে অভিব্যক্তিটি উল্লেখ করেছেন তাতে বিয়োগ চিহ্নটি একটি ভুল - এটি একটি প্লাস চিহ্ন হতে হবে। আপনি অবশ্যই আবার বিয়োগ চিহ্নটি পেতে শর্তাদি পুনর্বিন্যস্ত করতে পারেন ... এটি কী আপনার অন্তর্দৃষ্টি লাভ করেছে?

— অ্যালেকোস পাপাদোপল্লোস

প্রশ্নটি ধরে রাখার জন্য ধন্যবাদ। এই ভুল সংশোধন করার জন্য আমি প্রাথমিক পোস্টটি সম্পাদনা করেছি। ভাগ্যক্রমে, আমি মনে করি এটি অর্জিত অন্তর্দৃষ্টি ক্ষতি করে না। আসলে এটি আমাকে আরও একটি ভুল বুঝতে সহায়তা করে: আমি ধরে নিচ্ছিলাম যে বিয়োগ চিহ্নটি গ্যারান্টি দেওয়া গুরুত্বপূর্ণ ছিল যে ন্যূনতম এর কমপক্ষে নয় । তবে আমি বুঝতে পেরেছি যে এটি কেবল ২ এর আগে সাইন সম্পর্কে নয় (আশা করি) আমার আসলে যা বোঝার দরকার তা হ'ল সাধারণভাবে (অর্থাত্ স্বেচ্ছাচারী ) মিনিমাইজ করা প্রয়োজন যখন (ডান?)।

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— মার্টিন ভ্যান ডের লিন্ডেন

5

নোট করুন যে উত্তরটি প্রমাণ করার জন্য, আপনাকে কেবল এটি প্রদর্শন করা দরকার

ই [- 2 (ওয়াই - ই (ওয়াই | এক্স)) (ই (ওয়াই | এক্স) - ছ (এক্স))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

যা প্রত্যাশা নেওয়ার জন্য, আপনি এটি শর্তযুক্ত করে নিন, অন্যথায় শব্দটি the

ARG \underset{ছ (এক্স)}{সর্বনিম্ন} ই [(ওয়াই - ছ (এক্স))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

না, জানার একটি এলোপাতাড়ি ভেরিয়েবলের যদি হয় এবং । আপনার সত্যই বা লিখতে হবে তা দেখান এটি পরিষ্কার করার জন্য । এখন এই স্পষ্টতা দেওয়ার পরে, শব্দটি একটি ধ্রুবক, এবং এটি নির্বাসনের বাইরে টানা যায়, এবং আপনার কাছে রয়েছে: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (ই (ওয়াই | এক্স) - ছ (এক্স)) ই [(ওয়াই - ই (ওয়াই | এক্স)) | এক্স] = - 2 (ই (ওয়াই | এক্স) - ছ (এক্স)) [ই (ওয়াই | এক্স) - ই [ই (ওয়াই | এক্স) | এক্স]] = - 2 (ই (ওয়াই | এক্স) - ছ (এক্স)) [ই (ওয়াই | এক্স) - ই (ওয়াই | এক্স)] = 0

সুতরাং আপনি উদ্দেশ্যমূলক ফাংশনটি লিখতে পারেন:

ই_{ওয়াই | এক্স} [(ওয়াই - ছ (এক্স))^{2}] = ই_{ওয়াই | এক্স} [(ওয়াই - ই_{ওয়াই | এক্স} (ওয়াই | এক্স))^{2}] + + (ই_{ওয়াই | এক্স} (ওয়াই | এক্স) - ছ (এক্স))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

মিনিমিজারটি এখান থেকেই স্পষ্ট। মনে রাখবেন যে আপনারও যদি গড় হয় তবে দেখাতে খুব অনুরূপ একটি যুক্তি ব্যবহার করা যেতে পারে: $X$

ই_{এক্স} [(ই (ওয়াই | এক্স) - ছ (এক্স))^{2}] = ই_{এক্স} [(ই_{ওয়াই | এক্স} (ওয়াই | এক্স) - ই_{এক্স} [ই_{ওয়াই | এক্স} (ওয়াই | এক্স)])^{2}] + + (ই_{এক্স} [ই_{ওয়াই | এক্স} (ওয়াই | এক্স)] - ই_{এক্স} [ছ (এক্স)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

এটি দেখায় যে আপনি যদি প্রতিটি জন্য তবে আপনার পাশাপাশি এই ফাংশনটির উপর একটি মিনিমিজারও রয়েছে। তাই কিছু অর্থে এটা সত্যিই কোন ব্যাপার না কিনা হয় বা । $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— probabilityislogic
সূত্র

3

একটি গাণিতিক দৃষ্টিভঙ্গি রয়েছে যা খুব সহজ। আপনার যা হিলবার্ট স্পেসে প্রজেকশন সমস্যা তা হ'ল অনেকটা একটি উপস্থানে ভেক্টর প্রজেক্ট করার মতো । $\mathbb{R}^n$

আসুন অন্তর্নিহিত সম্ভাবনার স্থানটি চিহ্নিত করুন। সমস্যাটি বোঝার জন্য, সীমাবদ্ধ দ্বিতীয় মুহুর্তের সাথে র্যান্ডম ভেরিয়েবলগুলি বিবেচনা করুন, এটি হিলবার্ট স্পেস । দেওয়া হলে সমস্যা এখন এই হল , প্রজেকশন এটি subspace সম্মুখের , যেখানে হ'ল দ্বারা উত্পাদিত of এর ig সুজালজেব্রা । (যেমন সীমাবদ্ধ মাত্রিক ক্ষেত্রে, একটি উপসর্গের দূরত্বকে হ্রাস করা মানে প্রক্ষেপণ সন্ধান করা)। কাঙ্ক্ষিত অভিক্ষেপ হয় $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , নির্মাণের মাধ্যমে। (এটি আসলে বৈশিষ্ট্যযুক্ত , যদি কেউ অস্তিত্বের প্রমাণ পরীক্ষা করে)। $E(X|Y)$

— মাইকেল
সূত্র

এটি একটি সুন্দর প্রতিক্রিয়া।

— jII

0

আপনার শেষ প্রশ্নটি সম্পর্কে, প্রত্যাশাটি আর্ট (নিঃশর্ত ত্রুটি) বা আর্ট (প্রতিটি মান এর শর্তাধীন ত্রুটি ) হতে পারে। আনন্দের সাথে, প্রতিটি মান এ শর্তযুক্ত ত্রুটি হ্রাস করা নিঃশর্ত ত্রুটিও হ্রাস করে, সুতরাং এটি কোনও গুরুত্বপূর্ণ পার্থক্য নয়। $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— ইউলাসেস ব্রাগা-নেটো
সূত্র