হয়েফডিং অসমতায় ব্যবহৃত একটি লেমার প্রমাণ বোঝা

আমি পরিসংখ্যান সম্পর্কিত ল্যারি ওয়াসারম্যানের বক্তৃতা নোটগুলি অধ্যয়ন করছি যা কেসেলা এবং বার্জারটিকে এর প্রাথমিক পাঠ হিসাবে ব্যবহার করে। আমি তার বক্তৃতা নোট 2 সেট নোটের মাধ্যমে কাজ করছি এবং হয়েফডিংয়ের বৈষম্য (পিপি ২-৩) এ ব্যবহৃত লেমা ব্যবহারে আটকে গিয়েছি। আমি নীচের নোটগুলিতে প্রমাণগুলি পুনরায় উত্পাদন করছি এবং প্রমাণের পরে আমি কোথায় আটকা পড়েছি তা নির্দেশ করব।

থিম

ধরুন যে এবং এটি । তারপর । $\mathbb{E}(X) = 0$ $a \le X \le b$ $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

প্রমাণ

যেহেতু , আমরা লিখতে পারেন একটি উত্তল সংমিশ্রন হিসেবে এবং , যথা যেখানে । ফাংশনের ন্যুব্জতা দ্বারা আমরা আছে $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

উভয় পক্ষের প্রত্যাশা নিন এবং পেতে ব্যবহার করুন $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

যেখানে , এবং । মনে রাখবেন । এছাড়াও সমস্ত জন্য । $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ $g(0) = g^{'}(0) = 0$ $g^{''}(u) \le 1/4$ $u > 0$

টেলরের উপপাদ্য অনুসারে এমন একটি $\varepsilon \in (0, u)$ that রয়েছে যা $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

অত: পর $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ ।

আমি প্রমাণ পর্যন্ত অনুসরণ করতে পারে

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ তবে আমি কীভাবে am অর্জন করতে পারি তা বুঝতে অক্ষম । $u, g(u), \gamma$

probability probability-inequalities

— আনন্দ
সূত্র

এটি আকর্ষণীয় যে এর সর্বাধিক মান হ'ল এবং সুতরাং ফল কার্যকরভাবে যা নিখুঁত কাকতালীয় কারণে উত্থাপিত হতে খুব বেশি পরিচিত বলে মনে হচ্ছে। আমার সন্দেহ, সম্ভাব্য যুক্তি দিয়ে ফলাফলটি নেওয়ার আরও একটি, সম্ভবত সহজতর উপায় হতে পারে।

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— দিলীপ সরোতে

@ দিলিপ সরওয়াতে আমার বোঝাটি হল যে ইউনিফর্ম র‌্যান্ডম ভেরিয়েবল জন্য সর্বাধিক বৈকল্পিকতা ঘটে । ভ্যারিয়েন্স হয় । আপনি কীভাবে ব্যাখ্যা করতে পারেন আপনি কীভাবে got পেয়েছেন ?

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— আনন্দ

শেষ পয়েন্টগুলিতে ভর কেন্দ্রীভূত করে ...

— এলভিস

@ দিলিপ সরওয়াতে আমি প্রুফটিতে কয়েকটি মন্তব্য যুক্ত করেছি, এটি একটি লিটল বিটকে স্পষ্ট করে বলতে পারে কেন সবচেয়ে খারাপ ক্ষেত্রে সর্বোচ্চ বৈকল্পিকতা।

— এলভিস

@ দিলিপ সরওয়াতে - এখানে লেমমা 1 দেখুন এবং 1 টি অনুশীলন করুন: terrytao.wordpress.com/2010/01/03/… । মনে হচ্ছে জেনসেনের বৈষম্য এবং টেলর সম্প্রসারণের উপর নির্ভর করে একটি সহজ উপকরণ রয়েছে। তবুও এর বিবরণ আমার কাছে অস্পষ্ট। সম্ভবত কেউ এটি উপলব্ধি করতে পারে। ((9) থেকে (10) এর ব্যয় এবং অনুশীলন 1)

— লিও

আমি নিশ্চিত না যে আমি আপনার প্রশ্নটি সঠিকভাবে বুঝতে পেরেছি। আমি উত্তর দেওয়ার চেষ্টা করব: লেখার চেষ্টা করুন এর ফাংশন হিসাবে : এটি যেমন আপনি যদি একটি বাঁধা চান স্বাভাবিক ।

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

অভিজ্ঞতা দ্বারা সাহায্য, আপনি হবে জানি এটি ফর্ম লিখতে বেছে করাই ভালো । তারপরে বাড়ে সঙ্গে । $e^{g(u)}$

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

আপনি কি সেই জাতীয় জিনিসটির জন্য জিজ্ঞাসা করেছিলেন?

সম্পাদনা করুন: প্রমাণ সম্পর্কে কয়েকটি মন্তব্য

প্রথম কৌশলটি সাবধানতার সাথে দেখার দরকার: যদি একটি উত্তল ক্রিয়া হয় এবং কেন্দ্রিক র্যান্ডম পরিবর্তনশীল হয়, তবে যেখানে by দ্বারা সংজ্ঞায়িত পৃথক ভেরিয়েবল ফলত, আপনি যে পেতে হয় সমর্থনের সাথে কেন্দ্রিক পরিবর্তনশীল যার সর্বাধিক বৈকল্পিক রয়েছে: মনে রাখবেন যে আমরা যদি কোনও সমর্থন প্রস্থ $\phi$ $a\le X\le b$ $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ , এটি than চেয়ে কম যেমন মন্তব্যে বলেছেন, এটি কারণ ; জন্য । $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
এখন আমাদের সমস্যার দিকে ঘুরুন। কেবলমাত্র উপর নির্ভর করে কেন বাউন্ড পাওয়া সম্ভব ? Intuitively তা rescaling মাত্র একটি ব্যাপার : আপনি যদি আবদ্ধ আছে যদি ক্ষেত্রে জন্য , তারপর সাধারণ বাউন্ড গ্রহণ করে প্রাপ্ত হতে পারে । এখন প্রস্থ 1 এর সমর্থন সহ কেন্দ্রিক ভেরিয়েবলগুলির সেটটি মনে করুন: এত স্বাধীনতা নেই, সুতরাং মতো একটি সীমাবদ্ধ থাকা উচিত। অন্য একটি পদ্ধতির কথাটি কেবল say এর উপরের লেমা দ্বারা বলা যেতে পারে , তবে আরও সাধারণভাবে , যা কেবলমাত্র এবং এর উপর নির্ভর করে $u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ : আপনি যদি এবং এবং পরিবর্তিত হন, কেবলমাত্র এক ডিগ্রি স্বাধীনতা আছে, এবং , , । আমরা আপনাকে কেবলমাত্র সাথে জড়িত একটি সীমাটি খুঁজে পেতে হবে । $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
এখন আমরা নিশ্চিত যে এটি করা যেতে পারে, এটি আরও সহজ হতে হবে! আপনি শুরু করার জন্য অগত্যা ভাবেন না । মুল বক্তব্যটি হ'ল আপনাকে এবং ক্রিয়া হিসাবে আপনাকে অবশ্যই সবকিছু লিখতে হবে । প্রথম দ্রষ্টব্য যে , , এবং । তারপরে এখন আমরা বিশেষ ক্ষেত্রে আছি ... আমি আপনি শেষ করতে পারেন মনে হয়। $g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

আমি আশা করি আমি এটি কিছুটা স্পষ্ট করে বললাম।

— এলভিস
সূত্র

আমি যা খুঁজছিলাম ঠিক তা-ও করি। অনেক ধন্যবাদ.

— আনন্দ

@ এবং আমি জানি যে পরামর্শ অনুসরণ করা খুব কঠিন, তবে আমি মনে করি আপনি প্রযুক্তিগত বিবরণগুলিতে মনোনিবেশ করেই শুরু করা উচিত নয় বরং কেন এই ধরণের আবদ্ধতা থাকতে পারে তা চেষ্টা করার চেষ্টা করুন ... তবে প্রমাণটি আরও সহজ হওয়া উচিত। আমি আপনাকে দ্বিতীয় অংশে কেন তা দেখানোর চেষ্টা করেছি , আজ সকালে যোগ করেছি (আপনার এইরকম প্রশ্নে ঘুমানো দরকার - কমপক্ষে আমার প্রয়োজন) need আমি মনে করি যে এটি বেশিরভাগ পাঠ্যপুস্তকগুলিতে এই জাতীয় স্বীকৃতিগুলি কীভাবে প্রকাশ পায় না ... এমনকি আপনি প্রযুক্তিগত অংশটি পেয়ে গেলেও, যতক্ষণ না আপনার ধারণাগুলি না থাকে সবকিছু যাদু দেখায়। আপনাকে বিশদে এই বিষয়ে ভাবার সুযোগ দেওয়ার জন্য আপনাকে এবং ক্রসভিকে ধন্যবাদ!

— এলভিস

কি দারুন! সম্পাদনার জন্য +1। ধন্যবাদ। তবে মতো কিছু পাওয়া সম্ভব হত তবে কি সুন্দর হত না?

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— দিলীপ সরওতে

@ এলভিস পরামর্শ এবং স্বজ্ঞাত অংশটি লিখতে সময় দেওয়ার জন্য ধন্যবাদ। এটি বুঝতে আমার কিছুটা সময় ব্যয় করা দরকার!

— আনন্দ

@ এলভিস অন্তর্দৃষ্টি সম্পর্কে গ্রহণ করে, আমি আমার বোঝার বিষয়টি স্পষ্ট করতে চাই। তীক্ষ্ণ সীমা পেতে উচ্চতর মুহুর্তের প্রয়োজন। মার্কভ প্রথম মুহূর্তটি ব্যবহার করেন, দ্বিতীয় মুহূর্তে চেবিশেভ এবং হয়েফডিং এমজিএফ ব্যবহার করেন। এটা কি সঠিক? যদি কেউ এই অংশটি প্রসারিত ও স্পষ্ট করতে পারে তবে দুর্দান্ত হবে।

— আনন্দ