বিশেষ সম্ভাবনা বিতরণ

যদি $p(x)$ একটি সম্ভাব্যতা উপর নন-জিরো মান বন্টন হয় $[0,+\infty)$ এর জন্য কি ধরনের (গুলি) $p(x)$ সেখানে বিদ্যমান একটি ধ্রুবক $c\gt 0$ যেমন যে $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ সমস্ত $0\lt\epsilon\lt 1$ ?

উপরের অসমতাটি আসলে ডিস্ট্রিবিউশন $p(x)$ এবং এর সংকোচিত সংস্করণ মধ্যে একটি কুলব্যাক-লেবেলার বিচ্যুতি ${(1+\epsilon)}p({x}{(1+\epsilon)})$ । আমি জানতে পেরেছি যে এই বৈষম্যটি এক্সফেনশিয়াল, গামা এবং ওয়েবুল বিতরণগুলির জন্য রয়েছে এবং আমি জানতে আগ্রহী যে এটি সম্ভাব্যতা বিতরণের বৃহত্তর শ্রেণির জন্য কাজ করে কিনা।

কোন ধারণা কি সেই অসমতা মানে?

— Sus20200
সূত্র

যেহেতু

ϵ

$\epsilon$ যে সংকুচিত করা হবে (X-দিক) বদলে প্রসারিত ইতিবাচক হয়।

— গ্লেন_বি -রিনস্টেট মনিকা

এই প্রশ্নটি অস্পষ্ট: আপনার পরিমাণগুলি কী? আপনি কি চান যে এই বৈষম্যটি সমস্ত

, কমপক্ষে একটি

, বা অন্য কোনও কিছুর জন্য ধরে রাখা উচিত? হয়

দেওয়া অবরোহমার্গী অথবা আপনি বোঝাতে চাচ্ছেন সেখানে উচিত অন্তত এক ধরনের মান থাকা এর

? এবং যেহেতু আপনি "

" দ্বারা সম্ভাব্যতা বিতরণের ক্লাসগুলি উল্লেখ করেছেন , আপনি কি একটি নির্দিষ্ট বন্টন বোঝাচ্ছেন বা আপনি সম্ভবত তাদের একটি প্যারামেট্রিক পরিবার বলতে চান?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

— শুক্রবার

@ শুভ আপনার মন্তব্যের জন্য ধন্যবাদ। আমি উল্লিখিত সমস্যাগুলি পরিষ্কার করতে আমার সমস্যার বিবৃতিতে সংশোধন করেছি। মানে, উপরের অসমতাটি কী

জন্য রয়েছে? উত্তরটি হয় বিতরণের একটি প্যারাম্যাট্রিক পরিবারকে পরিচয় করিয়ে দেওয়া বা

জন্য একটি ডিফারেনশিয়াল সমীকরণের প্রস্তাব করা যা যথেষ্ট পরিমাণে কাঙ্ক্ষিত বৈষম্য দেয়।

p (x)

$p(x)$

p (x)

$p(x)$

— Sus20200

অবিচ্ছিন্ন এবং অসীম সমর্থন সহ কোনও পি (এক্স) এর জন্য এই বৈষম্য কাজ করবে না? আপনি একটি প্যারাম্যাট্রিক পরিবারের (

মধ্যে কেএল বিভাজন গণনা করছেন। কেএল 0 এ স্বতঃস্ফূর্ত হয়, তবে এটি ডেরাইভেটিভ 0 হয় কেএল এর বক্রতা সর্বাধিক হতে

নিতে হয় (জন্য

।), আমরা আবদ্ধ আছে অতিরিক্ত কাজ সঙ্গে, এটা সম্ভব আবদ্ধ সি পি বৈশিষ্ট্য থেকে হতে পারে

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— Guillaume, Dehaene

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

preliminaries

লিখন

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

লগারিদম এবং এবং মধ্যে সম্পর্ক এবং এর যুক্তি উভয়কে হিসাবে প্রকাশ করার পরামর্শ দেয় । যে শেষ পর্যন্ত, সংজ্ঞা দিন $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

সমস্ত বাস্তব জন্য ডান হাতটি সংজ্ঞায়িত এবং সমান যেখানেই । লক্ষ করুন যে, ভেরিয়েবল পরিবর্তন অনিবার্য ফল এবং (গ্রহণ হতে ঘনত্ব একটি বিতরণের) যে মোট আইন সম্ভাব্যতা যার ফলে যেমন প্রকাশ করা যেতে পারে $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

আসুন আমরা হলে অনুমান করি । $e^{q(y)+y}\to 0$ $y\to\pm\infty$ আউট সম্ভাব্যতা ডিস্ট্রিবিউশন এই নিয়ম কাছাকাছি ঘনত্ব মধ্যে অসীম অনেক spikes সঙ্গে বা । বিশেষত, যদি এর লেজগুলি শেষ পর্যন্ত একঘেয়ে হয় তবে এই অনুমানটি বোঝায়, এটি দেখানো একটি গুরুতর নয়। $p$ $0$ $\infty$ $p$ $(1)$

লগারিদমগুলির সাথে কাজ করা আরও সহজ করার জন্য এটিও পর্যবেক্ষণ করুন

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

কারণ নিম্নলিখিত গণনাগুলি সংজ্ঞায়িত করে পর্যন্ত সঞ্চালিত হবে $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

আমরা পাশাপাশি প্রতিস্থাপন পারে দ্বারা সঙ্গে, সংশ্লিষ্ট এবং ইতিবাচক ইতিবাচক সংশ্লিষ্ট । $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

বিশ্লেষণ

ব্যর্থ করতে পারে তার একটি সুস্পষ্ট উপায় অবিচ্ছেদ্য জন্য কিছু for বিভক্ত করা This এটি ঘটবে, উদাহরণস্বরূপ, যদি এমনটি হত ধনাত্মক সংখ্যার যেকোন যথাযথ বিরতি , তা যতই ছোট হোক না কেন, একইভাবে শূন্য ছিল তবে অন্তরালে শূন্য ছিল না the এটি সংহত হওয়ার কারণ হতে পারে ইতিবাচক সম্ভাবনা সহ অসীম। $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

কারণ প্রশ্ন প্রকৃতি বিষয়ে অনুল্লেখিত হয় , কিভাবে আমরা মসৃণ বিষয়ে প্রযুক্তিগত সমস্যা নিচে bogged পেতে পারে হতে পারে। আসুন এই জাতীয় সমস্যাগুলি এড়িয়ে চলুন, এখনও কিছুটা অন্তর্দৃষ্টি লাভের আশায়, আমরা ধরে নিতে পারি যে সব জায়গাতেই যতগুলি ডেরাইভেটিভ রয়েছে তা ধরে নিই। (দুই চলা হবে যদি কারণ গ্যারান্টী অবিচ্ছিন্ন।) কোনো বদ্ধ সেটে বেষ্টিত দেহাবশেষ, এটা যে বোঝা শূন্য যখন না হয় । $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

নোট যে প্রশ্ন সত্যিই আচরণ উদ্বেগ যেমন উপরে থেকে শূন্য পন্থা। যেহেতু এই অবিচ্ছেদ্য অন্তর একটি অবিচ্ছিন্ন ফাংশন , তাই যখন কোনও ধনাত্মক বিরতিতে সীমাবদ্ধ থাকে , আমাদের বাছাই করতে সক্ষম করে , কারণ স্পষ্টতই $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

অসমতা কাজ করে। এজন্য আমাদের কেবল গণনা মডুলো । $\epsilon^2$

সমাধান

থেকে পর্যন্ত ভেরিয়েবলের পরিবর্তনগুলি , থেকে এবং থেকে , আসার প্রত্যাশায় order (বা ) দ্বিতীয় ক্রমের মাধ্যমে গণনা করা যাক সরলকরণ যে শেষ পর্যন্ত সংজ্ঞায়িত করুন $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

order- হতে এর টেলর সম্প্রসারণ মধ্যে বাকি প্রায় । $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

বাম হাতের অবিচ্ছেদে এ ভেরিয়েবল পরিবর্তন করা দেখায় এটি নিখোঁজ হওয়া উচিত, যেমন নিম্নলিখিত অনুমান অনুসারে মন্তব্য করা হয়েছে । ভেরিয়েবলগুলি ডান হাতের অবিচ্ছেদ্য দেয়ায় আবার gives এ পরিবর্তন করা $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

অসাম্যতাটি (আমাদের বিভিন্ন প্রযুক্তিগত অনুমানের অধীনে) হ'ল যদি এবং কেবলমাত্র ডানদিকে এর সহগ সীমাবদ্ধ থাকে। $\delta^2$

ব্যাখ্যা

এই থামাতে একটি ভাল পয়েন্ট কারণ এটি অপরিহার্য ইস্যু উন্মোচিত মনে হচ্ছে: একটি দ্বিঘাত ফাংশন দ্বারা বেষ্টিত অবিকল যখন টেলর সম্প্রসারণ মধ্যে দ্বিঘাত ত্রুটি না বিস্ফোরিত করা (ডিস্ট্রিবিউশন আপেক্ষিক) হিসেবে পন্থা । $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

আসুন প্রশ্নে উল্লিখিত কয়েকটি কেস পরীক্ষা করা যাক: এক্সফোনেনশিয়াল এবং গামা বিতরণ। (সূচকটি গামার একটি বিশেষ ক্ষেত্রে)) স্কেল পরামিতিগুলি সম্পর্কে আমাদের কখনই চিন্তা করতে হবে না, কারণ তারা কেবল পরিমাপের ইউনিটগুলিকেই পরিবর্তন করে। কেবলমাত্র অ-স্কেল পরামিতিগুলি।

এখানে, কারণ জন্য , একটি নির্বিচারে আশেপাশে টেলর সম্প্রসারণ হ'লরিমেন্ডার সহ টেলরের উপপাদ্যটি বোঝায় যে যথেষ্ট পরিমাণে ছোট জন্য দ্বারা আধিপত্য রয়েছে । এর প্রত্যাশা সীমাবদ্ধ হওয়ার কারণে, অসামতা গামা বিতরণের জন্য ধারণ করে। $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

অনুরূপ গণনাগুলি ওয়েইবুল বিতরণ, অর্ধ-সাধারণ বিতরণ, লগনরমাল বিতরণ ইত্যাদির জন্য বৈষম্যকে বোঝায় প্রকৃতপক্ষে, কাউন্টারিক্স উদাহরণগুলি অর্জন করার জন্য আমাদের কমপক্ষে একটি অনুমান লঙ্ঘন করতে হবে, যেখানে আমাদের এমন বিতরণগুলি দেখতে বাধ্য করতে হবে যেখানে কিছু বিরতিতে অদৃশ্য হয়ে যায়, বা হয় অবিচ্ছিন্নভাবে দু'বার পৃথক পৃথক নয়, বা অনেকগুলি মোড রয়েছে। সাধারণত পরিসংখ্যানের মডেলিংয়ে ব্যবহৃত বিতরণগুলির যে কোনও পরিবারে প্রয়োগ করার জন্য এগুলি সহজ পরীক্ষা। $p$

— whuber
সূত্র