দুটি বিতরণের মধ্যে হেল্পিংজারের দূরত্বের কি কোনও পক্ষপাতহীন অনুমানকারী?

একটি সেটিং যেখানে এক লক্ষ্য সালে $X_1,\ldots,X_n$ ঘনত্ব একটি বিতরণ থেকে বিতরণ করা $f$ , আমি ভাবছি যদি একটা নিরপেক্ষ মূল্নির্ধারক (উপর ভিত্তি করে $X_i$ ঘনত্ব সঙ্গে অন্য বিতরণের Hellinger দূরত্বের 'গুলি) $f_0$ , যথা

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— সিয়ান
সূত্র

সুতরাং f0 জানা এবং স্থির। তবে চ কি পরিচিত বা কোনও প্যারাম্যাট্রিক পরিবার থেকে বা এটি আপনার নমুনা থেকে আগত সম্পর্কে যা জানা আছে তার সাথে একটি ননপ্যারমেট্রিক কাঠামোয় কাজ করছেন? আমি মনে করি একটি উত্তর চেষ্টা করার সময় এটি একটি পার্থক্য করে।

— মাইকেল আর চেরনিক

@ মিশেল চের্নিক: ধরে নিন যে আপনি

সম্পর্কে জানেন তা সমস্তই নমুনা

।

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— শি'য়ান

আমি মনে করি না এটি গণনা করা হয়েছে (যদি উপস্থিত থাকে)। যদি সেখানে উপস্থিত থাকে, তবে এআইসির একটি হারানো ভাই রয়েছে।

আপনি যদি

এবং

টি স্বতন্ত্র বলে ধরে নেন তবে এই সমস্যার উপর আক্রমণ আক্রমণযোগ্য বলে মনে হচ্ছে । এটি একটি সুস্পষ্ট অনুমানকারীকে নিয়ে যায় (EDF এবং

মধ্যে হ্যালিঞ্জার দূরত্ব গণনা করুন )। বুটস্ট্র্যাপিং (তাত্ত্বিকভাবে, সিমুলেশন দিয়ে নয়!) আমাদের সম্ভাব্য পক্ষপাত সম্পর্কে একটি হ্যান্ডেল দেবে পাশাপাশি পক্ষপাতটি হ্রাস করার (বা এমনকি নির্মূল করার) উপায়ও দেবে। আমি দূরত্বের চেয়ে বর্গক্ষেত্রের দূরত্বের সাথে সফল হওয়ার কিছুটা আশা রাখি কারণ এটি গাণিতিকভাবে আরও ট্র্যাকটেবল। একটি পৃথক

এর অনুমান অ্যাপ্লিকেশনগুলিতে কোনও সমস্যা নয়; পৃথক

এর স্পেস যাইহোক একটি ঘন সাবসেট।

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— whuber

রোজেনব্ল্যাট-এর প্রমাণটি মাথায় আসে যে

কোনও "বোনা ফাইড" নিরপেক্ষ অনুমানক নেই । আমরা কি এটি কাটিয়ে উঠতে পারি এবং

এর নিরবিচ্ছিন্ন অনুমানকারী পেতে পারি? আমি জানি না।

f

$f$

H (f, f_{0})

$H(f,f_0)$

— জেন

উত্তর:

পারেন এর কোনো নিরপেক্ষ মূল্নির্ধারক অথবা জন্য বিদ্যমান ডিস্ট্রিবিউশন কোন যুক্তিসঙ্গতভাবে প্রশস্ত nonparametric ক্লাস থেকে। $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

আমরা এটির খুব সুন্দর যুক্তি দিয়ে এটি প্রদর্শন করতে পারি

বিকেল এবং লেহম্যান (1969)। উত্তল পরিবারগুলিতে নিরপেক্ষ অনুমান । গাণিতিক পরিসংখ্যানগুলির অ্যানালস, 40 (5) 1523–1535। ( প্রকল্প ইউক্যালিড )

কিছু ডিস্ট্রিবিউশন ত্রুটিমুক্ত , , এবং সংশ্লিষ্ট ঘনত্বের সঙ্গে , , এবং । যাক বোঝাতে , এবং দিন কিছু মূল্নির্ধারক করা উপর ভিত্তি করে IID নমুনা । $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

ধরুন যে ফর্ম কোন বন্টন থেকে নমুনার জন্য নিরপেক্ষ হয় $\hat H$ তবে

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$ so that

Q (α)

$Q(\alpha)$ must be a polynomial in

α

$\alpha$ of degree at most

n

$n$ .

Now, let's specialize to a reasonable case and show that the corresponding $Q$ is not polynomial.

Let $F_0$ be some distribution which has constant density on $[-1, 1]$ : $f_0(x) = c$ for all $\lvert x \rvert \le 1$ . (Its behavior outside that range doesn't matter.) Let $F$ be some distribution supported only on $[-1, 0]$ , and $G$ some distribution supported only on $[0, 1]$ .

Now

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$ where

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$ and likewise for

B_{G}

$B_G$ . Note that

B_{F} > 0

$B_F > 0$ ,

B_{G} > 0

$B_G > 0$ for any distributions

F

$F$ ,

G

$G$ which have a density.

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ is not a polynomial of any finite degree. Thus, no estimator $\hat H$ can be unbiased for $\mathfrak{H}$ on all of the distributions $M_\alpha$ with finitely many samples.

Likewise, because $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ is also not a polynomial, there is no estimator for $\mathfrak{H}^2$ which is unbiased on all of the distributions $M_\alpha$ with finitely many samples.

This excludes pretty much all reasonable nonparametric classes of distributions, except for those with densities bounded below (an assumption nonparametric analyses sometimes make). You could probably kill those classes too with a similar argument by just making the densities constant or something.

— Dougal
সূত্র

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$ , and a random sample $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
সূত্র

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal