কার্নেল ডেনসিটি অনুমান করার সময় যদি এপেনটেকনিকভ কার্নেলটি তাত্ত্বিকভাবে সর্বোত্তম হয় তবে কেন এটি বেশি ব্যবহৃত হয় না?

Question

আমি পড়েছি (উদাহরণস্বরূপ, এখানে ) যে কার্নেল ঘনত্বের প্রাক্কলন করার সময়, কমপক্ষে তাত্ত্বিক দিক থেকে এপেনটেকনিকভ কার্নেলটি সর্বোত্তম। যদি এটি সত্য হয় তবে গাউসীয়রা কেন ঘনত্বের অনুমানের পাঠাগারগুলিতে ডিফল্ট কার্নেল হিসাবে বা বহু ক্ষেত্রে একমাত্র কার্নেল হিসাবে এত ঘন ঘন প্রদর্শিত হয়?

Comments

দুটি প্রশ্ন এখানে বিভ্রান্ত: কেন বেশি ব্যবহৃত হয় না? কেন গাউসিয়ান প্রায়শই ডিফল্ট / কেবল কার্নেল হয়? এটি তুচ্ছ শোনাতে পারে তবে এপেনটেকনিকভ নামটি সেই ভাষায় সাবলীল নয় এমন লোকদের পক্ষে সঠিকভাবে উচ্চারণ করা এবং উচ্চারণ করা শক্ত মনে হতে পারে। (আমি নিশ্চিত নই যে ই। রাশিয়ান ছিলেন; আমি কোনও জীবনী সংক্রান্ত বিবরণ সন্ধান করতে ব্যর্থ হয়েছি।) এছাড়াও, যদি আমি (উদাহরণস্বরূপ) কোনও বায়ু ওজন দেখায় তবে এর ঘন্টার আকৃতি, প্রান্তিক প্রস্থ এবং প্রান্তগুলিতে আচরণ সম্পর্কে মন্তব্য করব যা মনে হয় বিক্রয় সহজ। স্টান'স এপেনটেকনিকভ ডিফল্ট kdensity।

— নিক কক্স

আমি যুক্ত করব যে এই তাত্ত্বিক অনুকূলতার যদি অনুশীলন হয় তবে এর কিছুটা কম।

— শি'আন

এটি একটি পরিচিত নাম। সীমাবদ্ধ সমর্থন না থাকা কোনও কার্নেল ব্যবহার করা যদি বোধগম্য হয় তবে আপনার এটি পছন্দ করা উচিত। আমার অভিজ্ঞতা যতদূর যায়, ততক্ষণ তা বোধগম্য হয় না, তাই পছন্দটি সামাজিকভাবে প্রদর্শিত হয়, প্রযুক্তিগত নয়।

— নিক কক্স

@ নিককক্স, হ্যাঁ, ই একজন রাশিয়ান বংশোদ্ভূত ছিলেন, এটি কোনও সংক্ষিপ্ত বিবরণ নয় :) তিনি ছিলেন মায়াবী ব্যক্তি, তাঁর সম্পর্কে আপনি যা খুঁজে পেতে পারেন , এটাই এটি। আমার একটি খুব দরকারী বইয়ের কথাও মনে আছে যার নাম দিয়ে কেউ প্রোগ্রামেবল ক্যালকুলেটরগুলিতে লিখেছিলেন, হ্যাঁ, এ সময় এটি খুব বড় বিষয় ছিল

— আকসকল

@ অ্যামিবা তিনি Институт радиотехники и электроники Российской Академии Наук им এ কাজ করেছেন им I, আমি বাজি ধরছি তিনি শ্রেণিবদ্ধ গবেষণা করেছেন, পুরো নাম Епанечников Виктор Александрович

— আকসাকাল

Answer 1

ইপেনটেকনিকভ কার্নেলটি তার তাত্ত্বিক অনুকূলতার জন্য সর্বজনীনভাবে ব্যবহার না করার কারণটি খুব ভাল হতে পারে যে এপেনটেকনিকভ কার্নেলটি আসলে তাত্ত্বিকভাবে সর্বোত্তম নয় । টিসাইবাকভ স্পষ্টভাবে এই যুক্তিটির সমালোচনা করেছিলেন যে এপেনটেকনিকভ কার্নেল পিপি। 16-19- তে ননপ্যারমেট্রিক অনুমানের পরিচিতির "তাত্ত্বিকভাবে অনুকূল" (অনুচ্ছেদ ।

কার্নেল $K$ এবং একটি নির্দিষ্ট ঘনত্ব $p$ সম্পর্কে কিছু অনুমানের অধীনে সংক্ষিপ্তসারটির চেষ্টা করার চেষ্টা করা হচ্ছে যে গড়টির সংহত বর্গ ত্রুটিটি ফর্মটির

$$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$$

টিসিবাকভের মূল সমালোচনা অ-নেতিবাচক কার্নেলের তুলনায় হ্রাস পাচ্ছে বলে মনে হয়, যেহেতু প্রায়শই আরও ভাল পারফরম্যান্স অনুমান করা সম্ভব যেগুলি অ-নেতিবাচক কার্নেলগুলিকে সীমাবদ্ধ না করে এমনকি অ-নেতিবাচকও করা যায়।

Epanechnikov কার্নেল জন্য যুক্তির প্রথম পদক্ষেপ কমানোর দ্বারা আরম্ভ $(1)$ ধরে $h$ এবং সমস্ত অ-নেতিবাচক কার্নেলের (বরং একটি বৃহত্তর ক্লাসের সব কার্নেলের চেয়ে) জন্য একটি "অনুকূল" ব্যান্ডউইথ পেতে $K$

$$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$$

এবং "অনুকূল" কার্নেল (এপেনটেকনিকভ)

$$K^*(u) = \frac{3}{4}(1-u^2)_+$$

যার গড় সংহত বর্গ ত্রুটি:

$$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$$

$p''$$p$ -- therefore they are "oracle" quantities.

A proposition given by Tsybakov implies that the asymptotic MISE for the Epanechnikov oracle is:

$$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$$

Tsybakov says (2) is often claimed to be the best achievable MISE, but then shows that one can use kernels of order 2 (for which $S_K =0$) to construct kernel estimators, for every $\varepsilon >0$, such that

$$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$$

Even though $\hat{p}_n$ isn't necessarily non-negative, one still has the same result for the positive part estimator, $p_n^+ := \max(0, \hat{p}_n)$ (which is guaranteed to be non-negative even if $K$ isn't):

$$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$$

Therefore, for $\varepsilon$ small enough, there exist true estimators which have smaller asymptotic MISE than the Epanechnikov oracle, even using the same assumptions on the unknown density $p$.

In particular, one has as a result that the infimum of the asymptotic MISE for a fixed $p$ over all kernel estimators (or positive parts of kernel estimators) is $0$. So the Epanechnikov oracle is not even close to being optimal, even when compared to true estimators.

The reason why people advanced the argument for the Epanechnikov oracle in the first place is that one often argues that the kernel itself should be non-negative because the density itself is non-negative. But as Tsybakov points out, one doesn't have to assume that the kernel is non-negative in order to get non-negative density estimators, and by allowing other kernels one can non-negative density estimators which (1) aren't oracles and (2) perform arbitrarily better than the Epanechnikov oracle for a fixed $p$. Tsybakov uses this discrepancy to argue that it doesn't make sense to argue for optimality in terms of a fixed $p$, but only for optimality properties which are uniform over a class of densities. He also points out that the argument still works when using the MSE instead of MISE.

EDIT: See also Corollary 1.1. on p.25, where the Epanechnikov kernel is shown to be inadmissible based on another criterion. Tsybakov really seems not to like the Epanechnikov kernel.

Comments

+1 for an interesting read, but this does not answer why Gaussian kernel is used more often than Epanechnikov kernel: they are both non-negative.

— amoeba says Reinstate Monica

@amoeba That is true. At the very least this answers the question in the title, which is only about the Epanechnikov kernel. (I.e. it addresses the premise for the question and shows that it is false.)

— Chill2Macht

(+1) One thing to beware with Tsybakov's scheme of taking the positive part of a possibly-negative kernel estimate – which is at least my memory of his suggestion – is that although the resulting density estimator might give better MSE convergence to the true density, the density estimate will in general not be a valid density (since you're cutting off mass, and it no longer integrates to 1). If you actually only care about MSE, it doesn't matter, but sometimes this will be a significant problem.

— Dougal

Answer 2

The Gaussian kernel is used for example in density estimation through derivatives:

$$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$$

This is because the Epanechnikov kernel has 3 derivatives before it's identically zero, unlike the Gaussian which has infinitely many (nonzero) derivatives. See section 2.10 in your link for more examples.

Comments

The first derivative of the Epanechnikov (note the second n, by the way) kernel is not continuous where the function crosses the kernel's own bounds; that might be more of an issue.

— Glen_b -Reinstate Monica

@Glen_b: You're probably right, although having 0 derivatives after some $i$ would be silly too.

— Alex R.

@AlexR. While what you say is true, I don't understand how it explains why the Gaussian is so common in ordinary density estimation (as opposed to estimating the derivative of the density). And even when estimating derivatives, section 2.10 suggests that the Gaussian is never the preferred kernel.

— John Rauser

@JohnRauser: Keep in mind that you need to use higher order Epanechnikov kernels for optimality. Usually people use a Gaussian because it's just easier to work with and has nicer properties.

— Alex R.

@AlexR I'd quibble on "[u]sually people use a Gaussian"; do you have any systematic data on frequency of use or this is just an impression based on work you see? I see biweights often, but I wouldn't claim more than that.

— Nick Cox