কোন মডেলগুলির জন্য এমএলইয়ের পক্ষপাতিত্ব তারতম্যের চেয়ে দ্রুত পড়ে?

Question

$\hat\theta$$\theta^*$$n$$\lVert\hat\theta-\theta^*\rVert$$O(1/\sqrt n)$$\lVert \mathbb E\hat\theta - \theta^*\rVert$$\lVert \mathbb E\hat\theta - \hat\theta\rVert$$O(1/\sqrt{n})$

আমি চেয়ে দ্রুত সঙ্কোচিত এমন মডেলগুলিতে আগ্রহী , তবে যেখানে ত্রুটিটি এই দ্রুত হারে সঙ্কুচিত হয় না কারণ বিচ্যুতিটি এখনও হিসাবে সঙ্কুচিত হয় । বিশেষত, আমি কোনও মডেলের পক্ষপাতের জন্য O (1 / n) হারে সঙ্কুচিত হওয়ার পর্যাপ্ত শর্তগুলি জানতে চাই ।$O(1/\sqrt n)$$O(1/\sqrt n)$$O(1/n)$

Comments

নেই $\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? না?

— অ্যালেকোস পাপাদোপল্লোস

আমি বিশেষত L2 আদর্শ সম্পর্কে জিজ্ঞাসা করছিলাম, হ্যাঁ। তবে আমি অন্যান্য নিয়মের সাথেও আগ্রহী যদি প্রশ্নটির উত্তর দেওয়া সহজ করে দেয়।

— মাইক ইজবিকি

( Θ - θ * ) 2 হে পি ( 1 / এন $(\hat \theta -\theta^*)^2$ হ'ল । $O_p(1/n)$

— অ্যালেকোস পাপাদোপল্লোস

দুঃখিত, আমি আপনার মন্তব্য ভুল পড়ে। মাত্রার এল 2 আদর্শের জন্য, t , এবং সুতরাং এর হারে রয়েছে । আমি সম্মত হই যে আমরা যদি এটি স্কোয়ার করি তবে এটি হিসাবে রূপান্তরিত হবে । $d$‖ a - b ‖ = √∑ d i = 1 ( a i - b i ) 2 ও(1/√ )$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$এন )ও(1/এন$O(1/\sqrt n)$$O(1/n)$

— মাইক ইজবিকি

আপনি কি রিজ রিগ্রেশন (হোয়ারেল এবং কেনার্ড ১৯ 1970০) কাগজটি দেখেছেন? আমি বিশ্বাস করি এটি ডিজাইন ম্যাট্রিক্স + পেনাল্টিতে শর্ত দেয় যেখানে এটি সত্য বলে প্রত্যাশিত।

— dcl

Answer 1

সাধারণভাবে, আপনার এমন মডেলগুলি দরকার যেখানে এমএলই তাত্পর্যপূর্ণভাবে স্বাভাবিক নয় তবে কিছু অন্যান্য বিতরণে রূপান্তরিত হয় (এবং এটি দ্রুত হারে এটি করে)। এটি সাধারণত ঘটে যখন অনুমানের অধীনে প্যারামিটার প্যারামিটার স্পেসের সীমানায় থাকে। স্বজ্ঞাতভাবে, এর অর্থ হ'ল এমএলই প্যারামিটারটির কাছে "কেবল একপাশ থেকে" যাবে, সুতরাং এটি প্যারামিটারের "পিছনে পিছনে" গিয়ে "বিভ্রান্ত" না হওয়ায় এটি "রূপান্তর গতিতে উন্নতি করে"।

একটি স্ট্যান্ডার্ড উদাহরণ, এর আইআইডি নমুনায় এমএলই taθ ইউ ( 0 , θ $\theta$$U(0,\theta)$ অভিন্ন আরভি এর দ্য MLE এখানে সর্বোচ্চ অর্ডার পরিসংখ্যাত হয়,

$$\hat \theta_n = u_{(n)}$$

এর সীমাবদ্ধ নমুনা বিতরণ হয়

$$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$$

$$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$$

সুতরাং $B(\hat \theta_n) = O(1/n)$ । তবে একই বর্ধিত হার বৈচিত্রের জন্যও ধরে রাখবে।

সীমাবদ্ধ বিতরণ পেতে যে কেউ তা যাচাই করতে পারে, যেহেতু আমাদের চলক , (যেমন আমাদের দিয়ে স্কেল করা দরকার )$n(\theta - \hat \theta_n)$$n$

$$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$$

$$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$$

$$\to 1- e^{-z/\theta}$$

এটি এক্সপেনশিয়াল বিতরণের সিডিএফ F

আমি আশা করি এটি কিছু দিকনির্দেশনা দেয়।

Comments

এটি কাছাকাছি আসছে, তবে পক্ষপাতগুলি পরিবর্তনের চেয়ে দ্রুত সঙ্কুচিত হওয়া পরিস্থিতিতে আমি বিশেষভাবে আগ্রহী।

— মাইক ইজবিকি

@ মাইকআইজবিকি হুম ... পক্ষপাতিত্ব বিতরণের প্রথম মুহুর্তের উপর নির্ভর করে এবং (এর বর্গমূল) বৈচিত্রটিও একটি "প্রথম-আদেশ" প্রস্থতা। আমি তখনও নিশ্চিত নই যে এটি হওয়া সম্ভব because কারণ এটি প্রদর্শিত হবে বলে মনে হয় যে সীমিত বিতরণের মুহূর্তগুলি একে অপরের সাথে সামঞ্জস্যপূর্ণ নয় এমন রূপান্তর হারে "উত্থিত" হবে ... যদিও আমি এটি সম্পর্কে ভাবব।

— এলেকোস পাপাদোপল্লোস

Answer 2

আমার অন্যান্য উত্তরে মন্তব্যগুলি অনুসরণ করে (এবং ওপি'র প্রশ্নের শিরোনামটি আবার দেখুন!) এখানে ইস্যুটির খুব কঠোর তাত্ত্বিক অনুসন্ধান নেই।

আমরা তা নির্ধারণ করতে চান কিনা বায়াস বি ( θ এন ) = ই ( θ এন ) - θ ভ্যারিয়েন্স বর্গমূল চেয়ে ভিন্ন অভিসৃতি হার থাকতে পারে,$B(\hat \theta_n) = E(\hat \theta_n) - \theta$

$$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$$

আমাদের আছে

$$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$$

$$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$$

যখন

$$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$$

$$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$$

We see that $(2)$ may hold happen if

A) both components are $O(1/n^{2\gamma})$, in which case we can only have $\gamma = \delta$.

B) But it may also hold if

$$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$$

For $(3)$ to be compatible with $(1)$, we must have

$$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$$

So it appears that in principle it is possible to have the Bias converging at a faster rate than the square root of the variance. But we cannot have the square root of the variance converging at a faster rate than the Bias.

Comments

How would you reconcile this with the existence of unbiased estimators like ordinary least squares? In that case, $B(\hat\theta)=0$, but $\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$.

— Mike Izbicki

@MikeIzbicki Is the concept of convergence/big-O applicable in this case? Because here $B(\hat \theta)$ is not "$O()$-anything" to begin with.

— Alecos Papadopoulos

In this case, $\mathbb E\hat\theta=\theta^*$, so $B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$.

— Mike Izbicki

@MikeIzbicki But also $B(\hat \theta) = O(n)$ or $B(\hat \theta) =O(1/\sqrt{n})$ or any other you care to write down. So which one is the rate of convergence here?

— Alecos Papadopoulos

@MikeIzbicki I have corrected my answer to show that it is possible in principle to have the Bias converging faster, although I still think the "zero-bias" example is problematic.

— Alecos Papadopoulos