সঙ্কুচিততা যদি কোনও চতুর উপায়ে প্রয়োগ করা হয়, তবে এটি কি আরও দক্ষ অনুমানের জন্য সবসময় আরও ভাল কাজ করে?

ধরুন আমি দুই estimators আছে এবং যে একই প্যারামিটারের সামঞ্জস্যপূর্ণ estimators হয় এবং এই ধরনের যে $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$ সঙ্গে

V_{1} \leq V_{2}

$V_1 \leq V_2$ পিএসডি অর্থে। সুতরাং, এসিম্পটোটিকভাবে

থেকে অধিক কার্যকরী

। এই দুটি অনুমানকারী বিভিন্ন ক্ষতি ফাংশনের উপর ভিত্তি করে।

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

আমার অনুমানকারীদের সসীম-নমুনার বৈশিষ্ট্যগুলি উন্নত করতে এখন আমি সংকোচনের কয়েকটি কৌশল সন্ধান করতে চাই।

যে আমি একটি সংকোচন পন্থা যা মূল্নির্ধারক উন্নত পাওয়া ধরুন একটি নির্দিষ্ট নমুনা এবং আমার MSE এর মান সমান দেয় । প্রয়োগ করতে এই যে, আমি একজন উপযুক্ত সংকোচন কৌশল জানতে পারেন পরোক্ষভাবে না আমাকে দিতে করবে MSE চেয়ে বড় ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

অন্য কথায়, সঙ্কুচিততা যদি চতুরভাবে প্রয়োগ করা হয়, তবে এটি কি আরও দক্ষ অনুমানকারীদের জন্য সবসময় আরও ভাল কাজ করে?

— Alik
সূত্র

উত্তর:

আমাকে কিছুটা বিরক্তিকর কাউন্টারিক্স নমুনা স্বীকার করুন। অর্থাৎ মাত্র এসিম্পটোটিকভাবে বেশি দক্ষ নয় , কিন্তু Cramer রাও নিম্নতর বাউন্ড attains। জন্য একটি চালাক সংকোচন কৌশল সঙ্গে । এর মধ্যে asymptotic ভ্যারিয়েন্স $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ হয়

যেখানে সর্বশেষ সাম্যতা লেমাকে ব্যবহার করে

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ হাউসমানের কাগজ । আমাদের

তাই অ্যাসিম্পটোটিক ঝুঁকি উন্নতি আছে (কোনও পক্ষপাতের শর্ত নেই)। সুতরাং আমরা একটি সংকোচন পন্থা যা কিছু asymptotic (এবং আশা সসীম নমুনা) উন্নতি উপর দেয় পাওয়া

। তা সত্ত্বেও, কোন অনুরূপ সংকোচন মূল্নির্ধারক হয়

যে এই পদ্ধতি থেকে অনুসরণ করে।

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

এখানে অবশ্যই মুল বক্তব্যটি হ'ল সংকোচনটি দক্ষ প্রাক্কলনকারীটির দিকে করা হয় এবং তাই দক্ষ অনুমানকারী নিজেই প্রযোজ্য নয়। এটি উচ্চ স্তরে বেশ সুস্পষ্ট বলে মনে হচ্ছে তবে আমি অনুমান করব যে একটি নির্দিষ্ট উদাহরণে এটি এতটা সুস্পষ্ট নয় ( ইউনিফর্ম বিতরণের জন্য এমএলই এবং পদ্ধতিগুলির মুহুর্তগুলির উদাহরণ হতে পারে?)।

— ম্যাথিয়াস শ্মিড্টব্লাইচার
সূত্র

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

এই ক্রেডিটগুলি ভাগ করে নেওয়ার জন্য ধন্যবাদ, যদিও আমি আপনার প্রশ্নের সত্যই উত্তর

— দিইনি

-2

এটি একটি আকর্ষণীয় প্রশ্ন যেখানে আমি প্রথমে কিছু হাইলাইটগুলি নির্দেশ করতে চাই।

দুটি অনুমানক সামঞ্জস্যপূর্ণ
$\hat{\beta}_1$ $\hat\beta_2$
ক্ষতির ফাংশনগুলি এক নয়
একটি সঙ্কুচিত পদ্ধতিতে একটি প্রয়োগ করা হয় যাতে এটি তারতম্য হ্রাস করে যা নিজে থেকেই একটি ভাল অনুমানকারী শেষ করে
প্রশ্ন : অন্য কথায়, সঙ্কুচিততা যদি চতুরভাবে প্রয়োগ করা হয়, তবে এটি কি আরও দক্ষ অনুমানকারীদের জন্য সবসময় আরও ভাল কাজ করে?

মৌলিকভাবে, অনুমানকারীদের নিরপেক্ষ শ্রেণির মতো একটি নির্দিষ্ট কাঠামোয় একটি অনুমানকারীকে উন্নত করা সম্ভব। যাইহোক, আপনার দ্বারা চিহ্নিত হিসাবে, বিভিন্ন ক্ষতির ফাংশন পরিস্থিতিটিকে কঠিন করে তোলে কারণ একটি ক্ষতির ফাংশনটি চতুর্ভুজ ক্ষয়কে হ্রাস করতে পারে এবং অন্যটি এন্ট্রপিকে হ্রাস করে। তদুপরি, "সর্বদা" শব্দটি ব্যবহার করা খুব জটিল কারণ যেহেতু যদি কোনও অনুমানক শ্রেণীর মধ্যে সেরা হয় তবে আপনি যুক্তিযুক্তভাবে বলতে গেলে কোনও ভাল অনুমানকারী দাবি করতে পারবেন না।

$l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ $p=2$ $p\rightarrow 1$

সুতরাং আপনার প্রশ্নের উত্তর আমার হ্যাঁ, যদি আপনি একই পরিবার অনুমানকারী এবং একই ক্ষতির ক্রিয়া হিসাবে অনুমান হিসাবে ধরে থাকেন।

— TPArrow
সূত্র

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

ধন্যবাদ @ বেন, আমি অনুভব করি সংকোচনের সংজ্ঞাতে আমাদের conক্যমত্য নেই। আপনি এটি পোস্ট-প্রসেসের মতো নেন তবে আমাকে একটি ইনলাইন প্রসেসিং হিসাবে। আমি মনে করি যে আমরা উভয়ই সঠিক কারণ প্রশ্নটি সঙ্কুচিত হওয়ার ধরণটিকে বিবেচনায় নিচ্ছে না। পিএস: আমি অনুমান করি যে সঙ্কুচিত হওয়া থেকে আপনি কী বোঝাতে চাইছেন তা হার্ড-থ্রোহোল্ডিংয়ের মতো।

— টিপিআরো

সঙ্কুচিততা উভয় ইনলাইন এবং পোস্ট-প্রসেসিং হিসাবে হতে পারে। আপনার প্রতিক্রিয়াতে আপনি যে উদাহরণগুলি উল্লেখ করেছেন সেগুলি হ'ল "ইনলাইন সংকোচন" সম্পর্কে, যখন প্রশ্নটি "পোস্ট প্রসেসিং সঙ্কুচিত" সম্পর্কে জিজ্ঞাসা করে। লক্ষ্য করুন যে প্রশ্নটি দুটি অনুমানকারী এবং , তারপরে বা প্রয়োগ করার জন্য সঙ্কুচিত কৌশলটি জিজ্ঞাসা করে । আমি মনে করি এটির আলোকে প্রশ্নটি পুনরায় পড়া সার্থক হতে পারে।

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— ব্যবহারকারী795305