হেসিয়ান ম্যাট্রিক্স এবং কোভারিয়েন্স ম্যাট্রিক্সের মধ্যে সম্পর্ক

আমি যখন সর্বাধিক সম্ভাবনা অনুমানটি অধ্যয়ন করছি, সর্বোচ্চ সম্ভাবনা অনুমানের ক্ষেত্রে অনুমান করতে, আমাদের বৈকল্পিকটি জানতে হবে। বৈচিত্রটি সন্ধান করার জন্য, আমাকে ক্র্যামারস রাও লোয়ার বাউন্ডটি জানতে হবে যা বক্ররেখাতে দ্বিতীয় ডেরাইভিয়েশন সহ হেসিয়ান ম্যাট্রিক্সের মতো দেখাচ্ছে। কোভেরিয়েন্স ম্যাট্রিক্স এবং হেসিয়ান ম্যাট্রিক্সের মধ্যে সম্পর্কের সংজ্ঞা দিতে আমি একরকম মিশ্রিত হয়েছি। প্রশ্ন সম্পর্কে কিছু ব্যাখ্যা শুনতে আশা করি। একটি সহজ উদাহরণ প্রশংসা করা হবে।

— user122358
সূত্র

আপনার প্রথমে ফিশার ইনফরমেশন ম্যাট্রিক্স এবং হেসিয়ান এবং স্ট্যান্ডার্ড ত্রুটির সাথে সম্পর্ক সম্পর্কে এই বেসিক প্রশ্নটি পরীক্ষা করা উচিত

ধরুন আমরা একটি পরিসংখ্যানগত মডেল (ডিস্ট্রিবিউশন পরিবার) আছে । সর্বাধিক সাধারণ ক্ষেত্রে আমরা , সুতরাং এই পরিবারটি । কিছু নিয়মিত নিয়মের শর্তে, আমাদের আছে $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

যেখানে a একটি ফিশার ইনফরমেশন ম্যাট্রিক্স ( ক্রিয়া হিসাবে ) এবং হল পর্যবেক্ষণকৃত মান (নমুনা) $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

সুতরাং ফিশার তথ্য ম্যাট্রিক্স একটি হল কিছু অধীনে লগ-সম্ভাবনা Hesian এর অস্বীকার প্রত্যাশিত মান $\theta$

এখন ধরা যাক আমরা অজানা প্যারামিটার কিছু ভেক্টর ফাংশন অনুমান করতে চাই । সাধারণত এটি অনুমান করা হয় যে অনুমানকারী নিরপেক্ষ হওয়া উচিত, অর্থাত্ $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

ক্র্যামার রাও লোয়ার বাউন্ডে বলা হয়েছে যে প্রতিটি নিরপেক্ষ জন্য সন্তুষ্ট হয় $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

যেখানে ম্যাট্রিক্স মানে যে হয় ইতিবাচক আধা নির্দিষ্ট , কেবল একটি Jacobian হয় । মনে রাখবেন যে আমরা যদি অনুমান করি তবে এটি , সরল করে $A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

তবে এটি আমাদের কী বলে? উদাহরণস্বরূপ, এটি মনে রাখবেন

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

এবং এটি প্রতিটি ধনাত্মক আধা-নির্দিষ্ট ম্যাট্রিক্সের জন্য তির্যক উপাদান অ-নেতিবাচক $A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

উপরের থেকে আমরা উপসংহারে পৌঁছাতে পারি যে প্রতিটি অনুমান করা উপাদানের বৈচিত্রটি ম্যাট্রিক্স এর তির্যক উপাদান দ্বারা আবদ্ধ থাকে $B(\theta)$

\forall_{i} v a r_{θ} (T_{i} (X)) \geq [B (θ)]_{i, i}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

সুতরাং সিআরএলবি আমাদের অনুমানের বৈকল্পিকতা আমাদের জানায় না, তবে আমাদের অনুমানক সর্বোত্তম নয় , অর্থাত্ যদি সমস্ত পক্ষপাতদুষ্ট অনুমানকারীদের মধ্যে এটি সর্বনিম্ন সহকারী হয় ।

— Asুকাস গ্র্যাড
সূত্র

আমি এখানে আপনার ব্যাখ্যা প্রশংসা করি। আমি আসলেই গণিতের ব্যক্তি নই তবে আমি গণিতটি সিরিয়াসলি শেখার পথে আছি। তবে এটি এখনও আমার কাছে খুব বিমূর্ত দেখায়। আমি আশা করি সহজ সংখ্যার সাথে কিছু মৃদু উদাহরণ রয়েছে, এটি অবশ্যই তা বুঝতে পারবে।

— ব্যবহারকারী 122358