সর্বাধিক সম্ভাবনা অনুমানের স্ট্যান্ডার্ড ত্রুটি বলতে কী বোঝায়?

আমি একজন গণিতবিদ স্ব-অধ্যয়ন পরিসংখ্যান এবং বিশেষত ভাষার সাথে লড়াই করছি।

আমি যে বইটি ব্যবহার করছি সেটিতে নিম্নলিখিত সমস্যা রয়েছে:

একটি এলোপাতাড়ি ভেরিয়েবলের হিসাবে দেওয়া হয় -distributed সঙ্গে । (অবশ্যই, আপনি এই প্রশ্নের খাতিরে এক পরামিতি উপর নির্ভর করে কোনো বন্টন গ্রহণ করতে পারে।) তারপর পাঁচটি মূল্যবোধের একটি নমুনা , , , , দেওয়া হয়। $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

প্রথম অংশ: "সর্বাধিক সম্ভাবনা পদ্ধতি ব্যবহার করে, একটি অনুমান এটি এর [নমুনা] উপর ভিত্তি করে।" এটি কোন সমস্যা ছিল না। উত্তরটি । $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

তবে তারপরে: " the এর স্ট্যান্ডার্ড ত্রুটির জন্য একটি অনুমান দিন " " $\hat{\alpha}$

এর অর্থ কী? যেহেতু শুধু একটি নির্দিষ্ট বাস্তব সংখ্যা, আমি কি ভাবে এটি একটি মান ত্রুটি থাকতে পারে দেখতে না। আমি স্ট্যান্ডার্ড ডেভিয়েশন নির্ধারণ করছি ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

আপনি যদি মনে করেন যে প্রশ্নটি পরিষ্কার নয় তবে এই তথ্যটি আমাকেও সহায়তা করবে।

maximum-likelihood

— স্টিফান
সূত্র

কি ?

60

$60$

— অ্যালেকোস প্যাপাডোপ্লোস

আপনার জন্য একটি সূত্র আছে কি

? এটি আপনাকে এর স্ট্যান্ডার্ড ত্রুটিটি অনুমান করতে সহায়তা করবে।

\hat{α}

$\hat \alpha$

— soakley

@ গ্লেেন_বি কিন্তু যদি এটি নিম্ন সীমা ছিল তবে অনুধাবন করা নমুনার সমস্ত মান আরও ছোট হবে কীভাবে?

— অ্যালেকোস পাপাদোপল্লোস

@ আলেকোস এটি একটি দুর্দান্ত বিষয়। আমার মন্তব্য কোন অর্থ দেয় না; আমি এটি মুছে ফেলেছি।

— গ্লেন_বি -রিনস্টেট মনিকা

@Alecos:

ঘনত্ব বন্টন হয়

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

।

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— স্টিফান

উত্তর:

অন্য উত্তরটি স্ট্যান্ডার্ড ত্রুটির উপকরণকে কভার করেছে, আমি আপনাকে কেবল স্বরলিপি দিয়ে সহায়তা করতে চাই:

আপনার বিভ্রান্তি এ কারণে যে স্ট্যাটিস্টিক্সে আমরা হিসাবরক্ষক (যা একটি ফাংশন) বোঝাতে ঠিক একই চিহ্ন ব্যবহার করি এবং একটি নির্দিষ্ট অনুমান (যা মূল্য নির্ধারণকারী নির্দিষ্ট মূল্যবান নমুনাকে ইনপুট হিসাবে গ্রহণ করার সময় নেয়)।

সুতরাং এবং জন্য $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ । সুতরাং র্যান্ডম ভেরিয়েবল এবং তাই একটি এলোপাতাড়ি ভেরিয়েবলের নিজেই একটি ফাংশন, অবশ্যই একটি ভ্যারিয়েন্স রয়েছে। $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

এমএল অনুমানে, অনেক ক্ষেত্রে আমরা যা হিসাব করতে পারি তা হ'ল অ্যাসিপটোটিক স্ট্যান্ডার্ড ত্রুটি, কারণ অনুমানকারীটির সসীম-নমুনা বিতরণ জানা যায় না (উত্পন্ন করা যায় না)।

কঠোরভাবে যেহেতু এটি একটি বাস্তব সংখ্যা (এমএল প্রাক্কলন প্রায় সব ক্ষেত্রেই সত্য সংখ্যা) র দিকে এগোয়, একটি মধ্যে asymptotic বন্টন নেই। তবে পরিমাণ $\hat \alpha$ এগোয় একটি স্বাভাবিক দৈব চলক (কেন্দ্রীয় সীমা উপপাদ্য প্রয়োগ করে) করতে। $\sqrt n (\hat \alpha - \alpha)$

প্রতীকের বিভ্রান্তির দ্বিতীয় দফা : অধিকাংশ, যদি না সব গ্রন্থে, লিখতে হবে ( "Avar" = মধ্যে asymptotic ভ্যারিয়েন্স ") যখন তারা এর অর্থ হল $\text {Avar}(\hat \alpha)$ , IE তারা পরিমাণ মধ্যে asymptotic ভ্যারিয়েন্স পড়ুন $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ , না ... একটি মৌলিক Pareto বন্টন আমরা আছে ক্ষেত্রে জন্য $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{এন} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

এবং তাই

Avar (\hat{α}) = α^{2} / এন

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(কিন্তু তাও তোমার লেখা পাবেন ) $\text {Avar}(\hat \alpha ) = \alpha^2$

এখন, কি অনুভূতি মূল্নির্ধারক একটি "মধ্যে asymptotic ভ্যারিয়েন্স" আছে যেহেতু যেমন বললেন, এসিম্পটোটিকভাবে এটি একটি ধ্রুবক-র দিকে এগোয়? ঠিক আছে, আনুমানিক অর্থে এবং বৃহত্তর তবে সীমাবদ্ধ নমুনাগুলির জন্য। অর্থাৎ কোথাও একটি "ছোট" নমুনার মধ্যে, যেখানে অনুমানকটি (সাধারণত) অজানা বিতরণ সহ একটি এলোমেলো পরিবর্তনশীল এবং একটি "অসীম" নমুনা, যেখানে অনুমানকারী একটি ধ্রুবক, সেখানে এই "বৃহত তবে সীমাবদ্ধ নমুনা অঞ্চল" থাকে যেখানে অনুমানকটি এখনও একটি ধ্রুবক হয়ে উঠেনি এবং যেখানে এর বিতরণ এবং তারতম্যটি চারিদিকে ঘুরে দেখা যায়, প্রথমে কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি পরিমাণের সঠিকভাবে অ্যাসিপোটোটিক বিতরণ পেতে ব্যবহার করে $\hat \alpha$ , এবং তারপর প্রায় জিনিষ বাঁক ও লেখার (যা CLT স্বাভাবিক কারণে) $Z = \sqrt n (\hat \alpha - \alpha)$ (যখন এক ধাপ ফিরে গ্রহণ এবং চিকিত্সাসসীম হিসেবে) যা শোস্বাভাবিক দৈব চলক একজন অ্যাফিন ফাংশন হিসাবে, এবং তাই স্বাভাবিকভাবে নিজেই (প্রায় সবসময়) বিতরণ করেন। $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— আলেকোস পাপাদোপ্লোস
সূত্র

মধ্যে পার্থক্য জন্য +1

এবং

\hat{α}

$\hat{\alpha}$

- অবশ্যই স্বরলিপি অসঙ্গত হতে পারে।

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— নেট পোপ 21 '

- একটি সর্বোচ্চ সম্ভাবনা মূল্নির্ধারক - একটি র্যান্ডম নমুনা একটি ফাংশন, এবং তাই এছাড়াও এলোমেলো হয়ে যায় (স্থির নয়)। আদর্শ ত্রুটি একটি অনুমান , ফিশার তথ্য থেকে প্রাপ্ত করা যায়নি $\hat{\alpha}$ $\hat{\alpha}$

আমি (θ) = - ই [\frac{\partial^{2} এল (θ | ওয়াই = Y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

যেখানে একটি প্যারামিটার এবং এলোমেলো নমুনা এর শর্তাধীন লগ-সম্ভাবনা ফাংশন । Intuitively, ফিশার তথ্য MLE প্রায় লগ-সম্ভাবনা পৃষ্ঠের বক্রতা এর steepness ইঙ্গিত, এবং তাই 'তথ্য' যে পরিমাণ সম্পর্কে উপলব্ধ । $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

একটি জন্য একটি একক উপলব্ধি সঙ্গে বন্টন , লগ-সম্ভাবনা যেখানে পরিচিত: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

ফিশার তথ্যের সংজ্ঞায় প্লাগ ইন করা,

\begin{aligned} এল (α | Y, Y_{0}) & = লগ α + + α লগ Y_{0} - (α + + 1) লগ Y \\ {এল}^{'} (α | Y, Y_{0}) & = \frac{1}{α} + + লগ Y_{0} - লগ Y \\ {এল}^{"} (α | Y, Y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

নমুনার জন্য

সর্বাধিক সম্ভাবনা মূল্নির্ধারক

এসিম্পটোটিকভাবে হিসাবে বিতরণ করা হয়

আমি (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

যেখানে

নমুনার আকার। কারণ

অজানা, আমরা চলা যাবে

একটি অনুমান মান ত্রুটি প্রাপ্ত:

\begin{aligned} \hat{α} \overset{এন \to \infty}{~} এন (α, \frac{1}{এন আমি (α)}) = এন (α, \frac{α^{2}}{এন}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$

এস ই (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / এন} \approx \sqrt{{4,6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— নাট পোপ
সূত্র

শেষ

এর আপনার দ্বিতীয় জন্য

, এটা মনে হয় না স্বরলিপি সঠিক। যদি

, তবে

ডান পাশে উপস্থিত হতে পারে না। পরিবর্তে, আপনি চান

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— ব্যবহারকারী 321627