তাত্পর্যপূর্ণ পরিবার: পর্যবেক্ষণ বনাম প্রত্যাশিত পর্যাপ্ত পরিসংখ্যান

আমার প্রশ্ন মিনকার "ডিরিচলেট ডিস্ট্রিবিউশন অনুমান করা" পড়ার দ্বারা উত্থাপিত হয় , যা এলোমেলো ভেক্টরগুলির পর্যবেক্ষণের ভিত্তিতে একটি ডিরিচলেট বিতরণের জন্য সর্বাধিক সম্ভাবনা অনুমানকারী প্রাপ্তির প্রসঙ্গে প্রমাণ ছাড়াই নিম্নলিখিতটি উল্লেখ করে:

ক্ষতিকারক পরিবারের মতো সর্বদা, যখন গ্রেডিয়েন্ট শূন্য হয়, প্রত্যাশিত পর্যাপ্ত পরিসংখ্যান পর্যবেক্ষণের পর্যাপ্ত পরিসংখ্যানের সমান।

তাত্পর্যপূর্ণ পরিবারে উপস্থাপিত পরিবারে আমি সর্বাধিক সম্ভাবনার অনুমান দেখিনি, বা আমার সন্ধানে আমি কোনও উপযুক্ত ব্যাখ্যা খুঁজে পাইনি। কেউ পর্যবেক্ষণ করা এবং প্রত্যাশিত পর্যাপ্ত পরিসংখ্যানের মধ্যে সম্পর্কের অন্তর্দৃষ্টি দিতে পারে এবং তাদের পার্থক্য হ্রাস করার জন্য সর্বাধিক সম্ভাবনার অনুমান বুঝতে সহায়তা করতে পারে?

— বেন ব্র
সূত্র

এটি সূচকীয় পরিবার সম্পর্কে একটি সাধারণ দাবি, তবে আমার মতে, বেশিরভাগ সময় এটি এমনভাবে বলা হয় যা কম অভিজ্ঞ পাঠককে বিভ্রান্ত করতে পারে। কারণ, মুখের মূল্য হিসাবে নেওয়া হলে এটি ব্যাখ্যা করে ব্যাখ্যা করা যেতে পারে "যদি আমাদের র্যান্ডম ভেরিয়েবলটি তাত্পর্যমূলক পরিবারে কোনও বিতরণ অনুসরণ করে, তবে আমরা যদি একটি নমুনা নিই এবং পর্যাপ্ত পরিসংখ্যানের মধ্যে এটি সন্নিবেশ করি তবে আমরা পরিসংখ্যানের আসল প্রত্যাশিত মান অর্জন করব "। যদি কেবল এটিই থাকত ... এর চেয়ে বেশি এটি নমুনার আকারটি বিবেচনা করে না, যা আরও বিভ্রান্তির কারণ হতে পারে।

সূচকীয় ঘনত্বের ক্রিয়াটি

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

যেখানে যথেষ্ট পরিসংখ্যান। $T(x)$

যেহেতু এটি একটি ঘনত্ব, তাই এটি unity সংহত করতে হবে, সুতরাং ( এর সমর্থন ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

EQ। সমস্ত- ধরে রেখেছে যাতে আমরা উভয় পক্ষই এর প্রতি শ্রদ্ধার সাথে পার্থক্য করতে পারি: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

পার্থক্য এবং সংহতকরণের ক্রমটির আন্তঃসংযোগ করা, আমরা পাই

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

আমাদের যে পার্থক্য রয়েছে তা বহন করা

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

মধ্যে সন্নিবেশ করা আমরা পাই $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

এখন আমরা জিজ্ঞাসা করি: এর বাম দিকের দিকটি একটি আসল সংখ্যা। সুতরাং, ডান দিকের দিকটি অবশ্যই একটি আসল সংখ্যা হতে হবে, কোনও ফাংশন নয় । সুতরাং এটি অবশ্যই একটি নির্দিষ্ট মূল্যায়ন করা উচিত এবং এটি "সত্য" হওয়া উচিত , অন্যথায় বাম-পাশের অংশে আমাদের এর আসল প্রত্যাশিত মান না হত । এটির উপর জোর দেওয়ার জন্য আমরা আসল মানটি the দ্বারা চিহ্নিত করি এবং আমরা আবার লিখি হিসাবে $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

আমরা এখন সর্বাধিক সম্ভাবনা অনুমানের দিকে ঘুরে দেখি । আকারের একটি নমুনা জন্য লগ-সম্ভাবনা হয় $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

সমান- সম্মান করে এর ডেরাইভেটিভ সেট করা আমরা এমএলই পাই $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

সাথে তুলনা করুন । ডান দিকের দিকগুলি সমান নয় , যেহেতু আমরা তর্ক করতে পারি না যে এমএলই অনুমানকারীটি সত্যিকারের মূল্যকে আঘাত করে। সুতরাং উভয়ই বাম দিক নয়। তবে মনে রাখবেন যে একা। সমস্ত এবং তাই ধারণ করে । সুতরাং একা পদক্ষেপ। সাথে সম্মানের সাথে নেওয়া যেতে পারে এবং আমরা eq লিখতে পারি। জন্য : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

যা সাথে মিলিত হয়ে আমাদের বৈধ সম্পর্কের দিকে নিয়ে যায় $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

যা পরীক্ষার অধীনে থাকা সত্যই বলেছে: অজানা প্যারামিটারের জন্য এমএলইয়ের অধীনে পর্যাপ্ত পরিসংখ্যানের প্রত্যাশিত মান (অন্য কথায়, আমরা ব্যবহার করলে আমরা যে বিতরণের প্রথম কাঁচা মুহুর্তের মূল্য অর্জন করব) পরিবর্তে ), সমান (এবং এটা শুধু দ্বারা আনুমানিক নয়) গড় যথেষ্ট পরিসংখ্যাত নমুনা থেকে গণনা করা যেমন । $\hat \theta(x)$ $\theta$ $\mathbf x$

তদুপরি, কেবলমাত্র যদি নমুনার আকার তবে আমরা সঠিকভাবে বলতে পারি, "MLE এর অধীনে পর্যাপ্ত পরিসংখ্যানের প্রত্যাশিত মান যথেষ্ট পরিসংখ্যানের সমান" " $n=1$

— আলেকোস পাপাদোপল্লোস
সূত্র

আপনি আরও ব্যাখ্যা করতে পারেন কেন 6 এ থেকে 6 বিতে রূপান্তরটি বৈধ?

— থিওডেন

@ থিডন ইন একের মধ্যে। এবং আমি "একা। সব " র জন্য লিখি - এবং তাই জন্যও। একা সব পদক্ষেপ। সাথে সম্মানের সাথে নেওয়া যেতে পারে । আমি স্পষ্টতার জন্য পাঠ্যে এই মন্তব্যটি পুনরাবৃত্তি করেছি।

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— অ্যালেকোস পাপাদোপল্লোস

@ অ্যালোকোসপ্যাডাপোলোস নীচে আপনার প্রমাণটি মনে হচ্ছে আপনি শুরুতে যা বলছেন তা বোঝায় - "যদি আমাদের এলোমেলো পরিবর্তনশীল তাত্পর্যপূর্ণ পরিবারে কোনও বিতরণ অনুসরণ করে তবে আমরা যদি একটি নমুনা নিই এবং পর্যাপ্ত পরিসংখ্যানগুলিতে এটি সন্নিবেশ করি, আমরা সত্য প্রত্যাশিত মানটি অর্জন করব পরিসংখ্যান "সত্য। আমি বোঝাতে চাই যে আমি সর্বদা এটি (2) এর জন্য করতে পারি, পর্যবেক্ষণের পর্যাপ্ত স্ট্যাটের সাথে এটি প্রতিস্থাপন করে ফলাফলটি পাই। আমি এখানে কি মিস করছি? আমি বেশ এটি না।

— ব্যবহারকারী 10024395

@ ব্যবহারকারী 136266 পরিসংখ্যানটির আসল প্রত্যাশিত মান , এবং গণনা করার জন্য, একজনকে অজানা, প্যারামিটার । সুতরাং আমরা আসলে যা গণনা করতে পারি তা যা আমাদের পয়েন্ট অনুমানটি সত্যিকার মানকে অনুধাবন করেছে এই ধারণার অধীনে পরিসংখ্যানের প্রত্যাশিত মান ।

6 a

$6a$

θ

$\theta$

6 b

$6b$

— অ্যালেকোস পাপাদোপল্লোস

আপনি কী ব্যাখ্যা করতে পারবেন যে আমরা কেন EQ এর মধ্যে পৃথকীকরণ এবং একীকরণের ক্রমটি বিনিময় করতে পারি। (3) দয়া করে?

— মার্কুস 777