এমএলই এর আইডি ডেটা দরকার? নাকি শুধু স্বাধীন প্যারামিটার?

16

সর্বাধিক সম্ভাবনার প্রাক্কলন (এমএলই) ব্যবহার করে প্যারামিটারগুলি নির্ধারণের মধ্যে সম্ভাবনা ফাংশনটি মূল্যায়ন করা জড়িত থাকে, যা বিতরণ পরিবারকে দেওয়া (প (এক্স = এক্স | θ) প্যারামিটার স্পেস ()) এর মান (x) দ্বারা প্রাপ্ত নমুনা (এক্স) এর সম্ভাবনাটিকে মানচিত্র করে which ) এর সম্ভাব্য মানগুলির উপরে note (দ্রষ্টব্য: আমি কি ঠিক এই? θ এবং এক্স এর মান হ'ল নমুনা (একটি ভেক্টর)।

যেহেতু আমরা কেবল ডেটা গুণ করছি, এটি কি ডেটা স্বতন্ত্র হওয়ার অনুসরণ করে? উদাহরণস্বরূপ আমরা সময়-সিরিজের ডেটা ফিট করতে এমএলই ব্যবহার করতে পারি না? বা পরামিতিগুলি কি কেবল স্বাধীন হতে হবে?

maximum-likelihood

— ফেলিক্স
সূত্র

14

সম্ভাবনা ফাংশনটি কোনও ইভেন্ট (ডেটা সেট ) এর মডেল পরামিতিগুলির কার্য হিসাবে সম্ভাবনা হিসাবে সংজ্ঞায়িত হয় $E$ ${\bf x}$ $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

অতএব, পর্যবেক্ষণগুলির স্বাধীনতার কোনও ধারণা নেই। শাস্ত্রীয় পদ্ধতির পরামিতিগুলির স্বতন্ত্রতার কোনও সংজ্ঞা নেই কারণ এগুলি এলোমেলো পরিবর্তনশীল নয়; কিছু সম্পর্কিত ধারণার হতে পারে identifiability , প্যারামিটার orthogonality , এবং সর্বোচ্চ সম্ভাবনা Estimators (যা র্যান্ডম ভেরিয়েবল) স্বাধীনতার।

কিছু উদাহরণ,

(1)। বিচ্ছিন্ন দৈব চলক । সঙ্গে (স্বাধীন) বিযুক্ত পর্যবেক্ষণ একটি নমুনা , তারপর ${\bf x}=(x_1,...,x_n)$ ${\mathbb P}(\text{observing } x_j ; \theta)>0$

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

বিশেষত, যদি , পরিচিত হয় তবে আমাদের তা আছে $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2)। অবিচ্ছিন্ন অনুমান । যাক একটি ক্রমাগত দৈব চলক থেকে একটি নমুনা হতে , ডিস্ট্রিবিউশনের সাথে এবং ঘনত্ব , পরিমাপ ত্রুটি সহ , এই হয়, তাহলে আপনি সেট পালন । তারপর ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

যখন ছোট, এই দ্বারা (গড় মান উপপাদ্য ব্যবহার করে) আনুমানিক যাবে $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

স্বাভাবিক ক্ষেত্রে সঙ্গে একটি উদাহরণস্বরূপ, কটাক্ষপাত করা এই ।

(3)। নির্ভরশীল এবং মার্কভ মডেল । ধরুন যে পর্যবেক্ষণ সম্ভবত নির্ভর এবং দিন একটি সেট যুগ্ম ঘনত্ব হতে , তারপর ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

অতিরিক্তভাবে যদি মার্কভ সম্পত্তি সন্তুষ্ট হয়, তবে

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

এছাড়াও কটাক্ষপাত এই ।

— সম্প্রদায়
সূত্র

3

আপনি যেমন পণ্য হিসাবে সম্ভাবনা ফাংশনটি লেখেন, আপনি পর্যবেক্ষণগুলির মধ্যে স্পষ্টভাবে নির্ভরতা কাঠামো ধরে নিচ্ছেন। সুতরাং এমএলইর জন্য একজনের প্রতিটি স্বতন্ত্র ফলাফলের বিতরণের উপর দুটি ধারণা এবং (খ) ফলাফলগুলির মধ্যে নির্ভরতার উপর একটি প্রয়োজন needs

10

(+1) খুব ভাল প্রশ্ন।

মাইনর জিনিস, এমএলই সর্বোচ্চ হিসাবে দাঁড়িয়েছে সম্ভাবনার প্রাক্কলন (একাধিক নয়) এর অর্থ , যার অর্থ আপনি সম্ভাবনা সর্বাধিকতর করেন। এটি নির্দিষ্ট করে না যে সম্ভাবনাটি আইআইডি স্যাম্পলিং দ্বারা উত্পাদিত হতে হবে।

যদি পরিসংখ্যানের মডেলটিতে স্যাম্পলিংয়ের নির্ভরতা রচনা করা যায় তবে আপনি কেবল সেই অনুযায়ী সম্ভাবনাটি লিখুন এবং এটি যথারীতি সর্বোচ্চ করে তুলুন।

আপনি যখন নির্ভরতা গ্রহণ করবেন না তখন একটি উল্লেখযোগ্য বিষয় হ'ল মাল্টিভিয়ারেট গাউসিয়ান নমুনা (উদাহরণস্বরূপ সময় সিরিজের বিশ্লেষণে)। দুটি গাউসিয়ান ভেরিয়েবলের মধ্যে নির্ভরতা তাদের সমবায় শব্দটি দ্বারা মডেল করা যেতে পারে, যা আপনি সম্ভাবনার মধ্যে অন্তর্ভুক্ত করেন।

To give a simplistic example, assume that you draw a sample of size $2$ from correlated Gaussian variables with same mean and variance. You would write the likelihood as

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

where $z$ is

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

— gui11aume
সূত্র

2

These are good answers and examples. The only thing I would add to see this in simple terms is that likelihood estimation only requires that a model for the generation of the data be specified in terms of some unknown parameters be described in functional form.

— Michael R. Chernick

(+1) Absolutely true! Do you have an example of model that cannot be specified in those terms?

— gui11aume

@gu11aume I think you are referring to my remark. I would say that I was not giving a direct answer to the question. The answwer to the question is yes because there are examples that can be shown where the likelihood function can be expressed when the data are genersted by dependent random variables.

— Michael R. Chernick

2

Examples where this cannot be done would be where the data are given without any description of the data generating mechanism or the model is not presented in a parametric form such as when you are given two iid data sets and are asked to test whether they come from the same distribution where you only specify that the distributions are absolutely continuous.

— Michael R. Chernick

4

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$ where indices

j

$j$ are nested in

i

$i$ (think of students

j

$j$ in classrooms

i

$i$ , say, for a classic application of multilevel models), then, assuming

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$ , the likelihood is

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response

y_{i j}

$y_{ij}$ , then there is no way out of numerical integration.)

— StasK
সূত্র

2

Stask and @gui11aume, these three answers are nice but I think they miss a point: what about the consistency of the MLE for dependent data ?

— Stéphane Laurent