সর্বাধিক সম্ভাবনার প্রাক্কলনকারী - মাল্টিভারিয়েট গাউসিয়ান

প্রসঙ্গ

মাল্টিভিয়ারেট গাউসিয়ান প্রায়শই মেশিন লার্নিংয়ে উপস্থিত হয় এবং নিম্নলিখিত ফলাফলগুলি অনেক এমএল বই এবং কোর্সগুলিতে ব্যয় ছাড়াই ব্যবহৃত হয়।

একটি ম্যাট্রিক্স আকারে দেওয়া তথ্য এর মাত্রা , যদি আমরা ধরে নিই যে তথ্য একটি অনুসরণ -variate গসিয়ান পরামিতি সঙ্গে বন্টন গড় ( ) এবং সহভেদাংক ম্যাট্রিক্স ( ) সর্বাধিক সম্ভাবনা অনুমানকারীগুলি এর দ্বারা প্রদত্ত: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

আমি বুঝতে পারি যে মাল্টিভারিয়েট গাউসিয়ান জ্ঞান অনেকগুলি এমএল কোর্সের জন্য পূর্ব-প্রয়োজনীয়, তবে একবারে এবং স্বতঃস্ফূর্ত উত্তরে পুরো বিকাশ লাভ করা সহায়ক হবে কারণ আমি অনুভব করি যে অনেক স্ব-শিক্ষাব্রতী পরিসংখ্যানের আশেপাশে পদক্ষেপ নিচ্ছেন। উত্তর খুঁজছেন স্ট্যাকেক্সচেঞ্জ এবং ম্যাথ.স্ট্যাকেক্সেক্সঞ্জ ওয়েবসাইটগুলি।

প্রশ্ন

মাল্টিভারিয়েট গাউসিয়ানের সর্বাধিক সম্ভাবনার প্রাক্কলনের সম্পূর্ণ বিকাশ কী is

উদাহরণ:

লিনিয়ার বৈষম্যমূলক বিশ্লেষণের উপর এই লেকচার নোটগুলি (পৃষ্ঠা 11), বা এগুলি ফলাফলগুলি ব্যবহার করে এবং পূর্ববর্তী জ্ঞান ধরে নেয়।

কয়েকটি পোস্টও রয়েছে যা আংশিকভাবে উত্তর দেওয়া বা বন্ধ রয়েছে:

— জাভিয়ের বোয়ারেট সিকোত্তে
সূত্র

উত্তর:

সর্বাধিক সম্ভাবনার প্রাক্কলনকারীদের আবিষ্কার করা

ধরে নিন যে আমাদের র্যান্ডম ভেক্টর রয়েছে, প্রতিটি আকারের : যেখানে প্রতিটি র্যান্ডম ভেক্টর থাকতে পারে ভেরিয়েবলগুলি জুড়ে একটি পর্যবেক্ষণ (ডেটা পয়েন্ট) হিসাবে ব্যাখ্যা করা । যদি প্রতিটি বহুভিত গাউসিয়ান ভেক্টর হিসাবে iid হয়: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

যেখানে প্যারামিটারগুলি অজানা। তাদের অনুমানটি পেতে আমরা সর্বাধিক সম্ভাবনার পদ্ধতিটি ব্যবহার করতে পারি এবং লগ সম্ভাবনার কার্যটি সর্বোচ্চ করতে পারি। $\mu, \Sigma$

নোট করুন যে এলোমেলো ভেক্টরগুলির স্বাধীনতার দ্বারা, ডেটা- of এর যৌথ ঘনত্ব হ'ল ব্যক্তিগত ঘনত্বের পণ্য , এটি হ'ল । লগারিদম গ্রহণের ফলে লগ-সম্ভাবনার ফাংশন পাওয়া যায় $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

ডেরাইভিং $\hat \mu$

সাথে ডেরিভেটিভ নিতে এবং শূন্যকে সমান করতে আমরা নিম্নলিখিত ম্যাট্রিক্স ক্যালকুলাস পরিচয়টি ব্যবহার করব: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ যদি on এবং উপর নির্ভর করে না তা প্রতিসাম্য। $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

যাকে প্রায়শই নমুনা বলতে ভেক্টর বলা হয় ।

ডেরাইভিং $\hat \Sigma$

কোভেরিয়েন্স ম্যাট্রিক্সের জন্য এমএলই আবিষ্কার করার জন্য আরও কাজ এবং নিম্নলিখিত লিনিয়ার বীজগণিত এবং ক্যালকুলাস বৈশিষ্ট্যগুলি ব্যবহার করা প্রয়োজন:

ট্রেসটি ম্যাট্রিক্স পণ্যগুলির চক্রীয় অনুমানের অধীনে অবিচ্ছিন্ন: $tr[ACB] = tr[CAB] = tr[BCA]$

যেহেতু স্কেলার, তাই আমরা এর ট্রেস নিতে এবং একই মানটি পেতে পারি: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

এই বৈশিষ্ট্যগুলির সংমিশ্রণ আমাদের গণনা করতে দেয়

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

যা ভেক্টর এর বাহ্যিক পণ্য নিজের সাথে। $x$

আমরা এখন লগ-সম্ভাবনা ফাংশনটি আবার লিখতে পারি এবং ডেরাইভেটিভ আর্ট comp গণনা করতে পারি (নোট ধ্রুবক রয়েছে) $\Sigma^{-1}$ $C$

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

শূন্যের সমান এবং ig জন্য সমাধান $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

সোর্স

— জাভিয়ের বোয়ারেট সিকোত্তে
সূত্র

বিকল্প প্রমাণ, আরও কমপ্যাক্ট ফর্ম, বা স্বজ্ঞাত ব্যাখ্যাটি স্বাগত!

— জাভিয়ের বুরেট সিকোট

জন্য শিক্ষাদীক্ষা সালে , কেন নেই ইতিবাচক নির্দিষ্ট করা প্রয়োজন? এটি কি যথেষ্ট বলে মনে হচ্ছে যে অবিচ্ছিন্ন? অবিচ্ছিন্ন ম্যাট্রিক্স , কেবলমাত্র ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— টম বনেট

স্পষ্ট করার জন্য, এমন এক ম্যাট্রিক্স যা সীমাবদ্ধ তির্যক এবং অ-তির্যক উপাদানগুলি ভেক্টরগুলির মধ্যে পারস্পরিক সম্পর্ক নির্দেশ করে, সঠিক? যদি তা হয় তবে এই ভেক্টরগুলি কোন অর্থে স্বতন্ত্র? এছাড়াও, কেন যৌথ সম্ভাবনা ফাংশন সম্ভাবনার সমান? যৌথ ঘনত্ব, , পূর্বের, অর্থাৎ দ্বারা গুণিত হওয়ার সম্ভাবনার সমান হওয়া উচিত নয় ?

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— ম্যাথিউজ ২৪

@ টমবেনেট সিগমা ম্যাট্রিক্স সংজ্ঞা দ্বারা ইতিবাচক সুনিশ্চিত - প্রমাণের জন্য stats.stackexchange.com/questions/52976/… দেখুন । ম্যাট্রিক্স ক্যালকুলাস পরিচয়ের জন্য ম্যাট্রিক্সকে প্রতিসম হতে হবে, ইতিবাচক সুনির্দিষ্ট নয়। তবে যেহেতু ধনাত্মক সুনির্দিষ্ট ম্যাট্রিকগুলি সর্বদা প্রতিসাম্যপূর্ণ

— জেভিয়ার বুরেট সিকোট ২

হ্যাঁ প্রকৃতপক্ষে - পর্যবেক্ষণগুলির মধ্যে স্বাধীনতা সম্ভাবনা পেতে দেয় - শব্দটি যথেষ্ট অস্পষ্ট হতে পারে - এটি সম্ভবত সম্ভাবনার বহু সংস্করণ।

— পূর্বেরটি

for এর জন্য একটি বিকল্প প্রমাণ যা সরাসরি সাথে সম্মান নিয়ে ডেরাইভেটিভ গ্রহণ করে : $\widehat{\Sigma}$ $\Sigma$

উপরের মতো লগ-সম্ভাবনার সাথে বাছাই করা হচ্ছে: যেখানে এবং আমরা এর আবর্তনশীল এবং রৈখিক বৈশিষ্ট্য ব্যবহার করেছেন । গণনা করার জন্য আমরা প্রথমে এটি পর্যবেক্ষণ করি

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} \log | Σ | = Σ^{- T} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ above উপরের চতুর্থ সম্পত্তি দ্বারা। দ্বিতীয় টার্মের ডাইরিভেটিভ নিতে আমাদের সেই প্রপার্টিটির দরকার হবে যা ( ম্যাট্রিক্স কুকবুক থেকে সমীকরণ 63৩)। সাথে এটি প্রয়োগ করে আমরা সেই কারণ এবং উভয়ই প্রতিসম হয়। তারপর

\frac{\partial}{\partial X} tr (A X^{- 1} B) = - (X^{- 1} B A X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ এটিকে 0 তে সেট করা এবং পুনরায় সাজানো

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

এই পদ্ধতির মান one respect এর সাথে ডেরিভেটিভ ব্যবহার করে স্ট্যান্ডার্ডের চেয়ে আরও বেশি কাজ এবং আরও জটিল ট্রেস পরিচয় প্রয়োজন। আমি শুধু পাওয়া এটা দরকারী কারণ আমি বর্তমানে এটা ব্যবহার করা অনেক বেশি কঠিন বলে মনে হয়, যার জন্য একটি পরিবর্তিত সম্ভাবনা ফাংশনের ডেরাইভেটিভস নেওয়া প্রয়োজন চেয়ে । $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— এরিক কাইটলি
সূত্র

সর্বাধিক সম্ভাবনার প্রাক্কলনকারী - মাল্টিভারিয়েট গাউসিয়ান

প্রসঙ্গ

প্রশ্ন

উদাহরণ:

সর্বাধিক সম্ভাবনার প্রাক্কলনকারীদের আবিষ্কার করা

ডেরাইভিংμ^μ^\hat \mu

ডেরাইভিংΣ^Σ^\hat \Sigma

সোর্স

ডেরাইভিং $\hat \mu$

ডেরাইভিং $\hat \Sigma$