মাল্টিভারিয়েট স্বাভাবিক ঘনত্বের ডেরাইভেটিভ কীভাবে গ্রহণ করবেন?

বলুন আমার কাছে মাল্টিভারিয়েট নরমাল ঘনত্ব রয়েছে। আমি দ্বিতীয় (আংশিক) ডেরিভেটিভ আর্ট । কীভাবে ম্যাট্রিক্সের ডেরিভেটিভ নেওয়া যায় তা নিশ্চিত নন। $N(\mu, \Sigma)$ $\mu$

উইকি বলেছেন ম্যাট্রিক্সের অভ্যন্তরের উপাদান অনুসারে ডেরাইভেটিভ উপাদানটি গ্রহণ করুন।

আমি ল্যাপ্লেস সান্নিধ্যে মোডটি ।

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

আমাকে কীভাবে ?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

আমি যা করেছি:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

সুতরাং, আমি ডেরিভেটিভ আর্টটি থেইটাতে নিয়ে যাই , প্রথমে, ট্রান্সপোজ রয়েছে, দ্বিতীয়ত, এটি একটি ম্যাট্রিক্স। সুতরাং, আমি আটকে আছি। $\theta$

দ্রষ্টব্য: আমার অধ্যাপক যদি এটি জুড়ে আসে তবে আমি বক্তৃতার উল্লেখ করছি।

self-study normal-distribution matrix

— user1061210
সূত্র

আপনার সমস্যার অংশটি হ'ল লগ-সম্ভাবনার পক্ষে আপনার অভিব্যক্তিতে ত্রুটি রয়েছে - আপনারযেখানে আপনার । এছাড়াও, যে কোনও সুযোগে আপনি বোঝাতে চেয়েছিলেন ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— ম্যাক্রো

হ্যাঁ, আপনি ঠিক বলেছেন, দুঃখিত। আংশিক ডেরিভেটিভের সামনে কেন নেতিবাচক চিহ্ন রয়েছে?

— ব্যবহারকারী 1061210

আমি কেবল নেতিবাচক লক্ষণ সম্পর্কে স্পষ্ট করে বলছিলাম কারণ, নেতিবাচক দ্বিতীয় ডেরাইভেটিভ হল পর্যবেক্ষণ করা ফিশারের তথ্য, যা সাধারণত আগ্রহী। এছাড়াও, আমার নিজস্ব গণনা অনুসারে, আমি finding

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— ম্যাক্রো

সুতরাং, বিযুক্ত / অবিচ্ছিন্ন ফাংশন জন্য সাধারণ পদ্ধতি কি? লগ নিন, টেলর সম্প্রসারণ ফর্মটিতে লিখুন, দু'বার আর্ট আলাদা করুন । ফিশার তথ্য সাধারণত অন্যান্য ঘনত্বের সত্য নয়, তাই না?

θ

$\theta$

— ব্যবহারকারী 1061210

@ ব্যবহারকারীর হিসাবে আমি উল্লেখ করেছি, লগারিদমের দ্বিতীয় ডেরাইভেটিভের অবশ্যই অ-ধনাত্মক ইগন্যালিউজ থাকতে হবে। হ্যাঁ, বৈকল্পিক এবং নেতিবাচক দ্বিতীয় আংশিক ডেরাইভেটিভগুলির মধ্যে লিঙ্ক রয়েছে, যেমন সর্বাধিক সম্ভাবনা অনুমানের তত্ত্ব, ফিশারের তথ্য ইত্যাদি প্রকাশিত হয় - ম্যাক্রো এই মন্তব্যে এর আগে উল্লেখ করেছেন।

— হুড়হুড়ি করে

উত্তর:

ম্যাট্রিক্স কুকবুকের দ্বিতীয় অধ্যায়ে ম্যাট্রিক্স ক্যালকুলাস স্টাফগুলির একটি দুর্দান্ত পর্যালোচনা রয়েছে যা প্রচুর দরকারী পরিচয় দেয় যা সমস্যার সম্ভাবনা এবং পরিসংখ্যানগুলির সাথে মোকাবিলা করতে সহায়তা করে, মাল্টিভারিয়েট গাউসিয়ান সম্ভাবনার পার্থক্য করার নিয়ম সহ rules

আপনার যদি যদি এলোমেলো ভেক্টর যা গড় ভেক্টর এবং covariance ম্যাট্রিক্স with এর সাথে মাল্টিভারেট স্বাভাবিক থাকে , তবে ম্যাট্রিক্স কুকবুকে সমীকরণ (86) ব্যবহার করে এটির গ্রেডিয়েন্টটি খুঁজে নিন লগ সম্ভাবনা থেকে সম্মান সঙ্গে হয় ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial এল}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(Y - μ)}^{'} Σ^{- 1} (Y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (Y - μ)) \\ = Σ^{- 1} (Y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

আমি হতে আবার এই পার্থক্য ও উত্তর খুঁজে পেতে এটা আপনাকে ছেড়ে দেব । $-{\boldsymbol \Sigma}^{-1}$

"অতিরিক্ত ক্রেডিট", ব্যবহার সমীকরণ (57) (61) নামে এটি যে সম্মান সঙ্গে গ্রেডিয়েন্ট হয় ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial এল}{\partial Σ} & = - \frac{1}{2} (\frac{\partial লগ (| Σ |)}{\partial Σ} + + \frac{\partial {(Y - μ)}^{'} Σ^{- 1} (Y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (Y - μ) {(Y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

আমি প্রচুর পদক্ষেপ রেখে গেছি, তবে আমি ম্যাট্রিক্স কুকবুকের মধ্যে পাওয়া পরিচয়গুলি ব্যবহার করে এই বিকাশটি তৈরি করেছি, তাই শূন্যস্থান পূরণ করার জন্য আমি এটি আপনার কাছে রেখে দেব।

আমি সম্ভাব্যতা অনুমানের জন্য এই স্কোর সমীকরণগুলি ব্যবহার করেছি, তাই আমি জানি যে সেগুলি সঠিক :)

— ম্যাক্রো
সূত্র

দুর্দান্ত রেফারেন্স - এটি নিজেকে সুপারিশ করতে যাচ্ছিল। যিনি ম্যাট্রিক্স বীজগণিত জানেন না এমন ব্যক্তির পক্ষে উত্তম শিক্ষাগত তথ্যসূত্র নয়। আসল চ্যালেঞ্জটি আসল বাস্তবে কাজ করা । একটি বাস্তব ব্যথা।

Σ

$\Sigma$

— সম্ভাব্যতাব্লোগিক

ম্যাট্রিক্স ক্যালকুলাস অন্য একটি ভালো উৎস ম্যাগনাস & Neudecker হয় amazon.com/...

— StasK

সমীকরণের রেফারেন্স নম্বরটি পরিবর্তন করা হয়েছে (সম্ভবত কোনও নতুন সংস্করণের কারণে)। নতুন রেফারেন্স সমীকরণ 86. হয়

— goelakash

আমি এখানে অফ-বেস হতে পারি তবে আমার মনে হয় না যে এই সূত্রটি সঠিক। আমি এটিকে বাস্তব উদাহরণ দিয়ে ব্যবহার করছি এবং তাদের সীমাবদ্ধ পার্থক্যগুলি দেখছি। দেখে মনে হচ্ছে যে তির্যক এন্ট্রিগুলির জন্য সঠিক মান দেয় values তবে অফ-ডায়াগোনাল এন্ট্রিগুলি যা হওয়া উচিত তার অর্ধেক।

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— জেজেট 19 '

আপনাকে নিশ্চিত করতে হবে যে আপনি in এর পুনরাবৃত্ত উপাদানগুলির যথাযথ যত্ন , অন্যথায় আপনি ডেরাইভেটিভগুলি ভুল হয়ে যাবেন। উদাহরণস্বরূপ, (141) ম্যাট্রিক্স কুকবুক নীচের ডেরিভেটিভসগুলির জন্য একটি প্রতিসামগ্রী $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial লগ | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ আমি) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

আর (14) সহভেদাংক ম্যাট্রিক্সের ফাংশন পার্থক্য এর দেয়

\begin{aligned} \frac{\partial চিহ্ন (Σ^{- 1} এক্স {এক্স}^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} এক্স {এক্স}^{⊤} Σ^{- 1} + + (Σ^{- 1} এক্স {এক্স}^{⊤} Σ^{- 1} \circ আমি) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

যেখানে Hadmard পণ্যের উল্লেখ করে এবং সুবিধার জন্য আমরা যার বর্ণনা দিয়েছি । $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

বিশেষত নোটটি যখন প্রতিসাম্যতা আরোপিত হয় না তখন একই হয় না। ফলস্বরূপ আমাদের তা আছে $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial এল}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (ডি লগ | 2 π | + + লগ | Σ | + + {এক্স}^{⊤} Σ^{- 1} এক্স)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (লগ | Σ | + + চিহ্ন (Σ^{- 1} এক্স {এক্স}^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ আমি) - 2 Σ^{- 1} এক্স {এক্স}^{⊤} Σ^{- 1} + + (Σ^{- 1} এক্স {এক্স}^{⊤} Σ^{- 1} \circ আমি)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

যেখানে , এবং of এবং ডেরিভেটিভের মাত্রা বোঝায় 0 হয় $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

এটি নিশ্চিত উপাদান অনুরূপ। $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— লরেন্স মিডলটন
সূত্র

আমি @ ম্যাক্রোর উত্তরটি কম্পিউটেশনালি যাচাই করার চেষ্টা করেছি কিন্তু খুঁজে পেয়েছি যেটি সমবায় সমাধানে একটি ছোটখাটো ত্রুটি বলে মনে হচ্ছে। তিনি তবে দেখা যাচ্ছে যে সঠিক সমাধানটি আসলে নিম্নলিখিত আর স্ক্রিপ্ট একটি সহজ উদাহরণ যা সসীম পার্থক্য প্রতিটি উপাদানের জন্য গণনা করা হয় উপলব্ধ । এটি দেখায় যে

\begin{aligned} \frac{\partial এল}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (Y - μ) {(Y - μ)}^{'} Σ^{- 1}) = একজন \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

বি = 2 একজন - diag এর (একজন)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ কেবল তির্যক উপাদানগুলির জন্য সঠিক উত্তর সরবরাহ করে যখন entry every প্রতিটি প্রবেশের জন্য সঠিক।

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
সূত্র

আপনার মন্তব্যের জন্য ধন্যবাদ. আমি বিশ্বাস করি যে আপনি স্বাক্ষরটি অন্য সবার চেয়ে আলাদাভাবে ব্যাখ্যা করেছেন, কারণ আপনি একই সাথে -র ত্রিভুজ উপাদানগুলির মিলের জোড়া পরিবর্তন করেন , যার ফলে পরিবর্তনের প্রভাব দ্বিগুণ হয়। বাস্তবে আপনি একটি দিকনির্দেশক ডেরিভেটিভের একাধিক গণনা করছেন । ট্রান্সপোজ গ্রহণ করা উচিত হিসাবে ম্যাক্রোর সমাধান ইনসোফারটিতে একটি ছোট সমস্যা রয়েছে বলে মনে হয় - তবে এটি অ্যাপ্লিকেশনটির কোনও কিছুইকে প্রতিসম ম্যাট্রিকগুলিতে পরিবর্তন করতে পারে না।

Σ

$\Sigma$

— হোয়বার