দুটি গাউসিয়ার মধ্যে আর্থ মুভারের দূরত্ব (ইএমডি)

এবং মধ্যে ইএমডি (বা কোনও ধরণের উপর আবদ্ধ) এর জন্য কি কোনও বদ্ধ-সূত্র সূত্র রয়েছে ? $x_1\sim N(\mu_1, \Sigma_1)$ $x_2 \sim N(\mu_2, \Sigma_2)$

normal-distribution distance

— ifog
সূত্র

En.wikedia.org/wiki/Earth_mover%27s_distance অনুসারে EMD ম্যাল্লোস বা ওয়াসারস্টেইন দূরত্বের সমান, তাই আপনি গুগলিন চেষ্টা করতে পারেন।

— কেজেটিল বি হলওয়ার্সন

আপনি এই কাগজটি দরকারী খুঁজে পেতে পারেন: vldb.org/pvldb/vol5/p205_brianeruttenberg_vldb2012.pdf

— জোজার

$\DeclareMathOperator\EMD{\mathrm{EMD}} \DeclareMathOperator\E{\mathbb{E}} \DeclareMathOperator\Var{Var} \DeclareMathOperator\N{\mathcal{N}} \DeclareMathOperator\tr{\mathrm{tr}} \newcommand\R{\mathbb R}$ পৃথিবী প্রস্তাবক এর দূরত্ব হিসেবে লেখা যেতে পারে $\EMD(P, Q) = \inf \E \lVert X - Y \rVert$ , যেখানে infimum সব যৌথ ডিস্ট্রিবিউশন অধিগৃহীত হয় $X$ এবং $Y$ marginals সঙ্গে $X \sim P$ , $Y \sim Q$ । এটি প্রথম ওয়াসারস্টেইন দূরত্ব হিসাবেও পরিচিত, যা একই $W_p = \inf \left( \E \lVert X - Y \rVert^p \right)^{1/p}$ ।

যাক $X \sim P = \N(\mu_x, \Sigma_x)$ , $Y \sim Q = \N(\mu_y, \Sigma_y)$ ।

নিম্ন সীমা: জেনসেনের অসমতার দ্বারা, যেহেতু নীতিগুলি উত্তল, তাই

E ‖ X - Y ‖ \geq ‖ E (X - Y) ‖ = ‖ μ_{x} - μ_{y} ‖,

$\E \lVert X - Y \rVert \ge \lVert \E (X - Y) \rVert = \lVert \mu_x - \mu_y \rVert,$ সুতরাং EMD সর্বদা কমপক্ষে উপায়গুলির মধ্যে দূরত্ব (কোনও বিতরণের জন্য)।

$W_2$ উপর ভিত্তি করে উপরের আবদ্ধ : আবার জেনসেনের বৈষম্য দ্বারা, $\left( \E \lVert X - Y \rVert \right)^2 \le \E \lVert X - Y \rVert^2$ । এইভাবে $W_1 \le W_2$ । কিন্তু Dowson এবং শুরু Landau (1982) প্রতিষ্ঠা করে

W_{2} (P, Q)^{2} = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - 2 (Σ_{x} Σ_{y})^{1 / 2}),

$W_2(P, Q)^2 = \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - 2 (\Sigma_x \Sigma_y)^{1/2} \right) ,$ upper

E M D = W_{1}

$\EMD = W_1$ উপরের

।

একটি কঠিন উপরের আবদ্ধ: কাপলিং বিবেচনা করুন এটি নট এবং স্মিথ (1984) দ্বারা প্রাপ্ত মানচিত্র , বিতরণগুলির সর্বোত্তম ম্যাপিংয়ের সময় , জার্নাল অব অপ্টিমাইজেশন থিওরি এবং অ্যাপ্লিকেশনগুলি, 43 (1) পিপি 39-49 এর জন্য অনুকূল ম্যাপিং হিসাবে ; আরো দেখুন এই ব্লগ পোস্টে । দ্রষ্টব্য যে এবং

\begin{aligned} X & \sim N (μ_{x}, Σ_{x}) \\ Y & = μ_{y} + \underset{A}{\underset{⏟}{Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}}}} (X - μ_{x}) . \end{aligned}

$\begin{align} X &\sim \N(\mu_x, \Sigma_x) \\ Y &= \mu_y + \underbrace{\Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12}}_A (X - \mu_x) .\end{align}$

W_{2}

$W_2$

A = A^{T}

$A = A^T$

\begin{aligned} E Y & = μ_{y} + A (E X - μ_{x}) = μ_{y} \\ Var Y & = A Σ_{x} A^{T} \\ = Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} Σ_{x} Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} \\ = Σ_{x}^{- \frac{1}{2}} (Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}}) Σ_{x}^{- \frac{1}{2}} \\ = Σ_{y}, \end{aligned}

$\begin{align} \E Y &= \mu_y + A (\E X - \mu_x) = \mu_y \\ \Var Y &= A \Sigma_x A^T \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \Sigma_x \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right) \Sigma_x^{-\frac12} \\&= \Sigma_y ,\end{align}$ যাতে বৈধ।

দূরত্ব তখন , যেখানে এখন যা with সাথে স্বাভাবিক is $\lVert X - Y \rVert$ $\lVert D \rVert$

\begin{aligned} D & = X - Y \\ = X - μ_{y} - A (X - μ_{x}) \\ = (I - A) X - μ_{y} + A μ_{x}, \end{aligned}

$\begin{align} D &= X - Y \\&= X - \mu_y - A (X - \mu_x) \\&= (I - A) X - \mu_y + A \mu_x ,\end{align}$

\begin{aligned} E D & = μ_{x} - μ_{y} \\ Var D & = (I - A) Σ_{x} (I - A)^{T} \\ = Σ_{x} + A Σ_{x} A - A Σ_{x} - Σ_{x} A \\ = Σ_{x} + Σ_{y} - Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{\frac{1}{2}} - Σ_{x}^{\frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} . \end{aligned}

$\begin{align} \E D &= \mu_x - \mu_y \\ \Var D &= (I - A) \Sigma_x (I - A)^T \\&= \Sigma_x + A \Sigma_x A - A \Sigma_x - \Sigma_x A \\&= \Sigma_x + \Sigma_y - \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} - \Sigma_x^{\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} .\end{align}$

সুতরাং জন্য একটি উপরের হ'ল । দুর্ভাগ্যবশত, এই প্রত্যাশা জন্য একটি বদ্ধ ফর্ম সাধারণ বহুচলকীয় লম্ব জন্য লিখে আশ্চর্যজনক অপ্রীতিকর হল: দেখতে এই প্রশ্নের পাশাপাশি এই এক । $W_1(P, Q)$ $\E \lVert D \rVert$

যদি এর গোলাকৃতির হয়ে শেষ হয় (যেমন if , , তবে এর বৈকল্পিকতা ) হয়ে যায় প্রশ্নটি একটি সাধারণীকৃত লেগুয়েরে বহুপদী হিসাবে বিবেচনা করে উত্তর দেয়। $D$ $\Sigma_x = \sigma_x^2 I$ $\Sigma_y = \sigma_y^2 I$ $D$ $(\sigma_x - \sigma_y)^2 I$

সাধারণভাবে, আমাদের জেনসেনের অসমতার উপর ভিত্তি করে জন্য একটি সাধারণ উপরের আবদ্ধ রয়েছে , যেমন প্রথম প্রশ্নটিতে উত্পন্ন: $\E \lVert D \rVert$

\begin{aligned} {(E ‖ D ‖)}^{2} & \leq E ‖ D ‖^{2} \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - A Σ_{x} - Σ_{x} A) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r (Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{\frac{1}{2}}) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r ({(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}}) \\ = W_{2} (P, Q)^{2} . \end{aligned}

$\begin{align} \left( \E \lVert D \rVert \right)^2 &\le \E \lVert D \rVert^2 \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - A \Sigma_x - \Sigma_x A \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \Sigma_x^{-\frac12} \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \right) \\&= W_2(P, Q)^2 .\end{align}$ শেষে সমতা কারণ ম্যাট্রিক্স এবং অনুরূপ , সুতরাং তাদের একই ইগ্যালভ্যালু রয়েছে এবং এইভাবে তাদের বর্গাকার শিকড়গুলির একই ট্রেস রয়েছে।

Σ_{x} Σ_{y}

$\Sigma_x \Sigma_y$

Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}} = Σ_{x}^{- \frac{1}{2}} (Σ_{x} Σ_{y}) Σ_{x}^{\frac{1}{2}}

$\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 = \Sigma_x^{-\frac12} (\Sigma_x \Sigma_y) \Sigma_x^{\frac12}$

এই বৈষম্য যতক্ষণ না ততক্ষণ কঠোর , which বেশিরভাগ ক্ষেত্রে । $\lVert D \rVert$ $\Sigma_x \ne \Sigma_y$

একটি অনুমান : সম্ভবত এই নিকটতম উপরের আবদ্ধ, , আঁটসাঁট। তারপরে আবার, আমার এখানে দীর্ঘ সময়ের জন্য আলাদা আলাদা আবদ্ধ ছিল যে আমি আঁটসাঁট হয়ে থাকার অনুমান করছিলাম যে আসলে ডাব্লু ৩ এর চেয়ে , তাই সম্ভবত আপনার এই অনুমানকে খুব বেশি বিশ্বাস করা উচিত নয়। :) $\E \lVert D \rVert$ $W_2$

— Dougal
সূত্র