সর্বাধিক গড় তাত্পর্য (দূরত্ব বিতরণ)

আমার কাছে দুটি ডেটা সেট রয়েছে (উত্স এবং লক্ষ্য ডেটা) যা বিভিন্ন বিতরণ অনুসরণ করে। আমি এমএমডি ব্যবহার করছি - এটি উত্স এবং লক্ষ্য ডেটার মধ্যে প্রান্তিক বিতরণ গণনা করার জন্য একটি অ-প্যারাম্যাট্রিক দূরত্ব বিতরণ।

উত্স তথ্য, এক্স

লক্ষ্য তথ্য, এক্সটি

অভিযোজন ম্যাট্রিক্স এ

* অনুমিত ডেটা, যদ = একটি '* XS এবং ZT = একটি' XT

* এমএমডি => দূরত্ব (পি (এক্স), পি (এক্সটি)) = | গড় (A'Xs) - গড় (এ ' এক্সটি) |

এর অর্থ: মূল স্থানটিতে উত্স এবং লক্ষ্য ডেটার মধ্যে বিতরণের দূরত্বটি এমবেডড স্পেসে অনুমানিত উত্স এবং লক্ষ্য ডেটার মধ্যকার দূরত্বের সমতুল্য।

এমএমডি ধারণা সম্পর্কে আমার একটি প্রশ্ন আছে।

এমএমডি সূত্রে, কেন সুপ্ত স্থানে কম্পিউটারের দূরত্বের সাহায্যে আমরা মূল স্থানটিতে বিতরণের দূরত্বটি পরিমাপ করতে পারি?

ধন্যবাদ

— Mahsa
সূত্র

আপনি আসলে এখনও কোনও প্রশ্ন জিজ্ঞাসা করেননি: আপনি কেবল আমাদের জানিয়েছেন যে আপনি বিভ্রান্ত হয়ে পড়েছেন!

— whuber

এটি এমএমডি সম্পর্কে একটি সংক্ষিপ্তসার আরও কিছুটা দিতে সহায়তা করতে পারে। $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

সাধারণভাবে, বৈশিষ্ট্যগুলির গড় এমবেডিংয়ের মধ্যে দূরত্ব হিসাবে বিতরণগুলির মধ্যে দূরত্বগুলি উপস্থাপনের ধারণা দ্বারা এমএমডি সংজ্ঞায়িত করা হয় । অর্থাৎ বলতে আমরা ডিস্ট্রিবিউশন আছে এবং একটি সেট উপর । এমএমডি একটি বৈশিষ্ট্য মানচিত্র দ্বারা সংজ্ঞায়িত করা হয় , যেখানে , যাকে প্রজনন কার্নেল হিলবার্ট স্পেস বলা হয়। সাধারণভাবে, এমএমডি হ'ল $P$ $Q$ $\X$ $\varphi : \X \to \h$ $\mathcal H$

MMD (P, Q) = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} .

$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$

একটি উদাহরণ হিসাবে, আমাদের কাছে এবং । : সুতরাং এই এমএমডি দুটি বিতরণের মাধ্যমের মধ্যবর্তী দূরত্ব। এই জাতীয় ডিস্ট্রিবিউশনগুলির সাথে মিলে যাওয়া তাদের অর্থগুলির সাথে মেলে, যদিও তারা তাদের ভিন্নতা বা অন্য উপায়ে ভিন্ন হতে পারে। $\X = \h = \R^d$ $\varphi(x) = x$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [X] - E_{Y \sim Q} [Y] ‖_{R^{d}} \\ = ‖ μ_{P} - μ_{Q} ‖_{R^{d}}, \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$

আপনার কিছুটা আলাদা: আমাদের এবং ,, , যেখানে একটি ম্যাট্রিক্স। সুতরাং আমাদের এই এমএমডি হ'ল মধ্যবর্তী দুটি পৃথক অনুমানের মধ্যে পার্থক্য। যদি বা ম্যাপিং অন্যথায় পরিবর্তিত না হয়, $\mathcal X = \mathbb R^d$ $\mathcal H = \mathbb R^p$ $\varphi(x) = A' x$ $A$ $d \times p$

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = ‖ E_{X \sim P} [A^{'} X] - E_{Y \sim Q} [A^{'} Y] ‖_{R^{p}} \\ = ‖ A^{'} E_{X \sim P} [X] - A^{'} E_{Y \sim Q} [Y] ‖_{R^{p}} \\ = ‖ A^{'} (μ_{P} - μ_{Q}) ‖_{R^{p}} . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$

p < d

$p < d$

A^{'}

$A'$ আগেরটির তুলনায়: এটি পূর্ববর্তী যেটি বিতরণ করে তার মধ্যে পার্থক্য করে না।

আপনি আরও শক্তিশালী দূরত্ব তৈরি করতে পারেন। উদাহরণস্বরূপ, যদি এবং আপনি তবে এমএমডি পূর্ব becomes হয়ে যায় , এবং কেবলমাত্র বিভিন্ন উপায়ে নয় বিতরণগুলিও পৃথক করতে পারে different $\X = \R$ $\varphi(x) = (x, x^2)$ $\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

এবং আপনি এর চেয়ে আরও শক্তিশালী হতে পারেন: যদি if একটি সাধারণ পুনরুত্পাদন কার্নেল হিলবার্ট স্পেসে মানচিত্র করে, তবে আপনি এমএমডি গণনা করতে কার্নেল ট্রিক প্রয়োগ করতে পারেন , এবং দেখা গেছে যে গাউসিয়ান কার্নেল সহ অনেকগুলি কার্নেল এমএমডি বাড়ে lead শূন্য এবং যদি কেবল বিতরণগুলি অভিন্ন হয়। $\varphi$

বিশেষত, , আপনি পেতে পারেন যা আপনি নমুনাগুলির সাহায্যে সোজাভাবে অনুমান করতে পারেন। $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

\begin{aligned} {MMD}^{2} (P, Q) & = ‖ E_{X \sim P} φ (X) - E_{Y \sim Q} φ (Y) ‖_{H}^{2} \\ = ⟨ E_{X \sim P} φ (X), E_{X^{'} \sim P} φ (X^{'}) ⟩_{H} + ⟨ E_{Y \sim Q} φ (Y), E_{Y^{'} \sim Q} φ (Y^{'}) ⟩_{H} - 2 ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩_{H} \\ = E_{X, X^{'} \sim P} k (X, X^{'}) + E_{Y, Y^{'} \sim Q} k (Y, Y^{'}) - 2 E_{X \sim P, Y \sim Q} k (X, Y) \end{aligned}

$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$

আপডেট: এখানে "সর্বাধিক" নামটি এসেছে।

বৈশিষ্ট্যটির মানচিত্র একটি পুনরুত্পাদন কার্নেল হিলবার্ট স্পেসে মানচিত্র। এগুলো শূণ্যস্থান আছে ফাংশন , এবং একটি চাবি সম্পত্তি (যাকে বলা হয় সন্তুষ্ট প্রতিলিপি সম্পত্তি :) কোন । $\varphi: \X \to \h$ $\langle f, \varphi(x) \rangle_\h = f(x)$ $f \in \h$

সবচেয়ে সহজ উদাহরণে, সহ , আমরা প্রতিটি as কিছু to এর সাথে ফাংশন হিসাবে দেখি , । তারপরে প্রজনন সম্পত্তি বোঝা উচিত $\X = \h = \R^d$ $\varphi(x) = x$ $f \in \h$ $w \in \R^d$ $f(x) = w' x$ $\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

গাউসিয়ান কার্নেলের মতো আরও জটিল সেটিংসে, আরও জটিল কাজ, তবে পুনরুত্পাদন সম্পত্তি এখনও ধারণ করে। $f$

এখন, আমরা এমএমডি এর বিকল্প বৈশিষ্ট্য দিতে পারি: দ্বিতীয় লাইন হিলবার্ট স্পেসগুলির নিয়ম সম্পর্কে সাধারণ তথ্য:

\begin{aligned} MMD (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} ⟨ f, E_{X \sim P} [φ (X)] ⟩_{H} - ⟨ f, E_{Y \sim Q} [φ (Y)] ⟩_{H} \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [⟨ f, φ (X) ⟩_{H}] - E_{Y \sim Q} [⟨ f, φ (Y) ⟩_{H}] \\ = sup_{f \in H : ‖ f ‖_{H} \leq 1} E_{X \sim P} [f (X)] - E_{Y \sim Q} [f (Y)] . \end{aligned}

$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$

sup_{f : ‖ f ‖ \leq 1} ⟨ f, g ⟩_{H} = ‖ g ‖

$\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ দ্বারা অর্জন করা হয়েছে । চতুর্থ কোনও প্রযুক্তিগত অবস্থার উপর নির্ভর করে যা বোচনার ইন্টিগ্রাবিলিটি নামে পরিচিত তবে এটি সত্য যেমন বাউন্ডেড কার্নেল বা সীমানা সমর্থন সহ বিতরণের জন্য utions তারপরে শেষে আমরা প্রজনন সম্পত্তি ব্যবহার করি।

f = g / ‖ g ‖

$f = g / \lVert g \rVert$

এটি সর্বাধিক টেস্ট ফাংশন উপর, - এই শেষ লাইন কেন এটি "সর্বাধিক গড় অমিল" বলা হয় হয় ইউনিট বল , দুই ডিস্ট্রিবিউশন মধ্যে গড় পার্থক্য। $f$ $\h$

— Dougal
সূত্র

আপনার ব্যাখ্যার জন্য ধন্যবাদ, এটি আমার জন্য আরও স্পষ্ট হয়ে ওঠে; তবুও আমি এই ধারণাটি পেলাম না, শুরুতে আপনি বলেছিলেন: "এমএমডি বৈশিষ্ট্যগুলির গড় এমবেডিংয়ের মধ্যবর্তী দূরত্ব হিসাবে বিতরণগুলির মধ্যে দূরত্বকে উপস্থাপনের ধারণা দ্বারা সংজ্ঞায়িত করা হয়।" কেন এই ধারণা সত্য?

— মাহসা 11

"এমএমডি বৈশিষ্ট্যগুলির গড় এম্বেডিংয়ের মধ্যবর্তী দূরত্ব হিসাবে বিতরণগুলির মধ্যে দূরত্ব উপস্থাপনের ধারণা দ্বারা সংজ্ঞায়িত হয়।" কেন এই ধারণাটি সত্য হয়? এটি কি আরকেএইচএসের জায়গার সাথে সম্পর্কিত?

— মহাসা

এটি কেবল একটি সংজ্ঞা: আপনি বিতরণগুলির মাধ্যমের সাথে তুলনা করে তুলনা করতে পারেন। বা, আপনি বিতরণগুলি তাদের কিছু পরিবর্তনের সাথে তুলনা করে তুলনা করতে পারেন; বা তাদের উপায় এবং প্রকরণের তুলনা করে; বা আরকেএইচএসের একটি সহ অন্য কোনও বৈশিষ্ট্য মানচিত্রের গড়ের তুলনা করে।

— ডগল

আপনার প্রতিক্রিয়ার জন্য ধন্যবাদ; আমি আরকেএইচএস বৈশিষ্ট্য মানচিত্র সম্পর্কে আরও পড়তে যাচ্ছি; আমি ভাবছিলাম, কেন আরএমএইচএস বৈশিষ্ট্য মানচিত্রে এমএমডি দূরত্ব নির্ধারিত? মানে, এমএমডি দূরত্ব সংজ্ঞায় আরকেএইচএসের কী লাভ?

— মহাসা

এখানে ব্যাখ্যাটি "সর্বাধিক গড় তাত্পর্য" এর বিপরীতে "গড় বিভেদ" এর দিকে কেন্দ্রীভূত। কেউ কি "ম্যাক্সিমাইজেশন" অংশটি বিশদভাবে বলতে পারেন?

— জিয়াং জিয়াং

এখানে আমি এমএমডি ব্যাখ্যা করেছি। দু'টি বিতরণ যদি তাদের মুহুর্তগুলি একই হয়। কার্নেল প্রয়োগ করে, আমি পরিবর্তনশীলটিকে এমন রূপান্তর করতে পারি যে সমস্ত মুহুর্ত (প্রথম, দ্বিতীয়, তৃতীয় ইত্যাদি) গণনা করা হয়। সুপ্ত স্পেসে আমি মুহুর্তের মধ্যে পার্থক্যটি গণনা করতে পারি এবং এটি গড় করতে পারি। এটি ডেটাসেটের মধ্যে সাদৃশ্য / ভিন্নতার একটি পরিমাপ দেয়।

— rsambasivan
সূত্র