রেফারেন্স যা গাউসিয়ান মিশ্রণের ব্যবহারকে ন্যায়সঙ্গত করে

Question

গাউসীয় মিশ্রণ মডেলগুলি (জিএমএম) আবেদন করছে কারণ তারা বিশ্লেষণাত্মকভাবে এবং অনুশীলনে উভয়ের সাথেই কাজ করা সহজ এবং খুব বেশি জটিলতা ছাড়াই কিছু বিদেশী বিতরণকে মডেলিং করতে সক্ষম। এমন কয়েকটি বিশ্লেষণাত্মক বৈশিষ্ট্য রয়েছে যা আমাদের ধরে রাখা উচিত যা সাধারণভাবে পরিষ্কার নয়। নির্দিষ্টভাবে:

• বলুন হল উপাদানগুলির সাথে সমস্ত গসিয়ান মিশ্রণের শ্রেণি class বাস্তবের উপর ক্রমাগত কোনও বিতরণ জন্য, আমরা কি গ্যারান্টিযুক্ত যে বাড়ার সাথে সাথে আপেক্ষিক এনট্রপির অর্থে নগণ্য ক্ষতির সাথে আমরা জিএমএমের সাথে আনুমানিক করতে পারি ? অর্থাৎ,$S_n$$n$$P$$n$$P$ $$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$
• বলুন আমাদের অবিচ্ছিন্ন বিতরণ $P$ এবং আমরা একটি $N$ কম্পোনেন্ট গাউসিয়ান মিশ্রণ পেয়েছি \ টুপি {পি total $\hat{P}$যা মোট পরিবর্তনের পি এর কাছাকাছি $P$: $\delta(P,\hat{P})<\varepsilon$ । আমরা কি ডি (পি || \ টুপি {পি}) কে \ এপসিলনের$D(P||\hat{P})$ ক্ষেত্রে আবদ্ধ করতে পারি ?$\epsilon$
• যদি আমরা স্বতন্ত্র $X\sim P_X$ মাধ্যমে এক্স \ সিম P_X পর্যবেক্ষণ করতে চাই $Y\sim P_Y$ (উভয় আসল, ধারাবাহিক), এবং আমাদের জিএমএম $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ যেখানে $\delta(P,Q)<\epsilon$ , তারপরে এই মানটি কি ছোট: $$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ অর্থাত এটা সত্য যে আনুমানিক হিসাব করা হয় $X$ মাধ্যমে $Y$ গোলমাল আনুমানিক হিসাব হিসাবে হার্ড হিসাবে সম্পর্কে $\hat{X}$ মাধ্যমে $\hat{Y}$ শব্দ?
• আপনি কি পয়সন নয়েসের মতো নন-অ্যাডিটিভ শব্দের মডেলগুলির জন্য এটি করতে পারেন?

আমার (সংক্ষিপ্ত) সাহিত্যের পর্যালোচনা এখন পর্যন্ত খুব কার্যকর প্রয়োগ টিউটোরিয়াল আপ করেছে। কারও কি এমন কোনও উল্লেখ রয়েছে যা মিশ্রণ মডেলগুলি ব্যবহারে আমাদের ন্যায্য?

Comments

দুর্বল টপোলজি (বিতরণে রূপান্তরিত হওয়ার সাথে মিলিয়ে) বিতরণের সেটগুলিতে জিএমএমগুলির সেটটি ঘন; যেমন এখানে দেখুন । আমি নিশ্চিত আপনার প্রথম বিবৃতি ঝুলিতে কিনা যদিও এটা অবশ্যই মিশ্রণ মধ্যে শূন্য ভ্যারিয়েন্স উপাদান যার ফলে প্রয়োজন যে কোন বিন্দু জনসাধারণ সঙ্গে মোকাবিলা করার জন্য হবে নই । আমি দ্বিতীয় বুলেট পয়েন্ট সম্পর্কেও সংশয়ী, আবার পয়েন্ট জনসাধারণের ইস্যুর কারণে। $P$

— ডগল

ভাল কথা, আমি নির্দিষ্ট করেছি সবকিছু অবিচ্ছিন্ন হওয়া উচিত

— ent

গাউসীয় কার্নেলগুলির সাথে কার্নেল ঘনত্বের অনুমানের উপর সাহিত্যের দিকে তাকানোর জন্য আপনার ভাগ্য ভাল হতে পারে। যেহেতু আপনার প্রতি নমুনায় একটির সাথে গাউসিয়ানদের মিশ্রণ রয়েছে, নমুনার সংখ্যা বাড়ার সাথে সাথে আপনি কি বিতরণের একটি অ্যাসেম্পোটোটিক্যালি নিরপেক্ষ এবং ধারাবাহিক অনুমানকারী পেতে পারেন? আমি মনে করি উত্তরটি হ্যাঁ, তবে সাথে সাথে কোনও রেফারেন্স খুঁজে পেল না।

— গ্রেগ ভের স্টেগ

@ অেনডেগ্রি: খুব ভাল প্রশ্ন। যেহেতু আপনি শক্তিশালী টোপোলজিস (কেএল ডাইভারজেনশন এবং মোট-প্রকরণ) ব্যবহার করতে চান, আপনার প্রথম দুটি পয়েন্টের সাধারণ উত্তর হ'ল না: উদাহরণস্বরূপ, চর্বিযুক্ত লেজযুক্ত বিতরণ বিবেচনা করুন; যে কোনও সীমাবদ্ধ গাউসিয়ান মিশ্রণের কেএল অসীম (আমি নিশ্চিত যে এটি কাজ করে, যদিও এটি 100% নয়)। তবে এটি আরও আকর্ষণীয় প্রশ্নের দিকে নিয়ে যায়, সম্ভাব্যতা বিতরণের সাবক্লাসগুলির জন্য আপনার সমস্ত বুলেট পয়েন্ট প্রয়োগ করা হবে? আমি উত্তরটি জানি না তবে এটি অত্যন্ত আকর্ষণীয় বলে মনে হচ্ছে। আমার ধারণা এটি সম্ভবত প্রায় সমস্ত সম্ভাবনা বিতরণ।

— গিল্লুম দেহেয়েন

আমি এই বইটি নিয়ে একটি ক্লাস নিয়েছি। লিঙ্ক এটি মৌলিক উপর কিছু শালীন ব্যাকগ্রাউন্ড না।

— এনগ্রিস্টুডেন্ট - মনিকা

Answer 1

একনোমেট্রিক্সে, যেখানে প্রসঙ্গটি লজিট মডেলগুলিতে সহগের মিশ্রণ বিতরণের হয়, মানক রেফারেন্সটি: ডিসক্রেট রিসপন্সের জন্য মিশ্রিত এমএনএল মডেলস ড্যানিয়েল এমসিএফডিডেন এবং কেনেথ ট্রেন, অ্যাপ্লায়েন্সড ইকোনোমেট্রিক্সের জার্নাল, জে অ্যাপল। ইকন। 15: 447-470 (2000)।

Answer 2

আপনার প্রশ্নের সম্মানের সাথে:

1. গাউসিয়ানদের মিশ্রণ ডিরিচলেট প্রক্রিয়াটির অনুরূপ বায়েশিয়ান সমস্যার জন্য, আমি উত্তরটি হ্যাঁ বুঝতে পেরেছি। ঘোসাল (২০১৩) ।
2. আমি যখন এই বিষয়টিতে কিছু আলোচনায় অংশ নিয়েছি, তখন মনে হয়েছিল যে প্রধানত কেএল ডাইভারজেন্স ব্যবহার করে অগ্রগতি হয়েছিল। দেখুন হ্যারি ভ্যান Zanten এর স্লাইড ।
3. আমি পরিষ্কার নই যাইহোক, এটি উত্স পৃথকীকরণ সমস্যার মতো দেখায় ( অজানা)। এগুলি সাধারণত একা মিশ্রণের মডেলিংয়ের চেয়ে অনেক বেশি কঠিন। বিশেষত এর সাধারণ ক্ষেত্রে আপনি শূন্য সম্পর্কে বিতরণের প্রতিসাম্যের কারণে সত্য এবং সনাক্ত করতে সক্ষম হবেন না ।$P_N, P_S$$P_N = P_S = N(0,1)$$X$$Y$
4. উপরের লিঙ্কযুক্ত স্লাইডগুলির চতুর্থটি দেখুন, সেখানে বায়েশিয়ান মডেলগুলির একটি তালিকা রয়েছে যার জন্য কনভার্জেন্স গ্যারান্টি ধরে।

Answer 3

এখানে একটি আংশিক উত্তর।

বলুন হল উপাদানগুলির সাথে সমস্ত গসিয়ান মিশ্রণের শ্রেণি class বাস্তবের উপর ক্রমাগত কোনও বিতরণ জন্য, আমরা কি গ্যারান্টিযুক্ত যে বাড়ার সাথে সাথে আপেক্ষিক এনট্রপির অর্থে নগণ্য ক্ষতির সাথে আমরা জিএমএমের সাথে আনুমানিক করতে পারি ? অর্থাৎ,$S_n$$n$$P$$n$$P$

$$\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$$

$D(P\|Q)$$Q$$P$$P$$n$

$$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$$

জন্য আরও শর্ত প্রয়োজন।$P$

বলুন আমাদের অবিচ্ছিন্ন বিতরণ এবং আমরা একটি কম্পোনেন্ট গাউসিয়ান মিশ্রণ পেয়েছি total যা মোট পরিবর্তনের কাছাকাছি : । আমরা কি ক্ষেত্রে আবদ্ধ করতে পারি ?$P$$N$$\hat{P}$$P$$\delta(P,\hat{P})<\varepsilon$$D(P||\hat{P})$$\epsilon$

না। উপরের একই উদাহরণ প্রযোজ্য।

যদি আমরা স্বতন্ত্র শব্দ (উভয় আসল, ধারাবাহিক) এর মাধ্যমে পর্যবেক্ষণ করতে চাই এবং আমাদের জিএমএম s যেখানে , তারপরে এই মানটি কি ছোট: অর্থাত এটা সত্য যে আনুমানিক হিসাব করা হয় মাধ্যমে গোলমাল আনুমানিক হিসাব হিসাবে হার্ড হিসাবে সম্পর্কে মাধ্যমে শব্দ?$X\sim P_X$$Y\sim P_Y$$\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$$\delta(P,Q)<\epsilon$

$$\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$$ $X$$Y$$\hat{X}$$\hat{Y}$

আমি জানি না। যদি সীমাবদ্ধ গড় এবং ভিন্নতা থাকে তবে এমএমএসইগুলি হ'ল এবং ( এখানে সাধারণ উপকরণ এখানে )। এই অনুমানগুলির সাথে, অবজেক্টটি নির্ধারণ করতে হবে ছোট হলে ছোট হয়। সম্পর্কিত।$X,Y,\hat{X},\hat{Y}$$E[X|Y]$$E[\hat{X}|\hat{Y}]$$|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$$TV(P,Q)$

আমি সাধারণভাবে বা অতিরিক্ত সংযোজন কাঠামোটি আমরা পি, কিউতে ধরে নিয়েছি বা কোনও পাল্টা উদাহরণ দিয়ে হাজির হয়েছি তা প্রমাণ করতে পারিনি।

আপনি কি পয়সন নয়েসের মতো নন-অ্যাডিটিভ শব্দের মডেলগুলির জন্য এটি করতে পারেন?

এটা অস্পষ্ট। পূর্ববর্তী প্রশ্নের প্রসঙ্গে, যদি এই উত্তরের বিবৃতিটি সাধারণভাবে প্রমাণিত হতে পারে তবে উত্তরটি হ্যাঁ।