বিযুক্ত এবং অবিচ্ছিন্ন বিতরণের মধ্যে কি কেএল ডাইভারজেন্স প্রয়োগ করা সম্ভব?


12

আমি গণিতজ্ঞ নই। আমি কেএল ডাইভারজেন্স সম্পর্কে ইন্টারনেট অনুসন্ধান করেছি। আমি যেটা শিখেছি তা হ'ল কেএল ডাইভারজেন্স হ'ল তথ্য হারিয়ে যায় যখন আমরা ইনপুট বিতরণের ক্ষেত্রে কোনও মডেলের আনুমানিক বিতরণ করি। এগুলি আমি যে কোনও দুটি ধারাবাহিক বা পৃথক বিতরণের মধ্যে দেখেছি। আমরা কি এটি ধারাবাহিক এবং বিযুক্ত বা তদ্বিপরীত মধ্যে করতে পারি?


উত্তর:


4

না: কেএল ডাইভারজেন্স কেবলমাত্র একটি সাধারণ জায়গার উপর বিতরণে সংজ্ঞায়িত। এটি দুটি পৃথক বিতরণ, এবং অধীনে পয়েন্ট এর সম্ভাব্যতা ঘনত্ব সম্পর্কে জিজ্ঞাসা করে । যদি একটি বন্টন হয় এবং উপর একটি বিতরণ , তারপর পয়েন্টের জন্য অর্থে দেখা যায় না এবং পয়েন্টের জন্য অর্থে দেখা যায় না । প্রকৃতপক্ষে, আমরা এটি ভিন্ন মাত্রিক জায়গাগুলির (বা বিযুক্ত, বা অন্তর্নিহিত সম্ভাবনার স্থানগুলি মেলে না এমন কোনও ক্ষেত্রে) দুটি ক্রমাগত বিতরণের জন্যও করতে পারি না।xp(x)q(x)pR3qZq(x)pR3p(z)zZ

আপনার যদি মনে একটি বিশেষ কেস থাকে তবে বিতরণগুলির মধ্যে ভিন্নতার মতো কিছু উত্সাহী উত্সাহ নিয়ে আসা সম্ভব। উদাহরণস্বরূপ, পৃথক ক্ষেত্রে (স্পষ্টত হারিয়ে যাওয়া তথ্য সহ) একটি কোডের অধীনে অবিচ্ছিন্ন বিতরণকে এনকোড করা বোধগম্য হতে পারে, যেমন পৃথক ক্ষেত্রে নিকটতম বিন্দুতে গোল করে ing


নোট করুন যে আলাদা এবং একেবারে অবিচ্ছিন্ন বিতরণগুলির মধ্যে কেএল ডাইভার্জেন্সটি ভালভাবে সংজ্ঞায়িত।
অলিভিয়ার

@ অলিভিয়ার সাধারণ সংজ্ঞাটির জন্য একটি সাধারণ প্রভাবশালী ব্যবস্থা প্রয়োজন, না?
ডুগল

1
আপনি সঠিক যখন পি এবং কি বিভিন্ন স্পেসে সংজ্ঞায়িত করা হয়। তবে একটি সাধারণ পরিমাপযোগ্য স্থানে, এই জাতীয় একটি পরিমাপ সর্বদা বিদ্যমান থাকে (উদাহরণস্বরূপ পি + কিউ নিন) এবং কেএল ডাইভারজেন্স প্রভাবশালী পরিমাপের নির্দিষ্ট পছন্দের উপর নির্ভর করে না।
অলিভিয়ার

8

হ্যাঁ, অবিচ্ছিন্ন এবং বিচ্ছিন্ন এলোমেলো ভেরিয়েবলের মধ্যে কেএল ডাইভার্জেন্স ভালভাবে সংজ্ঞায়িত। যদি এবং কিছু স্থান ডিস্ট্রিবিউশন হয় , তারপর উভয় এবং আছে ঘনত্বের , থেকে সম্মান সঙ্গে এবং PQXPQfgμ=P+Q

DKL(P,Q)=Xflogfgdμ.

উদাহরণস্বরূপ, যদি , পরিমাপ হয় এবং একটি বিন্দু ভর হয় তবে , এবংX=[0,1]PQ=δ00f(x)=11x=0g(x)=1x=0

DKL(P,Q)=.

আপনি কীভাবে প্রমাণ করবেন যে প্রভাবশালী পরিমাপ থেকে স্বতন্ত্র? Xflogfgdμ
গ্যাব্রিয়েল রোমন

পরিমাপের উপপাদ্যের পরিবর্তন।
অলিভিয়ার

1

সাধারণভাবে নয়। কেএল ডাইভারজেন্স হয়

DKL(P || Q)=Xlog(dPdQ)dP

তবে শর্ত থাকে যে থেকে সম্মান সঙ্গে একেবারে অবিচ্ছিন্ন এবং উভয় এবং হয় -finite (অর্থাত অবস্থার অধীনে যেখানে ভালভাবে সংজ্ঞায়িত করা হয়)।PQPQσdPdQ

কিছু সাধারণ জায়গার জন্য ব্যবস্থার মধ্যে 'ধারাবাহিক থেকে বিচ্ছিন্ন' কেএল ডাইভার্জেন্সের জন্য আপনার ক্ষেত্রে কেস গণনা পরিমাপের ক্ষেত্রে লেবেসগু পরিমাপ একেবারে অবিচ্ছিন্ন, তবে গণনা পরিমাপ চিরস্থায়ী নয়।σ

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.