ডিফারেন্সিয়াল এনট্রপি সর্বদা অনন্তের চেয়ে কম কি?

Question

নির্বিচারে ক্রমাগত র‌্যান্ডম ভেরিয়েবলের জন্য বলুন , এর ডিফারেন্সিয়াল এনট্রপি সর্বদা ∞ এর চেয়ে কম হয় ? (এটি ঠিক আছে যদি এটা - ∞ ।) যদি না হয়, কি প্রয়োজনীয় এবং যথেষ্ট শর্ত এটা থেকে কম হিসাবে জন্য ∞ ?$X$$\infty$$-\infty$$\infty$

Comments

আপনি কোন উদাহরণ চেষ্টা করেছেন? যেমন, দৈর্ঘ্যের বিরতিতে অভিন্ন বিতরণ ? $L$

— পাইটর মিগডাল

প্রকৃতপক্ষে, অভিন্ন বিতরণের ডিফারেন্সিয়াল এনট্রপি (যে কোনও সীমাবদ্ধ ব্যবধানে) সর্বদা সসীম, অর্থাৎ লগ (এল), তাই আবদ্ধ। প্রকৃতপক্ষে, আমি 2 টি ধারাবাহিক বিতরণগুলির শনাক্ত করতে পারি যার এনট্রপি সর্বদা সীমাবদ্ধ - (1) এমন কোনও বিতরণ যার সমর্থন একটি সীমাবদ্ধ ব্যবধানে অন্তর্ভুক্ত রয়েছে এবং (2) যার দ্বিতীয় মুহুর্ত সীমাবদ্ধ distribution পূর্ববর্তী ইউনিফর্ম বিতরণ দ্বারা আবদ্ধ; দ্বিতীয়টি গাউসীয় বিতরণে আবদ্ধ।

— syeh_106

আসলে, আমি অসীম ২ য় মুহুর্তের সাথে একটি বিতরণও তৈরি করতে পারি এবং এখনও সীমাবদ্ধ এনট্রপি রয়েছে। উদাহরণস্বরূপ, f (x) = 3 / (x ^ 2), x> 3 বিবেচনা করুন। স্পষ্টতই E [X ^ 2] অসীম তবে h (X) ~ = -3.1 নেট। যাইহোক, আমি নির্বিচারে অবিচ্ছিন্ন এলোমেলো ভেরিয়েবলগুলির জন্য এটি সত্য কিনা তা নিশ্চিত করতে সক্ষম হয়েছি বা এটির খণ্ডন করার জন্য একটি পাল্টা উদাহরণ নিয়ে এসেছি। কেউ যদি এটি দেখাতে পারে তবে আমি সত্যিই এটির প্রশংসা করব।

— syeh_106

আপনার মন্তব্য এবং লিঙ্কগুলির জন্য ধন্যবাদ, পাইওটর। ঘটনাচক্রে, আমি আমার কোর্সের একটি উপকরণও পরীক্ষা করে দেখেছি এবং অসীম সমর্থন সহ একটি বিচ্ছিন্ন র্যান্ডম ভেরিয়েবলের ঠিক একই উদাহরণ খুঁজে পেয়েছি। এটি দ্বারা অনুপ্রাণিত হয়ে, একটি অবিচ্ছিন্ন এনালগ তৈরি করা কঠিন নয়। সুতরাং প্রথম প্রশ্নের উত্তর স্পষ্ট। আমি অন্যান্য ভাবেন যাদের একই প্রশ্ন থাকতে পারে তাদের জন্য নীচে এটি সংক্ষেপ করব ze বিটিডাব্লু, আমার উপরের আমার দ্বিতীয় মন্তব্যে একটি সংশোধন করা দরকার, বিশেষত, চ (এক্স) = 3 / (এক্স ^ 2) এর জন্য, এইচ (এক্স) ধনাত্মক হওয়া উচিত, অর্থাত্ 3.1 ন্যাটস।

— syeh_106

এই প্রশ্ন এবং উত্তরটি দ্ব্যর্থক কারণ তারা কোন সীমাটি প্রয়োগ করতে হবে তা নির্ধারণ করে না। তাহলে একটি আরভি হয়, তাহলে এটি একটি এনট্রপি, কাল হয়েছে। যদি এটি একটি "স্বেচ্ছাচারী" ধারাবাহিক আরভি হয়, তবে (স্পষ্টতই) কোনও উচ্চতর বাঁধাই সম্ভব নয়। এক্সকে চাপিয়ে দেওয়ার কী কী প্রতিবন্ধকতা রয়েছে ? মন্তব্য এবং আপনার উত্তর থেকে এটি প্রদর্শিত হবে আপনি এক্স - এর সমর্থন ঠিক করতে চান বা না পারে? সম্ভবত আপনি সীমিত করতে চান এক্স নির্দিষ্ট মুহূর্ত দেওয়া সীমা যাদের ভেরিয়েবল কিভাবে? সম্ভবত আপনি এক্স প্যারাম্যাট্রিক পরিবারে থাকতে চান - বা সম্ভবত না? পরিষ্কার করার জন্য এই প্রশ্নটি সম্পাদনা করুন। $X$$X$$X$$X$$X$

— হোয়বার

Answer 1

আমি এই প্রশ্নটি সম্পর্কে আরও কিছু ভেবেছি এবং একটি পাল্টা উদাহরণ সন্ধান করতে পেরেছি, উপরে পাইওটারের মন্তব্যেও ধন্যবাদ। প্রথম প্রশ্ন উত্তর নেই - একটি একটানা দৈব চলক (আরভি) এর ডিফারেনশিয়াল এনট্রপি হয় না সবসময় কম । উদাহরণস্বরূপ, একটি অবিচ্ছিন্ন আরভি এক্স বিবেচনা করুন যার পিডিএফ f ( x ) = লগ ( 2 $\infty$ জন্যএক্স>2।

$$f(x) = \frac{\log(2)}{x \log(x)^2}$$ $x > 2$

এটির ডিফারেন্সিয়াল এনট্রপি অসীম তা যাচাই করা শক্ত নয়। যদিও এটি প্রায় ধীরে ধীরে বৃদ্ধি পায় (প্রায় লোগারিথমিকভাবে)।

2nd প্রশ্ন জন্য, আমি আছি না একটি সহজ প্রয়োজনীয় এবং যথেষ্ট অবস্থার সচেতন। তবে একটি আংশিক উত্তর নিম্নরূপ। এর সমর্থনের উপর ভিত্তি করে নিম্নলিখিত 3 ধরণের একটিতে অবিচ্ছিন্ন আরভি শ্রেণিবদ্ধ করুন

$\infty$$-\infty$

তারপরে আমাদের নিম্নলিখিতটি রয়েছে -

$\infty$
$\infty$$\mu$
$\infty$$\sigma^2$

$log(b-a)$$1+log(|\mu-a|)$$\frac{1}{2} log(2{\pi}e\sigma^2)$

নোট করুন যে কোনও টাইপ 2 বা 3 আরভি এর জন্য উপরের শর্তটি কেবলমাত্র পর্যাপ্ত শর্ত । উদাহরণস্বরূপ, সহ একটি টাইপ 2 আরভি বিবেচনা করুন

$$f(x) = \frac{3}{x^2}$$ $x > 3$ $$f(x) = \frac{9}{|x|^3}$$ $|x| > 3$

Comments

$\langle x^\alpha \rangle$$\alpha>0$

পাইওটর, এসই নীতি সম্পর্কে পরামর্শের জন্য আপনাকে ধন্যবাদ। (হ্যাঁ, আমি এখানে স্পষ্টতই নতুন।) সীমাবদ্ধ এনট্রপির দিকে নিয়ে যাওয়ার সীমাবদ্ধ মুহুর্তগুলি সম্পর্কে, আপনি কি তার প্রমাণ ভাগ করবেন? ধন্যবাদ!

— syeh_106

@ পাইওটারমিগডাল আমি চূড়ান্ত স্পর্শ যোগ করার পরে এই প্রশ্নের উত্তরটি বর্তমান অবস্থায় রেখে যাওয়ার পরিকল্পনা করছি। উপরে পাইওটরের মন্তব্য দ্বারা অনুপ্রাণিত হয়ে, আমি বিবেচনা করেছি যদি সীমাবদ্ধ মানে সসীম এনট্রপির দিকে পরিচালিত করে। আমি সাধারণভাবে এটি শেষ করতে পারিনি। আমি যা খুজে পেয়েছি তা হল এটি যদি সত্য হয় যে আরভি সমর্থনটি অর্ধ-সীমাবদ্ধ। উপরের সংশোধিত উত্তরটি দয়া করে দেখুন। আমি কারও কাছ থেকে আরও ভাল উত্তরের অপেক্ষায় রয়েছি।

— syeh_106

"এটির ডিফারেন্সিয়াল এন্ট্রপি অসীম তা যাচাই করা শক্ত নয়।" আপনি কীভাবে এটি যাচাই করবেন তা দেখাতে পারেন? রিমন ইন্টিগ্রালের ক্ষেত্রে এটি সত্য বলে মনে হচ্ছে তবে লেবেসগু পরিমাপের ক্ষেত্রে ডিফারেনশিয়াল এন্ট্রপি। সংশ্লিষ্ট লেবেসগু অবিচ্ছেদ্য রূপান্তরিত হয় না তা যাচাই করতে আমার সমস্যা হচ্ছে।

— ক্যান্টোরহেড

$X$$\mathrm{E}[X]$$H(X)=\log(4\pi)$