তথ্য তাত্ত্বিক কেন্দ্রীয় সীমা তত্ত্ব

Question

তাত্ত্বিক সিএলটি তথ্যের সহজতম রূপটি নিম্নলিখিত:

গড় এবং বৈকল্পিক সহ যাক । কে অঙ্কের ঘনত্ব হতে হবে এবং মানক গাউসিয়ান ঘনত্ব হতে পারে। তারপরে তথ্য তাত্ত্বিক সিএলটি বলেছে যে, যদি কিছু n এর জন্য সীমাবদ্ধ হয় , তবে ডি (f_n \ | \ phi) \ থেকে 0 হিসাবে এন \ করার \ infty ।0 1 এফ n ∑ n i = 1 এক্স $X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

অবশ্যই এই রূপান্তরটি এক অর্থে সাহিত্যে সুপ্রতিষ্ঠিত রূপান্তরগুলির চেয়ে "শক্তিশালী", $L_1$ মেট্রিকের বিতরণে রূপান্তর এবং একীকরণের জন্য, পিনস্করের অসমতার জন্য ধন্যবাদ $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ । অর্থাৎ, কেএল-ডাইভারজেন্সে রূপান্তরটি বিতরণে রূপান্তর এবং $L_1$ দূরত্বের রূপান্তরকে বোঝায় ।

আমি দুটি জিনিস জানতে চাই।

1. D (f_n \ | \ phi) 0 থেকে 0 ফলাফল সম্পর্কে এত দুর্দান্ত কী $D(f_n\|\phi)\to 0$?

2. তৃতীয় অনুচ্ছেদে বর্ণিত কারণের কারণেই কি আমরা বলি কেএল-ডাইভারজেন্সে রূপান্তর ( যেমন , $D(f_n\|\phi)\to 0$ ) আরও শক্তিশালী?

এনবি: আমি গণিত.স্ট্যাকেক্সচেঞ্জে কিছুক্ষণ আগে এই প্রশ্নটি জিজ্ঞাসা করেছি যেখানে আমি কোনও উত্তর পাইনি।

Comments

সদৃশ গণিত.এসই প্রশ্নের একটি লিঙ্ক সরবরাহ করুন।

— কার্ডিনাল

আপনার বক্তব্যটি স্পষ্টতই ঘনত্বের অস্তিত্ব ধরে নিয়েছে বলে মনে হচ্ছে (লেবেসগু পরিমাপের ক্ষেত্রে)। আপনি এই সংক্ষিপ্ত এবং আনন্দদায়ক কাগজটিতে আগ্রহী হতে পারেন : এআর ব্যারন (1986), এন্ট্রপি এবং কেন্দ্রীয় সীমাবদ্ধ উপপাদ অ্যান Ann Probab। , ভোল 14, নং। 1, 336-342। ( উন্মুক্ত অ্যাক্সেস )

— কার্ডিনাল

আমি ইতিমধ্যে এই কাগজ তাকিয়ে ছিল। তিনি পৃষ্ঠার ১ ম দ্বিতীয় অনুচ্ছেদে তথ্য তাত্ত্বিক দৃষ্টিভঙ্গিতে একটি অনুপ্রেরণা দিয়েছেন। এ সময়টি আমার কাছে এতটা পরিষ্কার ছিল না। এখন ঠিক আছে। তবুও, যদি কেউ নিম্নলিখিতটি পরিষ্কারভাবে ব্যাখ্যা করতে পারে এবং উত্তর হিসাবে পোস্ট করতে পারে, তবে দুর্দান্ত হবে। "তথ্য তত্ত্ব থেকে, আপেক্ষিক এনট্রপি অন্তত উপরের যখন থেকে নমুনা quantizations বর্ণনা সাধারন বন্টনের উপর ভিত্তি করে শ্যানন কোডের অতিরেক (মাত্রাধিক্য গড় বিবরণ দৈর্ঘ্য) আবদ্ধ হয় ।" আমি প্রশ্নটি গণিতের মধ্যে মুছে ফেলেছি SE এসই কারণ সেখানকার কাউকে আকর্ষণ করেনি$D_n$$f_n$

— অশোক

@ কার্ডিনাল: সুন্দর কাগজের জন্য টিএসস।

— জেন

Answer 1

এই উপপাদ্যের সাথে একটি জিনিস যা দুর্দান্ত তা হ'ল এটি এমন কিছু সেটিংসে সীমাবদ্ধ তত্ত্বের প্রস্তাব দেয় যেখানে সাধারণ কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি প্রয়োগ হয় না। উদাহরণস্বরূপ, সর্বাধিক এনট্রপি-বিতরণ এমন কিছু অস্বাভাবিক বিতরণ যেমন বৃত্তে বিতরণের জন্য, এটি অভিন্ন বিতরণে রূপান্তরকে পরামর্শ দেয়।

Comments

আমি বুঝতে পারছি না। আমি ইতিমধ্যে উল্লেখ করেছি, কেএল ডাইভারজেন্সে রূপান্তরটি বিতরণে রূপান্তরকে বোঝায়, জানেন? সুতরাং যে কোনও তথ্যের তাত্ত্বিক সিএলটি প্রয়োগ হয়, সাধারণ সিএলটিও প্রযোজ্য। তদুপরি, তথ্য তাত্ত্বিক সিএলটিও সীমাবদ্ধ বৈকল্পিকতা গ্রহণ করে। নাকি আমি কিছু মিস করছি?

— অশোক

আমি যা বোঝাতে চেয়েছি তা হ'ল এন্ট্রপি পদ্ধতিটি এমন সীমাবদ্ধতাটি হতে পারে যেখানে সীমাটি সাধারণ বন্টন নয় situations সীমাটি তখন এমন একটি বিতরণ যা এন্ট্রপিকে সর্বাধিক করে তোলে।

— কেজেটিল বি হলওয়ার্সেন

Answer 2

আশেপাশে দেখার পরে, আমি আপেক্ষিক এনট্রপিতে রূপান্তর ছাড়াই বিতরণে রূপান্তরটির কোনও উদাহরণ পাই না, সুতরাং ফলাফলটির "মাহাত্ম্য" পরিমাপ করা কঠিন hard

আমার কাছে, দেখে মনে হচ্ছে এই ফলাফলটি সহজেই বোঝা পণ্যগুলির আপেক্ষিক এনট্রপি বর্ণনা করে। এটি প্রায়শই কেন্দ্রীয় সীমাবদ্ধ তত্ত্বের বিকল্প ব্যাখ্যা এবং প্রমাণ কাঠামো হিসাবে দেখা হয় এবং আমি নিশ্চিত নই যে এটির সম্ভাব্যতা তত্ত্বের সরাসরি প্রভাব রয়েছে (যদিও এটি তথ্য তত্ত্বে রয়েছে)।

থেকে তথ্য তত্ত্ব ও কেন্দ্রীয় সীমা উপপাদ্য (পৃষ্ঠা 19)।

থার্মোডিনামিক্সের দ্বিতীয় আইন বলছে যে থার্মোডাইনামিক এন্ট্রপি সর্বদা সময়ের সাথে বৃদ্ধি পায়, যা গীবস রাজ্যে একরকম একীকরণের সূত্রপাত করে। শক্তির সংরক্ষণের অর্থ হ'ল এই সময়ের বিবর্তনের সময় স্থির থাকে, তাই আমরা শুরু থেকেই বলতে পারি যে গিবস রাষ্ট্রটি সীমাবদ্ধ হবে। আমরা কেন্দ্রীয় সীমাবদ্ধ উপপাদ্যকে একইভাবে বিবেচনা করব, যা দেখানোর মাধ্যমে তথ্য-তাত্ত্বিক এনট্রপিটি গৌড়ীয়দের অভিমুখে রূপান্তরিত করার সাথে সাথে আমরা সংশ্লেষগুলি গ্রহণ করার সাথে সাথে তার সর্বোচ্চে বৃদ্ধি পায় to যথাযথভাবে সাধারণকরণের অর্থ হ'ল কনভোলশনের সময় বৈকল্পিকতা স্থির থাকে তাই আমরা শুরু থেকেই বলতে পারি যে গাউসিয়ান সীমাটি কত হবে।$E$

Comments

আপেক্ষিক এনট্রপিতে ছাড়াই বিতরণে প্রচুর উদাহরণ রয়েছে - যে কোনও সময় একটি বিস্তৃত বিতরণ এবং সিএলটি প্রয়োগ হয়। $X_i$

— মার্ক মেকস

Answer 3

$D(f_n\|\phi)\rightarrow 0$ নিশ্চিত করে যে কেবলমাত্র কেএল ডাইভার্জেন্সের সংজ্ঞা থাকার কারণে এলোমেলো হিসাবে র্যান্ডম ভেরিয়েবলের যোগফল এবং গাওসিয়ান ঘনত্বের মধ্যে কোনও "দূরত্ব" নেই , তাই এটি প্রমাণ নিজেই। আপনার প্রশ্নটি আমি ভুল বুঝেছি।$n\rightarrow\infty$

আপনি নির্ধারিত দ্বিতীয় পয়েন্ট সম্পর্কে, এটি আপনার অনুচ্ছেদে প্রতিক্রিয়া জানায়।

Comments

সাধারন (লিন্ডবার্গ) সিএলটি সূচিত করে যে নমুনাটি অর্থকে সাধারণ আরভিতে বিতরণে রূপান্তর করে। তার মানে সিডিএফ পয়েন্টওয়াইজকে ফিতে রূপান্তর করে । এটির ওপি'র ফলাফলের মধ্যে একটি সূক্ষ্ম পরিমাপ তাত্ত্বিক পার্থক্য রয়েছে যা এখানে আপনার উত্তরে প্রতিফলিত হয় না। $\Phi$

— অ্যাডমো