একাধিক চেষ্টায় স্বল্প এনট্রপি মান অনুমান করা

Question

ধরুন অ্যালিসের একটি সীমাবদ্ধ (তবে সম্ভবত খুব বড়) ডোমেনের উপরে একটি বিতরণ রয়েছে, যেমন non (শ্যানন) এনট্রপিটি একটি নির্বিচারে ছোট ধ্রুবক দ্বারা আবদ্ধ থাকে । অ্যালিস থেকে একটি মান এবং তারপরে ববকে (কে who জানেন ) অনুমান করতে বলে ।$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

বব জন্য সাফল্য সম্ভাবনা কি? তিনি শুধুমাত্র একটি অনুমান অনুমতি দেওয়া হয়, তাহলে এক নিম্নরূপ এই সম্ভাব্যতা আবদ্ধ করতে LOWER: এনট্রপি উপরের মিনিট-এনট্রপি বাউন্ড, তাই একটি উপাদান অন্তত সম্ভাবনা রয়েছে । বব তার অনুমান হিসাবে এই উপাদান বেছে নেয় তাহলে তার সাফল্য সম্ভাব্যতা হতে হবে ।$2^{-\varepsilon}$$2^{-\varepsilon}$

এখন, যে অনুমান করা বব একাধিক অনুমান করতে, বলতে অনুমতি দেওয়া হয় অনুমান, এবং বব জেতে তাঁর অনুমান এক সঠিক। এমন কোনও অনুমান করার পরিকল্পনা আছে যা ববটির সাফল্যের সম্ভাবনা উন্নত করে? বিশেষ করে, এটা দেখাতে হবে যে বব এর সম্ভব ব্যর্থতা সম্ভাব্যতা ব্যাখ্যা মূলকভাবে কমে ?$t$$t$

Answer 1

বব এর সেরা বেটটি সবচেয়ে বড় সম্ভাবনার সাথে মানগুলি অনুমান করা ।$t$

আপনি যদি এর পরিবর্তে রনিই এনট্রপি ব্যবহার করতে ইচ্ছুক হন তবে বোজতা'র এন্ট্রপিজ, অনুমান এবং ক্রিপ্টোগ্রাফির 17 অনুচ্ছেদে উল্লেখ করা হয়েছে যে অনুমানের পরে ত্রুটির সম্ভাবনা সর্বাধিক যেখানে আকার ডোমেনের। এটা ঠিক যে, উপর নির্ভরতা বেশ খারাপ, এবং সম্ভবত Boztaş এনট্রপি একটি ভিন্ন শাসন ফোকাস করা হয়ে ছিল।$t$

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ $n$$t$

শ্যানন এনট্রপির জন্য, আপনি দ্বৈত অপ্টিমাইজেশান সমস্যাটি সমাধান করার চেষ্টা করতে পারেন: একটি নির্দিষ্ট ব্যর্থতার সম্ভাবনা given , এই জাতীয় বিতরণের সর্বাধিক এনট্রপিটি সন্ধান করুন। এর জঞ্জালতা ব্যবহার করে আমরা জানি যে ডিস্ট্রিবিউশন র রূপটি , যেখানে , , এবং । আমাদের কাছে মান রয়েছে যা সম্ভাবনা । উপর কন্ডিশনিং , আমরা খুঁজে পেতে চেষ্টা করতে পারি$\delta$$-x\log x$$\mu$$a,b,\ldots,b;b,\ldots,b,c$$a\geq b\geq c$$a+(t-1)b = 1-\delta$$c = \delta-\lfloor\frac{\delta}{b}\rfloor b$$t-1+\lfloor\frac{\delta}{b}\rfloor$$b$$s = \lfloor\frac{\delta}{b}\rfloor$$b$যা এন্ট্রপিকে হ্রাস করে। সঠিক মান জন্য , এই একটি অভ্যন্তরীণ বিন্দু হতে হবে (যা ব্যুৎপন্ন অদৃশ্য হয়ে এ)। এই পদ্ধতির সাহায্যে কীভাবে অ্যাসিম্পটোটিক অনুমান করা যায় তা সম্পর্কে আমি নিশ্চিত নই।$s$

Comments

উত্তরের জন্য ধন্যবাদ! আপনার প্রস্তাবিত অপ্টিমাইজেশন পদ্ধতির চেষ্টা করেছি, তবে ভাল অনুমান পাওয়া যায়নি।

— বা মায়ার

হাই ইউভাল, আরও কিছু কাজ করার পরে, মনে হয় এই অপ্টিমাইজেশান পদ্ধতির সমাধান পাওয়া যায়। দুর্ভাগ্যক্রমে, এক্ষেত্রেও ত্রুটিটি অনুমান-লোগারিথমিকভাবে অনুমানের সংখ্যাতে হ্রাস পায়। ধন্যবাদ!

— বা মির

Answer 2

দুর্ভাগ্যক্রমে আপনার প্রশ্নের কোনও ভাল উত্তর নেই। জন প্লিয়াম [পিএনএইচডি থিসিস, এলএনসিএস সিরিজের ২ টি গবেষণাপত্র] সর্বপ্রথম শ্যানন এনট্রপি এবং প্রত্যাশিত সংখ্যার অনুমানের মধ্যে বৈষম্য লক্ষ্য করেছিলেন। তাঁর থিসিসটি অনলাইনে পাওয়া সহজ। বিভাগে ৪.৩-তে, জন্য উপযুক্ত সম্ভাব্য বন্টন বাছাই করে ( স্ব- ইতিবাচক ইতিবাচক উপর নির্ভরশীল ) যা স্ব-অনুরূপ হাফম্যান গাছ থেকে আসে তিনি দেখিয়েছেন যে সম্ভাবনার ক্রম হ্রাসে অনুমান করে, একজনকে অবশ্যই চেয়ে বেশি) তৈরি করতে হবে সাফল্যের সম্ভাবনা পৌঁছানোর আগে অনুমান করে ।$X$$N$$N+H(X)$$1/2$

এই কারণেই লোকেরা রেনির এন্ট্রোপিজ পরীক্ষা করতে গিয়েছিল of