মন্টি কার্লো স্যাম্পলিংয়ের মাধ্যমে তথ্য এনট্রপি অনুমান করুন

Question

আমি এমন পদ্ধতিগুলির সন্ধান করছি যা বিতরণ সম্পর্কিত তথ্য এনট্রপি অনুমানের অনুমতি দেয় যখন সেই বন্টন থেকে স্যাম্পলিংয়ের একমাত্র ব্যবহারিক উপায়গুলি মন্টে কার্লো পদ্ধতি।

আমার সমস্যা স্ট্যান্ডার্ড আইজিং মডেলের মতো নয় যা সাধারণত মেট্রোপলিস is হেস্টিংস স্যাম্পলিংয়ের সূচনা উদাহরণ হিসাবে ব্যবহৃত হয়। আমার একটি সেট উপরে সম্ভাব্যতা বন্টন রয়েছে , অর্থাত আমি এ-এর প্রতিটি জন্য রাখি । এ-তে থাকা উপাদানগুলি সংযুক্তি প্রকৃতির, যেমন ইসিং রাজ্যগুলির মতো, এবং সেগুলির একটি খুব উচ্চ সংখ্যা রয়েছে। এর অর্থ হ'ল কম্পিউটারে এই বিতরণ থেকে নমুনা নেওয়ার সময় অনুশীলনে আমি কখনই একই নমুনা পাই না। সরাসরি গণনা করা যায় না (সাধারণকরণের কারণটি না জানার কারণে), তবে অনুপাত$A$$p(a)$$a \in A$$a \in A$$p(a)$$p(a_1)/p(a_2)$ গণনা করা সহজ।

আমি এই বিতরণের তথ্য এনট্রপি অনুমান করতে চাই,

$$S = -\sum_{a \in A} p(a) \ln p(a).$$

বিকল্পভাবে, আমি এই ডিস্ট্রিবিউশনের মধ্যে এন্ট্রপি পার্থক্যটি অনুমান করতে চাই এবং এটি একটি (এবং অবশ্যই পুনরায় স্বাভাবিককরণ) সীমাবদ্ধ রেখে প্রাপ্ত একটির মধ্যে প্রাপ্ত one$a\in A_1 \subset A$

Answer 1

আপনার যদি কোন তথ্য উপলব্ধ থাকে আমি যদি বুঝতে পারি তবে আপনি যা চান তা সম্ভব নয়: আপনার কাছে উপলভ্য তথ্য এনট্রপিটি নির্ধারণের জন্য পর্যাপ্ত নয়। এটি এনট্রপির আনুমানিক হিসাবে যথেষ্ট নয়।

এটা তোলে শোনাচ্ছে মত বন্টন থেকে নমুনা একটি উপায় আছে , এবং আপনি অনুপাত গণনা করার জন্য একটি উপায় আছে পি ( একটি 1 ) / পি ( একটি 2 ) উপাদানের কোনো জুড়ি জন্য একটি 1 , একটি 2 যে আপনার প্রাপ্ত স্যাম্পলিংয়ের মাধ্যমে, তবে আপনার কাছে অন্য কোনও তথ্য নেই। যদি তা হয় তবে আপনার সমস্যা সমাধানযোগ্য নয়।$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

বিশেষত, আমরা এমন এক জোড়া বিতরণ খুঁজে পেতে পারি যার বিভিন্ন এন্ট্রপি রয়েছে তবে আপনার কাছে উপলব্ধ তথ্য ব্যবহার করে এটি আলাদা করা যায় না। প্রথম আকারের একটি (র্যান্ডম) সেটে অভিন্ন বন্টন বিবেচনা । পরবর্তী আকারের একটি (র্যান্ডম) সেটে অভিন্ন বন্টন বিবেচনা 2 300 । এর বিভিন্ন এন্ট্রপি রয়েছে (200 বিট বনাম 300 বিট)। যাইহোক, আপনার কাছে উপলভ্য তথ্য প্রদত্ত, আপনি যে দুটি বিতরণ নিয়ে কাজ করছেন তা জানার উপায় নেই। বিশেষত, উভয় ক্ষেত্রেই অনুপাত পি ( এ 1 ) / পি ( একটি 2$2^{200}$$2^{300}$$p(a_1)/p(a_2)$সর্বদা ঠিক 1 হবে, সুতরাং অনুপাতগুলি আপনাকে দুটি বিতরণের মধ্যে পার্থক্য করতে সহায়তা করবে না। এবং জন্মদিনের প্যারাডক্সের কারণে আপনি নিজের পছন্দ মতো নমুনা তৈরি করতে পারেন তবে আপনি কখনও একই মান পাবেন না (আপনার জীবদ্দশায় নয়, তাত্পর্যপূর্ণ ছোট সম্ভাবনা বাদ দিয়ে), সুতরাং নমুনাটি থেকে প্রাপ্ত মানগুলি ঠিক দেখতে হবে এলোমেলো পয়েন্ট এবং কোন দরকারী তথ্য থাকে।

সুতরাং, আপনার সমস্যা সমাধানের জন্য আপনাকে আরও কিছু জানতে হবে। উদাহরণস্বরূপ, আপনি যদি বিতরণ এর কাঠামো সম্পর্কে কিছু জানেন তবে এটি আপনার সমস্যার সমাধান করা সম্ভব হতে পারে।$p(\cdot)$

Comments

$p(a)$$p(a) \propto \exp(\theta E(a))$$E$$a$$\theta$

$p(a)$

Answer 2

$$F = \langle E \rangle - T S,$$ $\langle E \rangle$$T$$\theta$$p \propto \mathrm{e}^{\theta E}$$S$

$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

ফ্রি এনার্জি গণনা করার জন্য অ্যালগরিদম সম্পর্কিত দুটি অতিরিক্ত রেফারেন্স এখানে রয়েছে:

লেলিভ্রে, টি।, রুসেট, এম।, এবং স্টল্টজ, জি। (2010) ফ্রি এনার্জি কম্পিউটেশন। ইম্পেরিয়াল কলেজ প্রেস। http://doi.org/10.1142/9781848162488

চিপট, সি।, এবং পোহোরিল, এ (2007)। বিনামূল্যে শক্তি গণনা। (সি। চিপট এবং এ। পোহোরিল, এড।) (খণ্ড 86)। বার্লিন, হাইডেলবার্গ: স্প্রঞ্জার বার্লিন হাইডেলবার্গ। http://doi.org/10.1007/978-3-540-38448-9

Comments

আপনি কি মুক্ত শক্তির পার্থক্য গণনা করার জন্য আরও ব্যবহারিক রেফারেন্স দিতে পারেন? সেই উইকি খুব বেশি যায় না

— চার্লস ওয়েলস

সম্পন্ন. আমি আরও দুটি উল্লেখ যুক্ত করেছি এবং উইকের সাইডবারের লিঙ্কগুলিতে ইশারা করলাম।

— জুয়ান এম বেলো-রিভাস