পক্ষপাতদুষ্ট ডাই সহ ফেয়ার ডাই অনুকরণ করুন

Question

পক্ষপাতদুষ্ট $N$ পার্শ্বযুক্ত ডাই দেওয়া, কীভাবে পরিসীমাটিতে একটি এলোমেলো সংখ্যা একটি করে $[1,N]$তৈরি করা যায়? মরা মুখগুলির সম্ভাব্যতা বন্টন জানা যায় না, যা জানা যায় তা হ'ল প্রতিটি মুখের একটি ননজারো সম্ভাবনা থাকে এবং সম্ভাব্যতা বিতরণ সমস্ত ছোঁড়ায় একই হয় (বিশেষত, ছোঁড়াটি স্বাধীন)। এই সুস্পষ্ট সাধারণীকরণ ছাড়া কিছুই না অন্যায্য ডাই সঙ্গে ফেয়ার ফলাফল ।

কম্পিউটার বিজ্ঞানের ভাষায় এটি রেখে, আমাদের কাছে ডাই রোলগুলি উপস্থাপন করার একটি অরক্ষ রয়েছে: $D : \mathbb{N} \to [1,N]$ যেমন $p_i = P(D(k)=i)$ ননজারো এবং স্বতন্ত্র $k$। আমরা ডিটারিনিস্টিক এলগরিদম খুঁজছি $A$যা দ্বারা প্যারামিটারাইজড $D$(যেমন $A$ কল করতে পারে ) যেমন । অ্যালগরিদমটি অবশ্যই সম্ভাব্যতা 1 এর সাথে শেষ হতে হবে অর্থাৎ সম্ভাব্যতা যা$D$$P(A()=i) = 1/N$$A$চেয়ে বেশি তোলে $n$ কল $D$ করার বিন্দুতে মিলিত হবে $0$ হিসাবে $n\to\infty$ ।

জন্য $N=2$ (ক ন্যায্য মুদ্রা ভান মুদ্রা একটি পক্ষপাতদুষ্ট মুদ্রা সঙ্গে ফ্লিপ থেকে), একটি সুপরিচিত অ্যালগরিদম হল:

• দুটি ছোঁড়া স্বতন্ত্র ফলাফল ((মাথা, লেজ)) বা (লেজ, মাথা)) উপস্থিত না হওয়া পর্যন্ত "দু'বার উল্টে" পুনরাবৃত্তি করুন। অন্য কথায়, ডি ( ২ কে + 1 ) ≠ ডি ( ২ কে $k = 0..\infty$ পর্যন্ত লুপ$D(2k+1) \ne D(2k)$
• শেষ জোড়ের ফ্লিপগুলি (মাথা, লেজ) এবং 0 টি হলে (1 টি লেজ, মাথা) হলে 0 ফিরে আসুন। অন্য কথায়, রিটার্ন $D(2k)$ যেখানে $k$ হ'ল সূচক যেখানে লুপটি বন্ধ ছিল।

পক্ষপাতদুষ্ট ব্যক্তির পক্ষ থেকে নিরপেক্ষ মৃত্যুবরণ করার একটি সরল উপায় হ'ল ন্যায্য মুদ্রা তৈরির জন্য কয়েন ফ্লিপ আনবায়েসিং পদ্ধতিটি ব্যবহার করা, এবং ক্রমবর্ধমান অনুক্রম হিসাবে যেমন প্রত্যাখ্যানের নমুনা দিয়ে ফর্স ডাই তৈরি করা হয় । তবে এটি কি সর্বোত্তম (সম্ভাব্য বন্টনের জেনেরিক মানের জন্য)?

বিশেষত, আমার প্রশ্ন: একটি অ্যালগরিদম কী যার জন্য ওরাকলটিতে ক্ষুদ্রতম প্রত্যাশিত সংখ্যার কল প্রয়োজন ? যদি অ্যাক্সেসযোগ্য প্রত্যাশিত মানগুলির সেটটি উন্মুক্ত থাকে, তবে নিম্ন সীমাটি কী এবং অ্যালগরিদমগুলির একটি শ্রেণি যা এই নিম্ন সীমাটির দিকে রূপান্তরিত করে?

যদি আলগোরিদিমগুলির বিভিন্ন পরিবার বিভিন্ন সম্ভাব্যতা বিতরণের জন্য সর্বোত্তম হয় তবে আসুন প্রায় ফর্সা ডাইসের দিকে মনোনিবেশ করুন: আমি একটি অ্যালগরিদম বা আলগোরিদমের পরিবার খুঁজছি যা বিতরণের জন্য অনুকূল $\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$ কিছু $\epsilon \gt 0$ ।

Comments

উল্লেখ্য সাবধানে, অনুকূল সংজ্ঞায়িত করতে দৃষ্টান্তস্বরূপ, আপনি কি একটি সম্পূর্ণ ন্যায্য ডাই দেওয়া যেতে পারে যেহেতু গুরুত্বপূর্ণ, বা ডাই থাকার , পি আমি = ε / ( এন - 1 ) জন্য আমি > 1 , বা অন্য কোন একজাতীয় ফেয়ার ডাইয়ের জন্য একটি সর্বোত্তম স্কিমের জন্য কেবল একটি রোল প্রয়োজন, অন্যায্য উদাহরণের জন্য একটি অনুকূল স্কিমের জন্য অনেকগুলি প্রয়োজন। তদ্ব্যতীত, সম্ভাব্য সমস্ত পক্ষপাতদুষ্ট মৃত্যুর উপরে সর্বোপরি সর্বোপরি সম্ভবত সীমাহীন। সুতরাং আপনি একটি প্যারামিটার প্রবর্তন করতে চাইতে পারেন এবং ধরে নিন যে আমি সর্বোচ্চ i পি i ≤ 1 $p_1 = 1-\epsilon$$p_i = \epsilon/(N-1)$$i > 1$ উদাহরণস্বরূপ। $\max_i p_i \leq 1-\epsilon$

— usul

@ ইউসুল আমি আপনার মন্তব্য বুঝতে পারি না। এর কয়েকটি মানের জন্য আরও দক্ষ অ্যালগরিদম রয়েছে (উদাঃ যদি ∀ i , p i = 1 / N ) তবে আমি কেবল আলগোরিদিমগুলির জন্য বলছি যা ( পি i ) এর উপর নির্ভর করে না । The এর বিন্দু কি ? $p_i$$\forall i, p_i = 1/N$$(p_i)$$\epsilon$

— গিলস 'অশুভ হওয়া বন্ধ করুন'

উপর নির্ভর করে না এমন একটি অ্যালগরিদমের দক্ষতা আপনি কীভাবে পরিমাপ করবেন ? সম্ভবত এমন কোন এলগরিদম জন্য, কোন উচ্চতর প্রয়োজন কলের প্রত্যাশিত সংখ্যার উপর, আবদ্ধ হয় সঙ্গে আমার উদাহরণ পক্ষপাতমূলক ডাই গ্রহণ করে ε → 0 । এটি "সর্বোত্তমের সর্বোত্তম ... সম্ভবত সীমাহীন" বলতে আমি এটি বোঝাতে চাইছি। সুতরাং যদি সমস্ত অ্যালগরিদমগুলি প্রত্যাশায় নির্বিচারে অনেকগুলি ডাই রোলগুলির প্রয়োজন হতে পারে তবে আমরা কীভাবে সেরাটি সিদ্ধান্ত নেব? $(p_i)$$\epsilon \to 0$

— usul

@ ইউসুল অবশ্যই নিক্ষেপের সংখ্যার উপরের কোন উচ্চতর আবদ্ধ নেই, তবে আমি প্রত্যাশিত মান (অর্থাত্ নিক্ষেপের গড় সংখ্যা) সম্পর্কে জিজ্ঞাসা করছি। প্রদত্ত বিতরণের জন্য , অ্যালগরিদমের প্রত্যাশিত মান যা একটি ন্যায্য মুদ্রা তৈরি করে এবং প্রত্যাখ্যানকারী নমুনা ব্যবহারের জন্য এটি সীমাবদ্ধ, তাই না? এটি সত্য যে প্রত্যাশা বিতরণের উপর নির্ভর করে, তাই বিভিন্ন বিতরণের জন্য বিভিন্ন (পরিবারগুলির) অ্যালগরিদম অনুকূল হতে পারে। যদি এটি হয় তবে ধরা যাক আমি প্রায় ফর্সা ডাইসে আগ্রহী। $(p_i)$

— গিলস 'অশুভ হওয়া বন্ধ করুন'

হুবহু প্রশ্নটি নয়, তবে আপনি কি ইউনিফর্মের নিকটবর্তী ( / মোট পরিবর্তনের দূরত্বে) কেবল এমন ফলাফল খুঁজতে রাজি হবেন ? যদি তাই হয় তবে আপনি মূল বন্টন থেকে যে গ্যারান্টি চেয়েছেন তার উপর নির্ভর করে এটি "সাম্প্রতিকতার জন্য নমুনা প্রস্তুতকারক" নামে একটি সাম্প্রতিক গবেষণাপত্রে (জমা দেওয়ার ক্ষেত্রে) অধ্যয়ন করা হয়েছে - যা বিশেষত দেখায় যে আপনি এন এর চেয়ে আলাদা অঙ্কের অঙ্ক পেতে পারেন থেকে উন্নত করতে ℓ 1 দূরত্ব ε দূরে ε ' । $\ell_1$$N$$\ell_1$$\varepsilon$$\varepsilon^\prime$

— ক্লিমেন্ট সি

Answer 1

নিম্নলিখিত কাগজ এই প্রশ্নের ঘনিষ্ঠ বৈকল্পিক উত্তর দেয়: একটি নিরপেক্ষ র্যান্ডম সিকোয়েন্সের দক্ষ নির্মাণ, ইলিয়াস 1972 ।

সেখানে প্রশ্নটি এই বলে মনে হচ্ছে: এই পক্ষপাতদুষ্ট স্বাধীন উত্সটিতে অ্যাক্সেস দেওয়া হয়েছে, [ 1 , N ] এ এলোমেলো সংখ্যার ক্রম আউটপুট করুন (আপনার প্রশ্নের মধ্যে পার্থক্যটি লক্ষ্য করুন যেখানে কেবলমাত্র একটি আউটপুট প্রতীক অনুরোধ করা হয়েছে)। কাঙ্ক্ষিত আউটপুটটির দৈর্ঘ্য অসীমের দিকে চলে যাওয়ার সাথে সাথে কাগজে স্কিমটির "দক্ষতা" (যা ভন নিউমানের প্রাকৃতিক জেনারালাইজেশন বলে মনে হয়) 1 এ চলে যায় , যার অর্থ, আমি বিশ্বাস করি, এনট্রপি এইচ সহ একটি ইনপুট রূপান্তরিত হয় এন্ট্রপির কাছে পৌঁছানোর এইচ ।$[1,N]$$1$$h$$h$

একক আউটপুট অঙ্কের অনুরোধ না করে এইভাবে বানানো হলে প্রশ্নটি আরও ভাল আচরণ করা বলে মনে হয়, কারণ উদাহরণস্বরূপ, আমরা যদি নমুনা আঁকি এবং প্রচুর তথ্য সহ একটি আউটপুট শেষ করি (উদাহরণস্বরূপ, সমস্ত এন ইনপুট চিহ্ন পৃথক পৃথক) , তারপরে আমরা সেই সমস্ত তথ্য অনেকগুলি আউটপুট প্রতীক তৈরি করতে ব্যবহার করতে পারি , যেখানে প্রশ্নটি এখানে বর্ণিত হিসাবে, একটি আউটপুট প্রতীক তৈরি করতে এর বাইরে যে কোনও তথ্য নষ্ট হয়ে যায়।$N$$N$

আমি বিশ্বাস করি যে স্কিমটি বার বার আঁকায়, ক্রমটি দেখে এবং এটিকে কিছু আউটপুট বা খালি স্ট্রিং মানচিত্র করে। উপসর্গ দেখে এবং থামিয়ে যদি আপনার কাছে একটি প্রতীক আউটপুট দেওয়ার জন্য "পর্যাপ্ত" তথ্য থাকে তবে আপনার প্রশ্নের জন্য স্কিমটি উন্নত করার কোনও উপায় আছে? আমি জানি না।$N$

Comments

আমি পরবর্তী কাজ বা কাজের অনুসন্ধান নি কাগজ উদ্ধৃত, তাই আমি জানি না কিন্তু হয়ত কেউ উন্নতি হয়েছে প্রকল্প, আরেকটি প্রদত্ত আপনার প্রশ্নের, ইত্যাদি বললেন

— উসূল

Answer 2

আপনি সাধারণের জন্য যে পদ্ধতিটি বর্ণনা করেছেন আমরা ব্যবহার করি যে [ 1 .. এন ] এর সমস্ত অনুমতিগুলি সমানভাবে সম্ভবত পক্ষপাতদুষ্ট ডাইও (যেহেতু রোলগুলি স্বাধীন)। অতএব, আমরা শেষ এন রোলস এবং শেষ রোল আউটপুট হিসাবে এইরকম অনুগতি না হওয়া পর্যন্ত আমরা রোলিং রাখতে পারি ।$N=2$$[1..N]$$N$

একটি সাধারণ বিশ্লেষণ জটিল; তবে এটি স্পষ্ট যে মধ্যে প্রত্যাশিত রোলগুলির সংখ্যা দ্রুত বৃদ্ধি পায় যেহেতু যে কোনও পদক্ষেপে ক্রমবর্ধন দেখার সম্ভাবনা খুব কম (এবং এর আগে এবং পরে পদক্ষেপগুলির থেকে পৃথক নয়, সুতরাং জটিল)। এটা তোলে হয় বেশি 0 সংশোধন জন্য এন তবে তাই পদ্ধতি প্রায় নিশ্চয় বন্ধ, (অর্থাত সম্ভাব্যতা সঙ্গে 1 )।$N$$0$$N$$1$

ফিক্সড বা অপরিবর্তিত আমরা পারিখ-ভেক্টর সেট উপর একটি মার্কভ চেইন গঠন করা যেতে পারে যে সমষ্টি ≤ এন , গত ফলাফল সংক্ষেপিত এন রোলস এবং ধাপের প্রত্যাশিত সংখ্যা নির্ধারণ যতক্ষণ না আমরা পৌঁছানোর ( 1 , ... , 1 ) জন্য প্রথমবার । এটি যথেষ্ট, যেহেতু পরী-ভেক্টর ভাগ করে নেওয়া সমস্ত অনুমতিগুলি সমান সম্ভাবনাযুক্ত; চেইন এবং গণনাগুলি এভাবে সহজ।$N$$\leq N$$N$$(1,\dots,1)$

ধরে আমরা রাষ্ট্র হয় সঙ্গে Σ এন আমি = 1 বনাম আমি ≤ এন । তারপর, সম্ভাবনা হত্তন একটি উপাদান আমি (পরবর্তী রোল অর্থাৎ আমি ) সবসময় দেওয়া হয়$v=(v_1,\dots,v_N)$$\sum_{i=1}^n v_i \leq N$$i$$i$

।$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$

অন্যদিকে, এর propability ড্রপ একটি উপাদান ইতিহাস থেকে দেওয়া হয়$i$

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

যখনই (এবং অন্যথায় 0 ) যথাযথ কারণ প্যারী-ভেক্টর v এর সাথে সমস্ত অনুমতি সমানভাবে সম্ভবত। এই সম্ভাবনাগুলি স্বতন্ত্র (যেহেতু রোলগুলি স্বতন্ত্র), সুতরাং আমরা নিম্নরূপে রূপান্তর সম্ভাবনাগুলি গণনা করতে পারি:$\sum_{i=1}^n v_i = N$$0$$v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

অন্যান্য সমস্ত রূপান্তর সম্ভাবনা শূন্য। একক শোষণকারী রাষ্ট্র হ'ল , [ 1 .. এন ] এর সমস্ত অনুক্রমের পরী-ভেক্টর ।$(1,\dots,1)$$[1..N]$

জন্য ফলে মার্কভ chain¹ হয়$N=2$

^{[ উত্স ]}

শোষণ হওয়া পর্যন্ত ধাপের প্রত্যাশিত সংখ্যার সাথে

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

সরলীকরণের জন্য ব্যবহার করে যা । এখন যদি, পরামর্শ হিসাবে, পি 0 = $p_1=1-p_0$কিছুε∈[0,$p_0 = \frac{1}{2} \pm \epsilon$, তারপর$\epsilon \in [0,\frac{1}{2})$

।$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

জন্য এবং অভিন্ন ডিস্ট্রিবিউশন (সেরা ক্ষেত্রে) আমি কম্পিউটার algebra² সঙ্গে গণনা সম্পাদিত হয়েছে; যেহেতু রাষ্ট্রীয় স্থানটি দ্রুত বিস্ফোরিত হয়, বৃহত্তর মানগুলি মূল্যায়ণ করা শক্ত। ফলাফল (বৃত্তাকার উপরে) হয়$N \leq 6$

^{প্লটগুলি এন এর একটি কার্য হিসাবে পদক্ষেপ ; বামে একটি নিয়মিত এবং ডানদিকে লোগারিদমিক প্লট।$\mathbb{E}\,\text{steps}$$N$}

প্রবৃদ্ধিটি তাত্পর্যপূর্ণ বলে মনে হচ্ছে তবে ভাল অনুমান দেওয়ার জন্য মানগুলি খুব ছোট।

এর perturbations বিরুদ্ধে স্থায়িত্ব হিসাবে আমরা জন্য পরিস্থিতি তাকান পারেন এন = 3 :$p_i$$N=3$

^{প্লট শো পি 0 এবং পি 1 এর ক্রিয়া হিসাবে পদক্ষেপগুলি ; প্রাকৃতিকভাবে, পি 2 = 1 - পি 0 - পি 1 ।$\mathbb{E}\,\text{steps}$$p_0$$p_1$$p_2 = 1 - p_0 - p_1$}

বৃহত্তর জন্য অনুরূপ ছবি ধরে নেওয়া যাক (কার্নেল এমনকি সিম্বলিক ফলাফল কম্পিউটিং বিপর্যস্ত এন = 4 ), পদক্ষেপ প্রত্যাশিত সংখ্যা সব জন্য বেশ স্থিতিশীল কিন্তু অধিকাংশ চরম পছন্দ (প্রায় সকল বা কিছু কেউ ভর মনে করা হয় পি আমি )।$N$$N=4$$p_i$

তুলনা করার জন্য, একটি ভিত্তিক মুদ্রা অনুকরণ (যেমন 0 এবং 1 তে সমানভাবে ডাই ফলাফল নির্ধারণ করে), ন্যায্য মুদ্রা অনুকরণ করার জন্য এটি ব্যবহার করে এবং অবশেষে বিট-ওয়াইজ রিজেকশন স্যাম্পলিংয়ের জন্য বেশিরভাগের প্রয়োজন$\epsilon$$0$$1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

প্রত্যাশায় ডাই রোলস - আপনার সম্ভবত এটি থাকা উচিত।

---

1. যেহেতু শৃঙ্খলাটি মধ্যে শোষিত হচ্ছে ধূসরতে ইঙ্গিত করা প্রান্তগুলি কখনই বিচ্যুত হয় না এবং গণনাগুলিকে প্রভাবিত করে না। আমি এগুলিকে নিছক সম্পূর্ণতা এবং চিত্রণমূলক উদ্দেশ্যে অন্তর্ভুক্ত করি।$(11)$
2. গণিত 10 এ প্রয়োগকরণ ( নোটবুক , ভাল উত্স ); দুঃখিত, আমি এই ধরণের সমস্যার জন্য জানি।

Answer 3

কেস সম্পর্কিত একটি দ্রুত মন্তব্য$N = 2$. Take some large number $m$, and sample $m$ throws of the die. If you got $k$ heads then you can extract $\log \binom{m}{k}$ bits. Assuming the die is $p$ biased, the average amount of information is

$$\sum_{k=0}^m p^k (1-p)^{m-k} \binom{m}{k} \log \binom{m}{k} \approx m h(p).$$ To get this estimate, use the fact that the binomial variable is concentrated around $k = pm$ together with the estimate $\log \binom{m}{k} \approx mh(k/m)$. As $m$ gets larger, we obtain the optimal rate of $h(p)$ per coin throw (this is optimal for information-theoretic reasons, for example the asymptotic equipartition property).

You can use the same method for general $N$, and you will probably get the same $H(\vec{p})$. These algorithms are only optimal in the limit, and there might be algorithms reaching the limit faster than these. In fact, I neglected to compute the speed of convergence - it might be an interesting exercise.

Answer 4

I would hazard the following answer.

The specific case of 2 you mentioned above is the specific case of expanding $(p + q)^2$ (where $p$ is prob of head and $q$ prob of tail) which gives you a term $2pq$ This means you can get $pq$ for one case and $qp$ for the other case. You will need to repeat sampling until you see either $pq$ or $qp$ (head-tail or tail-head) Using them as simulation, you will give equal probability.

When $N=3$ you have the expansion $(p + q + r)^3$ which gives you the term $pqr$. In this case, you do the same thing, sampling until you see all 3 outcomes $q$, $p$, $r$ in some order in 3 consecutive trials.

The same thing apply for the general case. Thinking carefully, I have to say the case of 2 is the best case where one can work things out in the expansion. When $N=3$ there are 6 different sequences for $pqr$ and there are many other terms in the expansion. I would feel quite uncomfortable with other terms where there are many more outcomes.

.

Extra:

This makes me think about the idea of simply sampling a lot to estimate the probability of each outcome of the dice. In this simplest case of one layer model with no hidden layer (a known model), we can work out a bound to conclude that the estimation converges quickly. In fact Chernoff bound shows us that the error goes down exponentially as sampling increases (linearly).

Now that a good estimation of the probabilities for each side of the dice is known, there are many options. One option is that we can do the expansion above again, but this time we can potentially use many other terms in the expansion that have the same value as $\prod_{i=1}^{i=n} p_i$ (or any term that you use as based sequence). This will be a bit more efficient because more terms in the expansion will be used. But I admit I don't know if this will result in the smallest number of calls to the oracle to have a guarantee on whatever preconditions (such as confidence parameter), if they are given.

Nevertheless, this approach is an answer to different flavor of the question. The question asks for guaranteed perfect unbiased-ness at the cost of potentially large sampling (though low prob). This approach only uses finite sampling with bound on confidence parameter. So I don't think this approach is appropriate to this question even though it is very interesting.