লগ স্পেসে আমি কীভাবে পৃথক (শ্রেণিবদ্ধ) বন্টন থেকে নমুনা করব?

12

ধরুন আমার কাছে ভেক্টর মতো বিভাগ সম্ভাব্যতার সাথে অঙ্কিত হবে এবং আরও কিছু দ্বারা নির্ধারিত একটি স্বতন্ত্র বিতরণ রয়েছে। আমি তখন আবিষ্কার করেছি যে বিতরণের কিছু মানগুলি এত ছোট যে তারা আমার কম্পিউটারের ভাসমান পয়েন্ট সংখ্যা উপস্থাপনের তলদেশে প্রবাহিত করে, তাই ক্ষতিপূরণ দেওয়ার জন্য, আমি আমার সমস্ত গণনা লগ-স্পেসে করি। এখন আমার কাছে লগ-স্পেস ভেক্টর । $\theta_0, \theta_1, ..., \theta_N$ $0$ $\theta_0$ $log(\theta_0), log(\theta_1), ..., log(\theta_N)$

বিতরণ থেকে নমুনা পাওয়া সম্ভব যেমন মূল সম্ভাবনাগুলি রয়েছে (বিভাগটি সম্ভাবনার সাথে আঁকা is ) তবে লগ-স্পেস না রেখেই? অন্য কথায়, আমি কীভাবে আন্ডারফ্লো ছাড়াই এই বিতরণ থেকে নমুনা করব? $i$ $\theta_i$

random-generation

— জোশ হানসেন
সূত্র

15

গাম্বেল-সর্বাধিক ট্রিক ব্যবহার করে লগ স্পেস না রেখে লগ -সম্ভাব্যতাগুলিকে শ্রেণীবদ্ধ বিতরণ থেকে নমুনা দেওয়া সম্ভব । ধারণাটি হ'ল যদি আপনাকে অস্বাভাবিক লগ-সম্ভাবনাগুলি দেওয়া হয় , যা সফটম্যাক্স ফাংশন ব্যবহার করে যথাযথ সম্ভাব্যতায় অনুবাদ করা যেতে পারে $\alpha_1,\dots,\alpha_k$

p_{i} = \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})}

$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$

তারপরে এই জাতীয় বিতরণ থেকে নমুনা নিতে আপনি এই সত্যটি ব্যবহার করতে পারেন যে যদি মান গাম্বল বিতরণ থেকে নেওয়া স্বতন্ত্র নমুনাগুলি অবস্থান অবস্থান দ্বারা প্যারামিটারাইজড হয় , $g_1,\dots,g_k \sim \mathcal{G}(0)$ $m$

F (G \leq g) = \exp (- \exp (- g + m))

$F(G \le g) = \exp(-\exp(-g+m))$

তারপরে এটি প্রদর্শিত হতে পারে (নীচে উল্লেখগুলি দেখুন)

\begin{aligned} \underset{i}{a r g m a x} {g_{i} + α_{i}} & \sim \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})} \\ max_{i} {g_{i} + α_{i}} & \sim G (\log \sum_{i} \exp {α_{i}}) \end{aligned}

$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$

এবং আমরা নিতে পারি

z = \underset{i}{a r g m a x} {g_{i} + α_{i}}

$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$

সম্ভাবনাগুলি দ্বারা প্যারামিটারাইজড শ্রেণীবদ্ধ বিতরণ থেকে নমুনা হিসাবে । রায়ান অ্যাডামস এবং লরেন্ট দিন দ্বারা ব্লগ এন্ট্রিগুলিতে এই পদ্ধতির আরও বিস্তারিতভাবে বর্ণনা করা হয়েছিল , তদুপরি ক্রিস জে ম্যাডিসন, ড্যানিয়েল টারলো এবং টম মিনকা নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমস কনফারেন্স (২০১৪) এর উপর একটি স্পিচ ( স্লাইড ) দিয়েছিলেন এবং এ * শীর্ষক একটি নিবন্ধ লিখেছিলেন। এই ধারণাগুলিকে সাধারণীকরণের নমুনা (ম্যাডিসন, ২০১;; ম্যাডিসন, মনিহ এবং তেহ, ২০১ 2016; জং এবং পুল, ২০১ 2016) দেখুন, যারা ইয়েলটকে (১৯ 1977) উল্লেখ করেছেন যারা প্রথমে এই সম্পত্তিটির বর্ণনা দিয়েছেন তাদের মধ্যে তিনি তাকে উল্লেখ করেছিলেন। $p_1,\dots,p_k$

এটা ব্যবহার করে বাস্তবায়ন করতে বেশ সহজ হয় বিপরীত স্যাম্পলিং রুপান্তর গ্রহণ করে যেখানে উপর সমবন্টন থেকে স্বপক্ষে হয় । বিভাগীয় বিতরণ থেকে স্যাম্পলিংয়ের পক্ষে এটি সর্বাধিক সময়-দক্ষ অ্যালগরিদম নয়, তবে এটি আপনাকে লগ-স্পেসে থাকতে দেয় যা কিছু পরিস্থিতিতে একটি সুবিধা হতে পারে। $g_i=-\log(-\log u_i)$ $u_i$ $(0,1)$

ম্যাডিসন, সিজে, টারলো, ডি, এবং মিনকা, টি। (২০১৪)। একটি * নমুনা। [ইন:] নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমগুলিতে অগ্রগতি (পৃষ্ঠা 3086-3094)।

ইয়েলট, জেআই (1977)। লুসের পছন্দের অক্ষরটি, থারস্টোনের তুলনামূলক বিচারের তত্ত্ব এবং দ্বিগুণ সূচকীয় বিতরণের মধ্যে সম্পর্ক। গাণিতিক মনোবিজ্ঞান জার্নাল, 15 (2), 109-144।

ম্যাডিসন, সিজে, মনিহ, এ।, এবং তেহ, ওয়াইডাব্লু (2016)। কংক্রিট বিতরণ: স্বচ্ছ র্যান্ডম ভেরিয়েবলগুলির একটি অবিচ্ছিন্ন শিথিলকরণ। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1611.00712।

জাং, ই।, গু, এস, এবং পুল, বি (২০১))। গম্বেল-সফটম্যাক্স সহ শ্রেণীবদ্ধ পুনঃনির্মাণ ization আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1611.01144।

ম্যাডিসন, সিজে (2016)। মন্টি কার্লোর জন্য একটি পয়সন প্রক্রিয়া মডেল। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1602.05986।

— টিম
সূত্র

5

আন্ডারফ্লো / ওভারফ্লো এড়াতে এখানে একটি সাধারণ উপায়।

যাক । $m = \max_i \log(\theta_i)$

আসুন । $\theta_i' = \exp( \log(\theta_i) - m )$

আপনি থেকে নমুনা নিতে পারেন । $\theta' = [\theta_1' , \theta_2',...]$

— সিদ্ধার্থ গোপাল
সূত্র

1

এটি ততক্ষণ কাজ করে যতক্ষণ না কোনও মান এবং সর্বোচ্চের মধ্যে পার্থক্য খুব বেশি দুর্দান্ত না হয় --- যখন এটি ঘটে তখন expযথার্থতা হারাতে পারে, যার ফলে বিতরণ শুরু হয় [১.০, ৩.45৪ ই-66,, ০.০, .5.৫৪-এ -১২১] । আমি এমন কিছু জবাব পেতে চাই যা এমন ক্ষেত্রেও মজবুত। তবে আপাতত আমি আপনার উত্তরটিকে সমর্থন করছি।

— জোশ হানসেন