গিবস স্যাম্পলিং কীভাবে অর্জন করবেন?

আমি আসলে এটি জিজ্ঞাসা করতে দ্বিধা বোধ করছি, কারণ আমি আশঙ্কা করছি যে আমাকে গিবস স্যাম্পলিংয়ের অন্যান্য প্রশ্ন বা উইকিপিডিয়ায় উল্লেখ করা হবে, তবে তারা কী আছে তা বর্ণনা করার মতো অনুভূতি আমার নেই।

শর্তসাপেক্ষ সম্ভাবনা দেওয়া হয়েছে : $p(x|y)$

\begin{array}{ccc} p (x | y) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{4} & \frac{2}{6} \\ x = x_{1} & \frac{3}{4} & \frac{4}{6} \end{array}

$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$

এবং শর্তসাপেক্ষ সম্ভাবনা : $p(y|x)$

\begin{array}{ccc} p (y | x) & y = y_{0} & y = y_{1} \\ x = x_{0} & \frac{1}{3} & \frac{2}{3} \\ x = x_{1} & \frac{3}{7} & \frac{4}{7} \end{array}

$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$

আমরা স্বতন্ত্রভাবে যৌথ সম্ভাব্যতা : $f_{unique}=p(x,y)$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & a_{0} & a_{1} & c_{0} \\ x = x_{1} & a_{2} & a_{3} & c_{1} \\ p (y) & b_{0} & b_{1} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$

কারণ, আমাদের অজানা থাকলেও আমাদের আরও বেশি ( ) রৈখিক সমীকরণ রয়েছে: $8$ $4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

পাশাপাশি:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

এটি দ্রুত , । যথা সাথে । এটি gives দেয় এবং বাকিগুলি অনুসরণ করে। $c_0=\tfrac{3}{4}b_0$ $\tfrac{2}{3}c_0=a_1$ $\tfrac{2}{4}b_0=a_1$ $\tfrac{2}{6}(1-b_0)=a_1$ $b_0=\tfrac{2}{5}$

\begin{array}{cccc} p (x, y) & y = y_{0} & y = y_{1} & p (x) \\ x = x_{0} & \frac{1}{10} & \frac{2}{10} & \frac{3}{10} \\ x = x_{1} & \frac{3}{10} & \frac{4}{10} & \frac{7}{10} \\ p (y) & \frac{4}{10} & \frac{6}{10} \end{array}

$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$

সুতরাং, এখন আমরা একটানা ক্ষেত্রে যাই। অন্তরগুলিতে যেতে এবং উপরের কাঠামোটিকে কৌশলে (অজানাগুলির চেয়ে আরও সমীকরণ সহ) রাখা কল্পনাযোগ্য। তবে, যখন আমরা এলোমেলো ভেরিয়েবলগুলির (পয়েন্ট) দৃষ্টান্তগুলিতে যাই তখন কী ঘটে? কীভাবে নমুনা দেয়

x_{a} \sim p (x | y = y_{b}) y_{b} \sim p (y | x = x_{a})

$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$

পুনরাবৃত্তভাবে, দিকে চালিত ? বাঁধা , এটি কীভাবে নিশ্চিত করে ? একইভাবে । আমরা কি প্রতিবন্ধকতাগুলি লিখতে পারি এবং গিবসকে প্রথম নীতি থেকে নমুনা তৈরি করতে পারি? $p(x,y)$ $a_0 + a_1 + a_2 + a_3=1$ $\int_X \int_Y p(x,y) dy dx = 1$ $\int_Y p(y|x)dy=1$

সুতরাং, আমি কীভাবে গীবস স্যাম্পলিং সম্পাদন করতে আগ্রহী নই, যা সহজ, তবে আমি কীভাবে এটি উত্পন্ন করতে পারি এবং কীভাবে প্রমাণিত হয় যে এটি কার্যকর হয় (সম্ভবত কিছু শর্তাধীন)।

sampling mcmc gibbs

— অ্যান ভ্যান রসম
সূত্র

সাধারণভাবে শর্তাধীন বিতরণ থেকে একটি যৌথ বিতরণ গণনা করা খুব কঠিন। যদি শর্তসাপেক্ষ বিতরণগুলি ইচ্ছামত বেছে নেওয়া হয়, তবে একটি সাধারণ যৌথ বিতরণ এমনকি উপস্থিত নাও হতে পারে। এই ক্ষেত্রে, এমনকি শর্তযুক্ত বিতরণগুলি সামঞ্জস্যপূর্ণ তা দেখানো সাধারণত কঠিন generally যৌথ বন্টন অর্জনের জন্য যে ফলাফলগুলি ব্যবহার করা যেতে পারে তা হ'ল ব্রুকের লিমা , একটি , যদিও আমি কখনও সে উদ্দেশ্যে সফলভাবে নিজেকে ব্যবহার করি নি। এই বিষয়ে আরও তথ্যের জন্য, আমি জুলিয়ান বেসাগের কাজটি দেখব।

\frac{p (x)}{p (x^{'})} = \prod_{i} \frac{p (x_{i} ∣ x_{< i}, x_{> i}^{'})}{p (x_{i}^{'} ∣ x_{< i}, x_{> i}^{'})},

$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$

x^{'}

$\mathbf{x}'$

গীবস স্যাম্পলিং কাজ করে তা প্রমাণ করার জন্য, তবে অন্য কোনও রুট নেওয়া ভাল। যদি একটি নমুনা অ্যালগরিদমের দ্বারা প্রয়োগ করা একটি মার্কোভ চেইনের বিতরণ তবে এটি অবিস্মরণীয় বিতরণ হিসাবে হয় এবং তা অদম্য ও অপেরোডিক হয় , তবে মার্কভ চেইন সেই বিতরণে রূপান্তরিত হবে (টের্নি, 1994) । $p$

গীবস স্যাম্পলিং সর্বদা যৌথ বিতরণ ছেড়ে দেবে যার থেকে শর্তসাপেক্ষ বিতরণগুলি উত্পন্ন হয়েছিল: মোটামুটিভাবে, যদি এবং আমরা নমুনা করি , $(x_0, y_0) \sim p(x_0, y_0)$ $x_1 \sim p(x_1 \mid y_0)$

(x_{1}, y_{0}) \sim \int p (x_{0}, y_{0}) p (x_{1} ∣ y_{0}) d x_{0} = p (x_{1} ∣ y_{0}) p (y_{0}) = p (x_{1}, y_{0}) .

$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$

অর্থাৎ শর্তসাপেক্ষে নমুনা প্রয়োগ করে আপডেট করা নমুনার বিতরণকে পরিবর্তন করে না। $x$

যাইহোক, গীবস নমুনা সর্বদা অপরিবর্তনীয় নয় । যদিও আমরা সর্বদা জিনিসগুলি ভঙ্গ না করে এটি প্রয়োগ করতে পারি (এই অর্থে যে আমাদের কাছে ইতিমধ্যে পছন্দসই বিতরণ থেকে কোনও নমুনা থাকলে তা বিতরণ পরিবর্তন করবে না), এটি গিবস নমুনা আসলে এটিতে রূপান্তরিত করবে কিনা তা যৌথ বন্টনের উপর নির্ভর করে (একটি সহজ যথেষ্ট অপ্রতুলতার জন্য শর্ত হ'ল ঘনত্ব সর্বত্রই ইতিবাচক, )। $p(\mathbf{x}) > 0$

— লুকাস
সূত্র

সামঞ্জস্যের উপর আকর্ষণীয় সমস্যা। আমি এখন "সীমাবদ্ধ স্বতন্ত্র শর্তাধীন বিতরণের সামঞ্জস্যতা" (গান এট আল।) যাচাই করে যা সামঞ্জস্যতা এবং স্বতন্ত্রতা প্রতিষ্ঠার জন্য একটি "অনুপাত ম্যাট্রিক্স" ব্যবহার করে। সুতরাং, গীবগুলি এই বাধাগুলি থেকে উদ্ভূত করা যায় না কারণ এগুলি শুরু করার জন্য কার্যকর করা হয় না। আমি কল্পনা করতে পারি যে শর্তাধীন বিতরণ উদাহরণস্বরূপ অসম্পূর্ণ হলে এটি কিছু অযৌক্তিক যৌথ বিতরণ (যোগফল 1) প্রদান করতে পারে। যাইহোক, তবে আমার অনুভূতি আছে যে আমি যা করছি তা হ'ল ডিটারমিনিস্টিক, রেডনের রূপান্তরের অনুরূপ কিছু। গীবস স্যাম্পলিং দেখতে এতটা ... নোংরা।

— অ্যান ভ্যান রসম