সীমাবদ্ধ বল্টজম্যান মেশিনগুলির জন্য ভাল টিউটোরিয়াল (আরবিএম)

10

আমি সীমাবদ্ধ বোল্টজম্যান মেশিন (আরবিএম) অধ্যয়ন করছি এবং আরবিএমের পরামিতিগুলির সাথে সম্মতিতে লগের সম্ভাবনা গণনাগুলি বোঝার কিছু সমস্যা পাচ্ছি। যদিও আরবিএম নিয়ে প্রচুর গবেষণা পত্র প্রকাশিত হয়েছে, তবুও ডেরিভেটিভসের কোনও বিশদ পদক্ষেপ নেই। অনলাইনে অনুসন্ধানের পরে আমি তাদের এই দস্তাবেজে খুঁজে পেতে সক্ষম হয়েছি:

ফিশার, এ।, এবং ইগেল, সি। (2012) সীমাবদ্ধ বল্টজমান মেশিনগুলির একটি ভূমিকা। এল। আলভারেজ এট আল তে In (সম্পাদনা): সিআইআরপি, এলএনসিএস 41৪৪৪, পৃষ্ঠা 14–36, স্প্রঞ্জার-ভার্লাগ: বার্লিন-হাইডেলবার্গ। ( পিডিএফ )

তবে এই দস্তাবেজের বিশদটি আমার পক্ষে খুব উন্নত। আরবিএম সম্পর্কে কোনও ভাল টিউটোরিয়াল / বক্তৃতা নোটের সেট সম্পর্কে কেউ আমাকে নির্দেশ করতে পারে?

সম্পাদনা: @ ডেভিড, বিভ্রান্তিকর অংশটি নীচে দেখানো হয়েছে (26 পৃষ্ঠায় সমীকরণ 29):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— উপুল
সূত্র

কী পদক্ষেপগুলি আপনাকে বিভ্রান্ত করছে সে সম্পর্কে আপনি আরও নির্দিষ্ট করে বলতে পারেন?

— ডেভিড জে হ্যারিস

1

একটি ভাল পঠন হল এআই ( iro.umontreal.ca/~bengioy/papers/ftML_book.pdf ) জন্য গভীর স্থাপত্য শেখার অধ্যায় 5

— dksahuji

আইডিএফও-র জন্য ধন্যবাদ ডক্সাহুজিও, অধ্যাপক: বেনজিও একটি ডিএল লিখছেন এবং ইনিটাল খসড়াটি আইআরও.উমন্ট্রিয়াল.সি.এ

— উপুল

এই টিউটোরিয়ালের আরবিএম ( একটি টিউটোরিয়াল অন সীমাবদ্ধ বল্টজম্যান মেশিনস ) এর গণিত সম্পর্কে ব্যাখ্যা রয়েছে ।

— জিয়াং জিয়াং 12

7

আমি জানি এটি একটু দেরি হয়েছে, তবে সম্ভবত এটি সাহায্য করে। আপনার সমীকরণের প্রথম শব্দটি অর্জন করতে, এই পদক্ষেপগুলি গ্রহণ করে: আমরা ধরে রেখেছি শর্তাধীন স্বাধীনতা দৃশ্যমান ইউনিটগুলি দেওয়া গোপন ইউনিটগুলি বিদ্যমান। সুতরাং আমরা লুকানো রাজ্যগুলির জন্য শর্তাধীন যৌথ সম্ভাব্যতা বিতরণকে গুণিত করতে পারি।

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ সর্বশেষ পদটি সমান , যেহেতু আমরা সমস্ত রাজ্যের উপরে সংমিশ্রণ করছি। সুতরাং যা বাকী রয়েছে তা প্রথম শব্দ। যেহেতু কেবলমাত্র এবং স্টেট নেয় আমাদের শেষ হয়:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— পেছন
সূত্র

7

ডিপলাইনিং সাইটে আরবিএমগুলির একটি শালীন টিউটোরিয়াল রয়েছে ।
এই ব্লগ পোস্টটি ( সীমাবদ্ধ বল্টজমান মেশিনগুলির পরিচিতি ) সহজ ভাষায় রচিত এবং আরবিএমএসের মূল বিষয়গুলি ব্যাখ্যা করেছে:
এছাড়াও, সম্ভবত সেরা রেফারেন্স হ'ল জিওফ হিন্টনের নিউরাল নেটওয়ার্ক কোর্সেস কোর্স :

আমি নিশ্চিত না যদিও আপনি ক্লাস শেষ হওয়ার পরে ক্লাস এবং ভিডিওগুলি অ্যাক্সেস করতে পারবেন কিনা।

— sjm.majewski
সূত্র

2

এখনও রয়েছেন লোকেরা কর্সেরা ক্লাসে সাইন আপ করছেন এবং ফোরামে পোস্ট করছেন। আপনি এখনও সমস্ত বক্তৃতা দেখতে পাচ্ছেন এবং সমস্ত কুইজ এবং প্রোগ্রামিং অ্যাসাইনমেন্ট (কুইজের মধ্যে) অ্যাক্সেস করতে পারেন। কোর্সটি আবার অফার না করা পর্যন্ত এই তথ্য সম্ভবত থাকবে। আমি অবশ্যই উপাদানটি দেখতে বা ডাউনলোড করতে অবশ্যই কোর্সে তালিকাভুক্তি করার পরামর্শ দিচ্ছি।

— ডগলাস জারে 22'13

1

বাম কমলা বাক্সটি আপনাকে সমস্ত লুকানো কনফিগারেশনের উপর শক্তি গ্রেডিয়েন্টের প্রত্যাশিত মান দেয় যা কিছু দৃশ্যমান ভেক্টর দৃশ্যমান ইউনিটগুলিতে ক্ল্যাম্প করা হয় (যেহেতু এটি আপনার প্রশিক্ষণ সেট থেকে একটি নমুনা ব্যবহার করে তথ্যের উপর প্রত্যাশা)। এই শব্দটি হ'ল (১) নির্দিষ্ট লুকানো ইউনিট দেখার সম্ভাবনা i এর প্রদত্ত সম্ভাব্যতা যা প্রদত্ত কিছু ভেক্টর ভি দৃশ্যমান ইউনিটগুলিতে ক্ল্যাম্প করা হয় এবং (২) একটি নির্দিষ্ট দৃশ্যমান এককের জের অবস্থা।

ডান কমলা বাক্সটি বামের মতো একই জিনিস, আপনি কেবল দৃশ্যমান ইউনিটগুলিতে ক্ল্যাম্পড থাকা পরিবর্তে প্রতিটি সম্ভাব্য দৃশ্যমান কনফিগারেশনের জন্য বাম কমলা বাক্সে যা করছেন তা বাদ দিচ্ছেন (মডেলটির উপর প্রত্যাশা যেহেতু কিছুই ক্ল্যাম্পড নয়) দৃশ্যমান ইউনিটগুলিতে)।

— Avalon
সূত্র

1

মেশিন লার্নিংয়ের বিষয়ে হুগো ল্যারোচেলের কোর্সের অধ্যায় 5 ( ভিডিও ) আমি এখনও অবধি খুঁজে পেলাম best

ক্ষতির ফাংশনের ডেরাইভেটিভ এই বক্তৃতাগুলিতে উত্পন্ন নয় তবে এটি করা খুব কঠিন নয় (প্রয়োজনে আমি আমার গণনার একটি স্ক্যান পোস্ট করতে পারি, তবে এটি সত্যিই এত কঠিন নয়)। আমি এখনও এই বিষয়টি কভার করার জন্য একটি ভাল পাঠ্যপুস্তক খুঁজছি তবে প্রধানত কেবল নিবন্ধগুলি রয়েছে। বেনজিওর ডিপ লার্নিং বইয়ের 20 অধ্যায়ে নিবন্ধগুলির একটি ভাল ওভারভিউ রয়েছে ।

— জাকাব 922
সূত্র