শ্রেণিবিন্যাসের জন্য আরবিএম কীভাবে ব্যবহার করবেন?

12

এই মুহুর্তে আমি সীমাবদ্ধ বোল্টজমান মেশিনগুলির সাথে খেলছি এবং যেহেতু আমি এতে আছি আমি এটির সাথে হাতের লিখিত অঙ্কগুলি শ্রেণিবদ্ধ করার চেষ্টা করব।

আমি যে মডেলটি তৈরি করেছি তা এখন বেশ অভিনব জেনারেটরি মডেল তবে এটি কীভাবে আরও এগিয়ে যেতে হয় তা আমি জানি না।

ইন এই নিবন্ধটি লেখকের বলুন, যে একটি ভাল সৃজক মডেল তৈরি হয়ে গেলে একটি " তারপর একটি বৈষম্যমূলক ক্লাসিফায়ার রেলগাড়ি (অর্থাত, রৈখিক ক্লাসিফায়ার, সমর্থন ভেক্টর মেশিন) RBM উপরের লেবেল নমুনা ব্যবহার করে " "এবং furtherly রাজ্যের যেহেতু আপনি বংশ বিস্তার লুকানো ইউনিট ভেক্টর পেতে বা আরবিএম মডেলের গোপন ইউনিটগুলিতে ডেটা ভেক্টর, বা উপাত্তের একটি উচ্চ স্তরের প্রতিনিধিত্ব "। সমস্যাটি হ'ল আমি নিশ্চিত না যে আমি এটি অধিকার পেয়েছি কিনা।

তার মানে কি আমাকে যা করতে হবে তা হ'ল লুকানো ইউনিটগুলিতে ইনপুট প্রচার করা এবং সেখানে আমার শ্রেণিবিন্যাসের জন্য আমার আরবিএম বৈশিষ্ট্য রয়েছে?

কেউ কি আমাকে এই প্রক্রিয়াটি ব্যাখ্যা করতে পারেন?

classification rbm

— displayname
সূত্র

সীমাবদ্ধ বল্টজম্যান মেশিন গভীর শিক্ষার জন্য ব্যবহৃত প্রাথমিকতম উপাদানগুলির মধ্যে একটি। আসলে, ডিএনএন-এ প্রথম গুরুত্বপূর্ণ কাজ হিন্টন করেছিলেন গভীর বিশ্বাস নেটওয়ার্কটি আরবিএম-এর উপর ভিত্তি করে দয়া করে আরও তথ্যের জন্য এই কাগজটি অনুসন্ধান করুন (গভীর বিশ্বাস নেটওয়ার্ক, ২০০,, হিন্টনের জন্য)। তার ওয়েবসাইটে আপনি খুব গুরুত্বপূর্ণ সংস্থান এবং সেইসাথে একটি ডেমো পরীক্ষার সন্ধান

— বাশার

@ hbaderts আমি আরবিএম নিয়ে চারপাশে খেলতে শুরু করেছি। গৃহীত উত্তরটি পড়া সহজ ছিল। আমি স্পষ্টতা জানতে চেয়েছিলাম, আরবিএম লুকানো স্তর বাইনারি বিতরণ থেকে নমুনা দেওয়ার পরে এলোমেলো। শ্রেণিবিন্যাসের জন্য, গোপন ইউনিট সম্ভাব্যতা ব্যবহার করা হয় বা বাইনারি বিতরণ (1 এবং 0) থেকে নমুনাযুক্ত লুকানো ইউনিটগুলি শ্রেণিবদ্ধে পাস হয়?

— এম

15

সীমাবদ্ধ বল্টজম্যান মেশিনগুলির পর্যালোচনা

একটি সীমাবদ্ধ বল্টজম্যান মেশিন (আরবিএম) একটি জেনারেটরি মডেল, যা ইনপুটটির উপর সম্ভাব্যতা বন্টন শিখেছে। তার মানে, প্রশিক্ষিত হওয়ার পরে, আরবিএম শিখে নেওয়া সম্ভাব্যতা বিতরণ থেকে নতুন নমুনা তৈরি করতে পারে। প্রোফাইল ইউনিট উপর সম্ভাব্যতা বিতরণের দেওয়া হয় যেখানে $\mathbf{v}$

p (v ∣ h) = \prod_{i = 0}^{V} p (v_{i} ∣ h),

$p(\mathbf{v} \mid \mathbf{h}) = \prod_{i=0}^V p(v_i \mid \mathbf{h}),$

এবং

সিগমা ফাংশন,

দৃশ্যমান নোডের জন্য পক্ষপাত নয়

, এবং

থেকে ওজন

করার

। এই দুটি সমীকরণ থেকে এটি অনুসরণ করে যে

কেবল লুকানো অবস্থার উপর নির্ভর করে

। তার মানে হল যে কীভাবে দৃশ্যমান নমুনা

তৈরি করা যায় তার তথ্য গোপন ইউনিট, ওজন এবং বায়াসগুলিতে সংরক্ষণ করতে হয়।

p (v_{i} ∣ h) = σ (a_{i} + \sum_{j = 0}^{H} w_{j i} h_{j})

$p(v_i \mid \mathbf{h}) = \sigma\left( a_i + \sum_{j=0}^H w_{ji} h_j \right)$

σ

$\sigma$

a_{i}

$a_i$

i

$i$

w_{j i}

$w_{ji}$

h_{j}

$h_j$

v_{i}

$v_i$

p (v ∣ h)

$p(\mathbf{v} \mid \mathbf{h})$

h

$\mathbf{h}$

v

$\mathbf{v}$

শ্রেণিবিন্যাসের জন্য আরবিএম ব্যবহার করা

$\mathbf{h}$

এই লুকানো ভেক্টরটি ইনপুট ডেটার একটি রূপান্তরিত সংস্করণ - এটি নিজেই কোনও শ্রেণিবদ্ধ করতে পারে না। শ্রেণিবদ্ধকরণ করতে, আপনি ইনপুট হিসাবে "কাঁচা" প্রশিক্ষণ ডেটার পরিবর্তে কোনও শ্রেণিবদ্ধকারী (লিনিয়ার শ্রেণিবদ্ধ, এসভিএম, একটি ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্ক বা অন্য যে কোনও কিছু) প্রশিক্ষণ দিতেন।

যদি আপনি একটি গভীর বিশ্বাস নেটওয়ার্ক (ডিবিএন) তৈরি করে থাকেন - যা গভীর ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কগুলি একটি নিরক্ষিত ফ্যাশনে প্রাক প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত হয়েছিল - আপনি এই লুকানো ভেক্টরটি নেবেন এবং এটি একটি নতুন আরবিএমের ইনপুট হিসাবে ব্যবহার করবেন, যা আপনি স্ট্যাক করেছেন এটি উপরে. এইভাবে, আপনি কোনও লেবেলযুক্ত ডেটার প্রয়োজন ছাড়াই পছন্দসই আকারে পৌঁছা পর্যন্ত নেটওয়ার্ক স্তর-দ্বারা-স্তরকে প্রশিক্ষণ দিতে পারেন। অবশেষে, আপনি শীর্ষে উদাহরণস্বরূপ একটি সফটম্যাক্স স্তর যুক্ত করুন এবং আপনার শ্রেণিবদ্ধকরণ কার্যটিতে ব্যাকপ্রোপেশন সহ পুরো নেটওয়ার্কটিকে প্রশিক্ষণ দিন।

— hbaderts
সূত্র

@ Seanny123 সম্পাদনা করার জন্য আপনাকে ধন্যবাদ, এটি এটি পড়া সহজ করে তোলে।

— hbaderts

5

@ hbaderts পুরো কর্মপ্রবাহ বর্ণনা করেছেন পুরোপুরি। তবে আপনি যদি এই ধারণায় সম্পূর্ণ নতুন হন তবে এটির কোনও ধারণা নেই। অতএব, আমি এটি সাধারণ ব্যক্তির উপায়ে ব্যাখ্যা করতে যাচ্ছি (অতএব, আমি বিশদ বাদ দিচ্ছি):

আপনার ডেটা রুপান্তর করতে একটি গভীর কার্যকারিতা হিসাবে ফাংশন হিসাবে ভাবেন। রূপান্তরের উদাহরণগুলির মধ্যে রয়েছে সাধারণীকরণ, ডেটা লগ করা ইত্যাদি The আপনি যে গভীর নেটওয়ার্কগুলি প্রশিক্ষণ দিচ্ছেন তার একাধিক স্তর রয়েছে। এই স্তরগুলির প্রত্যেককেই একরকম শেখার অ্যালগরিদম ব্যবহার করে প্রশিক্ষণ দেওয়া হয়। প্রথম স্তরের জন্য, আপনি ইনপুট হিসাবে মূল ডেটাটি পাস করেন এবং এমন একটি ফাংশন পাওয়ার চেষ্টা করেন যা আপনাকে আউটপুট হিসাবে সেই "একই মূল ডেটা" ফিরিয়ে দেবে। তবে, আপনি নিখুঁত আউটপুট পাবেন না। অতএব, আপনি প্রথম স্তরের আউটপুট হিসাবে আপনার ইনপুটটির একটি রূপান্তরিত সংস্করণ পাচ্ছেন।

এখন, দ্বিতীয় স্তরের জন্য, আপনি সেই "রুপান্তরিত ডেটা" নিন এবং সেগুলি ইনপুট হিসাবে পাস করুন এবং পুরো শেখার প্রক্রিয়াটি পুনরাবৃত্তি করুন। আপনি আপনার গভীর নেটওয়ার্কের সমস্ত স্তরগুলির জন্য এটি চালিয়ে যান।

শেষ স্তরে, আপনি যা পাবেন তা হ'ল আপনার মূল ইনপুট ডেটার একটি "রূপান্তরিত সংস্করণ"। এটি আপনার মূল ইনপুট ডেটার উচ্চ স্তরের বিমূর্ততা সম্পর্কে ভাবা যেতে পারে। মনে রাখবেন, আপনি এখনও আপনার গভীর নেটওয়ার্কে লেবেল / আউটপুট ব্যবহার করেন নি। অতএব, এই বিন্দু অবধি সমস্ত কিছুই অপ্রচলিত শিক্ষা। একে স্তর-ভিত্তিক প্রাক-প্রশিক্ষণ বলা হয়।

এখন, আপনি একটি শ্রেণিবদ্ধ / রিগ্রেশন মডেল প্রশিক্ষণ দিতে চান এবং এটি তত্ত্বাবধানে শেখার সমস্যা। আপনি যে লক্ষ্যটি অর্জন করেছেন তা হ'ল আপনার গভীর নেটওয়ার্কের শেষ স্তর থেকে আপনার আসল ইনপুটটির "চূড়ান্ত রূপান্তরিত সংস্করণ" নেওয়া এবং এটিকে কোনও শ্রেণিবদ্ধের ইনপুট হিসাবে ব্যবহার করুন (উদ্যানের শ্রেণিবদ্ধ / সফটম্যাক্স শ্রেণিবদ্ধ / লজিস্টিক রিগ্রেশন ইত্যাদি)। একে স্ট্যাকিং বলা হয়।

আপনি যখন এই শেষ-ধাপের শ্রেণিবদ্ধ / শিক্ষানবিশকে প্রশিক্ষণ দিচ্ছেন, আপনি সম্পূর্ণ নেটওয়ার্কে আপনার সমস্ত শিক্ষার প্রচার করেন। এটি নিশ্চিত করে যে আপনার লেবেলগুলি / আউটপুটগুলি থেকে শিখতে এবং সেই অনুযায়ী শিখানো স্তর-ভিত্তিক পরামিতিগুলি সংশোধন করতে সক্ষম।

সুতরাং, আপনি একবার আপনার জেনারেটরি মডেল প্রশিক্ষণ প্রাপ্ত হয়ে গেলে আপনার জেনেরেটরি মডেলের আউটপুট নিন এবং সেটিকে শ্রেণিবদ্ধ / শিক্ষানবিশ হিসাবে ইনপুট হিসাবে ব্যবহার করুন। শেখা চালিয়ে যাওয়ার সাথে সাথে ত্রুটিটিকে পুরো নেটওয়ার্কের মধ্যে দিয়ে যেতে দিন যাতে আপনি পূর্ববর্তী পদক্ষেপগুলিতে শিখে যাওয়া স্তর অনুসারে পরামিতিটি পরিবর্তন করতে পারেন।

— সাল
সূত্র

0

আপনি আপনার চিত্রগুলিতে সজ্জিত আরবিএম প্রশিক্ষণ দিতে পারেন এবং তারপরে আরবিএম স্ট্যাক এবং লেবেলগুলি থেকে আউটপুট সংক্ষেপণের উপর চূড়ান্ত আরবিএমকে প্রশিক্ষণ দিতে পারেন। তারপরে আপনি প্রকৃতপক্ষে শ্রেণিবিন্যাসের জন্য আরবিএম ব্যবহার করতে পারেন। হিন্টন ++ এর এই নিবন্ধটি এই পদ্ধতির ব্যাখ্যা করে ডিপ বিশ্বাসের জালের জন্য একটি ফাস্ট লার্নিং অ্যালগরিদম , এছাড়াও আপনি এই ডেমোটি একবার দেখে নিতে পারেন

— ক্রিস্টিন এইচ
সূত্র