প্রতিরোধের জন্য বল্টজম্যান মেশিনগুলি সীমাবদ্ধ?


13

আমি আরবিএমগুলিতে আগে জিজ্ঞাসা করা প্রশ্নটি অনুসরণ করছি । আমি তাদের প্রচুর সাহিত্যের বিবরণ দেখতে পাচ্ছি কিন্তু বাস্তবে রিগ্রেশন নিয়ে কথা বলে না এমন কোনও কিছুই নেই (এমনকি লেবেলযুক্ত ডেটা সহ শ্রেণিবদ্ধকরণও নয়)। আমি একটি অনুভূতি পেয়েছি যে এটি কেবল লেবেলযুক্ত ডেটার জন্য ব্যবহৃত হয়। রিগ্রেশন পরিচালনা করার জন্য কি কোনও সংস্থান আছে? বা লুকানো স্তরের উপরে আরও একটি স্তর যুক্ত করে সিডি অ্যালগরিদমকে উপরে এবং নীচে চালানোর মতো সহজ? অনেক আগে থেকেই ধন্যবাদ।

উত্তর:


18

আপনি লেবেলযুক্ত ডেটা সম্পর্কে ঠিক বলেছেন। আরবিএম হ'ল জেনারেটরি মডেল এবং সর্বাধিক অব্যাহত শিক্ষানবিশ শিক্ষার্থী হিসাবে ব্যবহৃত হয়।

একটি গভীর বিশ্বাস নেটওয়ার্ক তৈরির জন্য যখন ব্যবহার করা হয় তখন সর্বাধিক সাধারণ পদ্ধতিটি হ'ল একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে একে কম বেশি কমিয়ে ছাঁটাই করা। " সুতরাং বিপরীত প্রতিরোধটি সেই অর্থে উপরে উঠছে না যা আমি মনে করি আপনি বোঝাতে চাইছেন। এটি নতুন শীর্ষস্থানীয় আরবিএমের ইনপুট হিসাবে পূর্ববর্তী শীর্ষতম আরবিএমের লুকানো স্তরটি ব্যবহার করে একসাথে কেবল একটি আরবিএমের সাথে কাজ করছে। এত কিছুর পরেও আপনি আরবিএম ওজনের স্ট্যাকটিকে স্ট্যান্ডার্ড ফিড ফরোয়ার্ড নিউরাল নেটওয়ার্কের জন্য প্রাথমিক ওজন হিসাবে বিবেচনা করতে পারেন এবং আপনার লেবেলযুক্ত ডেটা এবং ব্যাকপ্রোগেশন ব্যবহার করে ট্রেন করতে পারেন বা ওয়েক-স্লিপ অ্যালগরিদম ব্যবহারের মতো আরও কিছু বিদেশী কাজ করতে পারেন। লক্ষ্য করুন যে আমরা এই শেষ ধাপ অবধি কোনও লেবেলযুক্ত ডেটা ব্যবহার করি নি, এটি এই ধরণের মডেলের অন্যতম সুবিধা।

অন্যদিকে, আপনি শ্রেণিবিন্যাসের জন্য আরবিএম ব্যবহার করার বিভিন্ন উপায় রয়েছে ways

  • একটি আরবিএম বা কয়েকটি আরবিএমের স্ট্যাক প্রশিক্ষণ দিন। অন্য কিছু তদারকি করা শিক্ষার্থীর ইনপুট হিসাবে শীর্ষতম লুকানো স্তরটি ব্যবহার করুন।
  • প্রতিটি শ্রেণীর জন্য একটি আরবিএম প্রশিক্ষণ দিন এবং বৈষম্যমূলক শ্রেণিবদ্ধের ইনপুট হিসাবে অস্বাভাবিক শক্তিগুলি ব্যবহার করুন।
  • আরবিএমকে পি (এক্স, ওয়াই) এর একটি যৌথ ঘনত্বের মডেল হতে প্রশিক্ষণ দিন। তারপরে কিছু ইনপুট এক্স দেওয়া হল, কেবলমাত্র y ক্লাসটি বেছে নিন যা শক্তি ফাংশনকে ন্যূনতম করে তোলে (ধীরে ধীরে জেড সমস্ত শ্রেণীর জন্য একই কারণ এখানে উপরের মতো স্বাভাবিক হওয়া কোনও সমস্যা নয়)।
  • একটি বৈষম্যমূলক আরবিএম প্রশিক্ষণ দিন

আমি আপনাকে জেফ হিন্টনের প্রযুক্তিগত প্রতিরোধের একটি ব্যবহারিক গাইড টু ট্রেনিং সীমাবদ্ধ বল্টজম্যান মেশিনগুলির মাধ্যমে পড়ার পরামর্শ দিয়েছি । এটি এই বিষয়গুলির বেশ কয়েকটিতে আরও বিস্তৃতভাবে আলোচনা করে, অমূল্য টিপস সরবরাহ করে, প্রচুর প্রাসঙ্গিক কাগজপত্র তুলে ধরে এবং আপনার যে কোনও বিভ্রান্তি দূর করতে সহায়তা করতে পারে।


1
সুতরাং আরবিএমগুলি কি রিগ্রেশনের জন্য ব্যবহার করা যেতে পারে?
waspinator

আপনি কীভাবে একটি আরবিএমকে একটি যৌথ ঘনত্বের মডেল হতে প্রশিক্ষণ দেন? এক্স এবং ওয়াই উভয়কেই অ গোপনীয় ইনপুট হিসাবে সরবরাহ করে, অর্থাত আপনি এটিকে পি (এক্স, ওয়াই | এইচ) হতে প্রশিক্ষণ দিচ্ছেন (এইচটি কি গোপন স্তর)?
আকিরস

আমি আমার মন্তব্যে স্ব-জবাব দিয়েছি: হ্যাঁ, "আরবিএম প্রশিক্ষণের জন্য ব্যবহারিক নির্দেশিকা" (হিন্টন, ২০১০) -তে উপরে বর্ণিত ৩ টি পদ্ধতি বিশদভাবে ব্যাখ্যা করা হয়েছে এবং তৃতীয় পদ্ধতিতে তিনি "দুটি সেট দৃশ্যমান হওয়ার বিষয়ে কথা বলেছেন" ইউনিট ", যেখানে, ডেটা ছাড়াও, একটি সফটম্যাক্স লেবেল ইউনিট শ্রেণীর প্রতিনিধিত্ব করার জন্য উপস্থাপিত হয়।
আকিরস

2

দয়া করে বাস্তবায়নটি দেখুন, http://code.google.com/p/matrbm/ । এটি বিবেচনা করার মতো একটি শ্রেণিবদ্ধকরণ rmb ফিট ফাংশন রয়েছে। আপনি যদি শ্রেণিবদ্ধকরণ এবং প্রতিরোধের জন্য ডিবিএন এবং আরএমবিগুলির আরও ভাল বাস্তবায়ন খুঁজে পান তবে আমাকেও জানান।


0

আমি মনে করি আপনি স্নাতক নেটওয়ার্কগুলি যেমন সীমাবদ্ধ বল্টজম্যান মেশিনের (আরবিএম) পরীক্ষা করতে পারেন সেগুলি হ'ল নতুন সেটগুলিতে ডেটা প্রয়োগ করা বা আরও সাধারণভাবে মোট ডেটা সেটের একটি উপসেট, এবং তারা কীভাবে সম্পাদন করে তা দেখুন। আপনি ক্রস বৈধতা সহ মডেলটিও পরীক্ষা করতে পারেন। আমি একটি জনপ্রিয় ওপেন সোর্স মেশিন লার্নিং (এমএল) সফটওয়্যার টুলকিট ব্যবহার করেছি যা ইনস্টল করা এবং ব্যবহার করা সহজ এবং এটি আপনাকে সহজেই মডেলের বেশিরভাগ রেগ্রেশন পরিসংখ্যান ( http: // www ) এর সাহায্যে অনেকগুলি এমএল অ্যালগরিদমকে আলাদাভাবে পরীক্ষা করতে দেয় । cs.waikato.ac.nz/ML/weka/ )। এটি আপনাকে প্রোগ্রাম চালানোর মূল বিষয়গুলি ব্যতীত খুব বেশি হস্তক্ষেপ ছাড়াই একটি দ্রুত বিশ্লেষণ দিতে পারে, যদিও এটি নির্ভর করে আপনার ডেটা ফর্ম্যাট করা যদি কঠিন হয় তবে (যদিও আপনি সাধারণত গুগল "সিএসভিতে আর্টে অনলাইন রূপান্তর করতে পারেন" উদাহরণস্বরূপ এক-পদক্ষেপ বিন্যাসের জন্য)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.