সীমাবদ্ধ বল্টজম্যান মেশিনগুলির আধুনিক ব্যবহারের মামলাগুলি (আরবিএম)?


16

ব্যাকগ্রাউন্ড: বিগত years 4 বছরে (পোস্ট অ্যালেক্সনেট ) আধুনিক গবেষণার ফলে শিল্পের শ্রেণিবিন্যাসের ফলাফল অর্জনের জন্য নিউরাল নেটওয়ার্কগুলির জন্য জেনারেটরি প্রট্রাইনিং ব্যবহার থেকে দূরে সরে গেছে বলে মনে হয়।

উদাহরণস্বরূপ, এখানে মনিস্টের শীর্ষ ফলাফলগুলিতে শীর্ষ 50 এর মধ্যে কেবল 2 টি কাগজপত্র জেনারেটরি মডেলগুলি ব্যবহার করছে বলে মনে হয়, উভয়ই আরবিএম এর। অন্যান্য 48 টি বিজয়ী কাগজপত্রগুলি বিভিন্ন বৈষম্যমূলক ফিড ফরোয়ার্ড আর্কিটেকচার সম্পর্কে রয়েছে যাতে অনেক ভাল / উপন্যাসের ওজন সূচনা এবং সক্রিয়করণ ফাংশনগুলি আরবিএম এবং বহু পুরানো নিউরাল নেটওয়ার্কগুলিতে ব্যবহৃত সিগময়েড থেকে আলাদা খুঁজে পাওয়ার দিকে অনেক প্রচেষ্টা করা হয়।

প্রশ্ন: সীমাবদ্ধ বল্টজম্যান মেশিনগুলি আর ব্যবহার করার কোনও আধুনিক কারণ নেই?

যদি তা না হয় তবে তাদের কোনও স্তর তৈরির জন্য কোনও ফিড ফরোয়ার্ড আর্কিটেকচারগুলিতে কোনও ফ্যাক্টো মডিফিকেশন রয়েছে কি?

অনুপ্রেরণা: আমি জিজ্ঞাসা করি কারণ আমি যে কয়েকটি মডেলগুলি দেখতে পাচ্ছি তা সাধারণত আরবিএম-এ পাওয়া যায়, এই জেনারেটর স্তরগুলি / মডেলগুলির সাথে স্পষ্টভাবে অভিন্ন বৈষম্যমূলক অংশ নেই এবং ভিসার বিপরীতে। উদাহরণ স্বরূপ:

  • mcRBM

  • ssRBM

  • সিআরবিএম (যদিও কেউ সিএনএন-র ব্যবহৃত ফিড ফরোয়ার্ড আর্কিটেকচারটি তাত্পর্যপূর্ণ উপমা আর্কিটেকচার হ'ল )

এছাড়াও, এগুলি স্পষ্টভাবে প্রাক অ্যালেক্সনেট ছিল, 2010, 2011 এবং 2009 থেকে শ্রদ্ধার সাথে।


3
এর মজাদার জন্য, আমি অটো রিগ্রেশনের মাধ্যমে একটি জেনারেটেড ফিড ফরোয়ার্ড এনএন তৈরি করেছি। power2predict.edublogs.org/2016/06/26/…
ক্রিস

উত্তর:


6

এটি এক পুরানো প্রশ্ন, তবে যেহেতু এটি প্রযুক্তিগতভাবে সম্ভব (যেমন, খুব বেশি গবেষণার ফোকাসের প্রয়োজন নেই) এর চেয়ে মূলত সর্বোত্তম অভ্যাসের জন্য জিজ্ঞাসা করে, বর্তমান সেরা অনুশীলনগুলি হ'ল:

  • আরবিএমগুলি বর্তমানে সাধারণত ব্যবহৃত হয় না
  • লিনিয়ার মডেল (লিনিয়ার রিগ্রেশন, লজিস্টিক রিগ্রেশন) যেখানে সম্ভব সেখানে ব্যবহার করা হয়
  • অন্যথায় স্তরগুলির সাথে গভীরভাবে ফিড-ফরোয়ার্ড নেটওয়ার্কগুলি যেমন সম্পূর্ণরূপে সংযুক্ত স্তরগুলি, কনভ্যুশনাল স্তরগুলি এবং কোনও ধরণের নিয়মিতকরণ স্তরগুলিতে ফেলে দেওয়া যেমন ড্রপআউট এবং ইদানীং ব্যাচ-নর্মালাইজেশন
  • এর মধ্যে অবশ্যই অ্যাক্টিভেশন স্তরগুলির সাথে, সাধারণত রিলু, তবে তানহ এবং সিগময়েড খুব ব্যবহৃত হয়
  • এবং সম্ভবত কিছু সর্বাধিক পুলিং (সর্বদা নয়: গড় পুলিং এবং অন্যগুলিও ব্যবহৃত হয়)

উত্পাদনমূলক ব্যবহারের জন্য, সাধারণ কৌশলগুলির মধ্যে রয়েছে:


1

আমি সম্প্রতি এই কাগজটি "বোল্টজম্যান এনকোডেড অ্যাডভারসিয়াল মেশিনস" তে পেয়েছি যা আরবিএমগুলিকে সিএনএন এর সাথে জেনারেটরি মডেল হিসাবে সংহত করে।

লেখকরা দেখিয়েছেন এটি কিছু উপায়ে গাণিতিকভাবে "আরও ভাল" এবং কিছু খেলনার উদাহরণ দেখায় যেখানে বিএইম অন্যান্য জিএএন মডেলের তুলনায় ডেটা বিতরণ সঠিকভাবে শেখার জন্য আরও বেশি সক্ষম বলে মনে হয়।

সেলিবের মুখগুলির "বাস্তব বিশ্বের" বেঞ্চমার্কটি অনেক কম চিত্তাকর্ষক ছিল - এটি স্পষ্ট নয় যে বিইএম আরও ভাল বা এমনকি পাশাপাশি জনপ্রিয় অন্যান্য জিএএনও করে না। তবে এই সেটিংয়ে আরবিএম ব্যবহার অবশ্যই আকর্ষণীয়।


আপনি কি মনে করেন যে এই ব্যর্থতাটি বিএএম এর অনুসন্ধানের জায়গাগুলির জন্য দায়ী করা হয়েছে মডেল সংজ্ঞায় স্বাধীনতার স্বতন্ত্র একটি বৃহত্তর সেটকে অনুমতি দেয়?
ভাস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.