প্রিট্রেইনিং কী এবং আপনি কীভাবে একটি নিউরাল নেটওয়ার্ক প্রটেনেন?

Question

আমি বুঝতে পারি যে প্রচলিত প্রশিক্ষণ নিয়ে কিছু সমস্যা এড়ানোর জন্য প্রাক-প্রশিক্ষণ ব্যবহৃত হয়। আমি যদি একটি অটোনকোডার দিয়ে ব্যাকপ্রেজিগেশন ব্যবহার করি তবে আমি জানি যে আমি সময় সংক্রান্ত সমস্যাগুলিতে চলে যাব কারণ ব্যাকপ্রোপেশনটি ধীর, এবং আমি স্থানীয় অপটিমে আটকে যেতে পারি এবং নির্দিষ্ট বৈশিষ্ট্যগুলি শিখতে পারি না।

আমি যা বুঝতে পারি না তা হ'ল আমরা কীভাবে একটি নেটওয়ার্ক প্রেট্রাইন করি এবং বিশেষত আমরা প্রিটারেইনকে কী করি। উদাহরণস্বরূপ, যদি আমাদের কাছে সীমাবদ্ধ বল্টজমান মেশিনগুলির একটি স্ট্যাক দেওয়া হয়, তবে আমরা কীভাবে এই নেটওয়ার্কটিকে প্রিটারেইন করব?

Comments

$f(x) = \max(x, 0)$

হ্যাঁ, আমি এমন একটি অনুমানের অধীনে কাজ করছি যে এখানে প্রচুর পরিমাণে লেবেলযুক্ত নমুনা রয়েছে এবং কয়েকটি লেবেলযুক্ত নমুনা নেই।

— মাইকেল ইউসুফ

Answer 1

আপনি প্রতিটি আরবিএমকে স্ট্যাকের আলাদাভাবে প্রশিক্ষণ দিয়ে শুরু করুন এবং তারপরে একটি নতুন মডেলের সাথে একত্রিত করুন যা আরও টিউন করা যেতে পারে।

ধরুন আপনার কাছে 3 টি আরবিএম রয়েছে, আপনি আরবিএম 1 কে আপনার ডেটা দিয়ে প্রশিক্ষণ দিন (যেমন একগুচ্ছ চিত্র) images আরবিএম 2 আরবিএম 1 এর আউটপুট দিয়ে প্রশিক্ষিত হয়। আরবিএম 3 আরবিএম 2 এর আউটপুট নিয়ে প্রশিক্ষিত। ধারণাটি হ'ল প্রতিটি আরবিএম মডেলগুলিতে চিত্রগুলির প্রতিনিধি এবং ওজন যেগুলি তারা শিখায় তা শ্রেণিবিন্যাসের মতো অন্যান্য বৈষম্যমূলক কাজে কার্যকর।

Answer 2

স্ট্যাকড আরবিএমের প্রাক-প্রশিক্ষণ হ'ল লোভের সাথে স্তরযুক্ত সংজ্ঞায়িত শক্তি হ্রাস করা, অর্থাৎ, সম্ভাবনা সর্বাধিক করে তোলা। জি। হিন্টন সিডি-কে অ্যালগরিদম প্রস্তাব করেছিলেন, যা গিবস স্যাম্পলিংয়ের একক পুনরাবৃত্তি হিসাবে দেখা যেতে পারে।

Comments

সুতরাং স্ট্যাকড আরবিএমকে প্রাক-প্রশিক্ষণ দেওয়া আমাদের সংজ্ঞায়িত শক্তি হ্রাস করতে এবং আরও ভাল ফলাফল পেতে দেয়। এবং তারপরে হিন্টনের কনট্রেসিটিভ ডাইভারজেন্স অ্যালগরিদম হল আমরা আসলে কীভাবে প্রিটারেইন করব। অতিরিক্ত বৈশিষ্ট্য শেখার ক্ষেত্রে ঠিক কীভাবে ফেট্রাইনিং ফ্যাক্টরটি করে? আমি গতি ইস্যুর জন্য ধরে নিচ্ছি, সিডি অ্যালগরিদম ব্যাকপ্রসারণের চেয়ে অনেক দ্রুত।

— মাইকেল ইউসুফ