লোকেরা কেন এমএলপির সাথে সংমিশ্রণে গভীর আরবিএফ বা আরবিএফ ব্যবহার করে না?

Question

সুতরাং রেডিয়াল বেসিস ফাংশন নিউরাল নেটওয়ার্কগুলির দিকে তাকানোর সময়, আমি লক্ষ্য করেছি যে লোকেরা কেবল 1 টি লুকানো স্তর ব্যবহার করার পরামর্শ দেয়, যখন মাল্টিলেয়ার পারসেপ্ট্রন নিউরাল নেটওয়ার্কগুলির সাথে আরও স্তরগুলি আরও ভাল বলে বিবেচনা করা হয়।

আরবিএফ নেটওয়ার্কগুলি ব্যাক বংশবিস্তারের সংস্করণ দিয়ে প্রশিক্ষণ দেওয়া যেতে পারে যে গভীর আরবিএফ নেটওয়ার্কগুলি কাজ না করার কোনও কারণ আছে বা একটি গভীর এমএলপি নেটওয়ার্কে কোনও আরবিএফ স্তরটি পেনাল্টিমেট বা প্রথম স্তর হিসাবে ব্যবহার করা যায় না? (আমি পেনাল্টিমেট লেয়ারটি ভাবছিলাম যাতে এটি পূর্ববর্তী এমএলপি স্তরগুলির দ্বারা শিখে নেওয়া বৈশিষ্ট্যগুলিতে মূলত প্রশিক্ষণ দেওয়া যায়)

Comments

আমি কোনও এনএন বিশেষজ্ঞ নই, তবে আমার ধারণাটি হ'ল স্ট্যান্ডার্ড ফিড-ফরোয়ার্ড এনএন এর সাথে একাধিক লুকানো স্তর সাধারণত বেশি পরিমাণে যোগ করে না।

— গুং - মনিকা পুনরায়

এটি এনএন গবেষণার আগের দিনগুলিতে ছিল, তবে এখন আরও স্তরগুলি সাধারণত বৃহত্তর পারফরম্যান্সের (গভীর শিখন) রেসিপি। আমার মনে হয় বর্তমানের প্রিয় পদ্ধতিরটি একটি স্মার্ট সূচনা, যতটা সম্ভব স্তরগুলি, স্যাচুরেশন এড়ানোর জন্য সিগময়েডাল অ্যাক্টিভেশনগুলির পরিবর্তে ড্রপআউট এবং সফটম্যাক্সের মাধ্যমে নিয়মিতকরণ। (তবে কৌশলগুলি সম্পর্কে আমি ভুল হতে পারি)। আমি মনে করি কিছু লোক আরও ভাল ফলাফল পেতে পুনরাবৃত্তি গভীরতর ব্যবহার করে। এছাড়াও, গুগল একটি 100 স্তর নেটওয়ার্কের মাধ্যমে 2014 সালে ইমেজনেটে ​​আর্টের রাজ্য পেয়েছে।

— ব্যবহারকারী1646196

Answer 1

মূল সমস্যাটি হ'ল আরবিএফগুলি ক) খুব অ-লাইনিক, খ) মাত্রা হ্রাস করবেন না।

কারণ ক) আরবিএফগুলি সর্বদা গ্রেডিয়েন্ট বংশোদ্ভূত না হয়ে কে-উপায়ে প্রশিক্ষিত ছিল।

আমি দাবি করব যে ডিপ এনএনএসে মূল সাফল্য হল কনফ নেট, যেখানে মূল অংশগুলির মধ্যে একটি মাত্রা হ্রাস: যদিও 128x128x3 = 50,000 ইনপুট বলার সাথে কাজ করা হলেও প্রতিটি নিউরনের একটি সীমাবদ্ধ গ্রহণযোগ্য ক্ষেত্র রয়েছে, এবং প্রতিটি স্তরে অনেক কম নিউরন রয়েছে .একটি এমএলপিতে প্রদত্ত স্তরটিতে- প্রতিটি নিউরন একটি বৈশিষ্ট্য / মাত্রা উপস্থাপন করে) যাতে আপনি ক্রমাগত মাত্রিকতা হ্রাস করে চলেছেন (স্তর থেকে স্তর পর্যন্ত)।

যদিও কেউ আরবিএফ সমবায় ম্যাট্রিক্সকে অভিযোজিত করতে পারে এবং তেমনি মাত্রা হ্রাস করতে পারে, এটি প্রশিক্ষণ দেওয়া আরও শক্ত করে তোলে।

Comments

আমি সম্প্রতি একটি কাগজ পড়েছি যাতে আরবিএফ নেটওয়ার্কগুলি প্রশিক্ষণের জন্য ব্যাক-প্রসারণ অ্যালগরিদমের প্রস্তাব দেওয়া হয়েছিল। এটি দেওয়া কি গভীর নেটওয়ার্কে কোনও আরবিএফকে চূড়ান্ত স্তর হিসাবে রাখলে কোনও সুবিধা হতে পারে? আমি মনে করি এই ফর্মটিতে বাকী গভীর নেটওয়ার্কগুলি মূলত আরবিএফ শ্রেণিবদ্ধ করতে পারে এমন বৈশিষ্ট্যগুলি সনাক্ত করবে

— ইউজার1646196

হতে পারে আপনার কাগজের সাথে লিঙ্ক করা উচিত এবং তারপরে লোকেরা আরও জবাবদিহি করতে পারে। আমি কোনও সুবিধা দেখতে পাচ্ছি না ... আরবিএফ খুব অ-রৈখিক (এবং যেমন সিগময়েডগুলি রিলু দ্বারা প্রতিস্থাপন করা হয়েছে কারণ তারা খুব লিনিয়ার-বিন্যাসযোগ্য গ্রেডিয়েন্ট ছিল ...)। লোকেরা কী করে শীর্ষে স্ট্যান্ডার্ড এমপিএল দিয়ে কনভ নেট দিয়ে প্রশিক্ষণ দেয়, তারপরে এমপিএল ফেলে দেয় এবং এসএমএম ব্যবহার করে

— seanv507

যদি আপনি এটি এখানে সেখানে একটি paywall যদি পড়তে পারেন কাগজ নিশ্চিত "নির্বাচনী backpropagation সঙ্গে প্রশিক্ষণ RBF নেটওয়ার্ক" হয় না sciencedirect.com/science/article/pii/S0925231203005411 । আমি জানি না যে সিগময়েডগুলি অনৈখিকতার কারণে রিলু দ্বারা প্রতিস্থাপন করা হয়েছিল, তবে আমি যে দেখতে পেলাম যে অনৈখিকতা বর্ধিত হবে কীভাবে এড়িয়ে যেতে হবে। আমি উত্তরটি স্বীকৃত হিসাবে চিহ্নিত করব :)

— user1646196