অ্যাক্টিভেশন ফাংশন হিসাবে আমি কি স্বয়ংক্রিয়কোডারে রিলু ব্যবহার করতে পারি?

Question

নিউরাল নেটওয়ার্ক সহ একটি অটোরকোডার কার্যকর করার সময়, বেশিরভাগ লোকেরা অ্যাক্টিভেশন ফাংশন হিসাবে সিগময়েড ব্যবহার করবেন।

আমরা কি এর পরিবর্তে রিলু ব্যবহার করতে পারি? (যেহেতু আরএলইউর উপরের বাউন্ডের কোনও সীমা নেই, মূলত ইনপুট চিত্রটি সিগময়েড ব্যবহারের সময় অটোরকোডারের সীমাবদ্ধ মানদণ্ডের বিপরীতে পিক্সেল 1 এর চেয়ে বড় হতে পারে)।

Answer 1

এখানে একটি আলোচনার থ্রেড রয়েছে (জুলাই ২০১৩ থেকে) ইঙ্গিত করে যে এটিতে কিছু সমস্যা থাকতে পারে তবে এটি করা যেতে পারে।

ইয়ালার গালিয়েহ্রে (যোশুয়া বেঙ্গিওর ল্যাব থেকে) বলেছেন যে তিনি জ্ঞান সংক্রান্ত বিষয়গুলিতে সফলভাবে নিম্নলিখিত কৌশলটি ব্যবহার করেছেন: অনুকূলকরণের জন্য পূর্বের তথ্যের গুরুত্ব :

প্রথম ডিএই যথারীতি প্রশিক্ষণ দিন, তবে লুকানো স্তরে সংশোধনকারীদের a1(x) = W1 x + b1 h1 = f1(x) = rectifier(a1(x)) g1(h1) = {sigmoid}(V1 h1 + c1) সাথে: জি 1 (এফ 1 (দুর্নীতিগ্রস্থ (এক্স)) এবং এক্স এর সাথে তুলনা করে ক্রস-এনট্রপি বা এমএসই ক্ষতি হ্রাস করুন। সিগময়েডটি ডেটার উপর নির্ভর করে .চ্ছিক।

2nd কৃষি সম্প্রসারণ অধিদপ্তরের প্রশিক্ষণ দিয়ে গোলমাল সামনে MSE ক্ষতি সঙ্গে F1 সংশোধনকারী এবং ব্যবহার softplus পুনর্গঠন ইউনিট যোগ করেছেন: h2 = f2(h1) = rectifier(W2 h1 + b2) g2(h2) = softplus(V2 h2 + c2) কমান$\lVert f_1(x) - g_2(f_2(\mathrm{rectifier}(\mathrm{corrupt}(a_1(x))))) \rVert^2 + \lambda_1 \lVert W \rVert_1 + \lambda_2 \lVert W \rVert_2$

বেঞ্জিও ল্যাব থেকে আসা জাভিয়ার গ্লোরট বলেছিলেন যে ডোমেন অভিযোজন উভয়ের জন্য "অ্যাক্টিভেশন মানগুলিতে" একটি জরিমানা (সম্ভবতঃ ?) তিনি একই কাজ করেছেন for বৃহত্তর স্কেল সেন্টিমেন্ট শ্রেণিবদ্ধকরণ : একটি গভীর শিখন পদ্ধতির (আইসিএমএল ২০১১) এবং ডিপ স্পার্স রেকটিফায়ার নিউরাল নেটওয়ার্কগুলিতে (এআইআইএসটিএটিএস ২০১১)।$\lVert W \rVert_1$$L_1$$\lVert g_2(\dots) \rVert_1$

Comments

দ্রুত সাড়া দেওয়ার জন্য ধন্যবাদ! সুতরাং আপনি বলছেন যে সিটময়েডের পরিবর্তে যখন রেএলইউ ব্যবহার করা হয় তখন অটেনকোডারটি অনুকূলকরণে কিছু সমস্যা আছে?

— রকটিস্টার

দেখে মনে হচ্ছে এটি সমস্যার কারণ হতে পারে, হ্যাঁ, তবে আপনি যদি সঠিকভাবে শেখার প্রক্রিয়াটি সেট আপ করেন তবে এটি অবশ্যই করা যেতে পারে। এটি লিঙ্কযুক্ত কাগজপত্র পড়তে সাহায্য করতে পারে।

— ডগল

আমি এমএনআইএসটি ডেটাসেটে একটি সাধারণ স্বয়ংক্রিয়কোডার নিয়ে পরীক্ষা নিরীক্ষা করছি। আমি 784-128-64-2-64-128-784 আর্কিটেকচারের সাথে সম্পূর্ণ সংযুক্ত নেটওয়ার্কগুলি ব্যবহার করি। আমি সর্বত্রই রিলাস ব্যবহার করি, তবে বোতল নখ স্তর (রেলু বা লিনিয়ার) এবং আউটপুট স্তর (রেলু বা সিগময়েড) নিয়ে পরীক্ষা নিরীক্ষা করছি। আউটপুটে রেকটিফায়ার ব্যবহার খারাপ কর্মক্ষমতা বাড়ে; সিগময়েড আরও ভাল করে। সিগময়েড আউটপুটের জন্য, লিনিয়ার বাটনেলেক কিছুটা ভাল করছে বলে মনে হচ্ছে। সুতরাং এই দুটি স্তরের জন্য আমার প্রিয় সমন্বয়টি লিনিয়ার / সিগময়েড। (যাইহোক, সমস্ত স্তরগুলিতে সিগময়েড ব্যবহার করা এটি পরিষ্কারভাবে আরও খারাপ করে তোলে))

— অ্যামিবা

@ ইমোবা আমার কাছে অবাক হওয়ার মতো বিষয় নয় যে রিলু আউটপুটগুলি খারাপ: আপনি যদি জানেন যে আউটপুটগুলির নির্দিষ্ট সীমাবদ্ধতা রয়েছে তবে এটি একটি সক্রিয়করণ ফাংশনটি ব্যবহার করা বোধগম্য যা আপনাকে এই সীমানায় সীমাবদ্ধ করে। আমি এই অঞ্চলে খুব অভিজ্ঞ নই, তবে আমি সম্ভবত লুকানো স্তরগুলির জন্য একটি ইএলইউ বা একটি ফাঁসানো রিলিজ চেষ্টা করে দেখি।

— ডগল

ওহ, বাহ, আমি ইএলইউ সম্পর্কে সচেতন ছিলাম না! ডগাল টিপটির জন্য অনেক ধন্যবাদ। আমি তাদের চেষ্টা করেছি, এবং তারা আরও ভাল কাজ করে। গভীর শেখা আশ্চর্যজনক: প্রতি বছর নতুন কৌশলগুলি উপস্থিত হয় এবং কিছু অন্যের চেয়ে ভাল কেন কাজ করে তা কারওই ধারণা নেই। (সিসি টু @ রক দ্যস্টার)। যাইহোক, আমি আরও দেখতে পেয়েছি যে অ্যাডাম অপ্টিমাইজারটি দুর্দান্ত দুর্দান্ত অভিনয় করে।

— অ্যামিবা