নিউরাল নেট লুকানো অ্যাক্টিভেশন ফাংশন পছন্দ


14

আমি অন্য কোথাও পড়েছি যে কোনও এনএন-তে লুকানো স্তর অ্যাক্টিভেশন ফাংশনটির কারও পছন্দ প্রয়োজনের ভিত্তিতে হওয়া উচিত , অর্থাত আপনার যদি -1 থেকে 1 সীমাতে মান ব্যবহার করতে হয় তবে তানহ ব্যবহার করুন এবং 0 থেকে 1 ব্যাপ্তির জন্য সিগময়েড ব্যবহার করুন।

আমার প্রশ্ন হ'ল কীভাবে একজন জানে যে যার প্রয়োজন কী? এটি কি ইনপুট স্তরের পরিসরের উপর ভিত্তি করে, উদাহরণস্বরূপ এমন ফাংশনটি ব্যবহার করুন যা ইনপুট স্তরের সম্পূর্ণ মানগুলিকে পরিবেষ্টন করতে পারে বা কোনওভাবে ইনপুট স্তরের বিতরণ (গাউসিয়ান ফাংশন) প্রতিফলিত করে? বা প্রয়োজনীয় সমস্যা / ডোমেন নির্দিষ্ট এবং এই পছন্দটি করার জন্য কারও অভিজ্ঞতা / রায় প্রয়োজন? অথবা এটি কেবল "এমনটি ব্যবহার করুন যা সর্বোত্তম ক্রস-বৈধ ন্যূনতম প্রশিক্ষণের ত্রুটি দেয়?"


3
এই যুক্তিটি বিএস, কারণ (তানহ +১) / ২ এছাড়াও 0-1-এ রয়েছে, "সিগময়েড" এমন একটি অস্পষ্ট শব্দ যা এটি প্রায়শই তানহকে coversেকে রাখে তা উল্লেখ করার প্রয়োজন নেই।

এটি সম্ভবত উল্লেখ করার মতো যে কোনও ডেটা সেটকে 0-> 1 এ সাধারণ করা যায় এবং সিগময়েড অ্যাক্টিভেশন ব্যবহার করা যায় 1 + (1 / exp(-sum))। মেকিং প্রয়োজন খুব কঠিন প্রতিটি ডেটা সেটে উভয় চেষ্টা ছাড়া বুঝতে। আপনি যেহেতু এখানে এটি বর্ণনা করেছেন সেই প্রয়োজনীয়তাটি সত্যিকারের সম্পর্কের সাথে জড়িত, যা বাইনারি ডেটা সেটটি শিখবে কিনা তা দেওয়া বা ভিন্ন ভিন্ন ক্রিয়াকলাপে তা শিখবে।
অ্যাড্রিয়ান সলে 16

উত্তর:


12

লেকন এটিকে দক্ষ ব্যাকপ্রপ বিভাগ ৪.৪ এ আলোচনা করেছে । অনুপ্রেরণাটি ইনপুটকে জিরো গড় (বিভাগ ৪.৩) এ স্বাভাবিক করার জন্য অনুপ্রেরণার অনুরূপ। তান অ্যাক্টিভেশন ফাংশনের গড় ফলাফলগুলি সিগময়েডের তুলনায় শূন্যের কাছাকাছি হওয়ার সম্ভাবনা বেশি, যার গড় আউটপুট ইতিবাচক হতে হবে be


খুব তথ্যপূর্ণ পড়া!
ব্যাবেলপ্রুড্রেডার

6

প্রশ্নের প্রথম অনুচ্ছেদে উল্লিখিত প্রয়োজনীয়তা আড়াল স্তর অ্যাক্টিভেশন ফাংশনের পরিবর্তে আউটপুট স্তর অ্যাক্টিভেশন ফাংশনের সাথে সম্পর্কিত । 0 থেকে 1 এর মধ্যে আউটপুট থাকা সুবিধাজনক কারণ এর অর্থ তারা সরাসরি সম্ভাবনার প্রতিনিধিত্ব করতে পারে। তবে আইআইআরসি, তানহ আউটপুট লেয়ার অ্যাক্টিভেশন ফাংশন সহ একটি নেটওয়ার্ককে তুচ্ছভাবে লজিস্টিক আউটপুট লেয়ার অ্যাক্টিভেশন ফাংশন সহ একটি নেটওয়ার্কে রূপান্তরিত করা যেতে পারে, সুতরাং এটি বাস্তবে খুব বেশি গুরুত্ব দেয় না।

আইআইআরসি লুকানো ইউনিটগুলিতে লজিস্টিক অ্যাক্টিভেশন ফাংশনের চেয়ে তানহ ব্যবহার করার কারণ, যা ব্যাকপ্রোপেশন ব্যবহার করে ওজনে পরিবর্তনটি হাইড লেয়ার নিউরনের আউটপুট এবং অ্যাক্টিভেশন ফাংশনের ডেরিভেটিভ উভয়ের উপর নির্ভর করে, তাই লজিস্টিক অ্যাক্টিভেশন ব্যবহার করে ফাংশন আপনার উভয় একই সময়ে শূন্যে যেতে পারে, যা লুকানো স্তর ইউনিট হিমায়িত হয়ে শেষ হতে পারে।

সংক্ষেপে, লুকানো স্তর অ্যাক্টিভেশন ফাংশনগুলির জন্য তানহ ব্যবহার করুন, আউটপুটটিতে কাঙ্ক্ষিত সীমাবদ্ধতাগুলি প্রয়োগ করতে আউটপুট স্তর অ্যাক্টিভেশন ফাংশনটি বেছে নিয়েছেন (সাধারণ পছন্দ: লিনিয়ার - কোনও সীমাবদ্ধতা নেই, লজিস্টিক - আউটপুট 0 থেকে 1 এবং ক্ষতিকারক - আউটপুট কঠোরভাবে ইতিবাচক) lies


আমি "... দুজনেই শূন্য হয়ে যাই ..." পাই না। আমি দেখি আউটপুট শূন্য হতে পারে তবে তানহ হিসাবে লজিস্টিক ফাংশনের ডেরিভেটিভ শূন্য হওয়া কীভাবে সম্ভব।
ইরোগল

এটি একেবারে শূন্যে যায় না, লজিস্টিক ফাংশনের জন্য, এটি কেবল খুব ছোট হয়ে যায়। টান ফাংশনের জন্য, আউটপুটটি শূন্য এবং ডেরাইভেটিভ সবচেয়ে ছোট হলে আউটপুট তার বৃহত্তম অবস্থানে থাকে। মূল কাগজটি 80 এর দশকের শেষভাগে লেখা হয়েছিল, আমি বিবরণগুলি মনে করতে পারি কিনা তা আমি দেখতে পাব।
ডিকরান মার্শুপিয়াল

2
আমি মূল কাগজটি খুঁজে পাচ্ছি না, তবে "নিউরাল নেটওয়ার্কস - ট্রেডের ট্রিকস" বইয়ের কিছু কাগজপত্রে বোঝানো হয়েছে যে লুকানো স্তরের ক্রিয়াকলাপগুলি কেন্দ্রিক হলে নেটওয়ার্কগুলি আরও ভাল সঞ্চালন করে তানহ আরও ভাল ( )।
ডিকরান মার্শুপিয়াল

2

1.7159×tanh(x×(2/3))1+1[1.5,+1.5]

আপনার উদ্দেশ্যটির জন্য সিগময়েড চয়ন করার সাধারণ ধারণাটি নিয়ম অনুসারে একটি চয়ন করা হয়, আপনার আউটপুট মানগুলি পয়েন্টের সীমাতে থাকে, সিগময়েড ফাংশনের সর্বাধিক দ্বিতীয় ডেরাইভেটিভ করে তোলে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.