অ্যাক্টিভেশন ফাংশনগুলিকে একঘেয়ে হতে হবে কেন?

আমি বর্তমানে নিউরাল নেটওয়ার্কগুলিতে একটি পরীক্ষার জন্য প্রস্তুতি নিচ্ছি। প্রাক্তন পরীক্ষাগুলির বেশ কয়েকটি প্রোটোকলে আমি পড়েছি যে নিউরনের অ্যাক্টিভেশন ফাংশনগুলি (মাল্টিলেয়ার পারসেপ্ট্রনে) একঘেয়ে হতে হবে be

আমি বুঝতে পারি যে অ্যাক্টিভেশন ফাংশনগুলি পৃথকযোগ্য হওয়া উচিত, একটি ডেরাইভেটিভ থাকতে হবে যা বেশিরভাগ পয়েন্টে 0 নয়, এবং অ-রৈখিক হওয়া উচিত। একঘেয়ে হয়ে যাওয়া কেন গুরুত্বপূর্ণ / সহায়ক তা আমি বুঝতে পারি না।

আমি নীচের অ্যাক্টিভেশন ফাংশন জানি এবং তারা একঘেয়েমি:

ReLU
সিগমা
TANH
সফটম্যাক্স: একঘেয়েমিটির সংজ্ঞাটি ফাংশনগুলির জন্য প্রযোজ্য কিনা তা আমি নিশ্চিত নছি $f: \mathbb{R}^n \rightarrow \mathbb{R}^m$ , $n, m > 1$
Softplus
(পরিচয়পত্র)

যাইহোক, উদাহরণস্বরূপ কোনও কারণ আমি এখনও দেখতে পাচ্ছি না । $\varphi(x) = x^2$

অ্যাক্টিভেশন ফাংশনগুলিকে একঘেয়ে হতে হবে কেন?

(সম্পর্কিত দিকের প্রশ্ন: লগারিদম / এক্সপেনশিয়াল ফাংশনটি অ্যাক্টিভেশন ফাংশন হিসাবে ব্যবহার না করার কোনও কারণ আছে কি?)

machine-learning neural-network

— মার্টিন থোমা
সূত্র

এফওয়াইআই: স্নায়ুবিক নেটওয়ার্কগুলিতে পেশাদার /

— বিঘ্নগুলির

@ মার্টিনথোমা আপনি কি নিশ্চিত যে সফটম্যাক্স একঘেয়ে?

— মিডিয়া

ধন্যবাদ @ মিডিয়া। আপনার প্রশ্নের উত্তর দেওয়ার জন্য আমি নিশ্চিত "একঘেয়ে" এ কাজকর্মের জন্য এমনকি উপায়ে নই

সঙ্গে

। জন্য

softmax ধ্রুবক এবং এইভাবে একঘেয়ে হয়। কিন্তু সংজ্ঞা ছাড়া

মধ্যে উপাদানের জন্য

সঙ্গে

আমি মনে করি না একঘেয়ে তোলে কোন অর্থে না।

f : R^{n} \to R^{m}

$f:R^n \rightarrow R^m$

m > 1

$m > 1$

m = 1

$m=1$

<

$<$

R^{n}

$R^n$

n > 1

$n>1$

— মার্টিন থোমা

@ মার্টিন থোমা ধন্যবাদ, আসলে এটি আমারও একটি প্রশ্ন ছিল। আমি জানতাম না, এবং এখনও জানি না, যদি একাধিক আউটপুটগুলির সাথে ফাংশনে একঘেয়ে জন্য কোনও এক্সটেনশন থাকে is ম্যাথ স্টাফ, আপনি জানেন!

— মিডিয়া

উত্তর:

একঘেয়েমিটির মানদণ্ডটি নিউরাল নেটওয়ার্ককে আরও বেশি নির্ভুল শ্রেণিবদ্ধে রূপান্তরিত করতে সহায়তা করে। আরও বিশদ এবং কারণে এই স্ট্যাকেক্সচেঞ্জের উত্তর এবং উইকিপিডিয়া নিবন্ধটি দেখুন ।

তবে, অ্যাক্টিভেশন ফাংশনের জন্য একঘেয়েমিটির মানদণ্ড বাধ্যতামূলক নয় - নন-মোনটোনিক অ্যাক্টিভেশন ফাংশনগুলির সাথে নিউরাল নেটগুলি প্রশিক্ষণ দেওয়াও সম্ভব। স্নায়বিক নেটওয়ার্কটি অপ্টিমাইজ করা শক্ত হয়ে পড়ে। দেখুন Yoshua Bengio এর উত্তর ।

— ডেভিড দাও
সূত্র

-1

আমি কেন আরও এক গাণিতিক কারণ প্রদান করব যে কেন মনোোটোন ফাংশনটি সাহায্য করে!

আমাদের অ্যাক্টিভেশন ফাংশনটিকে একঘেয়ে হিসাবে ধরে ধরে http://mathonline.wikidot.com/lebesgue-s-theorem-for-the-differentiability-of-monotone-fun ব্যবহার করে , আমরা বলতে পারি যে আসল লাইনে আমাদের ফাংশনটি হবে differentiable। সুতরাং, অ্যাক্টিভেশন ফাংশনের গ্রেডিয়েন্ট কোনও ত্রুটিযুক্ত ফাংশন হবে না। আমরা যে মিনিমাটি খুঁজছি এটি সন্ধান করা আরও সহজ হবে। (গণনামূলকভাবে সস্তা)

এক্সফোনেনশিয়াল এবং লোগারিদমিক ফাংশনগুলি সুন্দর ফাংশন তবে সীমাবদ্ধ নয় (সুতরাং, লেবেসগি উপপাদ্যটির কথোপকথনটি সত্য নয় কারণ এক্সপ এবং লগ পৃথক ফাংশন যা আসল লাইনের সাথে আবদ্ধ নয়)। সুতরাং, আমরা চূড়ান্ত পর্যায়ে আমাদের উদাহরণগুলি শ্রেণিবদ্ধ করতে চাইলে তারা ব্যর্থ হয়। সিগময়েড এবং তানহ সত্যই ভাল কাজ করে কারণ তাদের গ্রেডিয়েন্ট রয়েছে যা গণনা করা সহজ এবং তাদের পরিসীমা যথাক্রমে (0,1) এবং (-1,1)।

— রোহিত রাওয়াত
সূত্র

অসীম অনেকগুলি পার্থক্যযুক্ত, তবে একঘেয়ে ফাংশন নয়। তাহলে কেন মনোোটোন ফাংশনটি সাহায্য করে?

— মার্টিন থোমা