স্যাচুরেটিং ননলাইনারিটি শব্দটির অর্থ কী?

Question

আমি ডিপ কনভলিউশনাল নিউরাল নেটওয়ার্কগুলি সহ পেপার ইমেজনেট শ্রেণিবিন্যাসটি পড়ছিলাম এবং section নং বিভাগে তারা কীভাবে তাদের ব্যবহার পছন্দ করেছে সেগুলি তাদের কনভোলিউশনাল নিউরাল নেটওয়ার্কের আর্কিটেকচারটি ব্যাখ্যা করেছেন:

অ-স্যাচুরেটিং ননলাইনারিটি$f(x) = max(0, x).$

কারণ এটি প্রশিক্ষণ দ্রুত ছিল। সেই কাগজে তারা সিএনএন, সিগময়েড এবং হাইপারবোলিক ট্যানজেন্ট ফাংশনগুলিতে (যেমন এবং sat স্যাচুরেটিং হিসাবে)।$f(x) = tanh(x)$$f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$

তারা এই ফাংশনগুলিকে "স্যাচুরটিং" বা "অ-স্যাচারিং" হিসাবে কেন উল্লেখ করে? কোন অর্থে এই ফাংশনটি "স্যাচুরটিং" বা "অ-স্যাচুরেটিং"? কনভোলশনাল নিউরাল নেটওয়ার্কগুলির প্রসঙ্গে এই পদগুলির অর্থ কী? তারা মেশিন লার্নিং (এবং পরিসংখ্যান) অন্যান্য ক্ষেত্রে ব্যবহার করা হয়?

Comments

আমি এই কোরা উত্তরটি খুব সহায়ক বলে মনে করেছি।

— অকপট

Answer 1

স্বজ্ঞা

একটি স্যাচুরেটিং অ্যাক্টিভেশন ফাংশন ইনপুটটিকে সঙ্কুচিত করে।

---

সংজ্ঞা

• $f$$(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
• $f$ যদি স্যাচুরেটিং হয় তবে চলাচল করছে না non$f$

এই সংজ্ঞাগুলি কনভোলশনাল নিউরাল নেটওয়ার্কগুলির জন্য নির্দিষ্ট নয়।

---

উদাহরণ

রেকটিফাইটিড লিনিয়ার ইউনিট (আরএলইউ) অ্যাক্টিভেশন ফাংশন, যা হিসাবে সংজ্ঞায়িত হয়েছে তা স্যাচুরিটিং কারণ :$f(x)=max(0,x)$$\lim_{z\to+\infty} f(z) = +\infty$

সিগময়েড অ্যাক্টিভেশন ফাংশন, যা as হিসাবে সংজ্ঞায়িত করা হয়েছে তা স্যাচুরেট করছে, কারণ এটি আসল সংখ্যাকে মধ্যে বিস্তৃত করে :$f(x) = \frac{1}{1 + e^{-x}}$$[0,1]$

তান (হাইপারবোলিক ট্যানজেন্ট) অ্যাক্টিভেশন ফাংশনটি স্যাচুরেট হচ্ছে কারণ এটি আসল সংখ্যাগুলিকে মধ্যে বিস্তৃত করে :$[-1,1]$

(পরিসংখ্যানগুলি সিএস 231 এন , এমআইটি লাইসেন্স থেকে প্রাপ্ত)

Comments

আহ, সুন্দর বোঝার জন্য! আমি জানি এটি আমার আসল প্রশ্ন ছিল না, তবে এমএল এবং সিএনএনগুলির প্রসঙ্গে সেই সম্পত্তিটি কী গুরুত্বপূর্ণ?

— চার্লি পার্কার

এএনএনগুলির জন্য, বড় আউটপুট সহ একটি ইউনিট থাকা এড়ানোর জন্য যা এএনএন এর আউটপুট স্তরকে খুব বেশি প্রভাবিত করে।

— ফ্রাঙ্ক ডারননকোর্ট 18

টান এবং সিগময়েডের মধ্যে পার্থক্য কী? দু'জনেই বদ্ধ পরিসরে স্কোয়াশ সংখ্যা! আমি এটা পাচ্ছি না, আপনি কি আরও বেশি করে এটাকে বিস্তারিতভাবে বর্ণনা করতে পারেন? আমি গণিতে একরকম খারাপ (উপায় দ্বারা আমি একটি সিএনএন দৃষ্টিকোণ থেকে আসছি)

— রিকা

@ ফ্র্যাঙ্কডেরননকোর্ট মানে কি তান অ্যাক্টিভেশন ফাংশনটির জন্য স্যাচুরেটিং? আমার মনে হয় টাইপো আছে? :)

— কোডারস্পিনোজা

@tenCupMaximum: পরিপূর্ণ করার অর্থ একটি বিন্দু পূরণ করা যেখানে আর কোনও যোগ করা যায় না। একটি স্যাচুরেটিং ফাংশন প্রসঙ্গে, এর অর্থ হ'ল একটি নির্দিষ্ট পয়েন্টের পরে, ফাংশনের ইনপুটটিতে আর কোনও বৃদ্ধি তার আউটপুটটিতে আর (অর্থবহী) বৃদ্ধির কারণ হতে পারে না, যা (খুব প্রায়) তার সর্বাধিক মূল্যে পৌঁছেছে। এই মুহুর্তে ফাংশনটি "সমস্ত ভরাট", তাই কথা বলতে (বা স্যাচুরেটেড )।

— রুবেন ভ্যান বার্গেন

Answer 2

সর্বাধিক সাধারণ অ্যাক্টিভেশন ফাংশনগুলি হ'ল এলওজি এবং ট্যানএইচ। এই ফাংশনগুলির একটি কমপ্যাক্ট পরিসর রয়েছে, এর অর্থ তারা স্নায়বিক প্রতিক্রিয়াটিকে আসল সংখ্যার সীমাবদ্ধ সাবসেটে সংকুচিত করে। এলওজি 0 এবং 1 এর মধ্যে আউটপুটগুলিকে ইনপুটগুলি সংকুচিত করে, TAN এইচ -1 এবং 1 এর মধ্যে These

সীমান্তে ইনপুট respectyj / ∂xj এর সাথে সম্মানের সাথে আউটপুটটির গ্রেডিয়েন্টটি খুব ছোট। সুতরাং গ্রেডিয়েন্ট ছোট তাই একীকরণের ছোট পদক্ষেপ তাই অভিমুগনের জন্য আরও দীর্ঘ সময়।