সক্রিয়করণ ফাংশনগুলি w * x + bনিউরাল নেটওয়ার্কে টাইপের লিনিয়ার আউটপুটে অ-রৈখিকতা প্রবর্তনের জন্য ব্যবহৃত হয় ।
যা আমি সিগময়েডের মতো অ্যাক্টিভেশন ফাংশনগুলির জন্য স্বজ্ঞাতভাবে বুঝতে সক্ষম।
আমি আরএলইউর সুবিধাগুলি বুঝতে পারি, যা ব্যাকপ্রসারণের সময় মৃত নিউরনগুলি এড়িয়ে চলে। তবে, আমি বুঝতে সক্ষম নই যে এর আউটপুট রৈখিক হলে কেন রেয়েলু একটি অ্যাক্টিভেশন ফাংশন হিসাবে ব্যবহৃত হয়?
অ্যাক্টিভেশন ফাংশন হওয়ার পুরো পয়েন্টটি যদি পরাভূত হয় না তবে এটি অ-লিনিয়ারির পরিচয় দেয় না?
উত্তর:
গণিত একটি ফাংশন রৈখিক বিবেচনা করা হয় যখনই কোন fucntion যদি প্রত্যেক জন্য এক্স এবং ওয়াই ডোমেইনে একটি নিম্নলিখিত সম্পত্তি রয়েছে: চ ( এক্স ) + + চ ( Y ) = চ ( এক্স + + Y ) । সংজ্ঞা অনুযায়ী ReLU হয় মি একটি এক্স ( 0 , এক্স ) । অতএব, যদি আমরা ( - ∞ , 0 ] বা [ থেকে ডোমেনটি বিভক্ত করি। সুতরাং সংজ্ঞা অনুসারে ReLU রৈখিক নয়। তাহলে ফাংশনটি রৈখিক। তবে, এটি সহজেই দেখতে পাওয়া যায় যে f ( - 1 ) + f ( 1 ) ≠ f ( 0 )
তবুও, আরএলইউ লিনিয়ারের এত কাছাকাছি যে এটি প্রায়শই মানুষকে বিভ্রান্ত করে এবং আশ্চর্য করে যে কীভাবে এটি সর্বজনীন আনুমানিক হিসাবে ব্যবহার করা যেতে পারে। আমার অভিজ্ঞতায় এগুলি সম্পর্কে ভাবার সবচেয়ে ভাল উপায় হ'ল রিমন অঙ্কের মতো। আপনি প্রচুর সামান্য আয়তক্ষেত্রের সাথে কোনও ধ্রুবক ক্রিয়াকলাপ আনুমানিক করতে পারেন। রিলু সক্রিয়করণগুলি প্রচুর পরিমাণে আয়তক্ষেত্র তৈরি করতে পারে। প্রকৃতপক্ষে, অনুশীলনে, আরএলইউ বরং জটিল আকার এবং আনুমানিক অনেক জটিল ডোমেন তৈরি করতে পারে।
আমি অন্য একটি বিষয় পরিষ্কার করার মত বোধ করি। পূর্বের উত্তরের দ্বারা নির্দেশিত হিসাবে, নিউরন সিগময়েডে মারা যায় না, বরং বিলুপ্ত হয়। এর কারণ হ'ল সিগময়েড ফাংশনের সর্বাধিক ডেরাইভেটিভ .25। অতএব, এতগুলি স্তরের পরে আপনি এই গ্রেডিয়েন্টগুলি গুন করে শেষ করেন এবং 1 এর চেয়ে কম সংখ্যার খুব কম সংখ্যার পণ্য খুব দ্রুত শূন্যে যাওয়ার প্রবণতা দেখায়।
তাই আপনি যদি অনেক স্তর সহ একটি গভীর শিক্ষার নেটওয়ার্ক তৈরি করে থাকেন তবে আপনার সিগময়েড ফাংশনগুলি মূলত বরং দ্রুত স্থির হয়ে যাবে এবং আরও বা কম অকেজো হয়ে যাবে।
মূল কথাটি হ'ল বিলুপ্ত হওয়াটি গ্রেডিয়েন্টগুলি নিজেরাই গ্রেডিয়েন্টগুলি নয় বরং গ্রেডিয়েন্টগুলি গুণানো থেকে আসে।
আমি আরএলইউর সুবিধাগুলি বুঝতে পারি, যা ব্যাকপ্রসারণের সময় মৃত নিউরনগুলি এড়িয়ে চলে।
এটি সম্পূর্ণরূপে সত্য নয়। নিউরন মারা যায় না। যদি আপনি সিগময়েডের মতো অ্যাক্টিভেশন ব্যবহার করেন তবে কিছু পুনরাবৃত্তির পরে গ্রেডিয়েন্টের মান বেশিরভাগ নিউরনের জন্য পরিপূর্ণ হয়। গ্রেডিয়েন্টের মান এত ছোট হবে এবং শেখার প্রক্রিয়াটি এত ধীরে ধীরে ঘটে। এটি সিগময়েডের মতো অ্যাক্টিভেশন কার্যক্রমে থাকা গ্রেডিয়েন্টগুলি বিলুপ্ত এবং বিস্ফোরিত হচ্ছে। বিপরীতে, মৃত নিউরনগুলি ঘটতে পারে যদি আপনি ReLUঅ-লিনিয়ারিটি ব্যবহার করেন, যা ডাইং রিলু বলে ।
যদি আউটপুট রৈখিক হয় তবে কেন রেএলইউ অ্যাক্টিভেশন ফাংশন হিসাবে ব্যবহৃত হয় তা আমি বুঝতে সক্ষম নই
অবশ্যই এটি রৈখিক নয়। একটি সাধারণ সংজ্ঞা হিসাবে, লিনিয়ার ফাংশন একটি ফাংশন যা এর ডোমেনের ইনপুটগুলির জন্য একই ডেরাইভেটিভ থাকে।
লিনিয়ার ফাংশন অর্থনীতিতে জনপ্রিয়। এটি আকর্ষণীয় কারণ এটি গাণিতিকভাবে পরিচালনা করা সহজ এবং সহজ। এটিতে অনেকগুলি গুরুত্বপূর্ণ অ্যাপ্লিকেশন রয়েছে। লিনিয়ার ফাংশনগুলি হ'ল যাদের গ্রাফ একটি সরলরেখা। একটি লিনিয়ার ফাংশনে নিম্নলিখিত রূপ রয়েছে:
y = f (x) = a + bx
একটি লিনিয়ার ফাংশনে একটি স্বতন্ত্র ভেরিয়েবল এবং একটি নির্ভরশীল ভেরিয়েবল থাকে। স্বতন্ত্র ভেরিয়েবল x এবং নির্ভরশীল ভেরিয়েবল y হয়।একটি ধ্রুবক পদ বা y ইন্টারসেপ্ট। X = 0 হলে এটি নির্ভরশীল ভেরিয়েবলের মান।
বি হ'ল স্বাধীন ভেরিয়েবলের সহগ। এটি slাল হিসাবেও পরিচিত এবং নির্ভরশীল ভেরিয়েবলের পরিবর্তনের হার দেয়।
ReLUরৈখিক নয় । সহজ উত্তর হ'ল ReLUআউটপুট একটি সরল রেখা নয়, এটি এক্স-অক্ষে বাঁকানো। আরও আকর্ষণীয় বিষয় হ'ল এই অ-লিনিয়ারির পরিণতি কী। সহজ কথায়, লিনিয়ার ফাংশন আপনাকে একটি সরলরেখা ব্যবহার করে বৈশিষ্ট্য বিমানটি বিচ্ছিন্ন করতে দেয়। তবে এর অ-লৈখিকতা সহ ReLU, আপনি বৈশিষ্ট্য বিমানে স্বতন্ত্র আকারের বক্ররেখা তৈরি করতে পারেন।
ReLUএর কোনও অসুবিধা থাকতে পারে যা এটির প্রত্যাশিত মান। আউটপুট দেওয়ার জন্য কোনও সীমাবদ্ধতা নেই Reluএবং এর প্রত্যাশিত মানটি শূন্য নয়। Tanhএর চেয়ে বেশি জনপ্রিয় ছিল sigmoidকারণ এর প্রত্যাশিত মানটি শূন্যের সমান এবং গভীর স্তরগুলিতে শেখা আরও দ্রুত ঘটে। যদিও ReLUএই সুবিধাটি এই সমস্যাটিbatch normalization সমাধান করে না ।