আমরা কেন নিউরাল নেটওয়ার্কগুলিতে রিলু ব্যবহার করি এবং আমরা কীভাবে এটি ব্যবহার করব?

Question

আমরা কেন নিউরাল নেটওয়ার্কগুলির সাথে সংশোধিত লিনিয়ার ইউনিট (রিলিজ) ব্যবহার করব? কীভাবে এটি নিউরাল নেটওয়ার্কের উন্নতি করে?

আমরা কেন বলি যে রেএলইউ একটি অ্যাক্টিভেশন ফাংশন? স্নায়ুম্যাক্স অ্যাক্টিভেশন স্নায়বিক নেটওয়ার্কগুলির জন্য নয়? আমি অনুমান করছি যে আমরা এই জাতীয়, আরএলইউ এবং সফটম্যাক্স উভয়ই ব্যবহার করি:

সফটম্যাক্স আউটপুট সহ নিউরন 1 ----> নিউরোন 1 এর আউটপুটে রিলু, যা
নিউরন 2 এর ইনপুট ---> সফটম্যাক্স আউটপুট সহ নিউরন 2 -> ...

যাতে নিউরন 2 এর ইনপুটটি মূলত রিলু (সফটম্যাক্স (এক্স 1)) হয়। এটা কি সঠিক?

Answer 1

রিলু ফাংশনটিসাধারণত এটি ম্যাট্রিক্স-ভেক্টর পণ্য হিসাবে অন্য কিছু ফাংশনের আউটপুটটিতে উপাদান অনুসারে প্রয়োগ করা হয়। এমএলপি ব্যবহারে, সংশোধনকারী ইউনিট সম্ভবত পঠন স্তর বাদে অন্য সমস্ত অ্যাক্টিভেশন ফাংশন প্রতিস্থাপন করে। তবে আমি মনে করি আপনি যদি চান তবে আপনি সেগুলি মিশিয়ে ফেলতে পারেন।$f(x)=\max(0, x).$

রিলু ইউনিয়নগুলি নিউরাল নেটওয়ার্কগুলিকে উন্নত করার একটি উপায় হ'ল প্রশিক্ষণ দ্রুত করা। গ্রেডিয়েন্ট গণনা খুব সহজ ( $x$ এর চিহ্নের উপর নির্ভর করে 0 বা 1 )। এছাড়াও, একটি আরএলইউর গণনামূলক পদক্ষেপ সহজ: যে কোনও নেতিবাচক উপাদানগুলি 0.0 এ সেট করা হয় - কোনও ক্ষতিকারক, কোনও গুণ বা বিভাগীয় ক্রিয়াকলাপ।

লজিস্টিক এবং হাইপারবোলিক ট্যানজেন্ট নেটওয়ার্কগুলির গ্রেডিয়েন্টগুলি আরএলইউর ইতিবাচক অংশের চেয়ে ছোট are এর অর্থ প্রশিক্ষণের অগ্রগতির সাথে ইতিবাচক অংশটি আরও দ্রুত আপডেট হয়। যাইহোক, এটি একটি ব্যয় আসে। বাম দিকে 0 গ্রেডিয়েন্টের নিজস্ব সমস্যা রয়েছে, যার নাম "মৃত নিউরোনস", যার মধ্যে একটি গ্রেডিয়েন্ট আপডেট আগত মানগুলি একটি আরএলইউতে সেট করে যেমন আউটপুট সর্বদা শূন্য থাকে; ELU (বা Leaky ReLU, বা PReLU, ইত্যাদি) এর মতো পরিবর্তিত রিলু ইউনিট এটিকে প্রশমিত করতে পারে।

$\frac{d}{dx}\text{ReLU}(x)=1\forall x > 0$ । বিপরীতে, একটি সিগময়েড ইউনিটের গ্রেডিয়েন্ট সর্বাধিক ; অন্যদিকে, কাছাকাছি অঞ্চলে ইনপুটগুলির জন্য ভাড়া বেশি প্রায়)$0.25$$\tanh$$0.25 < \frac{d}{dx}\tanh(x) \le 1 \forall x \in [-1.31, 1.31]$

Comments

@aginensky আপনি পৃষ্ঠার শীর্ষে প্রশ্ন জিজ্ঞাসা বোতামটি ক্লিক করে প্রশ্ন জিজ্ঞাসা করতে পারেন।

— সাইকোরাক্স মনিকা

আমি কোনও প্রশ্ন জিজ্ঞাসা করতে চেয়েছি বা আমি এই পৃষ্ঠায় অংশ নিয়েছি এমন কোনও প্রমাণ দেখছি না। সত্যিই আমি রিলু কতটা ভাল কাজ করে তাতে আশ্চর্য হয়েছি, তবে আমি এটি নিয়ে প্রশ্ন করা বন্ধ করে দিয়েছি :)।

— অ্যাগ্রিনেস্কে

@aginensky মনে হচ্ছে মন্তব্যটি অন্তর্বর্তীকালীন সরানো হয়েছে।

— সাইকোরাক্স মনিকে

মন্তব্যটি আমার দ্বারা সরানো হয়নি এবং আমাকেও জানানো হয়নি। আমি প্রশ্নের উত্তর দেওয়া বন্ধ করে দিয়েছি এবং আমি অনুমান করি এর অর্থ এই যে আমিও মন্তব্য করে শেষ করেছি।

— অ্যাগিনেস্কে

@aginensky আমি জানি না কেন এটি আপনার মন্তব্য করা বন্ধ করে দেবে। মন্তব্য এবং সংযম সম্পর্কে আপনার যদি কোনও প্রশ্ন থাকে, আপনি মেটা.স্ট্যাটস.এসইতে একটি প্রশ্ন জিজ্ঞাসা করতে পারেন।

— সাইকোরাক্স মনিকাকে পুনরায়

Answer 2

একটি গুরুত্বপূর্ণ বিষয় উল্লেখ করার জন্য হ'ল রিলু আদর্শবান। দেওয়া হয়েছে যে রেএলইউ হ'ল ho , easy যে কোনও সীমাবদ্ধ রচনার জন্য সত্য । এই সম্পত্তি গভীর নিউরাল নেটওয়ার্কগুলির জন্য খুব গুরুত্বপূর্ণ, কারণ নেটওয়ার্কের প্রতিটি স্তর একটি ননরেখা প্রয়োগ করে। এখন, একই ইনপুটটিতে বারবার ১-৩ বার দুটি সিগময়েড-ফ্যামিলি ফাংশন প্রয়োগ করা যাক:$\rho(x) = \max(0, x)$$\rho \circ \rho \circ \rho \circ \dots \circ \rho = \rho$

ডেরিভেটিভস কাছে শূন্য হিসাবে: আপনি অবিলম্বে যে সিগমা ফাংশন "স্কোয়াশ" এর পাশে তাদের ইনপুট অন্তর্ধান গ্রেডিয়েন্ট সমস্যা ফলে দেখতে পারেন (পুনরাবৃত্তি অ্যাপ্লিকেশনের সংখ্যা) অনন্ত পন্থা।$n$

Answer 3

রিলু হ'ল একটি বিভক্ত চিত্র থেকে ইনপুট এক্স যেমন ম্যাট্রিক্স সহ সর্বাধিক ফাংশন (x, 0)। রিলু তারপরে ম্যাট্রিক্স এক্স-এর সমস্ত নেতিবাচক মানকে শূন্যে সেট করে এবং অন্যান্য সমস্ত মান স্থির রাখে।

ReLU কনভলিউশন পরে গণনা করা হয় এবং তাই তানহ বা সিগময়েডের মতো একটি ননলাইনার অ্যাক্টিভেশন ফাংশন।

স্নায়ুম্যাক্স নিউরাল নেটওয়ার্কের শেষে একটি শ্রেণিবদ্ধকারী। এটি 0 এবং 1 এর মধ্যে আউটপুটগুলিকে নিয়মিত করার জন্য লজিস্টিক রিগ্রেশন (বিকল্প এখানে একটি এসভিএম শ্রেণিবদ্ধ রয়েছে)।

সিএনএন ফরোয়ার্ড পাস যেমন: ইনপুট-> তদন্ত -> রিলু-> পুল-> বিশ্বাসী> রিলু-> পুল-> এফসি-> সফটম্যাক্স

Comments

Downvoting। এটি খুব খারাপ উত্তর! সফটম্যাক্স কোনও শ্রেণিবদ্ধ নয়! এটি এমন একটি ফাংশন যা পরিসীমা [0,1] এর আউটপুটগুলিকে স্বাভাবিক করে তোলে (স্কেল করে) এবং এটি 1 পর্যন্ত যোগফল নিশ্চিত করে লজিস্টিক রিগ্রেশন কোনও কিছুর "নিয়মিত" করে না! "রিলু বাক্যটি সমীকরণের পরে গণনা করা হয় এবং তাই তানহ বা সিগময়েডের মতো একটি ননলাইনার অ্যাক্টিভেশন ফাংশন।" একটি ক্রিয়া বা সংজ্ঞা অভাব আছে।

— জান কুকাকা

উত্তরটি খুব খারাপ নয়। ক্রিয়াবিহীন বাক্যটি অবশ্যই "পুনর্নির্মাণের পরে পুনরায় গণনা করা হয় এবং তাই তানহ বা সিগময়েডের মতো ননলাইনারি অ্যাক্টিভেশন ফাংশন IS " ক্লাসিফায়ার হিসাবে সফটম্যাক্স ভাবাও বোধগম্য। এটি একটি সম্ভাব্য শ্রেণিবদ্ধ হিসাবে দেখা যেতে পারে যা প্রতিটি শ্রেণীর জন্য সম্ভাব্যতা নির্ধারণ করে। এটি [0,1] ব্যবধানের আউটপুটগুলিকে "নিয়মিত করে" / "স্বাভাবিক করে"।

— ব্যবহারকারী 118967

Answer 4

রিলু একটি আক্ষরিক সুইচ। বৈদ্যুতিক সুইচ 1 ভোল্ট ইন 1 ভোল্ট আউট দেয়, এন ভোল্ট ইন যখন দেয় তখন এন ভোল্ট আউট দেয়। অন ​​/ অফ যখন আপনি শূন্যে স্যুইচ করার সিদ্ধান্ত নেন তখন রেএলইউর মতো ঠিক একই গ্রাফ দেয়। বেশিরভাগ ওজনযুক্ত অঙ্কের ওজনযুক্ত যোগফল (ডট পণ্য) এখনও লিনিয়ার সিস্টেম। একটি নির্দিষ্ট ইনপুট জন্য রিলু সুইচগুলি স্বতন্ত্রভাবে চালু বা বন্ধ থাকে। এর ফলে ইনপুট থেকে আউটপুটে একটি নির্দিষ্ট লিনিয়ার প্রজেকশন হয়, কারণ বিভিন্ন ওজনযুক্ত অঙ্কের পরিমাণ ... এর সুইচগুলি একসাথে সংযুক্ত থাকে। একটি নির্দিষ্ট ইনপুট এবং একটি নির্দিষ্ট আউটপুট নিউরনের জন্য ওজনযুক্ত অঙ্কের একটি যৌগিক সিস্টেম রয়েছে যা প্রকৃতপক্ষে একক কার্যকর ওজনযুক্ত যোগফলকে সংক্ষিপ্ত করা যায়। যেহেতু আরএলইউ শূন্যে স্থিত হয় ইনপুটটিতে ধীরে ধীরে পরিবর্তনের জন্য আউটপুটে কোনও হঠাৎ বিরতি নেই।

এফএফটি এবং ওয়ালশ হাদামারড ট্রান্সফর্মের মতো চারপাশে অন্যান্য সংখ্যাযুক্ত দক্ষ ওজনযুক্ত যোগ (ডট পণ্য) আলগোরিদিম রয়েছে। কোনও কারণ নেই যে আপনি এগুলিকে রিলু ভিত্তিক নিউরাল নেটওয়ার্কে অন্তর্ভুক্ত করতে পারবেন না এবং গুণগত লাভ থেকে উপকার পাবেন। (উদাঃ ফিল্টার ব্যাঙ্কের নিউরাল নেটওয়ার্কগুলি।