রিএলইউ অ্যাক্টিভেশন ফাংশনের ডেরাইভেটিভ কী?

Question

ReLU অ্যাক্টিভেশন ফাংশনটির ডেরাইভেটিভ কী হিসাবে সংজ্ঞায়িত হয়েছে:

$$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$$

এ ফাংশনটিতে বিরতি রয়েছে এমন বিশেষ ক্ষেত্রে কী হবে ?$x=0$

Answer 1

ডেরাইভেটিভ হ'ল:

$$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$$

এবং ।$x=0$

এটি এ অপরিজ্ঞাত হওয়ার কারণ হ'ল এর বাম এবং ডান ডেরিভেটিভ সমান নয়।$x=0$

Comments

$0$$1$$x=0$

কনভেনশনটি হ'ল drdx = 1 (x> 0)

— নিউরোগ্য 123

@ টমহেল কেন ব্যবহার করবেন না$f(0) = \frac{1}{2}$

প্রণালী দ্বারা @TomHale এ Nouroz রহমানের উত্তর দেখার quora.com/... : "[...] বিল্ট-ইন আমার দৃশ্যে, মধ্যে গ্রন্থাগার ফাংশন (উদাহরণস্বরূপ: tf.nn.relu()) এ ব্যুৎপন্ন এক্স = 0 শূন্য নেওয়া হয় একটি sparser নিশ্চিত করার ম্যাট্রিক্স ... "

— জিম