LeakyReLU এবং PReLU মধ্যে পার্থক্য কি?

Question

$$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$$

Keras অবশ্য উভয় ফাংশন আছে ডক্স ।

ফুটো রিলু

LeakyReLU এর উত্স :

return K.relu(inputs, alpha=self.alpha)

সুতরাং ( রিলু কোড দেখুন )

$$f_1(x) = \max(0, x) - \alpha \max(0, -x)$$

PReLU

PReLU এর উত্স :

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

সুতরাং

$$f_2(x) = \max(0, x) - \alpha \max(0, -x)$$

প্রশ্ন

আমি কি কিছু ভুল পেয়েছি? না তো এবং সমতূল্য (অভিমানী ?)$f_1$$f_2$$f$$\alpha \in (0, 1)$

Answer 1

উইকিপিডিয়া থেকে সরাসরি :

• Leaky ReLU গুলি ইউনিটটি সক্রিয় না থাকলে একটি ছোট, শূন্য-নন গ্রেডিয়েন্টের অনুমতি দেয়।

• প্যারামেট্রিক রিলু গুলি অন্যান্য নিউরাল নেটওয়ার্কের পরামিতিগুলির সাথে শিখানো পরামিতিগুলিতে ফাঁসের সহগ তৈরি করে এই ধারণাটি আরও গ্রহণ করে।

Comments

আহ, ধন্যবাদ, আমি সর্বদা ভুলে যাই যে লিকি রিএলইউগুলির একটি হাইপারপ্যারামিটার হিসাবে এবং প্যারামিটারিক রিলুগুলিতে একটি প্যারামিটার হিসাবে । $\alpha$$\alpha$

— মার্টিন থোমা

গুগল-জিনিসটির জন্য: এটি ঠিক আছে । (বিটিডব্লিউ, আমার জন্য এই প্রশ্নটি এখন "লিকি রেএলইউ বনাম PReLU" এর জন্য তৃতীয় ফলাফল)

— মার্টিন থোমা

@ মার্টিন থোমা সত্য! এর জন্য মোটেও কোনও অপরাধ! উত্তরটি যেভাবে খুঁজে পেয়েছি তা বেশ বোকাও ছিল; আমি জানি না যে প্রেলুতে থাকা 'পি' কী, তাই আমি এটি অনুধাবন করেছিলাম এবং তারপরে কেবল 'প্যারামেট্রিক রিলু' টাইপ করে প্রিএলयू কী ছিল তা জানার চেষ্টা করেছি, যা আমাকে উইকিপিডিয়া পৃষ্ঠায় পেয়েছে। আপনার প্রশ্নের কারণে আমি আজ কিছু শিখেছি;)

— থমাস ডব্লিউ

খুশী হলাম। এটি কেমন হওয়া উচিত :-) এই ক্ষেত্রে আমার সামান্য অ্যাক্টিভেশন ফাংশন ওভারভিউটি আপনার জন্যও আকর্ষণীয় হতে পারে। নিবন্ধটি জার্মান ভাষায় (আংশিক), তবে আমি অনুমান করি যে অংশটির জন্য এটি গুরুত্বপূর্ণ নয়

— মার্টিন থোমা