নিউরাল নেটওয়ার্কগুলিতে সিগময়েড ফাংশনের ভূমিকা ডেরাইভেটিভ

Question

আমি নিউরাল নেটওয়ার্কগুলিতে সিগময়েড ফাংশনের ডেরাইভেটিভের ভূমিকা বোঝার চেষ্টা করি।

প্রথম আমি সিগময়েড ফাংশন এবং পাইথন ব্যবহার করে সংজ্ঞা থেকে সমস্ত পয়েন্টের ডেরিভেটিভ প্লট করি। এই ডেরাইভেটিভের ভূমিকা ঠিক কী?

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def derivative(x, step):
    return (sigmoid(x+step) - sigmoid(x)) / step

x = np.linspace(-10, 10, 1000)

y1 = sigmoid(x)
y2 = derivative(x, 0.0000000000001)

plt.plot(x, y1, label='sigmoid')
plt.plot(x, y2, label='derivative')
plt.legend(loc='upper left')
plt.show()

Comments

আপনার যদি আরও প্রশ্ন থাকে তবে জিজ্ঞাসা করতে দ্বিধা করবেন না

— JahKnows

Answer 1

নিউরাল নেটওয়ার্কগুলিতে ডেরিভেটিভসের ব্যবহার ব্যাকপ্রোপেশন নামক প্রশিক্ষণ প্রক্রিয়ার জন্য । ক্ষতির ক্রিয়াকে হ্রাস করতে মডেল প্যারামিটারগুলির সর্বোত্তম সেট সন্ধান করতে এই কৌশলটি গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে। আপনার উদাহরণে আপনাকে অবশ্যই সিগময়েডের ডেরাইভেটিভ ব্যবহার করতে হবে কারণ এটি আপনার ব্যক্তিগত নিউরোনগুলি ব্যবহার করছে এমন সক্রিয়করণ।

---

ক্ষতি ফাংশন

মেশিন লার্নিংয়ের সারমর্মটি হ'ল একটি ব্যয় ফাংশনকে অনুকূলকরণ করা যাতে আমরা হয় কয়েকটি টার্গেট ফাংশন হ্রাস বা সর্বোচ্চ করতে পারি। একে সাধারণত ক্ষতি বা ব্যয় মজাদার বলা হয়। আমরা সাধারণত এই ফাংশনটি ছোট করতে চাই। মডেল পরামিতিগুলির ফাংশন হিসাবে আপনার মডেলটির মাধ্যমে ডেটা পাস করার সময় ব্যয় ফাংশন, , ফলাফল ত্রুটির উপর ভিত্তি করে কিছু জরিমানা সংযুক্ত করে।$C$

আসুন আমরা উদাহরণটি দেখি যেখানে আমরা কোনও ছবিতে একটি বিড়াল বা কুকুর রয়েছে কিনা তা লেবেল করার চেষ্টা করি। আমাদের যদি একটি নিখুঁত মডেল থাকে, আমরা মডেলটিকে একটি ছবি উপহার দিতে পারি এবং এটি আমাদের জানায় এটি একটি বিড়াল বা কুকুর। তবে কোনও মডেল নিখুঁত নয় এবং এটি ভুল করবে।

আমরা যখন আমাদের মডেলটিকে ইনপুট ডেটা থেকে অর্থ নির্ধারণ করতে সক্ষম হতে প্রশিক্ষণ করি তখন আমরা এটির যে পরিমাণ ভুল করে তা হ্রাস করতে চাই। সুতরাং আমরা একটি প্রশিক্ষণ সেট ব্যবহার করি, এই ডেটাতে কুকুর এবং বিড়ালের অনেকগুলি চিত্র রয়েছে এবং সেই চিত্রের সাথে আমাদের জড়িত সত্যের লেবেল রয়েছে। প্রতিবার আমরা যখন মডেলটির প্রশিক্ষণ পুনরাবৃত্তি চালাই আমরা মডেলের ব্যয় (ভুলের পরিমাণ) গণনা করি। আমরা এই ব্যয়টি হ্রাস করতে চাই।

অনেক ব্যয় ক্রিয়াকলাপ প্রতিটি তাদের নিজস্ব উদ্দেশ্যে পরিবেশন করে। ব্যবহৃত হয় এমন একটি সাধারণ ব্যয় ফাংশন হ'ল চতুর্ভুজ ব্যয় যা হিসাবে সংজ্ঞায়িত হয়

।$C = \frac{1}{N} \sum_{i=0}^{N}(\hat{y} - y)^2$

এটি হ'ল আমরা যে প্রশিক্ষণপ্রাপ্ত ইমেজের জন্য পূর্বানুমানিত লেবেল এবং গ্রাউন্ড ট্রুথ লেবেলের মধ্যে পার্থক্যের বর্গ । আমরা এটি কোনও উপায়ে হ্রাস করতে চাই।$N$

ক্ষতির ফাংশন হ্রাস করা হচ্ছে

প্রকৃতপক্ষে বেশিরভাগ মেশিন লার্নিং হ'ল ফ্রেমওয়ার্কগুলির একটি পরিবার যা কিছু ব্যয় ফাংশন হ্রাস করে একটি বিতরণ নির্ধারণ করতে সক্ষম। যে প্রশ্নটি আমরা জিজ্ঞাসা করতে পারি তা হ'ল "আমরা কীভাবে একটি ফাংশনকে ছোট করতে পারি"?

আসুন নিম্নলিখিত ফাংশনটি হ্রাস করুন

।$y = x^2-4x+6$

যদি আমরা এটির পরিকল্পনা করি আমরা দেখতে পাই যে সর্বনিম্ন । এটি বিশ্লেষণাত্মকভাবে করতে আমরা এই ফাংশনটির ডেরাইভেটিভ হিসাবে নিতে পারি$x = 2$

$\frac{dy}{dx} = 2x - 4 = 0$

।$x = 2$

তবে প্রায়শই বিশ্লেষণাত্মকভাবে সর্বনিম্ন সর্বনিম্ন সন্ধান করা সম্ভব হয় না। সুতরাং পরিবর্তে আমরা কিছু অপ্টিমাইজেশন কৌশল ব্যবহার করি। এখানে পাশাপাশি বিভিন্ন উপায় বিদ্যমান যেমন: নিউটন-র‌্যাফসন, গ্রিড অনুসন্ধান ইত্যাদি, এর মধ্যে গ্রেডিয়েন্ট বংশোদ্ভূত । এটি নিউরাল নেটওয়ার্কগুলি দ্বারা ব্যবহৃত কৌশল।

গ্রেডিয়েন্ট বংশোদ্ভূত

এটি বুঝতে একটি বিখ্যাত ব্যবহৃত উপমা ব্যবহার করুন alog 2D মিনিমাইজেশন সমস্যাটি কল্পনা করুন। এটি মরুভূমিতে পাহাড়ি পাহাড়ে যাওয়ার সমতুল্য। আপনি যে গ্রামটি জানেন সেখান থেকে আপনি নীচে ফিরে যেতে চান। আপনি যদি গ্রামের মূল দিকগুলি না জানেন তবেও। আপনাকে যা করতে হবে তা অবিরত নিচু পথে নেওয়ার দরকার এবং অবশেষে আপনি গ্রামে পৌঁছে যাবেন। সুতরাং আমরা opeালের খাড়াতার উপর ভিত্তি করে পৃষ্ঠের নীচে নেমে যাব।

আমাদের ফাংশন গ্রহণ করা যাক

$y = x^2-4x+6$

আমরা নির্ধারণ করব যার জন্য y হ্রাস করা হবে। গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম প্রথমে বলেছে যে আমরা এক্স এর জন্য একটি এলোমেলো মান বেছে নেব । আসুন x = 8 এ সূচনা করি । তারপরে অ্যালগরিদম নীচের পুনরাবৃত্তভাবে কাজ করবে যতক্ষণ না আমরা অভিমুখে পৌঁছায়।$x$$y$$x$$x=8$

$x^{new} = x^{old} - \nu \frac{dy}{dx}$

যেখানে শেখার হার হয়, আমরা যাই হোক না কেন মান আমরা পছন্দ করবেন এই সেট করতে পারেন। তবে এটি চয়ন করার জন্য একটি স্মার্ট উপায় রয়েছে। খুব বড় এবং আমরা আমাদের ন্যূনতম মানটিতে পৌঁছাতে পারি না এবং খুব বড় আমরা সেখানে পৌঁছানোর আগেই খুব বেশি সময় নষ্ট করব। আপনি খাড়া opeালু নামাতে চান এমন পদক্ষেপগুলির আকারের সাথে এটি সাদৃশ্য is ছোট পদক্ষেপ এবং আপনি পাহাড়ে মারা যাবেন, আপনি কখনই নামবেন না। এক ধাপে খুব বড় এবং আপনি গ্রামটি শ্যুটিং এবং পর্বতের অপর প্রান্তে গিয়ে শেষ করতে পারেন। ডেরাইভেটিভ হ'ল উপায় যা দিয়ে আমরা আমাদের slালটিকে আমাদের সর্বনিম্নের দিকে ভ্রমণ করি।$\nu$

$\frac{dy}{dx} = 2x - 4$

$\nu = 0.1$

আইটেম 1:

এক্স এন ই W = 6.8 - 0.1 ( 2 * 6.8 - 4 ) = 5,84 এক্স এন ই W = 5,84 - 0.1 ( 2 * 5,84 - 4 ) = 5.07 এক্স এন ই ডব্লু = 5.07 - $x^{new} = 8 - 0.1(2 * 8 - 4) = 6.8$
$x^{new} = 6.8 - 0.1(2 * 6.8 - 4) = 5.84$
$x^{new} = 5.84 - 0.1(2 * 5.84 - 4) = 5.07$
এক্স এন ই ডাব্লু = 4.45 - 0.1 ( 2 ∗ 4.45 - 4 ) = 3.96 এক্স এন ই ডব্লু = 3.96 - 0.1 ( 2 ∗ 3.96 - 4 ) = 3.57 এক্স এন ই ডব্লু = 3.57 - 0.1 ( 2 ∗ 3.57 - 4 $x^{new} = 5.07 - 0.1(2 * 5.07 - 4) = 4.45$
$x^{new} = 4.45 - 0.1(2 * 4.45 - 4) = 3.96$
$x^{new} = 3.96 - 0.1(2 * 3.96 - 4) = 3.57$
এক্স এন ই ডব্লু = 3.25 - 0.1 ( 2 ∗ 3.25 - 4 ) = 3.00 এক্স এন ই ডাব্লু = 3.00 - 0.1 ( 2 ∗ 3.00 - 4 ) = 2.80 এক্স এন ই ডব্লু = 2.80 - 0.1 ( 2 ∗ 2.80 - 4 ) = 2.64 x n e w$x^{new} = 3.57 - 0.1(2 * 3.57 - 4) = 3.25$
$x^{new} = 3.25 - 0.1(2 * 3.25 - 4) = 3.00$
$x^{new} = 3.00 - 0.1(2 * 3.00 - 4) = 2.80$
$x^{new} = 2.80 - 0.1(2 * 2.80 - 4) = 2.64$
এক্স এন ই W = 2,51 - 0.1 ( 2 * 2,51 - 4 ) = 2.41 x এর এন ই W = 2.41 - 0.1 ( 2 * 2.41 - 4 ) = 2.32 x এর এন ই W = 2.32 - 0.1 ( 2 ∗ $x^{new} = 2.64 - 0.1(2 * 2.64 - 4) = 2.51$
$x^{new} = 2.51 - 0.1(2 * 2.51 - 4) = 2.41$
$x^{new} = 2.41 - 0.1(2 * 2.41 - 4) = 2.32$
এক্স এন ই ডব্লু = 2.26 - 0.1 ( 2 ∗ 2.26 - 4 ) = 2.21 এক্স এন ই ডাব্লু = 2.21 - 0.1 ( 2 ∗ 2.21 - 4 ) = 2.16 এক্স এন ই ডাব্লু = 2.16 - 0.1 ( 2 ∗ 2.16 - 4 ) = 2.13 x $x^{new} = 2.32 - 0.1(2 * 2.32 - 4) = 2.26$
$x^{new} = 2.26 - 0.1(2 * 2.26 - 4) = 2.21$
$x^{new} = 2.21 - 0.1(2 * 2.21 - 4) = 2.16$
$x^{new} = 2.16 - 0.1(2 * 2.16 - 4) = 2.13$
এক্স এন ই ডাব্লু =2.10-0.1(2∗2.10-4)=2.08 x এন ই ডব্লু =2.08-0.1(2∗2.08-4)=2.06 x এন ই ডব্লু =2.06-0.1$x^{new} = 2.13 - 0.1(2 * 2.13 - 4) = 2.10$
$x^{new} = 2.10 - 0.1(2 * 2.10 - 4) = 2.08$
$x^{new} = 2.08 - 0.1(2 * 2.08 - 4) = 2.06$
$x^{new} = 2.06 - 0.1(2 * 2.06 - 4) = 2.05$
$x^{new} = 2.05 - 0.1(2 * 2.05 - 4) = 2.04$
$x^{new} = 2.04 - 0.1(2 * 2.04 - 4) = 2.03$
$x^{new} = 2.03 - 0.1(2 * 2.03 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.02$
$x^{new} = 2.02 - 0.1(2 * 2.02 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.01$
$x^{new} = 2.01 - 0.1(2 * 2.01 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$
$x^{new} = 2.00 - 0.1(2 * 2.00 - 4) = 2.00$

And we see that the algorithm converges at $x = 2$! We have found the minimum.

---

Applied to neural networks

The first neural networks only had a single neuron which took in some inputs $x$ and then provide an output $\hat{y}$. A common function used is the sigmoid function

$\sigma(z) = \frac{1}{1+exp(z)}$

$\hat{y}(w^Tx) = \frac{1}{1+exp(w^Tx + b)}$

where $w$ is the associated weight for each input $x$ and we have a bias $b$. We then want to minimize our cost function

$C = \frac{1}{2N} \sum_{i=0}^{N}(\hat{y} - y)^2$.

How to train the neural network?

We will use gradient descent to train the weights based on the output of the sigmoid function and we will use some cost function $C$ and train on batches of data of size $N$.

$C = \frac{1}{2N} \sum_i^N (\hat{y} - y)^2$

$\hat{y}$ is the predicted class obtained from the sigmoid function and $y$ is the ground truth label. We will use gradient descent to minimize the cost function with respect to the weights $w$. To make life easier we will split the derivative as follows

$\frac{\partial C}{\partial w} = \frac{\partial C}{\partial \hat{y}} \frac{\partial \hat{y}}{\partial w}$.

$\frac{\partial C}{\partial \hat{y}} = \hat{y} - y$

and we have that $\hat{y} = \sigma(w^Tx)$ and the derivative of the sigmoid function is $\frac{\partial \sigma(z)}{\partial z} = \sigma(z)(1-\sigma(z))$ thus we have,

$\frac{\partial \hat{y}}{\partial w} = \frac{1}{1+exp(w^Tx + b)} (1 - \frac{1}{1+exp(w^Tx + b)})$.

So we can then update the weights through gradient descent as

$w^{new} = w^{old} - \eta \frac{\partial C}{\partial w}$

where $\eta$ is the learning rate.

Comments

please tell me why is this process not so nicely described in books? Do you have a blog? What materials for learning neural networks do you recommend? I have test data and I want to train it. Can I draw a function that I will minimize? I would like to visualize this process to better understand it.

— lukassz

Can you explain backpropagation in this simple way?

— lukassz

Amazing Answer...(+1)

— Aditya

Backprop is also similar to what JahKnows has Explained above... Its just the gradient is carried all the way to the inputs right from the outputs.. A quick google search will make this clear.. Also the same goes every other activation functions also..

— Aditya

@lukassz, notice that his equation is the same as the one I have for the weight update in the before last equation. $\frac{\partial C}{\partial w} = (\hat{y} - y) * \text{derivative of sigmoid}$. He uses the same cost function as me, dont forget that you need to take the derivative of the loss function too, that becomes $\hat{y} - y$, where $\hat{y}$ are the predicted labels and $y$ are the ground truth labels.

— JahKnows

Answer 2

During the phase where the neural network generates its prediction, it feeds the input forward through the network. For each layer, the layer's input $X$ goes first through an affine transformation $W \cdot X + b$ and then is passed through the sigmoid function $σ(W \cdot X + b)$.

In order to train the network, the output $\hat y$ is then compared to the expected output (or label) $y$ through a cost function $L(y, \hat y)=L\left(y, σ(W \cdot X + b)\right)$. The goal of the whole training procedure is to minimize that cost function. In order to do that, a technique called gradient descent is performed which calculates how we should change $W$ and $b$ so that the cost reduces.

Gradient Descent requires calculating the derivative of the cost function w.r.t $W$ and $b$. In order to do that we must apply the chain rule, because the derivative we need to calculate is a composition of two functions. As dictated by the chain rule we must calculate the derivative of the sigmoid function.

One of the reasons that the sigmoid function is popular with neural networks, is because its derivative is easy to compute.

Answer 3

In simple words:

Derivative shows neuron's ability to learn on particular input.

For example if input is 0 or 1 or -2, the derivative (the "learning ability") is high and back-propagation will improve neuron's weights for this sample dramatically.

On other hand, if input is 20, the the derivative will be very close to 0. It means that back-propagation on this sample will not "teach" this neuron to produce a better result.

The things above are valid for a single sample.

Let's look at the bigger picture, for all samples in the training set. Here we have several situations:

• If derivative is 0 for all samples in your training set AND neuron always produces wrong results - it means the neuron is saturated (dumb) and will not improve.

• If derivative is 0 for all samples in your training set AND neuron always produces correct results - it means the neuron have been studying really well and already as smart as it could (side note: this case is good but it may indicate potential overfitting, which is not good)

• If derivative is 0 on some samples, non-0 on other samples AND neuron produces mixed results - it indicates that this neuron doing some good work and potentially may improve from further training (though not necessarily as it depends on other neurons and training data you have)

So, when you are looking at the derivative plot, you can see how much the neuron prepared to learn and absorb the new knowledge, given a particular input.

Answer 4

The derivative you see here is important in neural networks. It's the reason why people generally prefer something else such as rectified linear unit.

Do you see the derivative drop for the two ends? What if your network is on the very left side, but it needs to move to the right side? Imagine you're on -10.0 but you want 10.0. The gradient will be too small for your network to converge quickly. We don't want to wait, we want quicker convergence. RLU doesn't have this problem.

আমরা এই সমস্যাটিকে " নিউরাল নেটওয়ার্ক স্যাচুরেশন " বলি ।

দয়া করে https://www.quora.com/What-is-spected-about-rectifier-neural-units-used-in-NN-learning দেখুন