শূন্য-কেন্দ্রীভূত অ্যাক্টিভেশন কেন ব্যাকপ্রসারণে সমস্যা হয়?

আমি এখানে নিম্নলিখিত পড়ুন:

সিগময়েড আউটপুটগুলি শূন্য-কেন্দ্রিক নয় । এটি অনাকাঙ্ক্ষিত যেহেতু নিউরালনগুলি পরে নিউরাল নেটওয়ার্কে প্রসেসিংয়ের পরবর্তী স্তরগুলিতে (খুব শীঘ্রই এটি সম্পর্কে আরও) ডেটা প্রাপ্ত হবে যা শূন্য-কেন্দ্রিক নয়। এই গ্রেডিয়েন্ট বংশদ্ভুত সময় গতিবিদ্যা উপর বিষয় রয়েছে সবসময় ইতিবাচক হলে ডেটা একটি স্নায়ুর উদ্ভেদ যদি কারণ (যেমন $x > 0$ elementwise মধ্যে $f = w^Tx + b$ )), তারপর ওজন উপর গ্রেডিয়েন্ট $w$ backpropagation সময় ইচ্ছা পারেন পরিণত সমস্ত ধনাত্মক, বা সমস্ত নেতিবাচক (সম্পূর্ণ এক্সপ্রেশন গ্রেডিয়েন্ট উপর নির্ভর করে $f$ )। এটি ওজনের জন্য গ্রেডিয়েন্ট আপডেটগুলিতে অযাচিত জিগ-জাগিং গতিশীলতার পরিচয় দিতে পারে। তবে খেয়াল করুন যে একবার এই গ্রেডিয়েন্টগুলি উপাত্তের একটি ব্যাচ জুড়ে যুক্ত করা গেলে ওজনের চূড়ান্ত আপডেটে ভেরিয়েবল চিহ্ন থাকতে পারে, কিছুটা এই সমস্যাটিকে প্রশমিত করে। অতএব, এটি একটি অসুবিধা হলেও উপরের স্যাচুরেটেড অ্যাক্টিভেশন সমস্যার তুলনায় এর কম গুরুতর পরিণতি হয়েছে।

কেন সব থাকার করবে $x>0$ (elementwise) অল-ইতিবাচক বা সব-নেগেটিভ গ্রেডিয়েন্ট সীসা $w$ ?

neural-networks deep-learning backpropagation

— আমেলিও ভাজকেজ-রেইনা
সূত্র

CS231n ভিডিও দেখার ক্ষেত্রেও আমার একই প্রশ্ন ছিল।

— subwaymatch

f = \sum w_{i} x_{i} + b

$f=\sum w_ix_i+b$

\frac{d f}{d w_{i}} = x_{i}

$\frac{df}{dw_i}=x_i$

\frac{d L}{d w_{i}} = \frac{d L}{d f} \frac{d f}{d w_{i}} = \frac{d L}{d f} x_{i}

$\frac{dL}{dw_i}=\frac{dL}{df}\frac{df}{dw_i}=\frac{dL}{df}x_i$

$x_i>0$ $\dfrac{dL}{dw_i}$ $\dfrac{dL}{df}$

$w_1$ $w_2$

যদি আমাদের লক্ষ্যটি উত্তর-পূর্ব দিকে হয়, তবে আমরা সেখানে পৌঁছানোর জন্য কেবল একটি জিগ-জাগিং ফ্যাশনে যেতে পারি, ঠিক যেমন একটি সরু জায়গায় সমান্তরাল পার্কিংয়ের মতো। (আমার অঙ্কন ক্ষমা করুন)

অতএব গ্রেডিয়েন্ট ভিত্তিক অপ্টিমাইজেশনের জন্য অল-পজিটিভ বা অল-নেগেটিভ অ্যাক্টিভেশন ফাংশন (রিলু, সিগময়েড) কঠিন হতে পারে। এই সমস্যাটি সমাধান করার জন্য আমরা ব্যাচ / স্তরকে সাধারণকরণের মতো করে শূন্য-কেন্দ্রিক হওয়ার জন্য ডেটা অগ্রিমভাবে স্বাভাবিক করতে পারি।

f = \sum w_{i} (x_{i} + b_{i}) .

$f=\sum w_i(x_i+b_i).$

\frac{d L}{d w_{i}} = \frac{d L}{d f} (x_{i} - b_{i})

$\frac{dL}{dw_i}=\frac{dL}{df}(x_i-b_i)$

x_{i}

$x_i$

— dontloo
সূত্র

দয়া করে আমাকে সংশোধন করুন যদি আমি ভুল হয়ে যাই তবে dL / df এর মান x অর্থাৎ xT এর ট্রান্সপোজ হওয়া উচিত নয় যেহেতু আমরা এখানে জ্যাকবিনের ধারণাটি ব্যবহার করব।

— চিন্ময়

f

$f$

w^{T} x + b

$w^Tx+b$

L

$L$

w

$w$

x

$x$

হ্যাঁ, এটি আমার শেষ দিক থেকে একটি বড় টাইপ। আমার অর্থ df / dw .... তবে আমি মনে করি এটি ভেক্টর x এর উপর বেশি নির্ভর করে এবং যদি এটি একটি সারি ভেক্টর বা কলাম ভেক্টর হয়

— চিন্মে

d L / d f

$d L/d f$

@ ফ্লয়েড হাই আমি আপনার প্রশ্নের জন্য কিছু আপডেট যোগ করেছি

— দন্টলু না