পূর্ববর্তী কনভোলিউশনাল লেয়ারের ব-দ্বীপ শর্ত এবং ওজন প্রদত্ত কোন কনভলিউশনাল লেয়ারের ব-দ্বীপের শব্দটি আমি কীভাবে গণনা করব?

আমি দুটি কনভ্যুশনাল স্তর (সি 1, সি 2) এবং দুটি লুকানো স্তর (সি 1, সি 2) দিয়ে একটি কৃত্রিম নিউরাল নেটওয়ার্ক প্রশিক্ষণের চেষ্টা করছি। আমি স্ট্যান্ডার্ড ব্যাকপ্রোপেজেশন পদ্ধতির ব্যবহার করছি। পিছনের পাসে আমি পূর্ববর্তী স্তরের ত্রুটির উপর ভিত্তি করে একটি স্তর (ব-দ্বীপ) এর ত্রুটি শর্ত গণনা করি, পূর্ববর্তী স্তরের ওজন এবং বর্তমান স্তরের অ্যাক্টিভেশন ফাংশনের ক্ষেত্রে সক্রিয়করণের গ্রেডিয়েন্ট। আরও নির্দিষ্টভাবে লেয়ার এল এর ব-দ্বীপটি দেখতে এরকম দেখাচ্ছে:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

আমি সি 2 এর গ্রেডিয়েন্ট গণনা করতে সক্ষম, যা একটি নিয়মিত স্তরের সাথে সংযোগ স্থাপন করে। আমি এইচ ডেল্টা দিয়ে এইচ 1 এর ওজনকে কেবল বাড়িয়েছি। তারপরে আমি সেই ম্যাট্রিক্সকে সি 2 এর আউটপুট আকারে পুনরায় আকার দিয়েছি, এটি অ্যাক্টিভেশন ফাংশনের গ্রেডিয়েন্ট দিয়ে গুণ করব এবং শেষ হয়ে গেল।

এখন আমার কাছে সি 2 এর একটি ডেল্টা শব্দ রয়েছে - যা আকারের 4D ম্যাট্রিক্স (ফিচারম্যাপসাইজ, ফিচারম্যাপ সাইজ, ফিল্টারনাম, প্যাটার্ননাম)। তদতিরিক্ত আমার কাছে সি 2 এর ওজন রয়েছে যা আকারের 3 ডি ম্যাট্রিক্স (ফিল্টারসাইজ, ফিল্টারসাইজ, ফিল্টারনাম)।

এই দুটি পদ এবং সি 1 সক্রিয়করণের গ্রেডিয়েন্টের সাথে আমি সি 1 এর ব-দ্বীপ গণনা করতে চাই।

দীর্ঘ সংক্ষিপ্ত বিবরণ:

পূর্ববর্তী কনভ্যুশনাল স্তরের ব-দ্বীপ শর্ত এবং সেই স্তরের ওজন দেওয়া, আমি কীভাবে কনভোলশনাল স্তরের ব-দ্বীনের শব্দটি গণনা করব?

— cdwoelk
সূত্র

আমি প্রথমত এক মাত্রিক অ্যারে (ইনপুট) এর সরলতার জন্য নীচে একটি সংশ্লেষীয় স্তরটির জন্য ত্রুটিটি পাই যা সহজেই তখন বহুমাত্রিককে স্থানান্তরিত করা যায়:

আমরা এখানে ধরে নিই যে $y^{l-1}$ দৈর্ঘ্যের $N$ এর ইনপুট হয় $l-1$ -মাম কনভ স্তর, $m$ ওজনের কার্নেল-আকার $w$ প্রতিটি ওজন দ্বারা চিহ্নিত করা $w_i$ এবং আউটপুট হয় $x^l$ ।
সুতরাং আমরা লিখতে পারি (শূন্য থেকে সংক্ষেপটি নোট করুন):

{এক্স}_{আমি}^{ঠ} = Σ_{একটি = 0}^{মি - 1} W_{একটি} Y_{একটি + + আমি}^{ঠ - 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$ কোথায়

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$ এবং

f

$f$ অ্যাক্টিভেশন ফাংশন (যেমন সিগময়েডাল)। এটি হাতে রেখে আমরা এখন কিছু ত্রুটি ফাংশন বিবেচনা করতে পারি

E

$E$ এবং প্রদত্ত কনভ্যুশনাল স্তর (আপনার আগের স্তরের একটি) এ ত্রুটি ফাংশন

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$ । আমরা এখন আগের স্তর (গুলি) এর একটি ওজনের ত্রুটির নির্ভরতা জানতে চাই:

\frac{\partial ই}{\partial W_{একটি}} = Σ_{একটি = 0}^{এন - মি} \frac{\partial ই}{\partial {এক্স}_{আমি}^{ঠ}} \frac{\partial {এক্স}_{আমি}^{ঠ}}{\partial W_{একটি}} = Σ_{একটি = 0}^{এন - মি} \frac{\partial ই}{\partial W_{একটি}} Y_{আমি + + একটি}^{ঠ - 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$
যেখানে আমাদের সমস্ত প্রকাশের উপরে যোগফল রয়েছে

w_{a}

$w_a$ ঘটে, যা হয়

N - m

$N-m$ । এটিও নোট করুন যে আমরা জানি যে শেষ শব্দটি এই থেকেই উদ্ভূত হয়েছিল

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$ যা আপনি প্রথম সমীকরণ থেকে দেখতে পাবেন।
গ্রেডিয়েন্ট গণনা করার জন্য আমাদের প্রথম শব্দটি জানা দরকার, যা দ্বারা নিরূপণ করা যেতে পারে:

\frac{\partial ই}{\partial {এক্স}_{আমি}^{ঠ}} = \frac{\partial ই}{\partial Y_{আমি}^{ঠ}} \frac{\partial Y_{আমি}^{ঠ}}{\partial {এক্স}_{আমি}^{ঠ}} = \frac{\partial ই}{\partial Y_{আমি}^{ঠ}} \frac{\partial}{\partial {এক্স}_{আমি}^{ঠ}} চ ({এক্স}_{আমি}^{ঠ})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$ যেখানে আবার প্রথম শব্দটি পূর্ববর্তী স্তরের ত্রুটি এবং

f

$f$ অ-লিনিয়ার অ্যাক্টিভেশন ফাংশন।

সমস্ত প্রয়োজনীয় সত্তা থাকা আমরা এখন ত্রুটি গণনা করতে এবং মূল্যবান স্তরে দক্ষতার সাথে এটি আবার প্রচার করতে সক্ষম হয়েছি:

δ_{একটি}^{ঠ - 1} = \frac{\partial ই}{\partial Y_{আমি}^{ঠ - 1}} = Σ_{একটি = 0}^{মি - 1} \frac{\partial ই}{\partial {এক্স}_{আমি - একটি}^{ঠ}} \frac{\partial {এক্স}_{আমি - একটি}^{ঠ}}{\partial Y_{আমি}^{ঠ - 1}} = Σ_{একটি = 0}^{মি - 1} \frac{\partial ই}{\partial {এক্স}_{আমি - একটি}^{ঠ}} W_{একটি}^{চ ঠ আমি পি পি ই ঘ}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$ নোট করুন যে লিখিত লেখার সময় শেষ পদক্ষেপটি সহজেই বোঝা যায়

x_{i}^{l}

$x_i^l$ -স

y_{i}^{l - 1}

$y_i^{l-1}$ -s। দ্য

f l i p p e d

$flipped$ ট্রান্সপোজড ওজন ম্যাক্সট্রিক্সকে বোঝায় (

T

$T$ )।

সুতরাং আপনি কেবল পরবর্তী স্তরের ত্রুটিটি গণনা করতে পারেন (এখন ভেক্টর নোটেশনে):

δ^{ঠ} = (W^{ঠ})^{টি} δ^{ঠ + + 1} চ^{'} ({এক্স}^{ঠ})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

যা একটি কনভোলজিকাল এবং সাবসাম্পলিং লেয়ারের হয়ে ওঠে:

δ^{ঠ} = তোমার দর্শন লগ করা পি গুলি একটি মি পি ঠ ই ((W^{ঠ})^{টি} δ^{ঠ + + 1}) চ^{'} ({এক্স}^{ঠ})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$ যেখানে

u p s a m p l e

$upsample$ অপারেশন সর্বোচ্চ পুলিং স্তর মাধ্যমে ত্রুটি প্রচার করে।

আমাকে যোগ বা সংশোধন বিনা দ্বিধায় দয়া করে!

রেফারেন্সের জন্য দেখুন:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

এবং একটি সি ++ বাস্তবায়নের জন্য (ইনস্টল করার প্রয়োজন ছাড়াই): https://github.com/nyanp/tiny-cnn#supported- নেট ওয়ার্ক

— LeoW।
সূত্র