একক স্তরের নিউরাল নেটওয়ার্কের ডাইরিভিং গ্রেডিয়েন্ট এর ইনপুটগুলিকে আঁকায়, চেইন রুলে অপারেটরটি কী?

সমস্যাটি হ'ল:

ক্রস এন্ট্রপি ক্ষতি সহ ইনপুট -> লুকানো, লুকানো -> আউটপুট জন্য সফটম্যাক্স ব্যবহার করে সিএলএময়েড ব্যবহার করে আ সিঙ্গল লুকানো লেয়ার নিউরাল নেটওয়ার্কের জন্য ইনপুট লেয়ারের সাথে সম্মানের সাথে গ্রেডিয়েন্টটি আবিষ্কার করুন।

আমি চেইন বিধিটি ব্যবহার করে বেশিরভাগ উদ্দীপনা নিয়ে যেতে পারি তবে কীভাবে এগুলিকে একসাথে "চেইন" করা যায় সে সম্পর্কে আমি অনিশ্চিত।

কিছু স্বীকৃতি সংজ্ঞায়িত করুন

$r = xW_1+b_1$

$h = \sigma\left( r \right)$ , হ'ল সিগময়েড ফাংশন $\sigma$

$\theta = hW_2+b_2$ ,

$\hat{y} = S \left( \theta \right)$ থিয়েটা , হ'ল সফটম্যাক্স ফাংশন $S$

$J\left(\hat{y}\right) = \sum_i y \log\hat{y}_i$ , হ'ল বাস্তব এক লেবেল এক-গরম ভেক্টর $y$

তারপরে শৃঙ্খলা নিয়মে,

\frac{\partial J}{\partial x} = \frac{\partial J}{\partial θ} \cdot \frac{\partial θ}{\partial h} \cdot \frac{\partial h}{\partial r} \cdot \frac{\partial r}{\partial x}

$\frac{\partial J}{\partial \boldsymbol{x}} = \frac{\partial J}{\partial \boldsymbol{\theta}} \cdot \frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} \cdot \frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} \cdot \frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}}$

পৃথক গ্রেডিয়েন্টগুলি হ'ল:

\frac{\partial J}{\partial θ} = (\hat{y} - y)

$\frac{\partial J}{\partial \boldsymbol{\theta}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right)$

\frac{\partial θ}{\partial h} = \frac{\partial}{\partial h} [h W_{2} + b_{2}] = W_{2}^{T}

$\frac{\partial \boldsymbol{\theta}}{\partial \boldsymbol{h}} = \frac{\partial}{\partial \boldsymbol{h}} \left[ \boldsymbol{h}W_2 + \boldsymbol{b_2}\right] = W_2^T$

\frac{\partial h}{\partial r} = h \cdot (1 - h)

$\frac{\partial \boldsymbol{h}}{\partial \boldsymbol{r}} = h \cdot \left(1-h\right)$

\frac{\partial r}{\partial x} = \frac{\partial}{\partial x} [x W_{1} + b_{1}] = W_{1}^{T}

$\frac{\partial \boldsymbol{r}}{\partial \boldsymbol{x}} = \frac{\partial}{\partial \boldsymbol{x}} \left[ \boldsymbol{x}W_1 + \boldsymbol{b_1}\right] = W_1^T$

এখন আমাদের সংজ্ঞাগুলি এক সাথে চেইন করতে হবে। একক ভেরিয়েবলে এটি সহজ, আমরা কেবল সমস্ত কিছু একসাথে গুণ করি। ভেক্টরগুলিতে, আমি উপাদান-ভিত্তিক গুণ বা ম্যাট্রিক্সের গুণটি ব্যবহার করব কিনা তা নিশ্চিত নই।

\frac{\partial J}{\partial x} = (\hat{y} - y) * W_{2}^{T} \cdot [h \cdot (1 - h)] * W_{1}^{T}

$\frac{\partial J}{\partial \boldsymbol{x}} = \left( \hat{\boldsymbol{y}} - \boldsymbol{y} \right) * W_2^T \cdot \left[\boldsymbol{h} \cdot \left(1-\boldsymbol{h}\right)\right] * W_1^T$

যেখানে হ'ল ভেক্টরগুলির উপাদান-ভিত্তিক গুণ, এবং একটি ম্যাট্রিক্স গুণফল । ক্রিয়াকলাপগুলির এই সংমিশ্রণটি আমি মাত্রার ভেক্টর পেতে একসাথে স্ট্রিংয়ের মতো মনে করতে পারি, যা আমি জানি থাকতে হবে। $\cdot$ $*$ $1 \cdot D_x$ $\frac{\partial J}{\partial \boldsymbol{x}}$

আমার প্রশ্নটি: কোন অপারেটরটি ব্যবহার করবেন তা নির্ধারণের জন্য নীতিগত উপায়টি কী? আমি বিশেষত এবং মধ্যে উপাদান অনুসারে প্রয়োজনীয়তার দ্বারা বিভ্রান্ত হয়ে পড়েছি । $W_2^T$ $h$

ধন্যবাদ!

neural-networks gradient

— amatsukawa
সূত্র

আমি বুঝতে পারি ইনপুটগুলিতে গ্রেডিয়েন্ট আর্ট সন্ধান করা প্রায়শই হয় না। আমি বিশ্বাস করি এটি শব্দের এমবেডিংগুলি কম্পিউটিংয়ে নেতৃত্ব, যেখানে আপনার কাছে "ইনপুট" শব্দ ভেক্টরগুলিকে অনুকূল করতে বিকল্প রয়েছে have

— আমসুকওয়া

কিভাবে দিদি আপনি dervie DJ / dTheta

— Raaj

উত্তর:

আমি বিশ্বাস করি যে এই প্রশ্নের উত্তর কী যে বাতলান উপাদান ভিত্তিক গুণ আসলে হয় সাধারণভাবে সংক্ষেপে এবং তাই যখন আপনি সমীকরণ আহরণ আপনি না আসলে এটি ব্যবহার।

আসল ক্রিয়াকলাপটি কোনও উপাদান-ভিত্তিক গুণ নয়, পরিবর্তে সর্বদা , একটি জ্যাকবীয়ের সাথে গ্রেডিয়েন্টের মান ম্যাট্রিক্সের গুণ ।

অরৈখিকতার ক্ষেত্রে, নন-লিনিয়ারিটির ভেক্টর ইনপুট সম্পর্কিত নন-লাইনারিটির ভেক্টর আউটপুটটির জ্যাকবিয়ানটি একটি তির্যক ম্যাট্রিক্স হিসাবে দেখা যায়। সুতরাং এটি সত্য যে এই ম্যাট্রিক্স দ্বারা গুনযুক্ত গ্রেডিয়েন্টটি অরৈখিকতার ইনপুট সম্পর্কিত ননলাইনারিটির সমস্ত আংশিক ডেরিভেটিভসযুক্ত একটি ভেক্টর দ্বারা ক্ষতির উপাদান অনুসারে গুণিত অরৈখিকতার আউটপুট গ্রেডিয়েন্টের সমান, তবে এটি জ্যাকবীয় থেকে তির্যক হওয়া থেকে অনুসরণ করে । উপাদান-ভিত্তিক গুণণের জন্য আপনাকে জ্যাকবীয় পদক্ষেপটি অতিক্রম করতে হবে, যা আপনার বিভ্রান্তির ব্যাখ্যা দিতে পারে।

গণিত, আমরা আছে কিছু nonlinearity , একটি ক্ষতি , এবং nonlinearity একটি ইনপুট (এই কোনো টেন্সর হতে পারে)। অলাইনারিটির আউটপুটে একই মাত্রা --- রয়েছে যেমন @ লোগান বলেছে, অ্যাক্টিভেশন ফাংশনটি উপাদান অনুসারে সংজ্ঞায়িত করা হয়েছে। $s$ $L$ $x \in \mathbb{R}^{n \times 1}$ $s(x) \in \mathbb{R}^{n \times 1}$

আমরা চাই

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L

$\nabla_{x}L=\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L$

যেখানে জ্যাকবীয় । এই জ্যাকবিয়ানকে প্রসারিত করে, আমরা পেয়েছি $\dfrac{\partial s(x)}{\partial x}$ $s$

[\begin{matrix} \frac{\partial s (x_{1})}{\partial x_{1}} & \dots & \frac{\partial s (x_{1})}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial s (x_{n})}{x_{1}} & \dots & \frac{\partial s (x_{n})}{\partial x_{n}} \end{matrix}]

$\begin{bmatrix} \dfrac{\partial{s(x_{1})}}{\partial{x_1}} & \dots & \dfrac{\partial{s(x_{1})}}{\partial{x_{n}}} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial{s(x_{n})}}{x_{1}} & \dots & \dfrac{\partial{s(x_{n})}}{\partial{x_{n}}} \end{bmatrix}$

আমরা দেখতে পেয়েছি যে এটি তির্যক বাদে সর্বত্র শূন্য। আমরা এর সমস্ত তির্যক উপাদানগুলির একটি ভেক্টর তৈরি করতে পারি

D i a g (\frac{\partial s (x)}{\partial x})

$Diag\left(\dfrac{\partial s(x)}{\partial x}\right)$

এবং তারপরে উপাদান-ভিত্তিক অপারেটরটি ব্যবহার করুন।

\nabla_{x} L = {(\frac{\partial s (x)}{\partial x})}^{T} \nabla_{s (x)} L = D i a g (\frac{\partial s (x)}{\partial x}) \circ \nabla_{s (x)} L

$\nabla_{x}L =\left({\dfrac{\partial s(x)}{\partial x}}\right)^T\nabla_{s(x)}L =Diag\left(\dfrac{\partial s(x)}{\partial x}\right) \circ \nabla_{s(x)}L$

— user0
সূত্র

যখনই কোনও অ্যাক্টিভেশন ফাংশনে ব্যাকপ্রসারণীয়, ক্রিয়াকলাপগুলি উপাদান-ভিত্তিতে পরিণত হয়। বিশেষত, আপনার উদাহরণটি ব্যবহার করে, ব্যাকপ্রোগেশন ডেরাইভেটিভ এবং একটি সক্রিয়করণ ডেরাইভেটিভ এবং তাদের পণ্য উপাদান অনুসারে পণ্য, । এটি কারণ সক্রিয়করণ ফাংশনগুলি নিউরাল নেটওয়ার্কে উপাদান-ভিত্তিক ক্রিয়াকলাপ হিসাবে সংজ্ঞায়িত হয়। $\delta_2 =(\hat{y}-y)W_2^T$ $a' = h \circ (1 -h)$ $\delta_2 \circ a'$

CS224d বক্তৃতা স্লাইড পৃষ্ঠা 30 দেখুন, এটি সাহায্য করতে পারে।

— লোগান
সূত্র