স্কিপগ্রাম ওয়ার্ড 2 ওয়েভের জন্য গ্রেডিয়েন্টস

স্ট্যানফোর্ড এনএলপি গভীর শিক্ষার শ্রেণীর লিখিত কার্যনির্বাহী সমস্যাগুলির মধ্যে আমি যাচ্ছি http://cs224d.stanford.edu/assignment1/assignment1_soln

আমি 3a এর উত্তরটি বোঝার চেষ্টা করছি যেখানে তারা কেন্দ্রের শব্দের জন্য ভেক্টর থেকে ডাইরিভেটিভ খুঁজছেন।

ধরুন আপনাকে স্কিপগ্রামের কেন্দ্রের শব্দ সি এর সাথে সম্পর্কিত একটি পূর্বাভাসযুক্ত ভেক্টর given দেওয়া হয়েছে, এবং ওয়ার্ড টুভেক মডেলগুলিতে পাওয়া সফটম্যাক্স ফাংশন দিয়ে শব্দের পূর্বাভাস তৈরি করা হয়েছে। $v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

কোথায় W -এর মানে W-তম শব্দ এবং (= W 1,।।।, ডব্লিউ) "আউটপুট" শব্দভান্ডার সমস্ত শব্দের জন্য শব্দ ভেক্টর হয়। ধরে ক্রস এনট্রপি খরচ এই ভবিষ্যদ্বাণী প্রয়োগ করা হয় এবং শব্দ ণ প্রত্যাশিত শব্দ। $u_w$

যেখানে সমস্ত আউটপুট ভেক্টরগুলির ম্যাট্রিক্স এবং words শব্দের নরমম্যাক্স পূর্বাভাসের কলাম ভেক্টর হতে দিন এবং y হ'ল হট লেবেল যা এটি একটি কলাম ভেক্টরও। $U = [u_1,u_2, · · · ,u_W ]$ $\hat{y}$

ক্রস এনট্রপি যেখানে $CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

সুতরাং কেন্দ্র ভেক্টরের গ্রেডিয়েন্টের উত্তর $\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

কেউ কি আমাকে এইটিতে পৌঁছানোর পদক্ষেপগুলি দেখাতে পারে? আমি এই প্রশ্নটি ওয়ার্ড টুভেচে ক্রস এন্ট্রপি ক্ষয়ের ডেরিভেটিভ হিসাবে এই প্রশ্নটি ব্যবহার করছি তবে আমি বিশেষতউপস্থাপনা। $U^T(\hat{y} − y).$

— জ্যাক তহবিল
সূত্র

প্রথমে আসুন আমরা কী পেয়েছি এবং বিভিন্ন ভেক্টরগুলির আকার সম্পর্কে আমাদের অনুমানগুলি রেখেছি। দিন,

$|W|$ ভোকাবের শব্দের সংখ্যা হও
$y$ এবং shape আকৃতির কলাম ভেক্টর হোনx 1 $\hat{y}$ $|W|$
$u_i$ এবং এক্স 1 আকৃতির কলাম ভেক্টর ( = মাত্রা) $v_j$ $D$ $D$
$y$ আকারের ওয়ান-হট এনকোডেড কলামের ভেক্টর হোনx 1 $|W|$
$\hat{y}$ shape আকারের নরমম্যাক্স পূর্বাভাস কলাম ভেক্টরx 1 $|W|$
$\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
ক্রস এনট্রপি ক্ষতি: $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
$U = [u_1, u_2, ...,u_k, ...u_W]$ কলামের ভেক্টরগুলির একটি ম্যাট্রিক্স । $u_k$

এখন, আমরা , এখন, আমরা জানি যে এক-হট , সুতরাং এর সমস্ত উপাদান বলুন, সূচক বাদে শূন্য । যার অর্থ, সাথে সম্পর্কিত সংমিশ্রণের মধ্যে একটিমাত্র শূন্য শর্ত রয়েছে এবং সংক্ষেপে অন্য সমস্ত শর্তগুলি শূন্য। সুতরাং এইভাবে লেখা যেতে পারে: দ্রষ্টব্য: উপরে 1

J = - \sum_{i = 1}^{W} y_{i} l o g (\frac{e x p (u_{i}^{T} v_{c})}{\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c})})

$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$

J = - \sum_{i = 1}^{W} y_{i} [u_{i}^{T} v_{c} - l o g (\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}))]

$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$

y

$y$

k^{t h}

$k^{th}$

y_{k}

$y_k$

J = - y_{k} [u_{k}^{T} v_{c} - l o g (\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}))]

$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$

y_{k}

$y_k$

এর সমাধান : $\frac{\partial J}{\partial v_c}$

\frac{\partial J}{\partial v_{c}} = - [u_{k} - \frac{\sum_{w = 1}^{W} e x p (u_{w}^{T} v_{c}) u_{w}}{\sum_{x = 1}^{W} e x p (u_{x}^{T} v_{c})}]

$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$

যা পুনরায় সাজানো যেতে পারে: সংজ্ঞা ()) ব্যবহার করে আমরা উপরের সমীকরণটি আবার লিখতে পারি:

\frac{\partial J}{\partial v_{c}} = \sum_{w = 1}^{W} (\frac{e x p (u_{w}^{T} v_{c})}{\sum_{x = 1}^{W} e x p (u_{x}^{T} v_{c})} u_{w}) - u_{k}

$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$

\frac{\partial J}{\partial v_{c}} = \sum_{w = 1}^{W} ({\hat{y}}_{w} u_{w}) - u_{k}

$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$

এখন আসুন দেখুন ম্যাট্রিক্স নোটেশনে এটি কীভাবে লেখা যেতে পারে ote দ্রষ্টব্য:

$u_k$ ম্যাট্রিক্স ভেক্টর গুণ হিসাবে লেখা যেতে পারে: $U.y$
আর ভেক্টর একটি রৈখিক রূপান্তর হয় মধ্যে দ্বারা ছোটো যথাক্রমে। এটি আবার as হিসাবে লেখা যেতে পারে $\sum_{w=1}^W (\hat{y}_w u_w)$ $u_w$ $U$ $\hat{y}_w$ $U.\hat{y}$

সুতরাং পুরো জিনিসটি সংক্ষিপ্তভাবে লেখা যেতে পারে:

U [\hat{y} - y]

$U[\hat{y} -y]$

অবশেষে, নোট করুন যে আমরা গুলি কলাম ভেক্টর হিসাবে ধরে । যদি আমরা সারি ভেক্টর দিয়ে শুরু করে থাকতাম তবে আমরা আপনি যে সন্ধান করছিলেন তার সমতুল্য পেতাম । $u_i$ $U^T[\hat{y} -y]$

— শচীন তায়াগি
সূত্র

কেবল এটিই বলতে চেয়েছিলেন যে এটি আবিষ্কারের জন্য একটি দুর্দান্ত ব্যাখ্যা! এটি আমার মতো গণিত-সফলদের জন্য সত্যই সহায়তা করে। ধন্যবাদ!

— এরিক কিম

আশ্চর্যজনক ব্যাখ্যা জন্য +1!

— দাম্ভিক

কেন এই

\frac{\partial}{\partial B} A^{T} B = A

$\frac{\partial}{\partial B} A^TB = A$

— ব্যয়টি আমি গুরুত্ব

@ পার্থটামনে দয়া করে এটি দেখুন - math.stackexchange.com/Qestions/3270789/…

— শচীন