ওয়ার্ড টুভেচে ক্রস এনট্রপি ক্ষতি ডেরাইভেটিভ

আমি CS224d অনলাইন স্ট্যানফোর্ড ক্লাস কোর্স উপাদানটির প্রথম সমস্যা সেটটি দিয়ে আমার পথে কাজ করার চেষ্টা করছি এবং 3A সমস্যা নিয়ে আমার কিছু সমস্যা হচ্ছে: সফটম্যাক্স প্রেডিকেশন ফাংশন এবং ক্রস এন্ট্রপি ক্ষতি ফাংশন সহ স্কিপ গ্রাম ওয়ার্ড 2 ওয়েভ মডেলটি ব্যবহার করার সময়, আমরা পূর্বাভাসযুক্ত শব্দ ভেক্টরগুলির সাথে সম্মানের সাথে গ্রেডিয়েন্টগুলি গণনা করতে চান। সুতরাং সফটম্যাক্স ফাংশন দেওয়া হয়েছে:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

এবং ক্রস এনট্রপি ফাংশন:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

আমাদের গণনা করতে হবে $\frac{\partial{CE}}{\partial{\hat{r}}}$

আমার পদক্ষেপগুলি নিম্নরূপ:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

এখন দেওয়া $w_k$ হ'ল একটি গরম ভেক্টর এবং আমি সঠিক শ্রেণি:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

এটি কি সঠিক বা এটি আরও সরল করা যেতে পারে? সমস্যা সমাধান সমাধানগুলি অনলাইনে পোস্ট না করা হওয়ায় আমি সঠিক পথে রয়েছি কিনা তা নিশ্চিত করার চেষ্টা করতে চাই। প্লাগিং অ্যাসাইনমেন্টগুলি সঠিকভাবে করতে সক্ষম হওয়ার জন্য লিখিত কার্য সম্পাদন সঠিক হওয়া গুরুত্বপূর্ণ getting

machine-learning self-study word2vec

— slushi
সূত্র

প্রশ্নটিতে স্ব-অধ্যয়নের ট্যাগ যুক্ত করুন

— ডাউনি 33

প্রথম লগ সনাক্তকরণে দ্বিতীয় বিয়োগ সাইন ইন একটি প্লাস হওয়া উচিত। আপনার জন্য এটি ঠিক করার চেষ্টা করা হয়েছে তবে সম্পাদনাগুলিতে কমপক্ষে 6 টি অক্ষর হওয়া দরকার:

— Fat

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \frac{1}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r}) w_{j}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$ হিসাবে লেখা যেতে পারে দ্রষ্টব্য, উভয় j দ্বারা তবে এটি দুটি পৃথক ভেরিয়েবলের হওয়া উচিত। এটি আরও উপযুক্ত হবে যা

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{j}^{| V |} (\frac{\exp (w_{j}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{j})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} (\frac{\exp (w_{x}^{⊤} \hat{r})}{\sum_{j}^{| V |} e x p (w_{j}^{T} \hat{r})} \cdot w_{x})

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$

\frac{\partial C E}{\partial \hat{r}} = - w_{i} + \sum_{x}^{| V |} Pr (w o r d_{x} ∣ \hat{r}, w) \cdot w_{x}

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$

— FatalMojo
সূত্র

প্রাসঙ্গিক, তিনি বক্তৃতার 2 @ 38:00

— ফাতালমোজো

বিভিন্ন ভেরিয়েবল দ্বারা অঙ্কগুলি কেন সূচিত করা উচিত?

— ইয়ামেনেকো

শুধু বিভ্রান্তি এড়াতে। গাণিতিকভাবে এর অর্থ একই জিনিস, তবে নতুন যোগফল যুক্ত করার সময় সূচী লেবেলটি পরিবর্তন করা ভাল অনুশীলন।

— ফ্যাটালমোজো