ওয়ার্ড 2ভেকের স্কিপ-গ্রাম মডেল কীভাবে আউটপুট ভেক্টর তৈরি করে?

Question

ওয়ার্ড 2 ভেক অ্যালগরিদমের স্কিপ-গ্রাম মডেলটি বুঝতে আমার সমস্যা হচ্ছে।

অবিচ্ছিন্ন ব্যাগ-অফ-শব্দের মধ্যে নিউরাল নেটওয়ার্কে প্রসঙ্গের শব্দগুলি কীভাবে "ফিট" হতে পারে তা সহজেই দেখা যায়, যেহেতু আপনি ইনপুট ম্যাট্রিক্স ডাব্লু দিয়ে এক-হট এনকোডিং উপস্থাপনাগুলির প্রতিটি গুন করার পরে মূলত এগুলি গড় করেন since

তবে, স্কিপ-গ্রামের ক্ষেত্রে, আপনি কেবল ইনপুট ম্যাট্রিক্সের সাহায্যে এক-হট এনকোডিংকে গুণিয়ে ইনপুট শব্দ ভেক্টরটি পান এবং তারপরে আপনি অনুমান করতে পারেন যে সি (= উইন্ডো আকার) ভেক্টরগুলির প্রসঙ্গ শব্দগুলির জন্য উপস্থাপনা পাওয়ার জন্য গুণিত করে আউটপুট ম্যাট্রিক্স ডাব্লু'র সাথে ইনপুট ভেক্টর উপস্থাপনা।

আমার অর্থ হ'ল, মাপের এর একটি শব্দভান্ডার এবং আকার এনকোডিং , ইনপুট ম্যাট্রিক্স এবং আউটপুট ম্যাট্রিক্স হিসাবে। শিক্ষা জানিয়েছি এক গরম এনকোডিং এর সাথে প্রসঙ্গ শব্দের সঙ্গে এবং (সঙ্গে এক গরম প্রতিনিধি এবং ), যদি আপনি সংখ্যাবৃদ্ধি ইনপুট ম্যাট্রিক্স দ্বারা আপনি পেতে , এখন আপনি কীভাবে এ থেকে স্কোর ভেক্টর তৈরি করবেন ?$V$$N$$W \in \mathbb{R}^{V\times N}$$W' \in \mathbb{R}^{N\times V}$$w_i$$x_i$$w_j$$w_h$$x_j$$x_h$$x_i$$W$${\bf h} := x_i^TW = W_{(i,\cdot)} \in \mathbb{R}^N$$C$

Answer 1

এটি বুঝতে আমার একই সমস্যা হয়েছিল। দেখে মনে হচ্ছে আউটপুট স্কোর ভেক্টর সমস্ত সি পদে এক হবে। তবে প্রতিটি উষ্ণ প্রতিনিধিত্বকারী ভেক্টরগুলির সাথে ত্রুটির পার্থক্য আলাদা হবে different সুতরাং ত্রুটিযুক্ত ভেক্টরগুলি ওজন আপডেট করার জন্য পিছনে প্রচারে ব্যবহৃত হয়।

আমি ভুল হলে দয়া করে আমাকে সংশোধন করুন।

উত্স: https://iksinc.wordpress.com/tag/skip-gram-model/

Comments

তাই ? $W' \in \mathbb{R}^{N\times (V*C)}$

— ফবিচ

Answer 2

উভয়ই মডেলের আউটপুট স্কোর নির্ভর করে আপনি যে স্কোর ব্যবহার করেন তা নির্ভর করে। দুটি স্কোর ফাংশন সফটম্যাক্স বা নেতিবাচক নমুনা থাকতে পারে। সুতরাং আপনি একটি সফটম্যাক্স স্কোর ফাংশন ব্যবহার করেন। আপনি এন * ডি এর স্কোর ফাংশন আকার পাবেন। এখানে ডি শব্দের ভেক্টরের মাত্রা। এন উদাহরণগুলির সংখ্যা। প্রতিটি শব্দ নিউরাল নেট আর্কিটেকচারে ক্লাসের মতো।

Answer 3

স্কিপ-গ্রাম মডেলটিতে একটি-গরম এনকোড শব্দটি দ্বি-স্তর অগভীর নিউরাল নেটকে খাওয়ানো হয়। যেহেতু ইনপুট এক গরম এনকোডেড হয়েছে লুকানো স্তর ইনপুট গোপন ওজন ম্যাট্রিক্স মাত্র এক সারি (এর কথা বলা যাক রয়েছে সারি কারণ ট টি $k_{th}$$k_{th}$ ইনপুট ভেক্টরের সারিটি এক)।

প্রতিটি শব্দের জন্য স্কোর নিম্নলিখিত সমীকরণ দ্বারা গণনা করা হয়।

$u = \mathcal{W'}^Th$

যেখানে জ লুকানো স্তর এবং একটি ভেক্টর হয় লুকানো আউটপুট ওজন ম্যাট্রিক্স হয়। ইউ সি করার পরে বহুজাতিক নামক ডিস্ট্রিবিউশনগুলি গণনা করা হয় যেখানে সি উইন্ডো আকারের হয়। বিতরণগুলি নিম্নলিখিত সমীকরণ দ্বারা গণনা করা হয়।$\mathcal{W'}$$u$ $\mathcal{C}$$\mathcal{C}$

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$

আপনি দেখতে পাচ্ছেন যে সমস্ত বিতরণ আলাদা। (আরও তথ্যের জন্য: https://arxiv.org/pdf/1411.2738.pdf )। প্রকৃতপক্ষে, যদি তারা নীচের চিত্রটির মতো কিছু ব্যবহার করে তবে এটি আরও স্পষ্ট হবে।$\mathcal{C}$

সংক্ষেপে, কেবলমাত্র একটি উত্স ভেক্টর । তবে সি বিভিন্ন ডিস্ট্রিবিউশনগুলি সফটম্যাক্স ফাংশন ব্যবহার করে গণনা করা হয়।$u$$\mathcal{C}$

$\textbf{References:}$

• জিন রং, ওয়ার্ড টুভেক প্যারামিটার লার্নিংয়ের ব্যাখ্যা দেওয়া হয়েছে

Comments

সুতরাং ডাব্লু ম্যাট্রিক্স মূলত ভেক্টর শব্দ (অ্যালগোরিদমের আউটপুট), এবং ডাব্লু 'সম্পূর্ণ ভিন্ন ম্যাট্রিক্স যা আমরা ফেলে দিয়েছি?

— নাদভ বি

ডাব্লু 'শব্দটি ভেক্টরও যা সমানভাবে ভাল।

— ব্যবহারকারী3108764

$p(w_{c,j} = w_{O,c}|w_I)=\frac{\exp{u_{c,j}}}{\sum_{j'=1}^V\exp{u_{j'}}}=\frac{\exp{u_{j}}}{\sum_{j'=1}^V\exp{u_{j'}}}$