আমি অবাক হয়েছি কেন ওয়ার্ড টু ওয়েভের সিবিডাব্লু এর চেয়ে বিরল শব্দগুলির জন্য স্কিপ-গ্রাম ভাল। আমি https://code.google.com/p/word2vec/ এ দাবিটি পড়েছি ।
আমি অবাক হয়েছি কেন ওয়ার্ড টু ওয়েভের সিবিডাব্লু এর চেয়ে বিরল শব্দগুলির জন্য স্কিপ-গ্রাম ভাল। আমি https://code.google.com/p/word2vec/ এ দাবিটি পড়েছি ।
উত্তর:
সিবিওউতে প্রসঙ্গ শব্দগুলি থেকে ভেক্টরগুলি মাঝারি শব্দের পূর্বাভাস দেওয়ার আগে গড় হয়। স্কিপ-গ্রামে এম্বেডিং ভেক্টরগুলির গড় গড়ে নেই। দেখে মনে হচ্ছে মডেল বিরল শব্দের জন্য আরও ভাল উপস্থাপনা শিখতে পারে যখন তাদের ভেক্টর ভবিষ্যদ্বাণী করার প্রক্রিয়াতে অন্যান্য প্রসঙ্গের শব্দের সাথে গড় হয় না।
পার্থক্যটি সম্পর্কে এখানে আমার সুবিধাগুলি বিবৃত এবং বরং নির্বোধ বুঝতে হবে:
যেমনটি আমরা জানি, সিবিডাব্লু প্রসঙ্গে শব্দটির পূর্বাভাস দিতে শিখছে। অথবা প্রসঙ্গটি দেখে লক্ষ্য শব্দের সম্ভাবনা সর্বাধিক করুন। এবং বিরল শব্দের জন্য এটি সমস্যা হতে পারে। উদাহরণস্বরূপ, yesterday was really [...] dayসিবিডাব্লু মডেল প্রসঙ্গটি দেওয়া আপনাকে জানাবে যে সম্ভবত শব্দটি হ'ল beautifulবা nice। মত শব্দগুলি delightfulমডেলটির প্রতি খুব কম মনোযোগ পাবে, কারণ এটি সবচেয়ে সম্ভাব্য শব্দের পূর্বাভাস দেওয়ার জন্য তৈরি করা হয়েছে। বিরল শব্দগুলি আরও ঘন ঘন শব্দের সাথে প্রচুর উদাহরণের সাথে স্মুথ হবে।
অন্যদিকে, স্কিপ-গ্রাম প্রসঙ্গে ভবিষ্যদ্বাণী করার জন্য ডিজাইন করা হয়েছে। শব্দটি দেওয়া delightfulএটি অবশ্যই এটি বুঝতে হবে এবং আমাদের বলবে যে বিশাল সম্ভাবনা রয়েছে, প্রসঙ্গটি yesterday was really [...] dayবা অন্য কোনও প্রাসঙ্গিক প্রসঙ্গ। সঙ্গে Skip-গ্রাম শব্দ delightfulশব্দ দিয়ে প্রতিযোগিতা করতে চেষ্টা করবে না beautifulকিন্তু এর পরিবর্তে, delightful+contextজোড়া নতুন পর্যবেক্ষণ হিসাবে গণ্য করা হবে না। এ কারণে স্কিপ-গ্রাম আরও বেশি ডেটা লাগবে তাই এটি বিরল শব্দগুলিও বুঝতে শিখবে।
আমি সবেমাত্র একটি কাগজ পেয়েছি যা বিপরীতটি দেখায়: যে সিবিওউ স্কিপ-গ্রাম https://arxiv.org/abs/1609.08293-এর চেয়ে বিরল শব্দের চেয়ে ভাল । আমি অবাক হয়েছি https://code.google.com/p/word2vec/ এ বর্ণিত দাবির উত্সগুলি কী ।