1- বৈশিষ্ট্যগুলির সংখ্যা: নিউরাল নেটওয়ার্ক মডেলের ক্ষেত্রে এটি প্রক্ষেপণ (লুকানো) স্তরের নিউরনের সংখ্যা উপস্থাপন করে। প্রজেকশন স্তরটি বিতরণের অনুমানের উপর নির্মিত হওয়ায়, প্রতিটি শব্দের সংখ্যাসূচক ভ্যাক্টর এর প্রাসঙ্গিক শব্দের সাথে এর সম্পর্ককে বোঝায়।
এই বৈশিষ্ট্যগুলি নিউরাল নেটওয়ার্ক দ্বারা শিখেছে কারণ এটি অকার্যকর পদ্ধতি। প্রতিটি ভেক্টর বিভিন্ন শব্দার্থক বৈশিষ্ট্য আছে। উদাহরণস্বরূপ, আসুন ধ্রুপদী উদাহরণ V(King) -V(man) + V(Women) ~ V(Queen)
এবং প্রতিটি শব্দ 300-ডি ভেক্টর দ্বারা প্রতিনিধিত্ব করা যাক। V(King)
রয়্যালটি, কিংডম, পুংলিঙ্গ, ভেক্টারে একটি নির্দিষ্ট ক্রমে মানবের অর্থগত বৈশিষ্ট্য থাকবে। V(man)
পুরুষত্বে থাকবে, মানব, একটি নির্দিষ্ট ক্রমে কাজ করবে। সুতরাং যখন V(King)-V(Man)
সম্পন্ন হবে, পুরুষত্ব, মানব বৈশিষ্ট্যগুলি বাতিল হয়ে যাবে এবং যখন V(Women)
স্ত্রীত্বের সাথে যুক্ত হবে, তখন মানব বৈশিষ্ট্যগুলি যুক্ত করা হবে যার ফলে ভেক্টরের সাথে অনেক মিল রয়েছেV(Queen)
। মজার বিষয় হ'ল, এই বৈশিষ্ট্যগুলিকে একটি নির্দিষ্ট ক্রমে ভেক্টরটিতে এনকোড করা হয়েছে যাতে সংখ্যাসূচক গণনা যেমন সংযোজন, বিয়োগফল পুরোপুরি কার্যকর হয়। এটি নিউরাল নেটওয়ার্কে আনসারভিজড লার্নিং পদ্ধতির প্রকৃতির কারণে।
2- প্রায় দুটি অ্যালগরিদম রয়েছে। Hierarchical softmax
এবং negative sampling
। যখন নমুনা প্যারামিটার দেওয়া হয়, এটি নেতিবাচক নমুনা নেয়। শ্রেণিবদ্ধ সফ্টম্যাক্সের ক্ষেত্রে, প্রতিটি শব্দের ভেক্টরের জন্য এর প্রসঙ্গ শব্দগুলিকে ইতিবাচক আউটপুট দেওয়া হয় এবং শব্দভাণ্ডারের অন্যান্য সমস্ত শব্দকে নেতিবাচক আউটপুট দেওয়া হয়। সময়ের জটিলতার বিষয়টি নেতিবাচক নমুনা দ্বারা সমাধান করা হয়। নেতিবাচক নমুনা হিসাবে, পুরো শব্দভাণ্ডারের চেয়ে, কেবল ভোকাবুলারির একটি নমুনা অংশকে নেতিবাচক আউটপুট দেওয়া হয় এবং ভেক্টরগুলি প্রশিক্ষিত হয় যা পূর্বের পদ্ধতির তুলনায় অনেক দ্রুত faster