কেরাসে এম্বেডিং স্তরগুলি আপনার নেটওয়ার্ক আর্কিটেকচারের অন্যান্য স্তরের মতোই প্রশিক্ষিত হয়: নির্বাচিত অপ্টিমাইজেশন পদ্ধতিটি ব্যবহার করে ক্ষতির ফাংশন হ্রাস করতে এগুলি সুর করা হয়। অন্যান্য স্তরগুলির সাথে প্রধান পার্থক্য হ'ল তাদের আউটপুটটি ইনপুটটির গাণিতিক ফাংশন নয়। পরিবর্তে স্তরটিতে ইনপুট এম্বেডিং ভেক্টরগুলির সাথে একটি টেবিল সূচীকরণ করতে ব্যবহৃত হয় [1]। যাইহোক, অন্তর্নিহিত স্বয়ংক্রিয় পার্থক্য ইঞ্জিনের ক্ষতির ক্রিয়াকে হ্রাস করতে এই ভেক্টরগুলিকে অনুকূল করতে সমস্যা নেই ...
সুতরাং, আপনি বলতে পারবেন না যে কেরাসের এম্বেডিং স্তরটি ওয়ার্ড 2vec [2] এর মতোই করছে। মনে রাখবেন যে ওয়ার্ড টুভেক একটি খুব নির্দিষ্ট নেটওয়ার্ক সেটআপকে বোঝায় যা শব্দের শব্দার্থক শব্দকে ধারণ করে এমন একটি এম্বেডিং শেখার চেষ্টা করে। কেরাসের এম্বেডিং স্তরটির সাহায্যে আপনি ক্ষতির ফাংশনটি হ্রাস করার চেষ্টা করছেন, সুতরাং উদাহরণস্বরূপ যদি আপনি কোনও সংবেদনশীল শ্রেণিবিন্যাসের সমস্যা নিয়ে কাজ করছেন, তবে শিখে নেওয়া এম্বেডিং সম্ভবত সম্পূর্ণ শব্দার্থবিজ্ঞানগুলি ক্যাপচার করবে না তবে কেবল তাদের সংবেদনশীল মেরুদণ্ডের ...
উদাহরণস্বরূপ, [3] থেকে তোলা নীচের চিত্রটিতে ক্লিকবাইট শিরোনাম (বাম) এবং প্রাক প্রশিক্ষিত ওয়ার্ড 2vec এম্বেডিংস (ডান) সনাক্তকরণের জন্য নকশাকৃত নেটওয়ার্কের অংশ হিসাবে স্ক্র্যাচ থেকে প্রশিক্ষিত একটি কেরাস এম্বেডিং স্তর সহ তিনটি বাক্য এম্বেডিং দেখানো হয়েছে । যেমন আপনি দেখতে পাচ্ছেন, ওয়ার্ড টুভেক এম্বেডিংগুলি বাক্যাংশ খ) এবং গ এর মধ্যে অর্থপূর্ণ মিলকে প্রতিফলিত করে। বিপরীতভাবে, কেরাসের এম্বেডিং স্তর দ্বারা উত্পন্ন এম্বেডিংগুলি শ্রেণিবিন্যাসের জন্য দরকারী হতে পারে তবে খ) এবং গ) এর শব্দার্থগত মিল খুঁজে পাওয়া যায় না।
এটি ব্যাখ্যা করে কেন আপনার যখন প্রশিক্ষণের নমুনার সীমিত পরিমাণ থাকে, আপনার এম্বেডিং স্তরটি ওয়ার্ড 2 ওয়েভ ওজনের সাহায্যে সূচনা করা ভাল ধারণা হতে পারে , তাই আপনার মডেল স্বীকৃতি দেয় যে "আল্পস" এবং "হিমালয়" একই রকম জিনিস, এমনকি তারা ডন না করলেও উভয়ই আপনার প্রশিক্ষণ ডেটাসেটের বাক্যে ঘটে।
[1] কেরাস 'এম্বেডিং' স্তর কীভাবে কাজ করে?
[2] https://www.tensorflow.org/tutorials/word2vec
[3] https://link.springer.com/article/10.1007/s10489-017-1109-7
দ্রষ্টব্য: প্রকৃতপক্ষে, চিত্রটি এম্বেডিং স্তরটির পরে স্তরটির সক্রিয়করণগুলি দেখায়, তবে এই উদাহরণের জন্য এটি কোনও বিষয় নয় ... আরও বিশদটি দেখুন [3]