আমি সর্বাধিক এনট্রপি মার্কভ মডেল (এমইএমএম) এর ধারণার দ্বারা আগ্রহী এবং আমি এটিকে স্পিচ পার্টের (পিওএস) ট্যাগারের জন্য ব্যবহার করার কথা ভাবছি। এই মুহুর্তে, আমি প্রতিটি স্বতন্ত্র শব্দের ট্যাগ করতে একটি প্রচলিত সর্বাধিক এনট্রপি (এমই) শ্রেণিবদ্ধ ব্যবহার করছি। এটি পূর্ববর্তী দুটি ট্যাগ সহ বেশ কয়েকটি বৈশিষ্ট্য ব্যবহার করে।
এমইএমএমগুলি মার্কোভ চেইনের মাধ্যমে সর্বোত্তম পথটি খুঁজে পাওয়ার জন্য ভিটারবি অ্যালগরিদম ব্যবহার করে (অর্থাত্ প্রতিটি শব্দের জন্য পৃথক অনুকূলের পরিবর্তে বাক্যটির জন্য ট্যাগগুলির সম্পূর্ণ অনুকূল সেট সন্ধান করতে)। এটি পড়তে, এটি একটি দুর্দান্ত কমনীয়তা এবং সরলতা বলে মনে হয়। তবে প্রতিটি পর্যায় কেবলমাত্র পূর্ববর্তী পর্যায়ে "ফলাফল" (যেমন একটি মার্কভ চেইন অনুসারে) নির্ভর করে।
যাইহোক, আমার এমই মডেলটি আগের দুটি পর্যায়ে ব্যবহার করে (অর্থাত্ পূর্ববর্তী দুটি শব্দের জন্য ট্যাগগুলি)। দেখে মনে হচ্ছে আমার দুটি সম্ভাব্য পন্থা রয়েছে:
প্রচলিত বিতর্বি বাস্তবায়নের সাথে সাথে, এক (পূর্ববর্তী) স্তর অনুসারে সঞ্চিত পাথের সেট ব্যবহার করুন। আমার এমই ক্লাসিফায়ার স্থানান্তর ক্রিয়াকলাপটি উত্পাদনের জন্য এটির আগে (বিবেচনাধীন পথে জমে থাকা) এটি এবং একটি 'হিমায়িত' পর্যায়ে ব্যবহার করবে।
অথবা আমি দুটি ধাপের ট্র্যাক রাখতে আলগোরিদিমটি লিখি। এটি আরও জটিল এবং আর সত্যিকারের মার্কোভ মডেল হবেনা কারণ প্রতিটি স্থানান্তর ফাংশন (অর্থাত্ এমই মডেল থেকে) পূর্ববর্তী দুটি স্তরের উপর নির্ভর করবে, একটি পর্যায়ে নয়।
এটি আমাকে আরও আঘাত করে যে দ্বিতীয়টি আরও সঠিক হবে, যদিও এটি আরও জটিল হবে।
আমার সাহিত্যের অনুসন্ধানের সময় এর কোনও উদাহরণ আমি এখনও পাইনি। এটি চেষ্টা করা হয়েছে? দুটি পর্যায়ে পদ্ধতির সামগ্রিক নির্ভুলতার কোনও উন্নতি ঘটেছে?