বিদ্যমান মাল্টি-ইনপুট সর্বাধিক এনট্রপি শ্রেণিবদ্ধ থেকে সর্বোচ্চ এনট্রপি মার্কভ মডেল তৈরি করা ov


9

আমি সর্বাধিক এনট্রপি মার্কভ মডেল (এমইএমএম) এর ধারণার দ্বারা আগ্রহী এবং আমি এটিকে স্পিচ পার্টের (পিওএস) ট্যাগারের জন্য ব্যবহার করার কথা ভাবছি। এই মুহুর্তে, আমি প্রতিটি স্বতন্ত্র শব্দের ট্যাগ করতে একটি প্রচলিত সর্বাধিক এনট্রপি (এমই) শ্রেণিবদ্ধ ব্যবহার করছি। এটি পূর্ববর্তী দুটি ট্যাগ সহ বেশ কয়েকটি বৈশিষ্ট্য ব্যবহার করে।

এমইএমএমগুলি মার্কোভ চেইনের মাধ্যমে সর্বোত্তম পথটি খুঁজে পাওয়ার জন্য ভিটারবি অ্যালগরিদম ব্যবহার করে (অর্থাত্ প্রতিটি শব্দের জন্য পৃথক অনুকূলের পরিবর্তে বাক্যটির জন্য ট্যাগগুলির সম্পূর্ণ অনুকূল সেট সন্ধান করতে)। এটি পড়তে, এটি একটি দুর্দান্ত কমনীয়তা এবং সরলতা বলে মনে হয়। তবে প্রতিটি পর্যায় কেবলমাত্র পূর্ববর্তী পর্যায়ে "ফলাফল" (যেমন একটি মার্কভ চেইন অনুসারে) নির্ভর করে।

যাইহোক, আমার এমই মডেলটি আগের দুটি পর্যায়ে ব্যবহার করে (অর্থাত্ পূর্ববর্তী দুটি শব্দের জন্য ট্যাগগুলি)। দেখে মনে হচ্ছে আমার দুটি সম্ভাব্য পন্থা রয়েছে:

  • প্রচলিত বিতর্বি বাস্তবায়নের সাথে সাথে, এক (পূর্ববর্তী) স্তর অনুসারে সঞ্চিত পাথের সেট ব্যবহার করুন। আমার এমই ক্লাসিফায়ার স্থানান্তর ক্রিয়াকলাপটি উত্পাদনের জন্য এটির আগে (বিবেচনাধীন পথে জমে থাকা) এটি এবং একটি 'হিমায়িত' পর্যায়ে ব্যবহার করবে।

  • অথবা আমি দুটি ধাপের ট্র্যাক রাখতে আলগোরিদিমটি লিখি। এটি আরও জটিল এবং আর সত্যিকারের মার্কোভ মডেল হবেনা কারণ প্রতিটি স্থানান্তর ফাংশন (অর্থাত্ এমই মডেল থেকে) পূর্ববর্তী দুটি স্তরের উপর নির্ভর করবে, একটি পর্যায়ে নয়।

এটি আমাকে আরও আঘাত করে যে দ্বিতীয়টি আরও সঠিক হবে, যদিও এটি আরও জটিল হবে।

আমার সাহিত্যের অনুসন্ধানের সময় এর কোনও উদাহরণ আমি এখনও পাইনি। এটি চেষ্টা করা হয়েছে? দুটি পর্যায়ে পদ্ধতির সামগ্রিক নির্ভুলতার কোনও উন্নতি ঘটেছে?

উত্তর:


4

(এটি সত্যই আমি আসল একটি প্রশ্নের মুখোমুখি হয়েছি এবং এমএল স্ট্যাক এক্সচেঞ্জের সাইটটি লাইভ হ'ল বেশ নিখুঁত সময় ছিল: আমি কয়েক দিনের বই পড়া এবং অনলাইন গবেষণা করতাম এবং বাস্তবায়ন শুরু করতে যাচ্ছিলাম Here যদিও আমার ফলাফলগুলি এখানে রয়েছে Although যদিও তারা কঠোর নয় বলে আমি মনে করি তারা আমার নিজের প্রশ্নের জবাব দিয়েছে I আমি এখনই প্রশ্নটি খোলা রাখব যদি কারও কাছে কোনও কার্যকর ইনপুট থাকে, অনুরূপ কিছু চেষ্টা করেছে বা কিছু দরকারী উল্লেখ রয়েছে))

ঠিক আছে গত কয়েক দিন ধরে আমি এটিকে কোড করে রেখেছি। কোডটি খুব দক্ষ নয় - প্রচুর সংগ্রহ তৈরি এবং অনুলিপি করা হচ্ছে, তবে অনুশীলনের উদ্দেশ্যটি ছিল এটি কাজ করবে কিনা এবং এটি কতটা ভাল কাজ করে তা দেখতে হবে।

আমি আমার তথ্য এলোমেলোভাবে দুটি তালিকায় বিভক্ত করছি: প্রশিক্ষণ ডেটা এবং পরীক্ষার ডেটা। আমি প্রচলিত সর্বোচ্চ এনট্রপি পিওএস ট্যাগারের মাধ্যমে পরীক্ষার ডেটা চালাচ্ছি; এবং আমার নতুন মেম ট্যাগার। অতএব তারা একই পরীক্ষার ডেটা দেখতে পায়, সরাসরি তুলনা করার অনুমতি দেয় - ডেটাটি বেছে নেওয়ার কারণে এলোমেলো হওয়ার কারণে আমি পরীক্ষার মধ্যে কিছুটা পার্থক্য দেখতে পাই (সাধারণত প্রায় 0.2-0.4%)।

প্রথম পরীক্ষায় একটি একক মঞ্চ (অর্থাত্ সত্যিকারের মার্কভ চেইন) সহ একটি এমইএমএম ট্যাগার ব্যবহার করা হয়। এটি প্রায় 0.1-0.25% দ্বারা সাধারণ এমই ট্যাগারের চেয়ে ধারাবাহিকভাবে আরও ভাল পারফর্ম করে।

পরবর্তী আমি দুটি ধাপের পদ্ধতির চেষ্টা করেছি যা দেখে মনে হয় এটি আরও সঠিক হওয়া উচিত। তবে ফলাফল আরও প্রান্তিক ছিল। প্রায়শই ফলাফলগুলি অভিন্ন হবে, মাঝে মাঝে এটি সামান্য নিকৃষ্ট হতে পারে তবে সম্ভবত বেশিরভাগ বার এটি কিছুটা ভাল ছিল (সুতরাং +/- 0.05%)।

মেমের ট্যাগারটি ধীর। ঠিক আছে আমি কোনও অপ্টিমাইজেশান প্রয়োগ করি নি, তবে 1 পর্যায়ে (সত্য মার্কোভ চেইন) এন গতি ধীরে ধীরে (যেখানে এন = সংখ্যার লেবেল রয়েছে) কারণ এটি প্রতিটি ধাপের মধ্যে স্থানান্তরিত পথগুলির সংখ্যা। 2 মঞ্চের প্রয়োগটি হ'ল এন * এন ধীর (বেশি সংখ্যক পাথ স্থানান্তরিত হওয়ার কারণে)। যদিও অনুকূলকরণগুলি জিনিসগুলির উন্নতি করতে পারে তবে বেশিরভাগ ব্যবহারিক প্রয়োগগুলির জন্য আমি সম্ভবত এটি খুব ধীর।

একটি জিনিস আমি চেষ্টা করছি তা হল পথগুলিতে কম সম্ভাবনার সীমা প্রয়োগ করা। অর্থাৎ। ভিটার্বি পাথগুলি প্রতিটি পুনরাবৃত্তির সময় নির্দিষ্ট সম্ভাবনার নীচে সমস্ত পাথের সাথে ছাঁটাই করা হয় (বর্তমানে লগ (মোট পাথ পি) <- 20.0) কেটে দেওয়া হয়েছে। এটি বেশ খানিকটা দ্রুত দৌড়ায়, তবে এটির মূল্য কি না তা নিয়ে প্রশ্ন থেকেই যায়। আমি মনে করি এটি সম্ভবত না।

কেন আমরা কোন উন্নতি দেখছি না? আমি মনে করি এটি মূলত পস ট্যাগগুলির আচরণ এবং সর্বাধিক এন্ট্রপি মডেলের কারণে। যদিও মডেলটি আগের দুটি ট্যাগের উপর ভিত্তি করে বৈশিষ্ট্যগুলি গ্রহণ করে, তত্ক্ষণাত্ পূর্ববর্তী ট্যাগটি আগেরটির তুলনায় অনেক বেশি গুরুত্বপূর্ণ। স্বজ্ঞাতভাবে এটি ইংরেজী ভাষার জন্য অর্থবোধ করবে (উদাহরণস্বরূপ, বিশেষণ সাধারণত একটি বিশেষ্য বা অন্য বিশেষণ দ্বারা অনুসরণ করা হয় তবে এটি আসলে বিশেষণের আগে কী ছিল তার উপর নির্ভর করে না)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.