একটি লুকানো মার্কভ মডেল প্রশিক্ষণ, একাধিক প্রশিক্ষণের উদাহরণ

Question

আমি এই টিউটোরিয়াল অনুসারে একটি পৃথক এইচএমএম বাস্তবায়ন করেছি http://cs229.stanford.edu/section/cs229-hmm.pdf

এই টিউটোরিয়াল এবং অন্যান্যরা সবসময় এইচএমএমকে পর্যবেক্ষণের অনুক্রমের প্রশিক্ষণ দেওয়ার কথা বলে।

আমার একাধিক প্রশিক্ষণের ক্রম হলে কী হবে? আমি কি কেবল তাদের ধারাবাহিকভাবে চালনা করব, অন্যের পরে মডেলটিকে প্রশিক্ষণ দেব?

আরেকটি বিকল্প হ'ল একের সাথে ক্রমগুলি সংযুক্ত করা এবং এটির উপর প্রশিক্ষণ দেওয়া, তবে তারপরে আমার এক সিক্যুয়েন্সের শেষে থেকে পরবর্তী একের শুরুতে রাষ্ট্রীয় রূপান্তর হবে যা আসল নয়।

Comments

এই কাগজটি দেখুন pdfs.semanticscholar.org/4000/… যদিও তারা ধারণাগুলি একটি অ-নির্বিঘ্ন পর্যবেক্ষণের দৃশ্যে প্রসারিত করেছে, তবে সহজ স্থান যেখানে ইন্ডেপ ধরে নেওয়া হয়েছে তা বুঝতে আমার পক্ষে বেশ কার্যকর হয়েছিল

— মার্ক

hmmlearnHMM বাস্তবায়ন একাধিক সিকোয়েন্স সঙ্গে ইতিমধ্যে সমর্থন প্রশিক্ষণ HMM হয়েছে। কেবল একাধিক সিকোয়েন্স সহ এইচএমএম প্রশিক্ষণ

— ওয়েমেন উ ও

Answer 1

প্রশিক্ষণের প্রতিটি পুনরাবৃত্তিকে পৃথক ক্রম দিয়ে চালানো বা চালানো না করাই সঠিক জিনিস। সঠিক পদ্ধতির জন্য কিছু ব্যাখ্যা প্রয়োজন:

একজন সাধারণত একটি ইএম অ্যালগরিদম ব্যবহার করে এইচএমএম প্রশিক্ষণ দেয়। এটি বেশ কয়েকটি পুনরাবৃত্তি নিয়ে গঠিত। প্রতিটি পুনরাবৃত্তির একটি "অনুমান" এবং একটি "সর্বাধিক" পদক্ষেপ থাকে। "ম্যাক্সিমাইজ" পদক্ষেপে, আপনি প্রতিটি পর্যবেক্ষণ ভেক্টর এক্সকে আপনার মডেলের একটি স্টেটের সাথে সারিবদ্ধ করেন যাতে কিছু সম্ভাবনা পরিমাপ সর্বোচ্চ হয়। প্রতিটি রাজ্যের জন্য "অনুমান" পদক্ষেপে আপনি অনুমান করতে পারেন (ক) এক্স ভেক্টরগুলির জন্য সংযুক্তিযুক্ত পরিসংখ্যানের মডেলের পরামিতি এবং (খ) রাষ্ট্রের রূপান্তর সম্ভাবনাগুলি। নিম্নলিখিত পুনরাবৃত্তিতে, সর্বাধিক পদক্ষেপটি আপডেট হওয়া পরিসংখ্যানের মডেলগুলি ইত্যাদির সাথে আবার চলমান The পরিশেষে, (কমপক্ষে বক্তৃতা স্বীকৃতিতে) এইচএমএমের সাধারণত একটি মনোনীত "শুরু" থাকে

সুতরাং, যদি আপনার একাধিক প্রশিক্ষণ সিকোয়েন্স থাকে তবে অনুমানের ধাপে আপনার প্রতিটি অনুক্রম চালানো উচিত যাতে এটি প্রাথমিক পর্যবেক্ষণ ভেক্টর প্রাথমিক অবস্থার সাথে একত্রিত হয়। এইভাবে, সেই প্রাথমিক অবস্থার পরিসংখ্যানগুলি আপনার সমস্ত পর্যবেক্ষণের ক্রমগুলির উপর প্রথম পর্যবেক্ষণ থেকে সংগ্রহ করা হয় এবং সাধারণ পর্যবেক্ষণ ভেক্টরগুলিকে প্রতিটি অনুক্রমের মধ্যে সম্ভবত খুব সম্ভবত রাজ্যের সাথে সংযুক্ত করা হয়। প্রশিক্ষণের জন্য সমস্ত ক্রম সরবরাহ করার পরে আপনি কেবলমাত্র সর্বোচ্চ পদক্ষেপ (এবং ভবিষ্যতের পুনরাবৃত্তি) করতে পারবেন । পরবর্তী পুনরাবৃত্তিতে, আপনি ঠিক একই জিনিস করতে চাই।

প্রতিটি পর্যবেক্ষণ ক্রমের সূচনাটি প্রাথমিক অবস্থায় প্রান্তিককরণের মাধ্যমে আপনি কনক্রিটেটিং সিকোয়েন্সগুলির সমস্যাটি এড়াতে পারেন যেখানে আপনি ভুলভাবে এক ক্রমের শেষে এবং পরবর্তীটির শুরুতে ট্রানজিশনের মডেলিং করবেন। এবং প্রতিটি পুনরাবৃত্তির সমস্ত সিকোয়েন্স ব্যবহার করে আপনি প্রতিটি পুনরাবৃত্তিকে বিভিন্ন সিকোয়েন্স সরবরাহ করা এড়ান, যা উত্তরদাতা হিসাবে উল্লেখ করেছেন, কনভার্সনের গ্যারান্টি দেবে না।

Comments

এই পদ্ধতির জন্য কি প্রতিটি প্রশিক্ষণের ক্রম একই দৈর্ঘ্যের প্রয়োজন?

— Nate

না, তা হয় না। কেউ সাধারণত একটি এইচএমএম ডিজাইন করে যাতে স্ব-লুপগুলিকে অনুমতি দেয় (একই রাজ্যটি একাধিকবার একাধিকবার ব্যবহৃত হয়) এবং একাধিক রাজ্যকে ট্রানজিশনের অনুমতি দেয়। এই বৈশিষ্ট্যগুলি এইচএমএমকে বিভিন্ন দৈর্ঘ্যের ক্রম স্কোর করতে দেয়।

— জেফএম

Answer 2

লরেন্স রবিনার আইইইই 77 77 থেকে এই টিউটোরিয়ালে একটি গাণিতিক সু-প্রতিষ্ঠিত পদ্ধতির বর্ণনা দিয়েছেন । টিউটোরিয়ালটি রবিনার ও জুয়াংয়ের ফান্ডামেন্টালস অফ স্পিচ রিকগনিশন বইয়ের 6th ষ্ঠ অধ্যায়ও ।

আরআইএ ডেভিস এট। অল। এই কাগজে কিছু অতিরিক্ত পরামর্শ সরবরাহ করে ।

আমি গণিতে পুরোপুরি যেতে পারিনি, তবে আমার কাছে রবিনারের দৃষ্টিভঙ্গি সবচেয়ে আশাব্যঞ্জক, যদিও ডেভিসের এই পদ্ধতির গাণিতিক ভিত্তির অভাব বলে মনে হচ্ছে।

Answer 3

আপনি যদি গণিত অনুসরণ করেন, অতিরিক্ত প্রশিক্ষণের উদাহরণ যুক্ত করা আপনার সম্ভাবনার গণনা করার পদ্ধতিটি পুনরায় গণনা করতে বোঝায়। মাত্রাগুলির উপরে সংমিশ্রণের পরিবর্তে, আপনি প্রশিক্ষণের উদাহরণগুলিও যোগ করুন।

আপনি যদি একের পর এক মডেলকে প্রশিক্ষণ দেন তবে কোনও প্রশিক্ষণের উদাহরণ নেই যে EM কভারেজ দেবে, এবং আপনি খারাপ অনুমানের সাথে শেষ করতে চলেছেন এমন কোনও গ্যারান্টি নেই।

এখানে কলম ফিল্টার (যা গাউসিয়ান সম্ভাব্যতাগুলির সাথে একটি এইচএমএম) রয়েছে তার জন্য একটি কাগজ এখানে দেওয়া হয়েছে, এটি আপনাকে কীভাবে আপনার কোডটি সংশোধন করতে হবে তার স্বাদ দিতে পারে যাতে আপনি আরও উদাহরণ সমর্থন করতে পারেন।

http://ntp-0.cs.ucl.ac.uk/staff/S.Prince/4C75/WellingKalmanFilter.pdf

এইচএমএম-তে তাঁর একটি বক্তৃতাও রয়েছে তবে যুক্তিটি বেশ সোজা।

Comments

আপনি যা উল্লেখ করছেন তা আমি সত্যিই দেখিনি। আপনি আমার সঠিক দিকে নির্দেশ করতে পারেন? ধন্যবাদ।

— রান

Answer 4

বিটেনাস (উপরে) দ্বারা রেফারেন্স করা আরআইএ ডেভিসের কাগজে এটির একটি মন্তব্য । আমাকে বিটেনাসের সাথে একমত হতে হবে, কাগজে প্রস্তাবিত কৌশলগুলির পিছনে খুব বেশি গাণিতিক সমর্থন নেই - এটি আরও একটি অভিজ্ঞতাগত তুলনা।

এইচএমএম একটি সীমাবদ্ধ টপোলজি (ফিড-ফরোয়ার্ড) এর ক্ষেত্রে কেবল কাগজটি বিবেচনা করে। (আমার ক্ষেত্রে আমার কাছে একটি স্ট্যান্ডার্ড টোপোলজি রয়েছে এবং আমি বাউম-ওয়েলচের সাথে প্রশিক্ষিত সমস্ত মডেলের নন-ওয়েটেড গড় প্রয়োগ করে সবচেয়ে সুসংগত ফলাফল পেয়েছি This এই পদ্ধতির কাগজে উল্লেখ আছে তবে কেবল প্রান্তিক ফলাফলের সাথে উদ্ধৃত করা হয়েছে)।

আরএআইএ ডেভিস একটি জার্নাল নিবন্ধে আরও একটি ধরণের মডেল-গড় প্রশিক্ষণের বিষয়ে বিস্তারিত বর্ণনা করেছিলেন এবং ট্রেন এবং টেস্ট এবং শর্ত নম্বর মানদণ্ড ব্যবহার করে বাউম-ওয়েলচের তুলনা এবং এইচএমএম এনসেম্বল ট্রেনিং অ্যালগরিদমগুলির পরিবর্তে ভিটারবি ট্রেনিং ব্যবহার করেন । তবে এই গবেষণাপত্রটি একই বিধিনিষেধযুক্ত ফিড-ফরোয়ার্ড টপোলজি সহ কেবল এইচএমএমগুলি অন্বেষণ করে। (আমি এই পদ্ধতিটি অন্বেষণ করার পরিকল্পনা করছি এবং আমার অনুসন্ধানগুলি সহ এই পোস্টটি আপডেট করব))