ফরোয়ার্ড-ব্যাকওয়ার্ড এবং ভিটারবি অ্যালগরিদমের মধ্যে পার্থক্য কী?

Question

লুকানো মার্কভ মডেলগুলিতে (এইচএমএম) অনুমানের জন্য ফরোয়ার্ড-পশ্চাদপদ অ্যালগরিদম এবং ভিটারবি অ্যালগরিদমের মধ্যে পার্থক্য কী তা জানতে চাই ।

Comments

অ্যালগরিটিমগুলির বিবরণ ( এখানে এবং এখানে ) আপনার প্রশ্নের উত্তর দেবে বা আপনি অন্য কিছু খুঁজছেন? আপনি কি ভাবছেন কখন কোন অ্যালগরিদম ব্যবহার করবেন? তাদের নিজ নিজ যোগ্যতা নিয়ে আলোচনা খুঁজছেন?

— MånsT

Answer 1

প্রথমে কিছুটা ব্যাকগ্রাউন্ড হতে পারে এটি কিছুটা পরিষ্কার করে দেয়।

এইচএমএমগুলি (লুকানো মার্কভ মডেলস) সম্পর্কে কথা বলার সময় সাধারণত 3 টি সমস্যা বিবেচনা করা উচিত:

1. মূল্যায়ন সমস্যা

   • মূল্যায়ন সমস্যা প্রশ্নের উত্তর দেয়: একটি নির্দিষ্ট মডেল দ্বারা প্রতীকগুলির একটি নির্দিষ্ট ক্রম উত্পাদনের সম্ভাবনা কী?
   • মূল্যায়নের জন্য আমরা দুটি অ্যালগরিদম ব্যবহার করি: ফরোয়ার্ড অ্যালগরিদম বা পিছনের দিকের অ্যালগরিদম (তাদেরকে ফরোয়ার্ড-ব্যাকওয়ার্ড অ্যালগরিদম দিয়ে বিভ্রান্ত করবেন না)।

2. ডিকোডিংয়ের সমস্যা

   • ডিকোডিং সমস্যার প্রশ্নের উত্তর দেয়: প্রতীকগুলির একটি ক্রম (আপনার পর্যবেক্ষণ) এবং একটি মডেল দেওয়া হয়েছে, সিক্যুয়েন্সগুলি তৈরি করা রাজ্যের সর্বাধিক সম্ভাব্য ক্রম কী।
   • ডিকোডিংয়ের জন্য আমরা ভিটারবি অ্যালগরিদম ব্যবহার করি ।

3. প্রশিক্ষণ সমস্যা

   • প্রশিক্ষণ সমস্যা প্রশ্নের উত্তর দেয়: একটি মডেল কাঠামো এবং ক্রমগুলির একটি সেট দেওয়া, এমন মডেলটি সন্ধান করুন যা ডেটা সেরা ফিট করে।
   • এই সমস্যার জন্য আমরা নিম্নলিখিত 3 অ্যালগরিদম ব্যবহার করতে পারি:
     1. এমএলই (সর্বাধিক সম্ভাবনার অনুমান)
     2. ভিটার্বি প্রশিক্ষণ (বিতরবি ডিকোডিংয়ের সাথে বিভ্রান্ত করবেন না)
     3. বাউম ওয়েলচ = ফরোয়ার্ড-ব্যাকওয়ার্ড অ্যালগরিদম

এটির সংক্ষেপে, আপনি যখন সিকোয়েন্সের সেটগুলিতে আপনার মডেলটিকে প্রশিক্ষণ দেন তখন ডিকোডিং সমস্যার জন্য ভিটર્বি অ্যালগরিদম এবং বাউম ওয়েলচ / ফরোয়ার্ড-পিছিয়ে ব্যবহার করেন।

---

বাউম ওয়েলচ নিম্নলিখিত উপায়ে কাজ করে।

সিকোয়েন্স প্রশিক্ষণ সেট প্রতিটি অনুক্রমের জন্য।

1. ফরোয়ার্ড অ্যালগরিদমের সাহায্যে ফরোয়ার্ড সম্ভাবনার গণনা করুন
2. পশ্চাদপদ অ্যালগরিদমের সাহায্যে পশ্চাদপদ সম্ভাবনার গণনা করুন
3. মডেলের রূপান্তরগুলিতে বর্তমান অনুক্রমের অবদান গণনা করুন, মডেলের নির্গমন সম্ভাবনার ক্ষেত্রে বর্তমান ক্রমের অবদান গণনা করুন।
4. নতুন মডেলের প্যারামিটারগুলি গণনা করুন (সম্ভাব্যতা, রূপান্তর সম্ভাবনা, নির্গমন সম্ভাবনাগুলি শুরু করুন)
5. মডেলের নতুন লগ সম্ভাবনা গণনা করুন
6. যখন প্রদত্ত প্রান্তিকের চেয়ে লগের সম্ভাবনার পরিবর্তনটি ছোট বা সর্বাধিক সংখ্যক পুনরাবৃত্তি পাস করা হয় তখন থামান।

আপনার যদি ভিটারবি ডিকোডিংয়ের জন্য সমীকরণগুলির একটি সম্পূর্ণ বিবরণ এবং প্রশিক্ষণের অ্যালগরিদম প্রয়োজন হয় তবে আমাকে জানতে দিন এবং আমি আপনাকে সঠিক দিকে নির্দেশ করতে পারি।

Answer 2

ফরোয়ার্ড-পশ্চাৎ প্রতিটি পৃথক রাষ্ট্রের জন্য প্রান্তিক সম্ভাবনা দেয় , ভিটার্বি সম্ভবত রাজ্যের সর্বাধিক সম্ভাব্য ক্রমের সম্ভাবনা দেয় । উদাহরণস্বরূপ যদি আপনার এইচএমএম টাস্কটি প্রতিটি দিনের জন্য রৌদ্র্য বনাম বৃষ্টিপাতের আবহাওয়ার পূর্বাভাস দেয় তবে ফরোয়ার্ড ব্যাকওয়ার্ড আপনাকে প্রতিটি দিনের "রৌদ্র" হওয়ার সম্ভাবনাটি বলে দিবে, ভিটার্বি সম্ভবত রোদ / বৃষ্টির দিনগুলির সিকোয়েন্সটি দিবে এবং এই ক্রম সম্ভাবনা।

Answer 3

এইচএমএম-র সাথে ব্যবহৃত অন্যান্য সমস্ত সাধারণ অ্যালগরিদমের মধ্যে ফরোয়ার্ড-পশ্চাদপদ এবং ভিটર્বি অ্যালগরিদমগুলির সন্ধান করতে আমি সত্যিই ভাল} 2 from থেকে এই দুটি স্লাইডগুলি পেয়েছি:

নোট:

• $x$$\pi$
• পাথ = নির্গমনের ক্রম
• ডিকোডিং = অনুমান
• শিক্ষণ = প্রশিক্ষণ = পরামিতি অনুমান
• কিছু কাগজপত্র (উদাহরণস্বরূপ, {1}) দাবি করে যে বাউম – ওয়েলচ ফরওয়ার্ড – পশ্চাদপদ অ্যালগরিদম হিসাবে একই, তবে আমি মাস্টারফুল এবং উইকিপিডিয়া: বাম – ওয়েলচের সাথে একমত - অগ্রণী – পশ্চাদপদ অ্যালগরিদম ব্যবহার করে এমন একটি প্রত্যাশা-সীমাবদ্ধতা অ্যালগরিদম। দুটি চিত্রও বাউমকে ওয়েলচকে পিছনের অ্যালগরিদম থেকে পৃথক করে।

---

তথ্যসূত্র:

• {1} লেম্বার, জুরি এবং আলেক্সি কলয়েডেনকো। "লুকানো মার্কোভ মডেলগুলির জন্য অ্যাডজাস্ট করা ভিটারবি প্রশিক্ষণ।" বার্নৌল্লি 14, না। 1 (2008): 180-206।
• {2} 6.047 / 6.878 গণনামূলক জীববিজ্ঞান: জিনোমস, নেটওয়ার্কস, বিবর্তন (পতন 2012) বক্তৃতা 07 - এইচএমএমএস II (2012-09-29) http://stellar.mit.edu/S/course/6/fa12/6.047/ কোর্সমেটারিয়াল / টপিকস / টপিক ২ / লেকচার নোটস / লেকচার07 হিএমএমএসআইআইবি_6 আপ / লেকচার07 এইচএমএমএসআইআইবি_6 আপ.পিডিএফ ( মনোলিস কেলিস):

Answer 4

মোরাটের উত্তর এক বিন্দুতে মিথ্যা: বাউম-ওয়েলচ একটি প্রত্যাশা-ম্যাক্সিমাইজেশন অ্যালগরিদম, যা এইচএমএমের প্যারামিটারগুলি প্রশিক্ষণের জন্য ব্যবহৃত হয়। এটি প্রতিটি পুনরাবৃত্তির সময় ফরোয়ার্ড-ব্যাকওয়ার্ড অ্যালগরিদম ব্যবহার করে। ফরোয়ার্ড-ব্যাকওয়ার্ড অ্যালগরিদম সত্যিই কেবল সামনের ও পিছনের অ্যালগরিদমের সংমিশ্রণ: একটি ফরোয়ার্ড পাস, একটি পশ্চাৎ পাস। নিজস্বভাবে, এইচএমএমের প্যারামিটারগুলি প্রশিক্ষণের জন্য ফরোয়ার্ড-ব্যাকওয়ার্ড অ্যালগরিদম ব্যবহার করা হয় না, তবে কেবল স্মুথিংয়ের জন্য: রাজ্যগুলির ক্রমগুলির প্রান্তিক সম্ভাবনাগুলি গণনা করা।

https://en.wikipedia.org/wiki/Forward%E2%80%93backward_algorithm

https://en.wikipedia.org/wiki/Baum%E2%80%93Welch_algorithm

Answer 5

@ ইয়ারোস্লাভ বুলাটোভের একটি সুনির্দিষ্ট উত্তর ছিল। ফরোয়ার্ড-ব্যাকওয়ার্ড এবং ভিটারবি অ্যালগোরিদমের মধ্যে পার্থক্য বলতে আমি এর একটি উদাহরণ যুক্ত করব।

মনে করুন আমাদের একটি এইচএমএম আছে (উইকিপিডিয়া এইচএমএম পৃষ্ঠা থেকে)। দ্রষ্টব্য, মডেলটি ইতিমধ্যে দেওয়া হয়েছে, সুতরাং এখানে ডেটা টাস্ক থেকে কোনও শিক্ষা নেই।

---

মনে করুন আমাদের ডেটা দৈর্ঘ্য 4 সিকোয়েন্স। (Walk, Shop, Walk, Clean)। দুটি অ্যালগরিদম বিভিন্ন জিনিস দেবে।

• $1$

• $2^4=16$SunnyRainy

---

এখানে Rডেমোটির জন্য কিছু কোড রয়েছে

library(HMM)
# in education setting,
# hidden state: Rainy and Sunny
# observation: Walk, Shop, Clean

# state transition
P <- as.matrix(rbind(c(0.7,0.3),
                     c(0.4,0.6)))

# emission prob
R <- as.matrix(rbind(c(0.1, 0.4, 0.5),
                     c(0.6,0.3, 0.1)))


hmm = initHMM(States=c("Rainy","Sunny"),
              Symbols=c("Walk","Shop", "Clean"),
              startProbs=c(0.6,0.4),
              transProbs=P,
              emissionProbs=R)
hmm


obs=c("Walk","Shop","Walk", "Clean")
print(posterior(hmm,obs))
print(viterbi(hmm, obs))