লুকানো মার্কভ মডেল বনাম পুনরাবৃত্ত নিউরাল নেটওয়ার্ক

Question

কোন অনুক্রমিক ইনপুট সমস্যাগুলির জন্য প্রতিটি উপযুক্ত? ইনপুট মাত্রিকতা নির্ধারণ করে যে কোনটি আরও ভাল ম্যাচ? একটি এলএসটিএম আরএনএন-এর জন্য "দীর্ঘ মেমরির" প্রয়োজন এমন সমস্যাগুলি কি আরও উপযুক্ত, যখন এইচএমএম দ্বারা চক্রীয় ইনপুট নিদর্শনগুলির (শেয়ার বাজার, আবহাওয়া) আরও সহজে সমাধান করা যায়?

মনে হচ্ছে অনেকগুলি ওভারল্যাপ রয়েছে; দুজনের মধ্যে কী সূক্ষ্ম পার্থক্য রয়েছে তা জানতে আগ্রহী।

Comments

+1 তবে প্রশ্নটি খুব বিস্তৃত হতে পারে ... এছাড়াও, আমার জ্ঞানের কাছে এগুলি একেবারেই আলাদা ..

— হাইতাও ডু

আমি আরো শোধন যোগ

— প্রতিকার

পার্শ্ব নোট হিসাবে আপনি একটি আরএনএন এর উপরে একটি সিআরএফ স্থাপন করতে পারেন যেমন github.com

— ফ্রাঙ্ক ডারননকোর্ট

Answer 1

সারসংক্ষেপ

লুকানো মার্কভ মডেলস (এইচএমএস) পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) এর চেয়ে অনেক সহজ এবং দৃ strong় অনুমানের উপর নির্ভর করে যা সর্বদা সত্য নাও হতে পারে। অনুমানের যদি হয় সত্য তারপর আপনি একটি HMM থেকে ভাল পারফরম্যান্স দেখতে পারেন যেহেতু এটি কাজ করে তার জন্য কম খুঁতখুঁতে হয়।

অতিরিক্ত জটিলতা আপনার ডেটাতে থাকা তথ্যের আরও ভাল সুবিধা নিতে পারে বলে কোনও আরএনএন আপনার কাছে খুব বড় ডেটাসেট থাকলে আরও ভাল পারফরম্যান্স করতে পারে। এইচএমএমএস অনুমানগুলি আপনার ক্ষেত্রে সত্য হলেও এটি সত্য হতে পারে।

অবশেষে, আপনার সিক্যুয়েন্স টাস্কের জন্য কেবলমাত্র এই দুটি মডেলের মধ্যে সীমাবদ্ধ রাখবেন না, কখনও কখনও সরল রেজিস্ট্রেশনগুলি (যেমন: এআরআইএমএ) জিততে পারে এবং কখনও কখনও কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলির মতো অন্যান্য জটিল পদ্ধতির সবচেয়ে ভাল হতে পারে। (হ্যাঁ, সিএনএনগুলি কেবল আরএনএনগুলির মতো কিছু ধরণের সিকোয়েন্স ডেটাতে প্রয়োগ করা যেতে পারে))

সর্বদা হিসাবে, কোন মডেলটি সবচেয়ে ভাল তা জানার সর্বোত্তম উপায় হ'ল একটি আউট টেস্ট সেটগুলিতে মডেলগুলি তৈরি করা এবং কর্মক্ষমতা পরিমাপ করা।

এইচএমএসগুলির শক্তিশালী অনুমান

রাষ্ট্রীয় রূপান্তরগুলি কেবল অতীতের কোনও কিছুর উপর নির্ভর করে না, কেবল বর্তমান অবস্থার উপর নির্ভর করে।

এই অনুমানটি আমি যে অঞ্চলগুলির সাথে পরিচিত সেগুলি অনেকটা ধারণ করে না। উদাহরণস্বরূপ, কোনও ব্যক্তি জাগ্রত বা আন্দোলনের ডেটা থেকে ঘুমিয়ে ছিল কিনা তা আপনি দিনের প্রতি মিনিটের জন্য ভবিষ্যদ্বাণী করার চেষ্টা করছেন বলে ভান করুন। কেউ ঘুম থেকে জাগ্রত হওয়ার পরিবর্তনের সুযোগ বাড়িয়ে দেয় যতক্ষণ ব্যক্তি ঘুমন্ত অবস্থায় থাকে। একটি আরএনএন তাত্ত্বিকভাবে এই সম্পর্কটি শিখতে পারে এবং উচ্চতর ভবিষ্যদ্বাণীমূলক নির্ভুলতার জন্য এটি ব্যবহার করতে পারে।

আপনি এটিকে ঘুরে দেখার চেষ্টা করতে পারেন, উদাহরণস্বরূপ পূর্ববর্তী রাজ্যটিকে বৈশিষ্ট্য হিসাবে অন্তর্ভুক্ত করে বা সংমিশ্রনের রাজ্যগুলি সংজ্ঞায়িত করে, তবে যুক্ত জটিলতা সবসময় এইচএমএমের ভবিষ্যদ্বাণীমূলক নির্ভুলতা বাড়ায় না এবং এটি গণনার সময়কে অবশ্যই সহায়তা করে না।

আপনাকে অবশ্যই মোট রাজ্যের সংখ্যা নির্ধারণ করতে হবে।

ঘুমের উদাহরণটিতে ফিরে আসার পরে, এটি এমনভাবে উপস্থিত হতে পারে যেন আমাদের কেবলমাত্র দুটি রাজ্যই যত্নশীল। যাইহোক, এমনকি যদি আমরা শুধুমাত্র পূর্বাভাসের যত্নশীল জাগ্রত বনাম ঘুমিয়ে , আমাদের মডেল যেমন, ড্রাইভিং নিষেক, ইত্যাদি অতিরিক্ত রাজ্যের figuring আউট থেকে লাভবান হতে পারে (যেমন নিষেক সাধারণত ডান রাতে ঘুমাতে যাওয়ার আগে আসে)। আবার কোনও আরএনএন যদি এর যথেষ্ট উদাহরণ দেখায় তবে তাত্ত্বিকভাবে এমন সম্পর্ক শিখতে পারে।

আরএনএনগুলির সাথে অসুবিধা

উপরের থেকে এটি মনে হতে পারে যে আরএনএনগুলি সর্বদা উন্নত। যদিও আমার নোট করা উচিত, আরএনএনগুলি কাজ করা কঠিন হতে পারে, বিশেষত যখন আপনার ডেটাসেটটি ছোট হয় বা আপনার ক্রমগুলি খুব দীর্ঘ। আমার ব্যক্তিগতভাবে আমার কিছু ডেটা প্রশিক্ষণের জন্য আরএনএন পেতে সমস্যা হয়েছিল এবং আমার সন্দেহ রয়েছে যে সর্বাধিক প্রকাশিত আরএনএন পদ্ধতি / গাইডলাইন পাঠ্য ডেটার সাথে সংযুক্ত রয়েছে। অ-পাঠ্য ডেটাতে আরএনএন ব্যবহার করার চেষ্টা করার সময় আমার নির্দিষ্ট ডেটাসেটগুলিতে ভাল ফলাফল পেতে আমার যত্নের চেয়ে বিস্তৃত হাইপারপ্যারামিটার অনুসন্ধান করতে হয়েছিল।

কিছু ক্ষেত্রে, আমি সিক্যুয়াল ডেটাগুলির জন্য সেরা মডেলটি পেয়েছি আসলে একটি ইউনেট শৈলী ( https://arxiv.org/pdf/1505.04597.pdf ) কনভোলিউশনাল নিউরাল নেটওয়ার্ক মডেল যেহেতু প্রশিক্ষণ করা সহজ এবং দ্রুত, এবং সক্ষম সিগন্যালের পুরো প্রসঙ্গটি বিবেচনায় নেওয়া।

Answer 2

প্রথমে এইচএমএম এবং আরএনএন-এর মধ্যে পার্থক্যগুলি দেখুন।

এই কাগজটি থেকে : লুকানো মার্কভ মডেলগুলির একটি টিউটোরিয়াল এবং বক্তৃতা স্বীকৃতিতে নির্বাচিত অ্যাপ্লিকেশনগুলি আমরা শিখতে পারি যে এইচএমএম নিম্নলিখিত তিনটি মৌলিক সমস্যার দ্বারা চিহ্নিত করা উচিত:

সমস্যা 1 (সম্ভাবনা): একটি এইচএমএম λ = (এ, বি) এবং একটি পর্যবেক্ষণের ক্রম দেওয়া হয়েছে, সম্ভাবনা নির্ধারণ করুন P (O |।)।
সমস্যা 2 (ডিকোডিং): একটি পর্যবেক্ষণের ক্রম ও এবং একটি এইচএমএম Give = (এ, বি) দেওয়া, সেরা লুকানো রাষ্ট্রের অনুক্রমটি আবিষ্কার করুন প্রশ্ন
3 (শিক্ষণ): একটি পর্যবেক্ষণের ক্রম ও এইচএমএম-র রাজ্যগুলির সেট দেওয়া হয়েছে, এইচএমএম পরামিতি এ এবং বি শিখুন

আমরা এই তিনটি দৃষ্টিকোণ থেকে আরএনএন এর সাথে এইচএমএম তুলনা করতে পারি।

সম্ভাবনা

আরএনএন- তে এইচএমএম (চিত্র এ 5) ভাষার মডেল হওয়ার সম্ভাবনা

এইচএমএম-তে আমরা দ্বারা সম্ভাবনা গণনা করি যেখানে সমস্ত সম্ভাব্য প্রতিনিধিত্ব করে এবং সম্ভাবনাটি আসল গ্রাফ সম্ভাবনা। আরএনএন থাকা অবস্থায়, যতদূর আমি জানি, ভাষা মডেলিংয়ে বিভ্রান্তির বিপরীতমুখী যেখানে এবং আমরা লুকানো রাজ্যের উপরে যোগফল পাই না এবং পাই না সঠিক সম্ভাবনা। $P(O)=\sum_Q P(O, Q) = \sum_Q P(O|Q)P(Q)$$Q$$\frac{1}{p(X)} = \sqrt[T]{\prod_{t=1}^T \frac{1}{p(x^t|x^{(t-1)},...,x^{(1)})}}$

গঠনের কথা মাথায় রেখে

ডিকোডিংয়ের কাজটি নির্ধারণ করছে এবং কোন ভেরিয়েবলের ক্রম নির্ধারণ করে তা কিছু ক্রমের অন্তর্নিহিত উত্স ভিটারবি অ্যালগরিদম ব্যবহার করে পর্যবেক্ষণ এবং ফলাফলের দৈর্ঘ্য সাধারণত পর্যবেক্ষণের সমান; আরএনএন-এ থাকাকালীন ডিকোডিংটি এবং এর দৈর্ঘ্য সাধারণত পর্যবেক্ষণ সমান হয় না ।$v_t(j) = max_{i=1}^N v_{t-1}(i)a_{ij} b_(o_t)$$P(y_1, ..., y_O|x_1, ..., x_T) = \prod_{o=1}^OP(y_o|y_1, ..., y_{o-1}, c_o)$$Y$$X$

এইচএমএম-তে ডিকোডিং (চিত্র A.10)

আরএনএন-তে ডিকোডিং

শিক্ষা

এইচএনএম-এ পড়াশোনা আরএনএন-এর চেয়ে অনেক জটিল। এইচএমএম-এ এটি সাধারণত বাউম-ওয়েলচ অ্যালগরিদম (প্রত্যাশা-ম্যাক্সিমাইজেশন অ্যালগরিদমের একটি বিশেষ ক্ষেত্রে) ব্যবহার করে যখন আরএনএন-এ এটি সাধারণত গ্রেডিয়েন্ট বংশোদ্ভূত হয়।

আপনার অনুচ্ছেদের জন্য:

কোন অনুক্রমিক ইনপুট সমস্যাগুলির জন্য প্রতিটি উপযুক্ত?

যখন আপনার পর্যাপ্ত ডেটা নেই এইচএমএম ব্যবহার করুন এবং যখন আপনার সঠিক সম্ভাবনা গণনা করতে হবে তখন এইচএমএম আরও ভাল মামলা (ডেটা কীভাবে উত্পন্ন হয় সেই মডেলিংয়ের কাজগুলি )ও হতে পারে। অন্যথায়, আপনি আরএনএন ব্যবহার করতে পারেন।

ইনপুট মাত্রিকতা নির্ধারণ করে যে কোনটি আরও ভাল ম্যাচ?

আমি এটি মনে করি না, তবে লুকানো রাজ্যগুলি যদি খুব বড় হয় তবে এটি শিখতে আরও বেশি সময় লাগতে পারে যেহেতু মূলত অ্যালগরিদমের জটিলতা (ফরোয়ার্ড পশ্চাৎ এবং ভিটারবি) মূলত বিচ্ছিন্ন রাজ্যের সংখ্যার বর্গক্ষেত্র হয়।

একটি এলএসটিএম আরএনএন-এর জন্য "দীর্ঘ মেমরির" প্রয়োজন এমন সমস্যাগুলি কি আরও উপযুক্ত, যখন এইচএমএম দ্বারা চক্রীয় ইনপুট নিদর্শনগুলির (শেয়ার বাজার, আবহাওয়া) আরও সহজে সমাধান করা যায়?

এইচএমএম-এ বর্তমান অবস্থা পূর্ববর্তী রাজ্যগুলি এবং পর্যবেক্ষণগুলির দ্বারাও প্রভাবিত হয় (পিতৃস্থানীয় রাষ্ট্রগুলি দ্বারা) এবং আপনি "দীর্ঘ স্মৃতি" এর জন্য সেকেন্ড-অর্ডার লুকানো মার্কভ মডেল চেষ্টা করতে পারেন।

আমি মনে করি আপনি প্রায় করতে আরএনএন ব্যবহার করতে পারেন

রেফারেন্স

1. ডিপ লার্নিং CS224N / Ling284 সহ প্রাকৃতিক ভাষা প্রক্রিয়াজাতকরণ
2. লুকানো মার্কভ মডেল

Comments

তবে রেফারেন্সড পেপারে এটি বলেছে যে এইচএমএমের একটি গোপনীয় অবস্থা রয়েছে, যদিও এটি আলাদা?

— ওলেগ আফসানায়েভ

@ ওলেগএফানাসিয়েভ হ্যাঁ আমি মনে করি আমি ভুল, কিন্তু পরে এই উত্তরটিতে ফিরে আসব।

— লারনার ঝাং

এটি কি সংশোধন করা হয়েছে?

— জেনিভির-শিখর

@ জেনেভি-লেয়ার্নার আমি উত্তরটি আবারও লিখেছি এবং আশা করি এটি আপনার কোনও উপকারে আসবে এবং আশা করি যে এটি কীভাবে আরও উন্নত করা যায় সে সম্পর্কে আপনি আমাকে কিছু পরামর্শ সরবরাহ করবেন।

— লারনার ঝাং

Answer 3

আমি এই প্রশ্নটি পেয়েছি, কারণ আমি তাদের মিল এবং পার্থক্য সম্পর্কেও ভাবছিলাম। আমি মনে করি যে হিডেন মার্কভ মডেলগুলির (এইচএমএমগুলি) কঠোরতম অর্থে ইনপুট এবং আউটপুট না রাখার বিষয়টি অত্যন্ত গুরুত্বপূর্ণ।

এইচএমএমগুলি তথাকথিত জেনারেটরি মডেল, আপনার যদি এইচএমএম থাকে তবে আপনি এটি থেকে কিছু পর্যবেক্ষণ জেনারেট করতে পারেন। এটি আরএনএন থেকে মূলত পৃথক, এমনকি যদি আপনার প্রশিক্ষিত আরএনএন থাকে তবে আপনার এটিতে ইনপুট দরকার need

একটি বাস্তব উদাহরণ যেখানে এটি গুরুত্বপূর্ণ, তা হল বাকের সংশ্লেষণ। অন্তর্নিহিত গোপন মার্কোভের রাষ্ট্রগুলি হ'ল ফোন এবং নির্গত সম্ভাবনার ঘটনাগুলি হ'ল শাব্দ। যদি আপনার কাছে ওয়ার্ড মডেল প্রশিক্ষিত থাকে তবে আপনি এটির মতো বিভিন্ন উপলব্ধি তৈরি করতে পারেন।

তবে আরএনএন দিয়ে আপনার আউটপুট বের করতে আপনাকে কমপক্ষে কিছু ইনপুট বীজ সরবরাহ করতে হবে। আপনি তর্ক করতে পারেন যে এইচএমএমগুলিতে আপনাকে প্রাথমিক বিতরণও সরবরাহ করতে হবে, সুতরাং এটি একই রকম। তবে আমরা যদি বক্তৃতার সংশ্লেষণের উদাহরণটি ধরে রাখি, তবে এটি প্রাথমিক কারণটি স্থির হবে না (শব্দের প্রথম ফোন থেকে সর্বদা শুরু করা হবে)।

আরএনএনগুলির সাহায্যে আপনি প্রশিক্ষণপ্রাপ্ত মডেলটির জন্য একটি ডিস্ট্রিমেন্টিক আউটপুট ক্রম পাবেন, যদি আপনি একই সময় ইনপুট বীজ সর্বদা ব্যবহার করেন। এইচএমএম সহ, আপনি হবেন না কারণ স্থানান্তরগুলি এবং নির্গমন সবসময় সম্ভাবনা বন্টন থেকে নমুনাযুক্ত হয়।