লুকানো মার্কভ মডেল এবং নিউরাল নেটওয়ার্কগুলির মধ্যে পার্থক্য কী?


40

আমি পরিসংখ্যানগুলিতে কেবল আমার পা ভেজাচ্ছি তাই এই প্রশ্নের অর্থ যদি না বোঝায় তবে আমি দুঃখিত। আমি কোনও অনুসন্ধান ইঞ্জিনে ব্যবহারকারীদের ক্লিকগুলি অধ্যয়ন করতে লুকানো রাজ্যগুলি (অন্যায় ক্যাসিনো, ডাইস রোলস ইত্যাদি) এবং নিউরাল নেটওয়ার্কগুলির পূর্বাভাস দেওয়ার জন্য মার্কভ মডেলগুলি ব্যবহার করেছি। উভয়েরই গোপনীয় অবস্থা ছিল যে আমরা পর্যবেক্ষণগুলি ব্যবহার করে বের করার চেষ্টা করছিলাম।

আমার বোঝার জন্য তারা দুজনেই লুকিয়ে থাকা অবস্থার পূর্বাভাস দেয়, তাই আমি ভাবছি কখন নিউরোক নেটওয়ার্কগুলির মাধ্যমে কেউ মার্কভ মডেল ব্যবহার করবেন? তারা কি একই ধরণের সমস্যার জন্য ভিন্ন ভিন্ন দৃষ্টিভঙ্গি?

(আমি শিখতে আগ্রহী কিন্তু আমার আরও একটি প্রেরণাও রয়েছে, আমার একটি সমস্যা রয়েছে যা আমি লুকানো মার্কভ মডেলগুলি ব্যবহার করার সমাধান করার চেষ্টা করছি তবে এটি আমার চালকদের চালিত করে তাই আমি অন্য কিছু ব্যবহার করতে যেতে পারি কিনা তা দেখার আগ্রহী ছিল))


2
আপনি এখানে দেখতে চাইতে পারেন: stats.stackexchange.com/questions/4498/…
নিউকুলার

আপনি কি কোনও উত্তর চয়ন করতে যত্নবান হবেন, বা আপনি যা খুঁজছেন তা আরও স্পষ্ট করে বলবেন?
কনজুগেটপায়ার

উত্তর:


27

কী গোপন এবং কী পর্যবেক্ষণ করা হয়

একটি লুকানো মার্কভ মডেলটিতে যে জিনিসটি লুকানো আছে তা হ'ল বিযুক্ত মিশ্রণের মডেলটিতে যেমন লুকানো থাকে তাই স্পষ্টতার জন্য, লুকানো রাষ্ট্রের গতিবিদ্যা সম্পর্কে ভুলে যান এবং উদাহরণস্বরূপ একটি সীমাবদ্ধ মিশ্রণের মডেলটি রেখে যান। এই মডেলটির 'রাষ্ট্র' হ'ল উপাদানটির পরিচয় যা প্রতিটি পর্যবেক্ষণের কারণ হয়েছিল। এই শ্রেণীর মডেলটিতে এ জাতীয় কারণগুলি কখনই পর্যবেক্ষণ করা হয় না , সুতরাং 'লুকানো কারণ' পরিসংখ্যানগতভাবে দাবিতে অনুবাদ করা হয় যে পর্যবেক্ষণ করা তথ্যের মধ্যে প্রান্তিক নির্ভরতা রয়েছে যা উত্স উপাদানটি জানা গেলে মুছে ফেলা হয়। এবং উত্স উপাদানগুলি যা এই পরিসংখ্যানগত সম্পর্ককে সত্য করে তোলে তা অনুমান করা হয়।

সিগময়েড মিডিল ইউনিটগুলির সাথে ফিডফোরওয়ার্ড মাল্টিলেয়ার নিউরাল নেটওয়ার্কে যে জিনিসটি লুকানো আছে সেগুলি হ'ল সেই ইউনিটের রাজ্যগুলি, আউটপুটগুলি নয় যা অনুমানের লক্ষ্য। যখন নেটওয়ার্কের আউটপুটটি একটি শ্রেণিবদ্ধকরণ হয়, অর্থাৎ সম্ভাব্য আউটপুট বিভাগগুলির উপর সম্ভাব্যতা বন্টন হয়, এই লুকানো ইউনিটগুলির মানগুলি একটি স্থান নির্ধারণ করে যার মধ্যে বিভাগগুলি পৃথকযোগ্য। এই জাতীয় মডেল শেখার কৌশলটি হ'ল একটি লুকানো স্থান তৈরি করা (ইনপুট ইউনিটগুলির ম্যাপিংকে সামঞ্জস্য করে) যার মধ্যে সমস্যাটি লিনিয়ার। ফলস্বরূপ, সামগ্রিকভাবে সিস্টেম থেকে অ-রৈখিক সিদ্ধান্তের সীমানা সম্ভব।

উত্পাদক বনাম বৈষম্যমূলক

মিশ্রণ মডেল (এবং এইচএমএম) ডেটা উত্পাদন প্রক্রিয়ার একটি মডেল, কখনও কখনও সম্ভাবনা বা 'ফরোয়ার্ড মডেল' নামে পরিচিত। প্রতিটি রাজ্যের পূর্ব সম্ভাব্যতা সম্পর্কে কিছু অনুমানের সাথে মিলিত হয়ে আপনি বয়েস উপপাদ্য (একটি জেনারেটিক অ্যাপ্রোচ) ব্যবহার করে লুকানো রাষ্ট্রের সম্ভাব্য মানগুলির উপর একটি বিতরণ নির্ধারণ করতে পারেন। মনে রাখবেন যে, 'পূর্ব' বলা হলেও পূর্বের এবং পরামিতিগুলির সম্ভাবনা দুটিই সাধারণত ডেটা থেকে শিখে নেওয়া হয়।

মিশ্রণ মডেল (এবং এইচএমএম) এর বিপরীতে নিউরাল নেটওয়ার্ক সরাসরি আউটপুট বিভাগগুলিতে (একটি বৈষম্যমূলক দৃষ্টিভঙ্গি) মাধ্যমে একটি পূর্ববর্তী বিতরণ শিখেছে। এটি সম্ভব কারণ অনুমানের সময় আউটপুট মানগুলি পর্যবেক্ষণ করা হয়েছিল। এবং যেহেতু এগুলি পর্যবেক্ষণ করা হয়েছে, সম্ভাবনার জন্য মিশ্রণের মতো কোনও পূর্ববর্তী এবং একটি নির্দিষ্ট মডেল থেকে একটি উত্তরোত্তর বিতরণ নির্মাণ করা প্রয়োজন নয়। উত্তরোত্তর সরাসরি ডেটা থেকে শিখে নেওয়া হয়, যা আরও দক্ষ এবং কম মডেল নির্ভর।

মিশ্রিত করা এবং মেলে

জিনিসগুলিকে আরও বিভ্রান্তিকর করার জন্য, এই পদ্ধতিগুলি একত্রে মিশ্রিত করা যেতে পারে, উদাহরণস্বরূপ যখন মিশ্রণ মডেল (বা এইচএমএম) রাজ্যটি কখনও কখনও বাস্তবে পরিলক্ষিত হয়। যখন এটি সত্য হয় এবং অন্য কিছু পরিস্থিতিতে এখানে প্রাসঙ্গিক নয়, অন্যথায় জেনারেটরি মডেলে বৈষম্যমূলক প্রশিক্ষণ দেওয়া সম্ভব। একইভাবে এইচএমএমের মিশ্রণ মডেল ম্যাপিংকে আরও নমনীয় ফরোয়ার্ড মডেল, উদাহরণস্বরূপ, নিউরাল নেটওয়ার্কের সাথে প্রতিস্থাপন করা সম্ভব।

প্রশ্নসমুহ

সুতরাং এটি একেবারেই সত্য নয় যে উভয় মডেলই লুকানো অবস্থার পূর্বাভাস দেয়। এইচএমএমগুলি লুকানো রাজ্যের পূর্বাভাস দেওয়ার জন্য ব্যবহার করা যেতে পারে, তবে কেবল ফরোয়ার্ড মডেলই যে ধরণের প্রত্যাশা করে। নিউরাল নেটওয়ার্কগুলি এখনও পর্যবেক্ষণ না করা রাষ্ট্রের ভবিষ্যদ্বাণী হিসাবে ব্যবহার করা যেতে পারে , যেমন ভবিষ্যতের রাজ্যগুলির জন্য ভবিষ্যদ্বাণীকারী উপলব্ধ। এই ধরণের রাষ্ট্র নীতিগতভাবে গোপন নয়, এটি এখনও পর্যবেক্ষণ করা হয়নি।

আপনি কখন অন্যটির চেয়ে একটি ব্যবহার করবেন? ঠিক আছে, নিউরাল নেটওয়ার্কগুলি আমার অভিজ্ঞতার চেয়ে বরং বিশ্রী সময় সিরিজের মডেল তৈরি করে। তারা ধরেও নেয় আপনি আউটপুট পর্যবেক্ষণ করেছেন। এইচএমএমগুলি তা করে না তবে গোপনীয় অবস্থাটি আসলে কী তা আপনার কোনও নিয়ন্ত্রণ নেই। তবুও তারা যথাযথ সময় সিরিজের মডেল।


2
+1 এটি খুব ভাল। লিখেছেন: Similarly it is possible to replace the mixture model mapping of an HMM with a more flexible forward model, e.g., a neural network.আপনি কী অর্থ নির্গমন প্রবণতা পি (পর্যবেক্ষণ | লুকানো) ফিড ফরোয়ার্ড এনএন দিয়ে প্রতিস্থাপন করছেন? আমি এটি কয়েক জায়গায় এসেছি কিন্তু কোনও ব্যাখ্যা দেয় না; তারা কেবল উল্লেখ করেছে যে তারা এটি প্রয়োগ করেছে। আমি ধরে নিই যে তারা নির্গমন শিখার জন্য এমএলই পদক্ষেপটি প্রতিস্থাপন করেছে তবে কীভাবে তা বুঝতে পারি না। আপনি কোনও কোড বা ব্যাখ্যামূলক উদাহরণ জানেন? যে কোনও পয়েন্টার স্বাগত জানায়, ধন্যবাদ।
ঝুবার্ব

দেখে মনে হচ্ছে যে এইভাবে প্রায় কম ব্যবহৃত হয়েছে (আরও কিছু এমএল ব্যক্তি আমাকে এখানে সংশোধন করতে পারেন)। থা বলেছেন, এনএন প্যারামিটারগুলি রাষ্ট্রীয় ভেক্টরকে রাষ্ট্রীয় ভেক্টরকে শর্তসাপেক্ষে আউটপুট হিসাবে ম্যাপিংয়ের অনুমান করা (বা কমপক্ষে এটির প্রত্যাশিত মানটি জানতে যেমন কোনও ইএম অ্যালগরিদম হিসাবে) পর্যবেক্ষণ করা ইনপুট এবং আউটপুট ডেটা সহ প্রশিক্ষণ হিসাবে একই কাজ, তাই আমি অনুমান করি সেখানে অংশ সম্পর্কে বলতে বিশেষ কিছুই।
কনজুগেটপায়ার

উত্তরটি ভাল, ব্যতীত: নিউরাল নেটওয়ার্কগুলি বৈষম্যমূলক (ফিড ফরোয়ার্ড ইত্যাদি) বা জেনারেটরি (সীমাবদ্ধ বলজম্যান মেশিন ইত্যাদি) হতে পারে। এছাড়াও, এলএসটিএম এবং রিজার্ভায়ার কম্পিউটিং মডেলের মতো পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি এইচএমএম - এবং কখনও কখনও এইচএমএম এর চেয়েও বেশি ভাল মডেল করতে পারে, বিশেষত শক্তিশালী ননলাইনার ডায়নামিক্স এবং দীর্ঘ সময়ের সম্পর্ক সম্পর্কিত সময় সিরিজের ক্ষেত্রে।
গুসুকু

10

লুকানো মার্কভ মডেলগুলি কোনও ভাষা উত্পন্ন করতে ব্যবহার করা যেতে পারে, যা তার পরিবারের পরিবার থেকে উপাদানগুলির তালিকা তৈরি করে। উদাহরণস্বরূপ, যদি আপনার এইচএমএম থাকে যা সিকোয়েন্সগুলির একটি সেটকে মডেল করে, আপনি সিকোয়েন্সগুলির তালিকা তৈরি করে এই পরিবারটির সদস্যদের তৈরি করতে সক্ষম হবেন যা আমরা মডেলিং করছি sequ

নিউরাল নেটওয়ার্কস, একটি উচ্চ মাত্রিক স্থান থেকে একটি ইনপুট নিন এবং কেবল এটি একটি নিম্ন মাত্রিক স্থানটিতে ম্যাপ করুন (যেভাবে নিউরাল নেটওয়ার্কগুলি এই ইনপুটটিকে প্রশিক্ষণ, তার টপোলজি এবং অন্যান্য কারণের উপর ভিত্তি করে তৈরি করেছে)। উদাহরণস্বরূপ, আপনি কোনও সংখ্যার একটি -৪-বিট চিত্র নিতে পারেন এবং এটিকে সত্য / মিথ্যা মানটিতে ম্যাপ করতে পারেন যা এই সংখ্যাটি 1 বা 0 কিনা তা বর্ণনা করে।

উভয় পদ্ধতিই কোনও আইটেম শ্রেণীর সদস্য কিনা তা বৈষম্য করতে (বা কমপক্ষে চেষ্টা করার চেষ্টা করতে) সক্ষম, যদিও নিউরাল নেটওয়ার্কগুলি উপরে বর্ণিত কোনও ভাষা তৈরি করতে পারে না।

লুক্কায়িত মার্কভ মডেলগুলির বিকল্পগুলি উপলভ্য রয়েছে, উদাহরণস্বরূপ আপনি সম্ভবত আরও সাধারণ বেইশিয়ান নেটওয়ার্ক, একটি ভিন্ন টপোলজি বা স্টোকাস্টিক কনটেক্সট-ফ্রি ব্যাকরণ (এসসিএফজি) ব্যবহার করতে সক্ষম হবেন যদি আপনি বিশ্বাস করেন যে এইচএমএমগুলির ক্ষমতার অভাবে সমস্যা রয়েছে lies আপনার সমস্যার মডেল করুন - এটি হল আপনার যদি এমন একটি অ্যালগোরিদম প্রয়োজন হয় যা আরও জটিল অনুমানের মধ্যে পার্থক্য করতে সক্ষম হয় এবং / অথবা আরও জটিল যে ডেটার আচরণ বর্ণনা করে।


6
+1 দ্বিতীয় অনুচ্ছেদের জন্য। আমি উল্লেখ করতে চাই যে এই উত্তরটির সমস্ত উপাদান পরিষ্কারভাবে বুঝতে পারে এমন কেউ সম্ভবত মূল প্রশ্ন জিজ্ঞাসা করবেন না। যার পোস্টের শুরু দিয়ে "আমি কেবল আমার পায়ে পা ভেজাচ্ছি ..." এর সাথে আনুষ্ঠানিক ব্যাকরণ উল্লেখ করা সম্ভবত সহায়ক নয়, এখানে দ্বিতীয় অনুচ্ছেদে ওপি কী জিজ্ঞাসা করছে তার সারমর্মটি ধারণ করে। প্রথম অনুচ্ছেদের পরিবর্তে, আপনি বলতে পারেন: একটি এইচএমএম মডেলগুলির লুকানো রাজ্যের শর্তসাপেক্ষ নির্ভরতা, যেখানে প্রতিটি রাজ্যের পর্যবেক্ষণগুলির উপর সম্ভাবনা বন্টন থাকে।
ফিলিপ ক্লাউড

7
এই উত্তরটি কেবল ভুল। এখানকার নিউরাল নেটওয়ার্কটি ফিডফোর্ড হিসাবে ধরে নেওয়া হয়। এটি কেবলমাত্র এক শ্রেণির নিউরাল নেটওয়ার্ক। পুনরাবৃত্ত মডেলগুলি কেবলমাত্র একক ইনপুটগুলিকে নিম্ন-মাত্রিক উপস্থাপনের জন্য ম্যাপ করে না এবং তারা ভাষা উত্পন্ন করতে পারে । উদাহরণস্বরূপ দেখুন arxiv.org/abs/1308.0850
rd11

সিকোয়েন্স তৈরি করা (লিঙ্কযুক্ত কাগজের মতো) ভাষা তৈরির মতো নয়। আমি মনে করি আপনি সেটগুলির উপাদানগুলির মধ্যে পার্থক্য করার জন্য এগুলি প্রয়োগ করতে পারেন এবং অন্যথায় আপনি যদি চান তবে পুনরাবৃত্ত মডেলটি পুনরুত্থানের সাথে পৃথক ইনপুটগুলির বিস্তৃত একক বৃহত ইনপুট গ্রহণ এবং একটি বড় আউটপুট ফেরত হিসাবে কল্পনা করা যেতে পারে। নিশ্চিত নয় যে পুনরাবৃত্ত নিউরাল নেটওয়ার্ক আপনাকে কোনও ইনপুট ছাড়াই আউটপুট দিতে পারে কিনা Not
অ্যান্ড্রু

হুম। আপনি কি এইচএমএম উত্পন্ন করতে পারে এমন কোনও কিছুর উদাহরণ দিতে পারেন, এবং আপনি বিশ্বাস করেন যে কোনও আরএনএন দিয়ে তৈরি করা যায় না?
rd11

যে উদাহরণটি মাথায় আসে তা হ'ল: এইচএমএম প্রদত্ত আপনি এইচএমএম প্রতিনিধিত্বকারী ভাষার সাথে সম্পর্কিত এমন উপাদানগুলির ক্রম পেতে পারেন। কোনও আরএনএন এটি করার জন্য আপনাকে তার উপরে ওপরে কিছু যুক্ত করতে হবে (উদাহরণস্বরূপ বিভিন্ন ইনপুটগুলি চেষ্টা করুন এবং কোনও শ্রেণীর সদস্য বা অন্যথায় কোনও ইনপুট চিহ্নিত করুন) - যদিও আরএনএন এর ক্ষেত্রে আপনি সম্ভবত একাধিক ইনপুট খুঁজছেন (একের পর এক) একক "আইটেম" উপস্থাপন করে। কোনও ভাষা তৈরির উদ্দেশ্যে এইচএমএমগুলি স্বাভাবিকভাবেই উপযুক্ত।
অ্যান্ড্রু

3

আমি যা পেয়েছি তার থেকে এই প্রশ্নের সর্বোত্তম উত্তরটি হ'ল: ছদ্মবেশে মার্কোভের চেইনটি গভীরভাবে শেখা । এটি ঠিক আমি বুঝতে পেরেছি, তবে যেহেতু ইতিমধ্যে ইন্টারনেটে অন্য কোথাও আলোচনা হয়েছিল, আমি এখানে লিঙ্কটি রেখে দিচ্ছি।

মার্কভ চেইনের মডেল:

p(x1....xn)=p(x1)p(x2|x1)p(x3|x2)...

আরএনএনগুলি মডেল করার চেষ্টা করছে:

p(x1....xn)=p(x1)p(x2|x1)p(x3|x2,x1)p(x4|x3,x2,x1)...

আমরা একটি একক অক্ষরের পরিবর্তে ইনপুট হিসাবে একটি অক্ষর ক্রম ব্যবহার করতে পারি। এইভাবে, আমরা রাষ্ট্রকে আরও ভালভাবে ক্যাপচার করতে পারি (প্রসঙ্গের উপর নির্ভর করে)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.