EM এবং গ্রেডিয়েন্ট অ্যাসেন্টের মধ্যে পার্থক্য কী?


28

অ্যালগরিদম ইএম (প্রত্যাশা ম্যাক্সিমাইজেশন) এবং গ্রেডিয়েন্ট অ্যাসেন্ট (বা উত্থান) এর মধ্যে পার্থক্য কী? এমন কোন শর্ত আছে যার অধীনে তারা সমতুল্য?

উত্তর:


21

থেকে:

জু এল এবং জর্ডান এমআই (1996)। গাউসিয়ান মিক্সচারের জন্য ইএম অ্যালগরিদমের কনভার্জেন্স প্রোপার্টিনিউরাল গণনা 2: 129-151।

সারাংশ:

আমরা দেখাই যে প্যারামিটার স্পেসের EM পদক্ষেপটি প্রক্ষেপণ ম্যাট্রিক্স পি এর মাধ্যমে গ্রেডিয়েন্ট থেকে প্রাপ্ত হয়েছিল এবং আমরা ম্যাট্রিক্সের জন্য একটি স্পষ্ট প্রকাশ প্রকাশ করি।

পৃষ্ঠা ২

বিশেষত আমরা দেখাই যে ইএম পদক্ষেপটি ইতিবাচক ডানাইট ম্যাট্রিক্স দ্বারা গ্রেডিয়েন্টকে প্রাক-গুণিত করে প্রাপ্ত করা যেতে পারে। আমরা ম্যাট্রিক্সের জন্য একটি স্পষ্ট অভিব্যক্তি সরবরাহ করি ...

পৃষ্ঠা 3

অর্থাৎ, ইএম অ্যালগরিদমকে একটি পরিবর্তনশীল মেট্রিক গ্রেডিয়েন্ট অ্যাসেন্ট অ্যালগরিদম হিসাবে দেখা যেতে পারে ...

এটি হ'ল, কাগজটি ইএম অ্যালগরিদমের সুস্পষ্ট রূপান্তরকে গ্রেডিয়েন্ট-অ্যাসেন্ট, নিউটন, আধা-নিউটনে সরবরাহ করে।

উইকিপিডিয়া থেকে

সর্বাধিক সম্ভাবনা অনুমানের সন্ধানের জন্য অন্যান্য পদ্ধতি রয়েছে যেমন গ্রেডিয়েন্ট বংশোদ্ভূত, কনজুগেট গ্রেডিয়েন্ট বা গাউস-নিউটন পদ্ধতির বিভিন্নতা। EM এর বিপরীতে, এ জাতীয় পদ্ধতিগুলির সাধারণত সম্ভাবনা ফাংশনের প্রথম এবং / বা দ্বিতীয় ডেরিভেটিভসের মূল্যায়ন প্রয়োজন।


5
এই উত্তরটি ইঙ্গিত করে বলে মনে হচ্ছে যে EM এবং গ্রেডিয়েন্ট বংশোদ্ভূত মূলত একই অ্যালগরিদম, এক অ্যালগরিদম থেকে অন্য অ্যালগরিদমে স্যুইচ করার জন্য রূপান্তরগুলি উপলব্ধ। এটি অবশ্যই সাধারণভাবে সত্য নয় এবং দৃ strongly়ভাবে বিবেচিত জেনারেটরি মডেলের উপর নির্ভর করে। উদ্ধৃত কাগজটি কেবল গাউসীয় মিশ্রণ মডেলগুলি (যা তুলনামূলকভাবে সহজ জেনারেটরি মডেল) এর জন্য সিদ্ধান্তগুলি টেনে তোলে এবং ঠিক তাই। আমার (স্বীকৃতভাবে সীমাবদ্ধ) অভিজ্ঞতায়, যখন মডেলটি অত্যন্ত অ-রৈখিক এবং প্রচ্ছন্ন ভেরিয়েবলের ভূমিকা গুরুত্বপূর্ণ, তখন ইএম হ'ল বুদ্ধিমান আপডেটের নিয়মগুলি অর্জন করার একমাত্র উপায়।
নীল

9

না, তারা সমতুল্য নয়। বিশেষত, ইএম কনভার্জেন্স অনেক ধীর।

আপনি যদি ইএম সম্পর্কিত একটি অপ্টিমাইজেশন পয়েন্ট অফ ভিউতে আগ্রহী হন তবে এই কাগজে আপনি দেখতে পাবেন যে ইএম অ্যালগরিদম বিস্তৃত শ্রেণীর অ্যালগরিদমের একটি বিশেষ ক্ষেত্রে (প্রক্সিমাল পয়েন্ট অ্যালগরিদম)।


2
বা একই ধরণের ধারণার জন্য, হিন্টন এবং নীল (1998)
কনজুগেটপায়ার

2
"ইএম কনভার্জেন্স অনেক ধীর"; এটি সঠিকভাবে সংজ্ঞায়িত করা হয়নি, এবং অবশ্যই সাধারণত সত্য নয়। ইএম অ্যালগরিদমগুলি অ্যালগোরিদমের একটি সম্পূর্ণ শ্রেণি । অনেক সমস্যার জন্য, একটি নির্দিষ্ট ই.এম. আলগোরিদিম শিল্প রাষ্ট্র।
ক্লিফ এবি

@ ক্লিফ্যাব দয়া করে এ সম্পর্কে বিস্তারিত বলতে দ্বিধা করবেন না, আমি আপনার যুক্তিগুলি পড়তে পছন্দ করব - 4 বছর থেকে এই উত্তরটি পড়ার পরে আমি বুঝতে পেরেছি যে আমি আজ এই উত্তরটি দেব না। তারপর থেকে আমি আবিষ্কার করেছি যে অনেক ক্ষেত্রে, ই.এম. একটি 'শেখার গতি' বর্তমান বিন্দু উপর নির্ভর করে পরামিতি সঙ্গে একটি গ্রেডিয়েন্ট চড়াই ... (আমি ধরণের বিন্দু ফলাফলে একটি সময় এই উত্তরটি সম্পাদনা করতে পারেন) হল
এলভিস

"ধীর অভিযোজন" কনভার্জেন্স হারের পরিভাষায় সংজ্ঞায়িত করা যেতে পারে। গ্রেডিয়েন্ট অ্যাসেন্টের রূপান্তর হার 'শিক্ষার হার' এর উপর নির্ভর করবে, যা বেছে নেওয়া সহজ নয়, অনেক ক্ষেত্রে গ্রেডিয়েন্ট অ্যাসেন্টকে কঠিন করে তোলে। তবে আমার এখনও অন্ত্র অনুভূতি রয়েছে যে কিছু ক্ষেত্রে ইএম একমাত্র সম্ভাব্য অ্যালগরিদম হতে পারে (সম্ভাবনার ডেরিভেটিভস বা নিজেই গণনা করা শক্ত) তবে নিউটনের মতো পদ্ধতির তুলনায় এর কনভার্জেন্সের হারটি খুব কম।
এলভিস

"দ্য" ইএম অ্যালগরিদমটি আসলে অ্যালগরিদমের পুরো শ্রেণি; যার মধ্যে মূল টার্গেট ফাংশনটি অনুকূল করা কঠিন, তবে যদি কিছু অন্যান্য ভেরিয়েবলটি জানা থাকে তবে সমাধানটি আরও সহজ হবে (সাধারণত বন্ধ আকারে)। প্রাথমিক রূপরেখাটি হ'ল অন্যান্য প্যারামিটারের বর্তমান মানগুলিতে প্রত্যাশিত পরিবর্তনশীল শর্তযুক্ত পূরণ করা, তারপরে ভেরিয়েবলের প্রত্যাশিত মানের ভিত্তিতে প্যারামিটারগুলি আপডেট করা update এটি প্রদর্শিত হয়েছে যে অ্যালগরিদম রূপান্তরিত হয় তাড়িতভাবে ডেটাযুক্ত তথ্যটি কতটা তথ্যপূর্ণ তার উপর নির্ভরশীল; অনুপস্থিত ডেটা যত বেশি "তথ্যবহুল" হবে তা ধীরে ধীরে রূপান্তর ঘটায়।
ক্লিফ এবি
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.