ইএম অ্যালগরিদমের দ্রুত বিকল্প

Question

সুপ্ত ভেরিয়েবল (বিশেষত পিএলএসএ) সহ মডেল শেখার জন্য ইএম অ্যালগরিদমের কোনও দ্রুত বিকল্প আছে? আমি গতির পক্ষে যথার্থ বলিদান সহ ঠিক আছি।

Comments

আপনি কি সাহিত্য জরিপ করেছেন? এই কাগজটি বিশেষভাবে প্রাসঙ্গিক দেখাচ্ছে: প্রচ্ছন্ন পরিবর্তনশীল প্রশিক্ষণের উত্তল শিথিলকরণ

— এমের

কেমন হবে এলএসএ সম্পর্কে? :-)

— কনজুগেটপ্রিয়র

কোনও ইএম ত্বরান্বিত করার একটি সাধারণ উপায়ে "আইটকেন এক্সিলারেটর" বলা হয়। যথার্থতা যদি কোনও সমস্যা না হয় তবে পরিবর্তে মুহূর্তের প্রাক্কলন বা সাধারণীকরণের মুহুর্তের অনুমানের চেষ্টা করুন।

— জনরোস

Answer 1

নিউটন-রাফসন অ্যালগরিদমগুলি প্রায়শই নিয়োগ করা যায়। আমি পিএসএলএর সাথে পরিচিত নই, তবে সুপ্ত শ্রেণির মডেলগুলির জন্য নিউটন-রাফসন অ্যালগরিদম ব্যবহার করা খুব সাধারণ বিষয়। নিউটন-রাফসন অ্যালগরিদমগুলি EM এর তুলনায় দুর্বল প্রাথমিক মানগুলি দ্বারা একটু বেশি সমস্যায় পড়েছে, তাই এক কৌশলটি হ'ল প্রথমে EM এর কয়েকটি পুনরাবৃত্তি (20 বলে) ব্যবহার করা এবং তারপরে একটি নিউটন-রাফসন অ্যালগরিদমে স্যুইচ করা। একটি অ্যালগরিদম যা দিয়ে আমি প্রচুর সাফল্য পেয়েছি তা হ'ল: ঝু, সিউইউ, রিচার্ড এইচ। বার্ড, পিহুয়াং লু, এবং জর্জি নোসেডাল (১৯৯,), "অ্যালগোরিদম 8 77৮: এল-বিএফজিএস-বি: ফোর্টরান সাব্রোটিনগুলি বৃহত আকারের সীমানা- সীমাবদ্ধ অপ্টিমাইজেশান, "গাণিতিক সফ্টওয়্যার (টোমস) সংরক্ষণাগার উপর এসিএম লেনদেন, 23 (4), 550-60।

Answer 2

EM অ্যালগরিদমের সাথে খুব মিলে এটি এমএম অ্যালগরিদম যা সাধারণত কোনও উদ্দেশ্য ফাংশনকে বৃহত্তরকরণ বা সংখ্যায়িত করার ক্ষেত্রে ডেটা হারিয়ে যাওয়ার পরিবর্তে উত্তেজনাকে কাজে লাগায়। যদিও আপনার নির্দিষ্ট সমস্যার জন্য এমএম অ্যালগরিদম প্রযোজ্য কিনা তা আপনাকে পরীক্ষা করতে হবে।

Answer 3

এলডিএর জন্য, "অনলাইন এলডিএ" হ'ল স্ট্যান্ডার্ড ইএম (http://www.cs.princeton.edu/~blei/papers/HoffmanBleiBach2010b.pdf) এর মতো ব্যাচ পদ্ধতির চেয়ে দ্রুত বিকল্প।

ডেভিড ব্লি তার পৃষ্ঠায় সফ্টওয়্যার সরবরাহ করে: http://www.cs.princeton.edu/~blei/topicmodeling.html

Answer 4

উত্তরে এখনও অবধি উল্লেখ করা হয়নি এমন আরও একটি বিকল্প হ'ল পরিবর্তনীয় আনুমানিকতা। যদিও এই অ্যালগরিদমগুলি সব ক্ষেত্রে ঠিক EM অ্যালগরিদম না হলেও কিছু ক্ষেত্রে EM অ্যালগরিদমগুলি বয়েশিয়ান গড়-ক্ষেত্রের পরিবর্তনশীল অ্যালগরিদমের ক্ষেত্রে সীমাবদ্ধ করে চলেছে। সীমাটি হাইপার-প্যারামিটারের সীমাবদ্ধ কেসের সাথে সম্পর্কিত, কিছু ক্ষেত্রে সীমাবদ্ধ মানগুলি বেছে নেওয়ার কারণে আপনাকে ইএম অ্যালগরিদম দেবে।

উভয় ক্ষেত্রে (EM, VB, বা এমনকি এমএম অ্যালগরিদম) জিনিসগুলি গতি বাড়ানোর জন্য 2 সাধারণ উপায় রয়েছে:

$p$$p$

(২) আপনার ইএম (বা অন্যান্য ধরণের) অ্যালগরিদমের কনভার্জেনশন হারকে উন্নত করা। জনরোস একটি মন্তব্যে আইটকেন ত্বরণের কথা উল্লেখ করেছেন। এটি সংখ্যা বিশ্লেষণের জগতের তবে এটি ম্যাকলাচলান এবং কৃষ্ণনের ইএম বইয়ে আলোচিত।

আমি মিস করেছি এমন অন্য কেউ কেউ থাকতে পারে তবে এই দুটি বড় মনে হয়।