গ্রেডিয়েন্ট বংশোদ্ভুত ব্যবহার কেন কেন-উপযোগী নয়?

Question

আমি জানি কে-মাধ্যমগুলি সাধারণত প্রত্যাশা ম্যাক্সিমাইজেশন ব্যবহার করে অনুকূলিত হয় । তবে আমরা এর ক্ষতির ক্রিয়াকে একইভাবে অপ্টিমাইজ করতে পারি যেভাবে আমরা অন্য যে কোনওটিকে অনুকূল করি!

আমি এমন কিছু কাগজপত্র পেয়েছি যা প্রকৃতপক্ষে বড় আকারের কে-অর্থের জন্য স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে তবে আমি আমার প্রশ্নের উত্তর পেতে পারি না।

সুতরাং, কেউ কি জানেন যে এটি কেন? প্রত্যাশা সর্বোচ্চকরণ দ্রুত রূপান্তর করার কারণে এটি কি ? এর কি কোনও বিশেষ গ্যারান্টি আছে? নাকি এটি historicalতিহাসিক কারণ ?

Comments

সর্বাধিকীকরণ পদক্ষেপটি ইতিমধ্যে সম্ভাবনার গ্রেডিয়েন্টে উঠতে পারে (প্রত্যাশা পদক্ষেপের দ্বারা নির্বাচিত মানগুলির শর্তাধীন), তাই না?

— ডেভিড জে হ্যারিস

@ ডেভিডজে.হরিস আমি মনে করি না যে ওএম ইএম এর মতো আচরণ করে তা বিতর্ক করছে, তবে কেন একটি পদ্ধতি ব্যাপকভাবে ব্যবহৃত হচ্ছে এবং অন্য একটি পদ্ধতি এত বেশি ব্যবহৃত হয়নি তা জিজ্ঞাসা করছেন asking আপনার মন্তব্য কেন EM পছন্দ হতে পারে তা সরাসরি সম্বোধন করে বলে মনে হচ্ছে না।

— গ্লেন_বি -রিনস্টেট মনিকা

হাই @ ডেভিডজে। হারিস, এটি গ্লেন_বি হিসাবে, আমি বুঝতে পারি যে উভয় অ্যালগরিদম সম্ভাবনা (ইএম) বা লগ সম্ভাবনা (গ্রেডিয়েন্ট বংশোদ্ভূত) হয় optim গুগল এবং বন্ধুরাগুলিতে খনন করার পরে, আমি এই প্রশ্নটির ঠিকানা কিনা তা এই পেপার লিঙ্কটিতে পেয়েছি । আমি যদি বুঝতে না চাইলাম, EM গ্রেডিয়েন্ট বংশোদ্ভুতের চেয়ে ভাল সমাধানে পৌঁছেছে।

— elsonidoq

কে-মানে অপ্টিমাইজ করার উদ্দেশ্যে উদ্দেশ্যমূলক কাজটি কী? এটা কি পার্থক্যযোগ্য?

— ভ্লাদিস্লাভস ডভগ্লেলেকস

এটি প্যারামিটারগুলিতে সহজেই পার্থক্যযোগ্য (ক্লাস্টার অর্থ) তবে অবশ্যই ক্লাস্টার অ্যাসাইনমেন্টগুলিতে নয় (যা বহুজাতিক নির্দেশক ভেরিয়েবলগুলি)?

— রুবেল ভ্যান বার্গেন

Answer 1

ওপি যেমন উল্লেখ করেছে, গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে কে-ইস্যু সমাধান করা সম্ভব এবং বড় আকারের সমস্যার ক্ষেত্রে এটি কার্যকর হতে পারে।

কে-ইস্যু (যেমন লয়েডের অ্যালগরিদম) সমাধানের জন্য ইএম স্টাইলের অ্যালগরিদমগুলির প্রসারের অবশ্যই historicalতিহাসিক কারণ রয়েছে। লয়েডের অ্যালগরিদম এতটাই জনপ্রিয় যে লোকেরা মাঝে মাঝে এটিকে "কে-মানে অ্যালগরিদম" বলে ডাকে এবং এমনকি অন্যান্য পদ্ধতির অস্তিত্ব সম্পর্কেও অজানা থাকতে পারে। তবে, এই জনপ্রিয়তা অনুপযুক্ত নয়।

বোটাউ এবং বেনজিও (১৯৯৫) দেখিয়েছে যে নিউটনের পদ্ধতিটি ব্যবহার করে কে-মানে ব্যয় কার্যকারিতাটি অনুকূল করার জন্য লয়েডের অ্যালগরিদম সমান। সাধারণ অপ্টিমাইজেশনের সমস্যাগুলিতে, নিউটনের পদ্ধতির মতো দ্বিতীয় ক্রম পদ্ধতিগুলি গ্রেডিয়েন্ট বংশোদ্ভুতের মতো প্রথম ক্রম পদ্ধতির তুলনায় দ্রুত রূপান্তর করতে পারে কারণ তারা উদ্দেশ্য কার্যের বক্রতা সম্পর্কে তথ্য ব্যবহার করে (এবং প্রথম আদেশের পদ্ধতিগুলি না করে)। সুপরিচিত আইরিস ডেটাসেটের একটি পরীক্ষায় তারা দেখিয়েছেন যে লয়েডের অ্যালগরিদম প্রকৃতপক্ষে গ্রেডিয়েন্ট বংশোদ্ভূত চেয়ে দ্রুত রূপান্তরিত করেছিল। বিস্তৃত বিভিন্ন ডেটাসেটের সাথে এই তুলনাটি দেখতে আকর্ষণীয় হবে।

তথ্যসূত্র:

বোটাউ এবং বেনজিও (1995) । কে-মানে অ্যালগরিদমগুলির রূপান্তর বৈশিষ্ট্য।

Answer 2

কে-মানে ক্লাস্টারিং অদৃশ্য করা হয়েছে, এবং সবচেয়ে নিকটবর্তী আনসারভিজড কৌশল যা ইএম ব্যবহার করে তা হ'ল মডেল-ভিত্তিক ক্লাস্টারিং (গাউসিয়ান মিশ্রণ মডেল, জিএমএম)। জিএমএম মডেল-ভিত্তিক ক্লাস্টারিংয়ের সাথে বিরক্তিকর সমস্যা দেখা দেয় যখন অনেকগুলি বৈশিষ্ট্য একে অপরের সাথে সম্পর্কিত হয়, যা বৈশিষ্ট্য-ভিত্তিক কোভারিয়েন্স (পারস্পরিক সম্পর্ক) ম্যাট্রিক্সের নিকটে একাকীত্বের কারণ হয়। এই পরিস্থিতিতে, সম্ভাব্য ক্রিয়াটি অস্থিতিশীল হয়ে ওঠে, শর্ত সূচকগুলি অসীমতায় পৌঁছে যায়, যার ফলে জিএমএম সম্পূর্ণভাবে ভেঙে যায়।

সুতরাং, ইএম এবং কেএনএন এর ধারণাটি ফেলে দিন - যেহেতু এটি অসমর্কিত বিশ্লেষণের জন্য কোভারিয়েন্স (পারস্পরিক সম্পর্ক) ম্যাট্রিকের উপর ভিত্তি করে। অপ্টিমাইজেশান সম্পর্কিত আপনার অনুসন্ধানটি সামন ম্যাপিং এবং ক্লাসিকাল মেট্রিক এবং অ-মেট্রিক বহুমাত্রিক স্কেলিং (এমডিএস) এর সাথে সান্নিধ্যপূর্ণ। স্যামন ম্যাপিং হ'ল ডেরিভেটিভ-রিটারিটিভ ভিত্তিক, যখন এমডিএসের বিভিন্ন ফর্মগুলি সাধারণত পুনরাবৃত্ত বা এক-পদক্ষেপ ইজেনডিকম্পোজিশনস হয়, যা তবুও এক-পদক্ষেপের ম্যাট্রিক্স অপারেশনের সময় অনুকূল করতে পারে।

আপনার অনুরোধটি আবার ফিরে দেখুন: উত্তর: এটি ইতিমধ্যে স্যামন ম্যাপিংয়ে সম্পন্ন হয়েছে।