সর্বাধিক সম্ভাবনা অনুমান এবং গ্রেডিয়েন্ট বংশোদ্ভূত মধ্যে পার্থক্য কি?

Question

উভয় পদ্ধতির প্রো ও কনস কী?

Comments

আমি গুগল অনুসন্ধান থেকে ইতিমধ্যে আমার কাছে এই দুটি পদ্ধতির কেবল সংজ্ঞা খুঁজছি না। কোন ক্ষেত্রে কোন পদ্ধতিতে অগ্রাধিকার দেওয়া হয়েছে তা বোঝার চেষ্টা করছি। উদাহরণস্বরূপ: বিগডাটার জন্য একজন অন্যের চেয়ে ভাল কাজ করবে I আমি এমন কোনও ভাল উপাদান খুঁজে পেলাম না যা ব্যবহারিক দিকগুলি সম্পর্কে আলোচনা করে

— George

লেখার ডেস্কের মতো কাক কেমন?

— শুক্রবার

@ এমএল_প্রো জিডি কোনওভাবেই পরিসংখ্যানের মডেলিংয়ের সাথে সম্পর্কিত নয়, এটি একটি অ্যালগরিদম। আপনি সম্ভবত পরিসংখ্যানগত সমস্যাগুলি সমাধানের জন্য সরঞ্জামগুলি (জিডির মতো) শেখার আগে পরিসংখ্যানগত অনুক্রমের আরও ভাল বোঝার জন্য কিছু পরিসংখ্যানের পরিসংখ্যান হ্যান্ডবুক দিয়ে শুরু করতে পারেন ।

— টিম

আপনি গ্রেডিয়েন্ট বংশোদ্ভূত এবং প্রত্যাশা ম্যাক্সিমাইজেশন (যা সাধারণত এমএলইতে অপ্টিমাইজেশন সমস্যা সমাধান করতে ব্যবহৃত হয়) এর মধ্যে পার্থক্যটি জিজ্ঞাসা করার অর্থ দিয়েছিলেন ?

— সোবি

Answer 1

সর্বাধিক সম্ভাবনা অনুমান হিসাবে সংজ্ঞায়িত সম্ভাবনা ফাংশনসর্বাধিক করে পরিসংখ্যান মডেলগুলিতে পরামিতি অনুমানের একটি সাধারণ পদ্ধতির

$$L(\theta|X) = f(X|\theta)$$

যে, ডাটা পাওয়ার সম্ভাব্যতা প্যারামিটারের কিছু মান দেওয়া θ । একটি প্রদত্ত সমস্যা আপনি এই ধরনের জন্য চেহারা করতে সম্ভাবনা ফাংশন জানা θ যে ডেটা আপনার আছে পাওয়ার সম্ভাব্যতা করা সম্ভব হয়। কখনও কখনও আমরা অনুমানকারীগুলি জানি, যেমন পাটিগণিত গড়টি সাধারণ বন্টনের জন্য μ প্যারামিটারের জন্য একটি এমএলই অনুমানক তবে অন্যান্য ক্ষেত্রে আপনি বিভিন্ন পদ্ধতি ব্যবহার করতে পারেন যা অপ্টিমাইজেশন অ্যালগরিদমগুলি ব্যবহার করে। এমএল পদ্ধতির আপনাকে θ এর সর্বোত্তম মানটি কীভাবে সন্ধান করতে হয় তা বলে না - আপনি কেবল অনুমান করতে পারেন এবং কোন অনুমানটি ভাল ছিল তা তুলনা করার সম্ভাবনাটি ব্যবহার করতে পারেন - এটি কেবল আপনাকে কীভাবে তুলনা করতে পারে তা আপনাকে বলে$X$$\theta$$\theta$$\mu$$\theta$ মান যদি পারেন তবে "আরো সম্ভবত" অন্য চেয়ে নেই।$\theta$

গ্রেডিয়েন্ট বংশদ্ভুত একটি অপ্টিমাইজেশন অ্যালগরিদম । আপনিবিভিন্ন বিভিন্ন ফাংশনেরন্যূনতম (বা সর্বাধিক, তারপরে একে গ্রেডিয়েন্ট অ্যাসেন্ট )নামে সন্ধান করতে এই অ্যালগরিদমটি ব্যবহার করতে পারেন। অ্যালগরিদমটি যে ফাংশনটি হ্রাস করে তা আসলেই যত্ন করে না, এটি যা চাওয়া হয়েছিল তা করে। সুতরাং অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে আপনাকে কোনওভাবে জানতে হবে কীভাবে আপনি কীভাবে বলতে পারবেন যদি আগ্রহের প্যারামিটারের একটি মান অন্যটির চেয়ে "ভাল" হয়। হ্রাস করতে আপনাকে আপনার অ্যালগরিদমকে কিছু ফাংশন সরবরাহ করতে হবে এবং অ্যালগরিদম এর সর্বনিম্ন সন্ধান করার জন্য ডিল করবে।

আপনি বিভিন্ন পদ্ধতি ব্যবহার করে এবং একটি অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে সর্বাধিক সম্ভাবনার প্রাক্কলন অর্জন করতে পারেন সেগুলির মধ্যে একটি। অন্যদিকে, গ্রেডিয়েন্ট বংশোদ্ভূত সম্ভাবনা ফাংশন ব্যতীত অন্য কার্যগুলি সর্বাধিক করতে ব্যবহৃত হতে পারে।

Comments

@ML_Pro আমি দুটি লিঙ্ক সরবরাহ করেছি যেখানে আপনি বিশদ তথ্য পেতে পারেন, আমি মনে করি না এই উত্তরগুলির নকল করার দরকার আছে।

— টিম

@ML_Pro আমি আমার উত্তরে যেমন লিখেছি, সেগুলি আলাদা জিনিস এবং আপনি তাদের তুলনা করতে পারবেন না ...

— টিম

হ্যাঁ তবে এমএলই একটি সাধারণ পদ্ধতির এবং জিডি হ'ল একটি আলগোরিদিম যা আপনি বিভিন্ন ফাংশন সংখ্যার হ্রাস করতে ব্যবহার করতে পারেন। এটি এমন যে আপনি বীজগণিতকে পকেট ক্যালকুলেটরের সাথে তুলনা করেছেন ...

— টিম

এমএলই উদ্দেশ্যমূলক কার্য (সম্ভাবনা কার্য) নির্দিষ্ট করে; উদ্দেশ্যমূলক ক্রিয়াটি নির্দিষ্ট করা হলে জিডি একটি সমস্যার অনুকূল সমাধান খুঁজে পায়। সর্বাধিক সম্ভাব্য সমস্যা সমাধানের জন্য আপনি জিডি (বা অন্যান্য অপ্টিমাইজেশন অ্যালগরিদম) ব্যবহার করতে পারেন, এবং ফলাফলটি সর্বাধিক সম্ভাবনা অনুমানকারী হবে।

— জোবোম্যান

@ML_Pro এটি আমার উত্তরে প্রদত্ত লিঙ্কগুলিতে বর্ণনা করা হয়েছে। সংক্ষেপে: হ্যাঁ এটি পিডিএফ এর একটি পণ্য। প্রোডাক্ট কারণ আমরা ধরে নিই যে ডেটা আইড, এটি পিডিএফ এর ক্ষেত্রে সংজ্ঞায়িত করা হয়েছে কারণ আমরা সম্ভাব্যতার মডেল সম্পর্কে কথা বলছি।

— টিম

Answer 2

$$f = l(\theta)$$ $$\frac{ df }{ d\theta } = 0$$

$$\theta$$ f

তবে লজিস্টিক রিগ্রেশন এর সম্ভাবনা এইভাবে কোনও ক্লোজড ফর্ম সমাধান করে না। সুতরাং আমাদের অন্যান্য পদ্ধতি ব্যবহার করতে হবে, যেমন gradient descent।

Comments

@Tim, আপনি এখান থেকে কিছু দেখতে পারেন, courses.cs.washington.edu/courses/cse446/13sp/slides/...

— Belter

"রিগ্রেশন সহগগুলি সাধারণত সর্বাধিক সম্ভাবনার প্রাক্কলন ব্যবহার করে অনুমান করা হয়" ( এন। উইকিপিডিয়া.org / উইকি / লজিস্টিক_গ্রেশন )

— টিম

রিগ্রেশন সহগের অনুমানের জন্য সর্বাধিক সম্ভাবনা অনুমান করা এক ধরণের পদ্ধতি, তবে এমএলই এর সমাধান সন্ধান করার জন্য আমাদের কাছে বেশ কয়েকটি উপায় রয়েছে। সুতরাং likelihood function+ gradient descent(যা সম্ভাবনা ফাংশনের সমাধান পেতে) ব্যবহার করা এখনও এমএলই করার একটি উপায়।

— বেল্টার

আপনি এই বাক্যটি Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.মেশিন লার্নিং থেকেও দেখতে পাবেন : একটি সম্ভাব্য দৃষ্টিভঙ্গি, কেভিন মারফি।

— বেল্টার

... তারপরে আপনার উত্তরটির বাক্যটি বিভ্রান্তিকর বলে মনে হচ্ছে আপনি বলছেন যে লজিস্টিক রিগ্রেশন জন্য আমরা এমএল ব্যবহার করছি না এবং পরিবর্তে আমরা জিডি ব্যবহার করি।

— টিম