আমরা কি কখনই সর্বোচ্চ সম্ভাবনার প্রাক্কলন ব্যবহার করি?

Question

আমি ভাবছি সর্বাধিক সম্ভাবনার প্রাক্কলনটি কখনই পরিসংখ্যানগুলিতে ব্যবহৃত হয়। আমরা এটির ধারণাটি শিখি তবে অবাক হয় কখন এটি প্রকৃতপক্ষে ব্যবহৃত হয়। আমরা যদি ডেটার বন্টন ধরে নিই, আমরা দুটি পরামিতি পাই, একটি গড়ের জন্য এবং একটি ভেরিয়েন্সের জন্য, তবে আপনি কি বাস্তবে এটি বাস্তব পরিস্থিতিতে ব্যবহার করেন?

কেউ কি আমাকে এমন একটি সহজ কেস বলতে পারেন যাতে এটির জন্য ব্যবহৃত হয়?

Comments

এটা সবচেয়ে প্রচলিত প্রাক্কলন পদ্ধতি। $\textit{the}$

— জনকে

আমি জিজ্ঞাসার চেষ্টা করছিলাম আমরা কখন এমএলই ব্যবহার করছি না

— হাইটাও ডু

পণ্য সরবরাহ সংশ্লেষণ. পয়সন রিগ্রেশন। ত্রুটিগুলি স্বাভাবিক হিসাবে ধরে নেওয়া হলে ওএলএসই এমএলই হয়। গামা রিগ্রেশন। কোন ধ্রুপদী জিএলএম সত্যই। সাধারণ জনসংখ্যার মধ্য থেকে গড় নির্ধারণ করা। দ্বিপদী বিচারের একটি সিরিজ থেকে সাফল্যের সম্ভাবনা অনুমান করা। পোয়েসন ইভেন্টের হার নির্ধারণ করা। আমি যেতে পারি ...

— GoF_Logistic

আমাদের সাইটের এই খুব সংকীর্ণ অনুসন্ধান প্রকৃত ব্যবহারের শত শত উদাহরণ উত্পাদন করে ।

— whuber

@ hxd1011 আপনি যখন এমএলই ব্যবহার করছেন না যখন আপনি অনুমানের বৈচিত্রগুলি অর্জন করতে বা আত্মবিশ্বাস, ভবিষ্যদ্বাণী, বা সহনশীলতার ব্যবস্থাগুলি গণনা করার জন্য এর পদ্ধতিগুলি ব্যবহার করেন না, এমনকি যখন আপনি যে অনুমানকারীটি ব্যবহার করছেন তা এমএলই অনুমানের সাথে একমত হতে পারে। উদাহরণস্বরূপ, আপনি কোনও টি-টেস্ট চালানোর সময় আপনি এমএলই ব্যবহার করছেন না। আপনি পক্ষপাতহীন অনুমানকারী প্রয়োগ করার সময় আপনি প্রায়শই এটি ব্যবহার করেন না। দার্শনিকভাবে, যখন আপনি কোনও ক্ষতির ক্রিয়াকলাপের বিষয়ে যত্নশীল হন বা আপনার পূর্বে বিতরণ থাকে তখন আপনি এমএলই ব্যবহার করবেন না।

— whuber

Answer 1

আমি ভাবছি সর্বাধিক সম্ভাবনার প্রাক্কলনটি কখনই পরিসংখ্যানগুলিতে ব্যবহৃত হয়।

অবশ্যই! আসলে বেশ অনেক কিছু - তবে সবসময় না।

আমরা এটির ধারণাটি শিখি তবে অবাক হয় কখন এটি প্রকৃতপক্ষে ব্যবহৃত হয়।

যখন লোকদের কাছে প্যারামেট্রিক বিতরণ মডেল থাকে, তারা প্রায়শই সর্বাধিক সম্ভাবনার প্রাক্কলনটি ব্যবহার করতে পছন্দ করে। যখন মডেলটি সঠিক হয়, সর্বাধিক সম্ভাবনা অনুমানকারীগুলির বেশ কয়েকটি সহজলভ্য বৈশিষ্ট্য রয়েছে।

একটি উদাহরণের জন্য - সাধারণ রৈখিক মডেলগুলির ব্যবহার বেশ বিস্তৃত এবং সেক্ষেত্রে গড়টি বর্ণনা করার পরামিতিগুলি সর্বাধিক সম্ভাবনা দ্বারা অনুমান করা হয়।

এটি ঘটতে পারে যে কয়েকটি পরামিতি সর্বাধিক সম্ভাবনা দ্বারা অনুমান করা হয় এবং অন্যরা তা নয়। উদাহরণস্বরূপ, একটি অতিমাত্রায় পোয়েসন জিএলএম বিবেচনা করুন - ছড়িয়ে পড়া প্যারামিটার সর্বাধিক সম্ভাবনার দ্বারা অনুমান করা হবে না, কারণ এমএলই সেই ক্ষেত্রে কার্যকর নয়।

আমরা যদি ডেটা বন্টন অনুমান করি, আমরা দুটি পরামিতি খুঁজে পাই

ঠিক আছে, কখনও কখনও আপনার দুটি থাকতে পারে তবে কখনও কখনও আপনার কাছে একটি প্যারামিটার থাকে, কখনও কখনও তিন বা চার বা আরও বেশি।

একটি গড় জন্য এবং একটি বৈকল্পিক জন্য,

আপনি সম্ভবত একটি বিশেষ মডেল সম্পর্কে চিন্তা করছেন? এই সবসময় তা হয় না। ঘৃণ্য বিতরণ বা পইসন বিতরণ, বা দ্বিপদী বিতরণের পরামিতি অনুমানের বিষয়ে বিবেচনা করুন। এই প্রতিটি ক্ষেত্রে একটি প্যারামিটার রয়েছে এবং তারতম্যটি প্যারামিটারের একটি ফাংশন যা এর মধ্য দিয়ে বর্ণনা করে।

বা একটি সাধারণীকরণ করা গামা বিতরণ বিবেচনা করুন , যার তিনটি পরামিতি রয়েছে। অথবা একটি চার-প্যারামিটার বিটা বিতরণ , যা (সম্ভবত অবাক হওয়ার মতো) চারটি পরামিতি রয়েছে। এও লক্ষ করুন যে (নির্দিষ্ট প্যারামিটারাইজেশনের উপর নির্ভর করে) গড় বা ভেরিয়েন্স বা উভয়ই কোনও একক পরামিতি দ্বারা প্রতিনিধিত্ব করতে পারে না তবে তাদের বেশ কয়েকটিগুলির ফাংশন দ্বারা প্রতিনিধিত্ব করা যেতে পারে।

উদাহরণস্বরূপ, গামা বিতরণ, যার জন্য তিনটি প্যারামিটারাইজেশন রয়েছে যা মোটামুটি সাধারণ ব্যবহার দেখায় - এর মধ্যে দুটি মধ্যে দুটি সাধারণ এবং এরতম্য দুটি পরামিতির ফাংশন রয়েছে।

সাধারণত একটি রিগ্রেশন মডেল বা জিএলএম, বা একটি বেঁচে থাকার মডেল (অন্যান্য অনেক মডেলের ধরণের মধ্যে), মডেলটি একাধিক ভবিষ্যদ্বাণীকের উপর নির্ভর করতে পারে, সেই ক্ষেত্রে মডেলের অধীনে প্রতিটি পর্যবেক্ষণের সাথে সম্পর্কিত বিতরণের একটি নিজস্ব প্যারামিটার থাকতে পারে (বা এমনকি বেশ কয়েকটি পরামিতি) যা বহু পূর্বাভাসকারী ভেরিয়েবলগুলির সাথে সম্পর্কিত ("স্বাধীন ভেরিয়েবল")।

Comments

"যখন লোকেরা একটি প্যারামেট্রিক বিতরণ মডেল রাখে" " অভিজ্ঞতাজনিত সম্ভাবনা অন্তর্ভুক্ত করতে অ-প্যারাম্যাট্রিক সর্বাধিক সম্ভাবনার অনুমানটি ভুলে যাবেন না।

— মার্ক এল স্টোন

@ মার্ক তুলনামূলকভাবে আরও বিরল, যদিও। আমি আমার উত্তরে একটি শব্দ যুক্ত করব।

— গ্লেন_বি -রিনস্টেট মনিকা

উদাহরণস্বরূপ, আমরা সাধারণভাবে বিতরণটি ধরে নিলেও সর্বাধিক সম্ভাবনার প্রাক্কলনটি ব্যবহার করতে পারি? আমি মনে করি আমাদের দরকার নেই তবে আমরা এখনও এটি ব্যবহার করতে পারি, আমি ঠিক আছি?

— ব্যবহারকারী 122358

@ ব্যবহারকারী 122358 গ্লেন এবং মার্ক আপনাকে ইতিমধ্যে উত্তর দিয়েছে। আপনি হয় একটি বিতরণ অনুমান করতে পারেন বা না। বেশিরভাগ সময় আপনি একটি বিতরণ এবং এইভাবে সম্ভাবনা ফাংশন ধরে নেন।

— হ্যালো ওয়ার্ল্ড

"যখন লোকেরা একটি প্যারামেট্রিক বিতরণ মডেল রাখে" " আংশিক সম্ভাবনা অন্তর্ভুক্ত করতে আধা-প্যারামিট্রিক সর্বাধিক সম্ভাবনার অনুমানটি ভুলে যাবেন না। ;)

— Scortchi - পুনর্বহাল মনিকা

Answer 2

ডেটা বিতরণের অনুমানের কারণে সম্ভাব্যতা অনুমানকারীরা সর্বাধিক সন্দেহজনক দেখাতে পারে, তবে প্রায়শই সর্বাধিক সম্ভাবনার অনুমানকারীরা ব্যবহৃত হয়। ধারণাটি হ'ল এমএলইয়ের জন্য একটি বিতরণ ধরে নিয়ে সমাধান করা, তারপরে স্পষ্টত বিতরণ অনুমানটি সরিয়ে এবং পরিবর্তে আপনার অনুমানকারী আরও সাধারণ পরিস্থিতিতে কীভাবে কার্য সম্পাদন করে তা দেখুন। সুতরাং কোয়াশি এমএলই কেবল একটি অনুমানকারী পাওয়ার একটি স্মার্ট উপায় হয়ে যায় এবং বেশিরভাগ কাজই তখন অনুমানের বৈশিষ্ট্যগুলি অর্জন করে। যেহেতু বিতরণযোগ্য অনুমানগুলি বাদ দেওয়া হয়, তবে এমএইল এর প্রায়শই ভাল দক্ষতার বৈশিষ্ট্য থাকে না।

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$$\hat\sigma^2$

Comments

এছাড়াও, আপনি এই থ্রেডটি Quas MLE এর পিছনে অন্তর্দৃষ্টি সম্পর্কে পরীক্ষা করতে পারেন ।

— রিচার্ড হার্ডি

Answer 3

প্রশিক্ষণের জন্য মেশিন লার্নিংয়ে সর্বাধিক সম্ভাবনার অনুমান প্রায়শই ব্যবহৃত হয়:

• নিউরাল নেটওয়ার্কগুলি, যেমন আমরা নিউরাল নেটওয়ার্ক ওজন অনুমান করতে এমএলই ব্যবহার করতে পারি?
• রৈখিক, লজিস্টিক রিগ্রেশন এবং মাল্টিক্লাস লজিস্টিক রিগ্রেশন, যেমন লিনিয়ার এবং লজিস্টিক রিগ্রেশন সহগগুলি একই পদ্ধতি ব্যবহার করে কেন অনুমান করা যায় না?
• শর্তসাপেক্ষ র্যান্ডম ক্ষেত্র (সিআরএফ), যেমন https://www.coursera.org/learn/probabilistic- رافিকাল- মডেলস ৩- এলার্নিং / ইলেক্টের / ওকেজে ১ এক্স / ম্যাক্সিমাম-লেলিভেসিটি- শর্তসাপেক্ষে- রেন্ডম- ফিল্ডস
• লুকানো মার্কভ মডেল (এইচএমএম), যেমন https://en.wikedia.org/w/index.php?title=Hided_Markov_model&oldid=768811108# শিখুন

নোট করুন যে কোনও ক্ষেত্রে কেউ কিছু নিয়মিতকরণ যুক্ত করতে পছন্দ করেন যা কখনও কখনও সর্বাধিক উত্তরোত্তর অনুমানের সমতুল্য , যেমন লাসোর জরিমানাটি কেন আগে ডাবল এক্সফেনশিয়ালের (ল্যাপ্লেস) সমতুল্য? ।

Answer 4

কেউ কি আমাকে এমন একটি সহজ কেস বলতে পারেন যাতে এটির জন্য ব্যবহৃত হয়?

একটি খুব সাধারণ ক্ষেত্রে লজিস্টিক রিগ্রেশন হয়। লজিস্টিক রিগ্রেশন এমন একটি কৌশল যা প্রায়শই ডেটা পয়েন্টগুলিকে শ্রেণিবদ্ধ করতে মেশিন লার্নিংয়ে ব্যবহৃত হয়। উদাহরণস্বরূপ, লজিস্টিক রিগ্রেশনটি কোনও ইমেল স্প্যাম কিনা স্প্যাম নয় বা শ্রেণিভুক্ত নয় কোনও ব্যক্তির কোনও রোগ আছে বা নেই তা শ্রেণিবদ্ধ করতে ব্যবহার করা যেতে পারে।

বিশেষত, লজিস্টিক রিগ্রেশন মডেল বলে যে সম্ভাবনাটি একটি ডেটা পয়েন্ট $x_i$ 1 ম শ্রেণিতে নিম্নরূপ: $h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

The parameter vector $\theta$ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator $\hat\theta$ such that the expression $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$ is minimized. This expression is the negative log likelihood, so minimizing this is equivalent to maximizing the likelihood.

Answer 5

We are using MLE all the time, but we may not feel it. I will give two simple examples to show.

Example 1

If we observe coin flip result, with $8$ head out of $10$ flips (assuming iid. from Bernoulli), how to guess the parameter $\theta$ (prob of head) of the coin? We may say $\theta=0.8$, using "counting".

Why use counting? this is actually implicitly using MLE! Where the problem is

$$\underset \theta {\text{Maximize}}~~~\theta^{8}(1-\theta)^{2}$$

To solve the equation, we will need some calculus, but the conclusion is counting.

Example 2

How would we estimate a Gaussian distribution parameters from data? We use empirical mean as estimated mean and empirical variance as estimated variance, which is also coming from MLE!.

Comments

Example 1 is also a Bayes solution and a method of moments (MM) solution (and probably it's the solution using other procedures as well). Example 2 is the MM solution. It would be much more convincing to exhibit procedures that are exclusively MLE--for otherwise one wouldn't ever need MLE.

— whuber

Why example 1 becomes a Bayes solution and Example 2 becomes the MM solution? What is MM, by the way?

— user122358

@user122358 MM is the method of moments. See here, for instance: en.wikipedia.org/wiki/Method_of_moments_(statistics)

— jld

Answer 6

Some maximum likelihood uses in wireless communication:

• Decoding of digital data from noisy received signals, with or without redundant codes.
• Estimation of time-, phase-, and frequency-offsets in receivers.
• Estimation of the (parameters of the) propagation channel.
• Estimation of delay, angle of arrival, and Doppler shift (e.g., radar).
• Estimation of a mobile position (e.g., GPS).
• Estimation of clock offsets for synchronization of all kinds of distributed settings.
• A multitude of calibration procedures.