সর্বাধিক সম্ভাবনা পদ্ধতি বনাম সর্বনিম্ন স্কোয়ার পদ্ধতি

সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) বনাম ন্যূনতম স্কোয়ারের প্রাক্কলনের (এলএসই) মধ্যে প্রধান পার্থক্য কী?

লিনিয়ার রিগ্রেশন এবং এর বিপরীতে মানগুলি পূর্বাভাস দেওয়ার জন্য আমরা কেন এমএলই ব্যবহার করতে পারি না ? $y$

এই বিষয়ে যে কোনও সহায়তা প্রশংসিত হবে।

— Evros
সূত্র

আপনি যদি চান তবে লিনিয়ার রিগ্রেশনতে এমএলই ব্যবহার করতে পারেন। এমনকি ত্রুটি বিতরণ যদি স্বাভাবিক হয় না এবং আপনার লক্ষ্যটি বর্গের যোগফলকে হ্রাস করে তবে তার চেয়ে "সম্ভবত" সম্ভাবনা অনুমান করা যদি তা বোঝা যায়।

— রিচার্ড হার্ডি

সাধারণ ত্রুটি অনুমানের অধীনে, সাধারণত লিনিয়ার রিগ্রেশন হিসাবে ধরে নেওয়া হয়, এমএলই এবং এলএসই একই!

— ট্রাইনাডোস্ট্যাট

গাউস-মার্কভ উপপাদ্যের জন্য আমাদের সাইটটি অনুসন্ধান করুন ।

— হোবল

সব জবাব দেওয়ার জন্য ধন্যবাদ. এখন এটি বোঝা যায়। নেটে এই বিষয় অনুসন্ধান করার সময়, আমি এই নিবন্ধটি জুড়ে এসেছি। হয়তো এটিও সহায়তা করে: Radfordneal.wordpress.com/2008/08/09/…

— এপ্রোস

একটি উত্তরও দেওয়া হয়েছে stats.stackexchange.com / জিজ্ঞাসা / 12562/… ।

— whuber

উত্তর:

আমি একটি সহজ উত্তর দিতে চাই।

সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) বনাম সর্বনিম্ন স্কোয়ার্স অনুমানের (এলএসই) মধ্যে প্রধান পার্থক্য কী?

যেমন @ ট্রাইনাডোস্ট্যাট মন্তব্য করেছেন, স্কোয়ার ত্রুটি হ্রাস করা এই ক্ষেত্রে সম্ভাব্যতা সর্বাধিক করার সমতুল্য। উইকিপিডিয়ায় যেমন বলা হয়েছে ,

লিনিয়ার মডেলটিতে, ত্রুটিগুলি যদি কোনও সাধারণ বিতরণের অন্তর্ভুক্ত হয় তবে সর্বনিম্ন স্কোয়ার অনুমানকারীও সর্বাধিক সম্ভাবনা অনুমানকারী।

এগুলি আপনার ক্ষেত্রে একই হিসাবে দেখা যেতে পারে,

আমাকে একটু বিস্তারিত দিন। যেহেতু আমরা জানি যে প্রতিক্রিয়া পরিবর্তনশীল ( ) এর একটি সাধারণ ত্রুটি বিতরণ মডেল রয়েছে, সম্ভাবনা ফাংশনটি হ'ল, একথাও ঠিক যে এল পূর্ণবিস্তার কমানোর সমতূল্য এটি সর্বনিম্ন স্কোয়ার পদ্ধতি। $y$

Y_{i} = λ_{1} X_{i} + λ_{2} + ϵ_{i} where ϵ \sim N (0, σ^{2})

$Y_i=\lambda_1X_i+\lambda_2+\epsilon_i \quad\text{ where }\epsilon\thicksim N(0,\sigma^2)$

L (Y_{1}, \dots, Y_{n}; λ_{1}, λ_{2}, σ^{2}) = \frac{1}{(2 π)^{\frac{n}{2} σ^{n}}} e x p (\frac{- 1}{2 σ^{2}} (\sum_{i = 1}^{n} (Y_{i} - λ_{1} X_{i} - λ_{2})^{2}))

$L(Y_1,\dots,Y_n;\lambda_1,\lambda_2,\sigma^2)=\frac{1}{(2\pi)^{\frac{n}{2}\sigma^n}}exp(\frac{-1}{2\sigma^2}(\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2))$

\sum_{i = 1}^{n} (Y_{i} - λ_{1} X_{i} - λ_{2})^{2}

$\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2$

লিনিয়ার রিগ্রেশন এবং এর বিপরীতে মানগুলি পূর্বাভাস দেওয়ার জন্য আমরা কেন এমএলই ব্যবহার করতে পারি না ? $y$

উপরে বর্ণিত হিসাবে আমরা মানগুলি পূর্বাভাসের জন্য এমএলই ব্যবহার করছি (আরও সুনির্দিষ্টভাবে সমতুল্য) । এবং যদি প্রতিক্রিয়ার ভেরিয়েবলটিতে সাধারণ বিতরণের পরিবর্তে স্বেচ্ছাসেবী বিতরণ থাকে যেমন বার্নোল্লি বিতরণ বা তাত্পর্যপূর্ণ পরিবার থেকে যে কোনও একটি আমরা একটি লিংক ফাংশন (প্রতিক্রিয়া বিতরণ অনুযায়ী) ব্যবহার করে প্রতিক্রিয়া পরিবর্তনশীল বিতরণে লিনিয়ার প্রেডিকটারকে ম্যাপ করি , তবে সম্ভাবনা কার্যটি হয়ে যায় রূপান্তরের পরে সমস্ত ফলাফলের ফলাফল (0 এবং 1 এর মধ্যে সম্ভাব্যতা)। আমরা লিনিয়ার রিস্রেসে লিঙ্ক ফাংশনটিকে পরিচয় ফাংশন হিসাবে বিবেচনা করতে পারি (যেহেতু প্রতিক্রিয়া ইতিমধ্যে সম্ভাব্যতা)। $y$

— লারনার ঝাং
সূত্র

আপনি সম্ভবত "এই কেস "টি আরও কিছুটা স্পষ্টভাবে সংজ্ঞায়িত করতে চাইতে পারেন কারণ সাধারণভাবে সর্বাধিক সম্ভাবনা এবং সর্বনিম্ন স্কোয়ারগুলি একই জিনিস নয়।

— ম্যাথু গুন

@ ম্যাথেজগান হ্যাঁ, আমি "সমান" ব্যতীত "সমতুল্য" ব্যবহার করেছি।

— লার্নার ঝাং

আপনি যদি আমাদের এমন একটি উদাহরণ দেন যেখানে লিনিয়ার মডেলটি নরমাল ত্রুটি বিতরণ অনুসরণ করে এবং আপনি কীভাবে এমএলই ব্যবহার করেন এমন ক্ষেত্রে সেরা সহগের অনুমান করতে। যদি সম্ভব না হয় তবে কমপক্ষে আপনি আমাদেরকে একটি সঠিক উত্সের দিকে নির্দেশ করতে পারেন, যা

— পোইসন

এমএল estimators একটি উচ্চ সেট যা অন্তত পরম বিচ্যুতি (রয়েছে -Norm) এবং লিস্ট স্কোয়ার ( -Norm)। এমএল হুডের অধীনে অনুমানকারীরা (দুঃখজনকভাবে) অস্তিত্বহীন ব্রেক পয়েন্টের মতো প্রচলিত সাধারণ সম্পত্তিগুলির বিস্তৃত অংশ ভাগ করে। বাস্তবে আপনি যতটা জানেন আপনি যতক্ষণ না সচেতন হন ততক্ষণ আপনি ওএলএস সহ অনেকগুলি বিষয় অনুকূল করতে বিকল্প হিসাবে এমএল পদ্ধতির ব্যবহার করতে পারেন। $L_1$ $L_2$

$L_2$ -Norm সিএফ গাউস ফিরে যায় এবং যখন আধুনিক এমএল পদ্ধতির (এই প্রোগ্রামটিতে) হুবার 1964 ফিরে যায় বহু বিজ্ঞানী ব্যবহার করা হয় প্রায় 200 বছরের পুরনো -Norms এবং তাদের সমীকরণ নেই। তত্ত্বটি ভালভাবে বোঝা গেছে এবং প্রচুর প্রকাশিত কাগজপত্র রয়েছে যা দরকারী এক্সটেনশন হিসাবে দেখা যেতে পারে: $L_2$

তথ্য স্নুপিং
স্টোকাস্টিক পরামিতি
দুর্বল প্রতিবন্ধকতা

পেশাদার অ্যাপ্লিকেশনগুলি কেবল ডেটা ফিট করে না, তারা পরীক্ষা করে:

যদি প্যারামিটারটি উল্লেখযোগ্য হয়
যদি আপনার ডেটাসেটের বিদেশী থাকে
কোন আউটলার সহ্য করতে পারে যেহেতু এটি কর্মক্ষমতা পঙ্গু করে না
কোন পরিমাপ অপসারণ করা উচিত কারণ এটি স্বাধীনতার ডিগ্রিতে অবদান রাখে না

অনুমানের জন্য রয়েছে প্রচুর সংখ্যক বিশেষায়িত পরিসংখ্যান পরীক্ষা। এটি সমস্ত এমএল অনুমানকারীদের জন্য প্রযোজ্য নয় বা কোনও প্রমাণ সহ কমপক্ষে বিবৃত হওয়া উচিত।

আরেকটি অপবিত্র বিন্দু যে -Norm খুব সহজ বাস্তবায়ন, Bayesian নিয়মিতকরণ বা Levenberg-Marquard মত অন্যান্য আলগোরিদিম বাড়ানো যেতে পারে। $L_2$

ভোলার নয়: পারফরম্যান্স। গৌস-মার্কভ like মতো সর্বনিম্ন স্কোয়ার কেসগুলি প্রতিসম ধনাত্মক নির্দিষ্ট নির্দিষ্ট সমীকরণ তৈরি করে না । অতএব, আমি প্রতিটি জন্য পৃথক লাইব্রেরি ব্যবহার -Norm। এই নির্দিষ্ট ক্ষেত্রে বিশেষ অপ্টিমাইজেশান সম্পাদন করা সম্ভব। $\mathbf{X\beta}=\mathbf{L}+\mathbf{r}$ $(\mathbf{X}^{T}\mathbf{X})^{-1}$ $L_2$

বিশদ জিজ্ঞাসা করতে নির্দ্বিধায়।

— nali
সূত্র