সর্বাধিক সম্ভাবনার অনুমান - কেন এটি বহু ক্ষেত্রে পক্ষপাতদুষ্ট হওয়া সত্ত্বেও ব্যবহৃত হয়


25

সর্বাধিক সম্ভাবনার প্রাক্কলন প্রায়শই পক্ষপাতদুষ্ট অনুমানকারীগুলির মধ্যে আসে (যেমন, নমুনার বৈকল্পিকতার জন্য এটির অনুমান গাউসীয় বিতরণের জন্য পক্ষপাতদুষ্ট)।

তাহলে কী এত জনপ্রিয় হয়েছে? কেন এটি এত ব্যবহার করা হয়? এছাড়াও, বিশেষত কোনটি বিকল্প পদ্ধতির চেয়ে ভাল করে তোলে - মুহুর্তের পদ্ধতি?

এছাড়াও, আমি লক্ষ করেছি যে গাউসের পক্ষে, এমএলই অনুমানের একটি সাধারণ স্কেলিং এটিকে নিরপেক্ষ করে তোলে। কেন এই স্কেলিং কোনও মানক পদ্ধতি নয়? আমি বলতে চাইছি - এমএলই গণনার পরে কেন এটি অনুমানকারীকে পক্ষপাতহীন করতে প্রয়োজনীয় স্কেলিং সন্ধান করা রুটিন নয়? স্ট্যান্ডার্ড অনুশীলনটি এমএলই অনুমানের সরল গণনা বলে মনে হয়, অবশ্যই জানা গাউসির ক্ষেত্রে যেখানে স্কেলিং ফ্যাক্টর সুপরিচিত।


11
এমএল এর অনেকগুলি, অনেকগুলি বিকল্প রয়েছে, কেবল মুহুর্তের পদ্ধতি নয় - যা উপায় দ্বারা পক্ষপাতদুষ্ট অনুমানকারীও উত্পাদন করে। পরিবর্তে আপনি যা জানতে চাইতে পারেন তা হ'ল "কেন কেউ পক্ষপাতহীন অনুমানক ব্যবহার করতে চাইবে?" এই ইস্যুটি গবেষণা শুরু করার একটি ভাল উপায় পক্ষপাত-বৈকল্পিক ট্রেড অফের উপর অনুসন্ধান ।
হোবার

7
যেহেতু হুবুহু ইঙ্গিত করেছে, নিরপেক্ষ হওয়ার ক্ষেত্রে কোনও আন্তরিক শ্রেষ্ঠত্ব নেই।
শি'য়ান

4
আমি মনে করি @ শুভর অর্থ "কেন কেউ পক্ষপাতদুষ্ট অনুমানক ব্যবহার করতে চাইবে ?" কাউকে বোঝাতে খুব বেশি কাজ লাগে না যে একটি নিরপেক্ষ অনুমানক যুক্তিসঙ্গত হতে পারে।
ক্লিফ এবি

5
উদাহরণস্বরূপ en.wikedia.org/wiki/… দেখুন যেখানে একমাত্র নিরপেক্ষ অনুমানকারী অবশ্যই ব্যবহার করতে চান না।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

4
@ ক্লিফ আমি প্রশ্নটি আরও উত্তেজক, সম্ভাব্য আরও রহস্যজনক আকারে জিজ্ঞাসা করতে চেয়েছিলাম। এর পিছনে লুকোচুরি ধারণাটি এমন যে অনুমানকটির গুণমানটি মূল্যায়নের অনেকগুলি উপায় রয়েছে এবং তাদের অনেকের পক্ষপাতিত্বের সাথে কোনও সম্পর্ক নেই। এই দৃষ্টিকোণ থেকে, কেউ কেন পক্ষপাতহীন অনুমানের প্রস্তাব দেয় তা জিজ্ঞাসা করা খুব স্বাভাবিক । এই দৃষ্টিকোণ থেকে glen_b এর উত্তর দেখুন।
হোবল

উত্তর:


18

নিরপেক্ষতা নিজেরাই বিশেষত গুরুত্বপূর্ণ নয়।

পরিস্থিতিগুলির একটি খুব সীমিত সংখ্যার পাশাপাশি, বেশিরভাগ দরকারী অনুমানকারী পক্ষপাতদুষ্ট, যদিও তারা প্রাপ্ত হন।

যদি দুটি অনুমানকারীর একই বৈকল্পিকতা থাকে তবে একজন পক্ষপাতদুষ্ট ব্যক্তিকে পক্ষপাতদুষ্ট ব্যক্তির পক্ষে অগ্রাধিকার দেওয়ার জন্য সহজেই তর্কটি মাউন্ট করতে পারে তবে এটি একটি অস্বাভাবিক পরিস্থিতি হতে পারে (যা আপনি যুক্তিসঙ্গতভাবে পক্ষপাতদুষ্টতা পছন্দ করতে পারেন, সেটেরিস পারিবাস - তবে সেই সমস্যাযুক্ত সেটারিস প্রায় কখনও না পারিবাস )।

আরও সাধারণভাবে, আপনি যদি পক্ষপাতহীনতা চান তবে আপনি এটি পেতে কিছু বৈকল্পিক যোগ করবেন, এবং তারপরে প্রশ্ন হবে আপনি কেন তা করবেন ?

বায়াস হ'ল আমার অনুমানের প্রত্যাশিত মানটি গড়ে কত বেশি হবে (নেতিবাচক পক্ষপাত খুব কম ইঙ্গিত করে)।

যখন আমি একটি ছোট নমুনা অনুমানকারী বিবেচনা করি, তখন আমি সত্যিই সে সম্পর্কে যত্ন করি না। এই ক্ষেত্রে আমার অনুমানকারীটি কতটা ভুল হবে তার বিষয়ে আমি সাধারণত আরও আগ্রহী - ডান দিক থেকে আমার সাধারণ দূরত্ব ... মূল-বর্গ-ত্রুটি ত্রুটির মতো কোনও অর্থ বা তাত্পর্যপূর্ণ ত্রুটি আরও অর্থবোধ করতে পারে।

সুতরাং আপনি যদি কম বৈকল্পিক এবং কম পক্ষপাত পছন্দ করেন, তবে একটি ন্যূনতম গড় বর্গ ত্রুটি অনুমানকারী জিজ্ঞাসা করা অর্থপূর্ণ হবে; এগুলি খুব কমই নিরপেক্ষ।

বায়াস এবং পক্ষপাতহীনতা সচেতন হওয়ার জন্য একটি দরকারী ধারণা, তবে আপনি যদি কেবল একই প্রকরণের সাথে তুলনামূলকভাবে তুলনামূলক তুলনা না করেন তবে এটি অনুসন্ধান করার জন্য বিশেষভাবে কার্যকর সম্পত্তি নয়।

এমএল অনুমানকারীগুলি কম বৈকল্পিক হতে থাকে; এগুলি সাধারণত ন্যূনতম এমএসই নয়, তবে তাদের প্রায়শই নিরপেক্ষ হওয়ার পরিবর্তনের চেয়ে এমএসই কম থাকে (যখন আপনি এটি কিছুটা করতে পারেন) আপনাকে দেবে।

উদাহরণস্বরূপ, বিবেচনা ভ্যারিয়েন্স আনুমানিক হিসাব যখন একটি সাধারণ বিন্যাসের থেকে স্যাম্পলিং σ 2 MMSE = এস 2 (প্রকৃতপক্ষে পরিবর্তনের জন্য এমএমএসইতে সর্বদাn-1 এরচেয়ে বড় ডিনোমিনেটর থাকে)।σ^MMSE2=এস2এন+ +1,σ^MLE2=এস2এন,σ^ইউএনবি2=এস2এন-1এন-1


1
+1 টি। আপনার শেষ অনুচ্ছেদের দ্বিতীয়-এর আগে (বা সম্ভবত কোনও তত্ত্বের পিছনে) কোনও অন্তর্দৃষ্টি রয়েছে? এমএল অনুমানকারী কেন কম বৈকল্পিক হতে থাকে? তাদের প্রায়শই নিরপেক্ষ অনুমানের তুলনায় এমএসই কম থাকে কেন? এছাড়াও, আমি বৈচিত্র্যের এমএমএসই অনুমানের জন্য অভিব্যক্তিটি দেখে অবাক হয়েছি; কোনভাবে আমি এর আগে কখনও এর মুখোমুখি হইনি। কেন এত কম ব্যবহৃত হয়? এবং এটি সঙ্কুচিত সঙ্গে কিছু করার আছে? মনে হয় এটি নিরপেক্ষ থেকে শূন্যের দিকে "সঙ্কুচিত", তবে আমি কেবল বিবিধ প্রসঙ্গে (জেমস-স্টেইনের লাইনে) সঙ্কুচিত হওয়ার বিষয়ে ভাবতে অভ্যস্ত বলে আমি বিভ্রান্ত হয়ে পড়েছি।
অ্যামিবা বলেছেন মিনিকা পুনরায়

1
@ মোয়েবা এমএলইগুলি সাধারণত পর্যাপ্ত পরিসংখ্যানের কার্যকারিতা এবং কমপক্ষে অ্যাসেম্পোটোটিকভাবে ন্যূনতমতম বৈকল্পিকতা নিরপেক্ষ হয়, তাই আপনি সাধারণত বৃহত্তর নমুনাগুলিতে স্বল্প বৈচিত্র্যের প্রত্যাশা করেন, সাধারণত সীমাতে সিআরএলবি অর্জন করেন; এটি প্রায়শই ছোট নমুনায় প্রতিফলিত হয়।MMSE estimators হয় সাধারণত শূন্য দিকে সঙ্কুচিত কারণ যে ভ্যারিয়েন্স (এবং 0 দিকে পক্ষপাত অত: পর একটি ছোট পরিমাণ একটি ছোট সংকোচন চালু সাধারণত MSE কমাতে হবে) হ্রাস করা হয়।
গ্লেন_বি -রাইনস্টেট মনিকা

@ গ্লেেন_বি, দুর্দান্ত উত্তর (আমি এটিতে ফিরে আসতে চাই)। আপনি একটি ব্যাখ্যা বা একটি রেফারেন্স আছে চান σ 2 MMSE = এস 2 সর্বনিম্ন এমএসই অনুমানকারী? σ^MMSE2=এস2এন+ +1
রিচার্ড হার্ডি

এছাড়াও, এর দ্বারা বোঝা যায় যে বৈকল্পিকের এমএল অনুমানক কোনও ন্যূনতম-প্রকরণের অনুমানকারী নয়? অন্যথায় ন্যূনতম এমএসই অনুমানক এমএলই এবং নিরপেক্ষ অনুমানকটির কিছু ওজন গড় (ধনাত্মক ওজন সহ) হতে পারে তবে এখন এটি এই সীমার বাইরে। আপনি যদি এটি বোধগম্য মনে করেন তবে আমি এটি একটি পৃথক প্রশ্ন হিসাবে জিজ্ঞাসা করতে পারি।
রিচার্ড হার্ডি

1
এমএসই সম্পর্কিত একটি উইকিপিডিয়া নিবন্ধে একটি সম্পূর্ণ উত্সাহ পেয়েছে , আমি অনুমান করি যে এটি সমস্ত ব্যাখ্যা করে।
রিচার্ড হার্ডি

16

মডেল পরামিতিগুলির সবচেয়ে সম্ভাব্য মান এমএলই দেয় , মডেল এবং হাতে থাকা ডেটা দেওয়া - যা একটি আকর্ষণীয় ধারণা। আপনি মানগুলির যে কোনও মানকে বেছে নেবেন যখন আপনি যখন এমন মানগুলি বেছে নিতে পারেন যা ডেটা কম সম্ভাব্য হিসাবে পর্যবেক্ষণ করে থাকে তখন কোনও মানগুলির সেটগুলিতে ডেটা সবচেয়ে সম্ভাব্য পর্যবেক্ষণ করে তোলে ? আপনি কি নিরপেক্ষতার জন্য এই বৈশিষ্ট্যটি ত্যাগ করতে চান? আমি বলছি না উত্তরটি সবসময় পরিষ্কার থাকে তবে এমএলইয়ের অনুপ্রেরণাটি বেশ দৃ strong় এবং স্বজ্ঞাত।

এছাড়াও, যতদূর আমি জানি এমএলই মুহুর্তের পদ্ধতির চেয়ে বেশি বিস্তৃত হতে পারে। এমএলই সুপ্ত ভেরিয়েবলের ক্ষেত্রে আরও স্বাভাবিক বলে মনে হয়; উদাহরণস্বরূপ, একটি চলমান গড় (এমএ) মডেল বা জেনারেলাইজড অটোরেগ্রেসিভ কন্ডিশনাল হিটারোসেকাস্টাস্টিটি (জিআরচ) মডেলটি এমএলই দ্বারা সরাসরি অনুমান করা যায় (সরাসরি আমার অর্থ এটি কোনও সম্ভাবনা ফাংশন নির্দিষ্ট করার জন্য এবং এটি একটি অপ্টিমাইজেশন রুটিনে জমা দেওয়ার জন্য যথেষ্ট) - তবে মুহুর্তের পদ্ধতি দ্বারা নয় (যদিও মুহুর্তের পদ্ধতি ব্যবহার করে অপ্রত্যক্ষ সমাধানের উপস্থিতি থাকতে পারে)।


4
+1 টি। অবশ্যই, আপনি যখন গাউসিয়ান মিশ্রণ মডেলগুলির (যেমন সীমাহীন সম্ভাবনা) মতো সর্বাধিক সম্ভাবনা অনুমান করতে চান না তখন প্রচুর পরিমাণে কেস থাকে। সাধারণভাবে, এমএলই এর অন্তর্দৃষ্টি সাহায্য করার জন্য একটি দুর্দান্ত উত্তর।
ক্লিফ এবি

3
(+1) তবে আমি মনে করি যে আপনাকে "খুব সম্ভবত" পরামিতি মানটির একটি সংজ্ঞা যুক্ত করতে হবে যা প্রদত্ত ডেটা বেশ পরিষ্কার হওয়ার সম্ভাবনা রয়েছে। পুনরাবৃত্ত নমুনার অধীনে এর দীর্ঘমেয়াদী আচরণের সাথে সম্পর্কিত নয় এমন একটি অনুমানকারীের স্বজ্ঞাতভাবে অন্যান্য আকাঙ্ক্ষিত বৈশিষ্ট্যগুলির মধ্যে এটি অন্তর্ভুক্ত হতে পারে আপনি কীভাবে কোনও মডেলকে প্যারাম্যাটাইজ করেন এবং এটি সত্য প্যারামিটার মানটির অসম্ভব অনুমান তৈরি করে না তার উপর নির্ভর করে ।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

6
"সম্ভবত" সম্ভবত "সবচেয়ে সম্ভাব্য" হিসাবে পড়ার ঝুঁকি রয়েছে বলে মনে করুন।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

2
@ রিচার্ড হার্দি: তারা মোটেও একদম নয়। সম্ভবত সূর্য বেরিয়ে গেছে। সম্ভবত, এটি না।
ব্যবহারকারী 2357112

2
@ ডেক্সটেক্সন: পরিসংখ্যানবিদরা প্রায় এক শতাব্দী ধরে প্যারামিটার মান প্রদত্ত তথ্যের সম্ভাব্যতা থেকে প্রাপ্ত তথ্যের সম্ভাব্যতা থেকে তথ্য সরবরাহ করে একটি প্যারামিটার মানের সম্ভাবনার পার্থক্য করে চলেছেন - ফিশার (1921) দেখুন "পারস্পরিক সম্পর্কের সম্ভাব্য ত্রুটি", মেট্রোন , 1 , পিপি 3-32 এবং প্যাভিতান (2013), সমস্ত সম্ভাবনায়: স্ট্যাটিস্টিকাল মডেলিং এবং সম্ভাবনা ব্যবহারের অনুভূতি - সুতরাং শর্তাদি সাধারণ ব্যবহারের সমার্থক হলেও এটি আপত্তি করতে এখন কিছুটা দেরী বলে মনে হয়।
স্কোর্টচি - মনিকা পুনরায় ইনস্টল করুন

12

প্রকৃতপক্ষে, নিরপেক্ষ অনুমানের জন্য সর্বাধিক সম্ভাবনার অনুমানের স্কেলিং অনেকগুলি অনুমানের সমস্যার মধ্যে একটি স্ট্যান্ডার্ড পদ্ধতি। এর কারণটি হ'ল ম্লেটি যথেষ্ট পরিসংখ্যানগুলির একটি ফাংশন এবং তাই রাও-ব্ল্যাকওয়েল উপপাদ্য দ্বারা যদি আপনি পর্যাপ্ত পরিসংখ্যানের ভিত্তিতে কোনও পক্ষপাতহীন অনুমানক খুঁজে পেতে পারেন তবে আপনার ন্যূনতম বৈকল্পিক নিরপেক্ষ অনুমানক রয়েছে।

আমি জানি যে আপনার প্রশ্নটি এর চেয়ে সাধারণ but এই অনুমানগুলি সীমাবদ্ধ নমুনাগুলিতে পক্ষপাতহীন নাও হতে পারে তবে এগুলি সংক্ষিপ্ততর এবং তাই ততই তারা সংক্ষিপ্তভাবে দক্ষ, অর্থাত্ তারা নিরপেক্ষ অনুমানকারীদের জন্য ক্রেমার-রাও সীমাবদ্ধতা অর্জন করে, যা এমওএম অনুমানকারীদের ক্ষেত্রে সর্বদা ক্ষেত্রে নাও হতে পারে।


11

এমএলই কেন এত জনপ্রিয় সে সম্পর্কে আপনার প্রশ্নের উত্তর দিতে, বিবেচনা করুন যে এটি পক্ষপাতদুষ্ট করা যেতে পারে তবে এটি স্ট্যান্ডার্ড অবস্থার সাথে সামঞ্জস্যপূর্ণ। তদাতিরিক্ত, এটি অসম্পূর্ণভাবে দক্ষ, সুতরাং কমপক্ষে বড় আকারের নমুনাগুলির জন্য, এমএলই আপনার রান্না করতে পারে এমন কোনও প্রাক্কলনকারীর মতো ভাল বা আরও ভাল করার সম্ভাবনা রয়েছে। অবশেষে, এমএলই একটি সাধারণ রেসিপি দ্বারা পাওয়া যায়; সম্ভাবনা ফাংশন গ্রহণ এবং এটি সর্বোচ্চ। কিছু ক্ষেত্রে, সেই রেসিপিটি অনুসরণ করা শক্ত হতে পারে, তবে বেশিরভাগ সমস্যার ক্ষেত্রে, এমনটি নয়। প্লাস, একবার আপনার এই অনুমানটি হয়ে গেলে, আমরা ফিশারের তথ্য ব্যবহার করার সাথে সাথে অ্যাসিপটোটিক স্ট্যান্ডার্ড ত্রুটিগুলি খুঁজে পেতে পারি। ফিশারের তথ্য ব্যবহার না করে, ত্রুটির সীমা নির্ধারণ করা প্রায়শই সত্যই শক্ত।

এ কারণেই এমএলই অনুমানটি প্রায়শই অনুমানকারী হিসাবে যায় (যদি না আপনি বায়েশিয়ান হন); এটি বাস্তবায়নের পক্ষে সহজ এবং রান্না করার জন্য আপনার আরও বেশি কাজ করা দরকার এমন কোনও কিছুর চেয়ে ভাল না হলে সম্ভবত খুব ভাল।


1
এটি কীভাবে মুহুর্তগুলির পদ্ধতির সাথে তুলনা করা যায় তা ব্যাখ্যা করতে পারেন, কেননা এটি এই ওপির একটি গুরুত্বপূর্ণ অঙ্গ বলে মনে হচ্ছে?
আন্তনি পরল্লদা

1
যেমনটি হুবহু দ্বারা চিহ্নিত করা হয়েছে, এমওএম অনুমানকারীরাও পক্ষপাতদুষ্ট, সুতরাং এমওএম অনুমানকারীদের পক্ষে "পক্ষপাতদুষ্ট-নেস" সুবিধা নেই। এছাড়াও, যখন এমওএম এবং এমএলই অনুমানকারীদের একমত হয় না তখন এমএলই এমএসই কম থাকে। তবে এই উত্তরটি অন্য পদ্ধতির সাথে সরাসরি তুলনার চেয়ে এমএলইর কেন ডিফল্ট হতে থাকে সে সম্পর্কে সত্যই।
ক্লিফ এবি

2
@ আন্টনিপ্রেল্লদা এমএলই এবং এমওএম এর তুলনা করার জন্য একটি আকর্ষণীয় থ্রেড রয়েছে, stats.stackexchange.com/q/80380/28746
আলেকোস পাপাদোপল্লো

3

আমি এটি যোগ করতাম যে কখনও কখনও (প্রায়শই) আমরা একটি এমএলই অনুমানকারী ব্যবহার করি কারণ এটি আমরা যা পেয়েছিলাম তা এমনকি একটি আদর্শ বিশ্বে এটি আমাদের যা চাই তা না হয় would (আমি প্রায়শই পরিসংখ্যানগুলিকে ইঞ্জিনিয়ারিংয়ের মতো বলে মনে করি, যেখানে আমরা যা পেয়েছিলাম তা ব্যবহার করি, আমরা যা চাই না তাই করে) যেখানে কোনও প্রদত্ত পরিস্থিতিতে প্রদত্ত প্যারামিটারের জন্য আরও ভাল অনুমানক থাকতে পারে ("ভাল" এর কিছু মূল্যের জন্য), তবে এটির সন্ধানে খুব চালাক হওয়ার প্রয়োজন হতে পারে; এবং যখন আপনি চালাক হয়ে উঠছেন, তখনও আপনার কাছে সেই বিশেষ সমস্যাটির জন্য কেবলমাত্র আরও ভাল অনুমানকারী রয়েছে।


1
কৌতূহলের বাইরে, (আদর্শ বিশ্বে) আপনি কী চান তার একটি উদাহরণ কী?
গ্লেন_বি -রিনস্টেট মনিকা

2
@ গ্লেন_ বি: ডুনো নিরপেক্ষ, সর্বনিম্ন বৈকল্পিক, বন্ধ আকারে গণনা করা সহজ? আপনি যখন সর্বনিম্ন-স্কোয়ার রিগ্রেশনের জন্য অনুমানকারীগুলি শিখেন তখন জীবন তার চেয়ে সহজ সরল মনে হয়।
eac2222
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.