কেন সর্বাধিক সম্ভাবনা এবং প্রত্যাশিত সম্ভাবনা নেই?

Question

প্যারামিটারগুলির সর্বাধিক সম্ভাবনার প্রাক্কলন কেন এত সাধারণ, তবে আপনি কার্যত কখনও প্রত্যাশিত সম্ভাবনা পরামিতি অনুমানগুলি সম্পর্কে শুনেন নি (অর্থাত্ কোনও সম্ভাবনা ফাংশনের মোডের চেয়ে প্রত্যাশিত মানের উপর ভিত্তি করে )? এটি কি মূলত historicalতিহাসিক কারণে, বা আরও তাত্পর্যপূর্ণ প্রযুক্তিগত বা তাত্ত্বিক কারণে?

সর্বাধিক সম্ভাবনা অনুমানের চেয়ে প্রত্যাশিত সম্ভাবনার প্রাক্কলন ব্যবহারে কি উল্লেখযোগ্য সুবিধা এবং / বা অসুবিধা হবে?

কিছু এলাকায় যা প্রত্যাশিত সম্ভাবনা অনুমান করা হয় নিয়মিতভাবে ব্যবহার করেন নি?

Comments

কি সম্ভাবনা বিতরণ সম্মানের সাথে প্রত্যাশিত মান? এমএল সাধারণত বেইসিয়ান অ্যানালাইসিসে প্রয়োগ করা হয় যেখানে (ক) তথ্য দেওয়া হয় (এবং স্থির হয়) এবং (খ) পরামিতিগুলি (অজানা) ধ্রুবক হিসাবে গণ্য করা হয়: কোনও এলোমেলো ভেরিয়েবল নেই।

— হুবুহু

Answer 1

প্রস্তাবিত পদ্ধতিটি (ঘনত্ব হওয়ার সম্ভাবনা স্বাভাবিক করার পরে) মডেলটির সমস্ত প্যারামিটারগুলির জন্য ফ্ল্যাট ব্যবহার করে প্যারামিটারগুলি অনুমান করার পরে এবং পোস্টারিয়র ডিস্ট্রিবিউশনের মাধ্যমটি আপনার অনুমানক হিসাবে ব্যবহার করার জন্য সমান। এমন কিছু ক্ষেত্রে রয়েছে যেখানে ফ্ল্যাট পূর্ব ব্যবহার করা আপনাকে সমস্যার মধ্যে ফেলতে পারে কারণ আপনি সঠিক উত্তরোত্তর বিতরণ শেষ করেন না তাই আমি জানি না আপনি এখানে কীভাবে এই পরিস্থিতি সংশোধন করবেন।

ঘনত্ববাদী প্রসঙ্গে থাকাকালীন, পদ্ধতিটি খুব বেশি বোঝায় না যেহেতু বেশিরভাগ প্রসঙ্গে সম্ভাবনা ঘনত্বের সম্ভাবনা তৈরি হয় না এবং এলোমেলোভাবে কিছুই বাকি থাকে না সুতরাং প্রত্যাশা নেওয়া খুব বেশি বোঝায় না। এখন আমরা এটিকে একটি অপারেশন হিসাবে কেবল আনুষ্ঠানিকভাবে জানাতে পারি আমরা কোনও অনুমান পাওয়ার সত্যতার পরে সম্ভাবনার উপর প্রয়োগ করি তবে আমি নিশ্চিত নই যে এই অনুমানকারীটির ঘনত্ববাদী বৈশিষ্ট্যগুলি কেমন হবে (ক্ষেত্রে যেখানে অনুমানটি বাস্তবে বিদ্যমান)।

সুবিধাদি:

• এটি এমন কিছু ক্ষেত্রে একটি অনুমান সরবরাহ করতে পারে যেখানে এমএলই আসলে বিদ্যমান নেই।
• আপনি যদি একগুঁয়ে না হন তবে এটি আপনাকে একটি বায়েশিয়ান সেটিংয়ে নিয়ে যেতে পারে (এবং সম্ভবত এই ধরণের অনুমানের সাথে অনুক্রমের প্রাকৃতিক উপায় হবে)। ঠিক আছে সুতরাং আপনার মতামতের উপর নির্ভর করে এটি কোনও সুবিধা হতে পারে না - তবে এটি আমার পক্ষে।

অসুবিধা:

• এটির কোনটিই গ্যারান্টিযুক্ত নয়।
• যদি আমাদের কাছে উত্তল প্যারামিটারের জায়গা না থাকে তবে অনুমানটি প্যারামিটারের জন্য একটি কার্যকর মান হতে পারে না।
• প্রক্রিয়া পুনরায়করণের জন্য অদম্য নয়। যেহেতু প্রক্রিয়াটি আপনার প্যারামিটারগুলিতে ফ্ল্যাট স্থাপনের সমতুল্য, সেগুলি দিয়ে এই পরামিতিগুলি কী তা বোঝায় (আমরা কি প্যারামিটার হিসাবে ব্যবহার করার কথা বলছি বা আমরা ব্যবহার করছি )$\sigma$$\sigma^2$

Comments

+1 পরামিতিগুলির অভিন্ন বন্টন ধরে নিয়ে একটি বিশাল সমস্যা হ'ল এমএল সমস্যাগুলি প্রায়শই পুনরায়মিতকরণের জন্য তাদের সমাধানগুলির অদম্যতা কাজে লাগিয়ে সংশোধন করা হয়: তবে এটি পরামিতিগুলির পূর্ববর্তী বিতরণকে পরিবর্তিত করবে। সুতরাং একটি "প্রত্যাশা" নেওয়া যেমন প্যারামিটারগুলির একটি সমান বিতরণ থাকে তা একটি স্বেচ্ছাচারী শিল্পকর্ম এবং ভুল এবং অর্থহীন ফলাফলের দিকে নিয়ে যেতে পারে।

— শুকনো

ভাল যুক্তি! আমি পাশাপাশি উল্লেখ করতে যাচ্ছি কিন্তু বাকি টাইপ করার সময় এটি আনতে ভুলে গেছি।

— Dason

রেকর্ডের জন্য, সর্বাধিক সম্ভাবনা পুনরমিতিকরণের জন্য অদম্য নয়।

— নিল জি

@ নীলজি হ্যাঁ তাই না? যদিও আমরা বিভিন্ন ধারণার উল্লেখ করছি। আপনি যখন বলছেন মানে কি?

— Dason

সম্ভবত আমি একটি ভুল করেছি, তবে মনে করুন আপনার একটি প্যারামিটার রয়েছে যা একটি সম্ভাব্যতা represents উপস্থাপন করে । পরামিতিগুলির সাথে ডেটা এটিতে বিটা-বিতরণের সম্ভাবনা প্ররোচিত করে । এর পরিবর্তে আপনি ও ব্যবহার করে আপনার মডেলকে প্যারামিট্রাইজ করে থাকেন তবে একই তথ্য প্যারামিটারগুলির সাথে বিটা-প্রাইম সম্ভাবনা প্ররোচিত করবে । প্রথম ক্ষেত্রে, মোডটি হ'ল ; দ্বিতীয় ক্ষেত্রে, মোডটি , যা সম্ভাবনার সাথে । $p \in [0,1]$$\alpha=\beta=2$$o \in [0, \infty)$$\alpha=\beta=2$$\frac12$$\frac13$$\frac14$

— নিল জি

Answer 2

একটি কারণ হ'ল সর্বাধিক সম্ভাবনা অনুমান করা সহজ: আপনি সম্ভাবনাগুলি তৈরি করার জন্য প্যারামিটারগুলিকে শূন্য করে এবং প্যারামিটারগুলির সমাধান করেন। প্রত্যাশা নেওয়া মানে প্রতিটি প্যারামিটারের সম্ভাবনার সময়গুলি সংহত করা।

আর একটি কারণ হ'ল ঘাতক পরিবারগুলির সাথে সর্বাধিক সম্ভাবনা অনুমান একটি প্রত্যাশা গ্রহণের সাথে মিল। উদাহরণস্বরূপ, সর্বাধিক সম্ভাবনার স্বাভাবিক বিতরণ ফিটিং ডেটা পয়েন্টগুলি mean এর অর্থ এবং দ্বিতীয় মুহূর্ত ।$\{x_i\}$$\mu=E(x)$$\chi=E(x^2)$

কিছু ক্ষেত্রে সর্বাধিক সম্ভাবনা পরামিতি প্রত্যাশিত সম্ভাবনা প্যারামিটারের সমান। উদাহরণস্বরূপ, উপরের সাধারণ বিতরণের প্রত্যাশিত সম্ভাবনার গড়টি সর্বাধিক সম্ভাবনার সমান কারণ কারণ গড়ের পূর্ববর্তীটি স্বাভাবিক, এবং একটি সাধারণ বিতরণের মোড এবং গড় এক হয়। অবশ্যই এটি অন্য প্যারামিটারের জন্য সত্য হবে না (তবে আপনি এটি প্যারামাইট্রাইজ করেন)।

আমি মনে করি সবচেয়ে গুরুত্বপূর্ণ কারণ সম্ভবত আপনি কেন প্যারামিটারগুলির একটি প্রত্যাশা চান? সাধারণত, আপনি একটি মডেল শিখছেন এবং প্যারামিটারের মানগুলি আপনি চান। আপনি যদি একক মান ফেরত দিতে যাচ্ছেন, তবে সর্বোচ্চ সম্ভাবনা আপনি কী সেরা ফিরিয়ে দিতে পারবেন না?

Comments

আপনার শেষ লাইনের প্রতি শ্রদ্ধা সহ: সম্ভবত - সম্ভবত নাও। এটি আপনার ক্ষতির কার্যকারিতার উপর নির্ভর করে। আমি কেবল জ্যাকের ধারণাটিই দিয়েছি এবং এটি এক্স ~ ইউনিফের (0, থেইটা) ক্ষেত্রে সর্বাধিক (এক্স) * (এন -1) / (এন -2) এর ক্ষেত্রে মনে হচ্ছে যা জ্যাকের পদ্ধতিতে আরও ভাল হয়েছে এমএসই সর্বাধিক (এক্স) এর তুলনায় যা এমএলই হয় (কমপক্ষে সিমুলেশনগুলি এটিকে ইঙ্গিত করে যখন এন> = 5)। স্পষ্টতই ইউনিফ (0, থেইটা) উদাহরণটি সাধারণ নয় তবে এটি দেখায় যে অনুমানকারীগুলি পাওয়ার জন্য অন্য ধরণের পদ্ধতি রয়েছে।

— Dason

এক স্ট্যানডার্ড (এবং শক্তিশালী) @Dason frequentist ভাল খোঁজার জন্য কৌশল ( অর্থাত , গ্রাহ্য) estimators বিভিন্ন গতকাল দেশের সর্বোচ্চ তাপমাত্রা জন্য বায়েসের estimators গনা হয়। ( উদাহরণস্বরূপ , বিন্দু অনুমানের উপর লেহম্যানের বইটি দেখুন )) আপনি সবেমাত্র এমন একটি অনুমানকারী পুনরায় আবিষ্কার করেছেন।

— whuber

তোমার উত্তরের জন্য ধন্যবাদ নীল! আপনি বলেছিলেন যে পার্থক্যটির মাধ্যমে প্যারামিটারের অনুমানগুলি প্রাপ্তির জন্য ইন্টিগ্রেশনের তুলনায় সহজতর এবং আমি অবশ্যই দেখতে পাচ্ছি যে এটি সহজ সমস্যার ক্ষেত্রে কীভাবে সত্য হবে (যেমন, কলম এবং কাগজের স্তর বা খুব বেশি দূরে নয়)। তবে আরও জটিল সমস্যার জন্য যেখানে আমাদের সংখ্যাসূচক পদ্ধতিতে নির্ভর করতে হবে, সেখানে ইন্টিগ্রেশন ব্যবহার করা কি আসলে সহজ হবে না? অনুশীলনে এমএলই সন্ধান করা বেশ একটি কঠিন অপটিমাইজেশন সমস্যার মতো হতে পারে। সংখ্যার সাথে অবিচ্ছেদ্যের কাছাকাছি অবস্থান করা আসলে গণনাগতভাবে আরও সহজ হতে পারে না? বা বেশিরভাগ ক্ষেত্রেই সত্য হওয়ার সম্ভাবনা কম?

— জ্যাক ওয়েস্টফল

@ জ্যাকওয়েস্টফল: আপনি কীভাবে সংখ্যাসূচক পদ্ধতি ব্যবহার করে প্যারামিটার স্পেসের উপর একটি প্রত্যাশা নিতে যাচ্ছেন? বিশাল আকারের প্যারামিটার স্পেস সহ জটিল মডেল স্পেসে আপনি প্রতিটি মডেলের সম্ভাব্যতা (প্যারামিটার সেটিং) মূল্যায়ন করে পুরো জিনিসটির সাথে একীভূত করতে পারবেন না। আপনি সাধারণত ইএম চালিয়ে যাচ্ছেন যার জন্য পরামিতি অনুমান এম-পদক্ষেপে ঘটে যাতে প্রতিটি পরামিতি আপনার বলা হিসাবে একটি "সাধারণ সমস্যা" এর মধ্যে একটি এবং যার জন্য সর্বোচ্চ সম্ভাবনার পরামিতিগুলি পর্যাপ্ত পরিসংখ্যানের সোজা প্রত্যাশা।

— নিল জি

@ নীলজি ওয়েল, ডেসন উল্লেখ করেছেন যে আমি যে পদ্ধতিটি নিয়ে আলোচনা করছি তা হ'ল (সাধারণীকরণের পরে) একটি ফ্ল্যাটের সাথে বায়েশিয়ান অনুমানের সমতুল্য এবং তারপরে উত্তর হিসাবে গড় হিসাবে ব্যবহার করা উচিত। সুতরাং "আপনি সংখ্যার পদ্ধতি ব্যবহার করে প্যারামিটার স্পেসের উপর কীভাবে একটি প্রত্যাশা নিতে যাচ্ছেন?" এর জবাবে? আমি অনুমান করি আমি ভাবছিলাম যে আমরা এই পদ্ধতিগুলির মধ্যে একটি ব্যবহার করতে পারি: বায়সিয়ান-ইনফারেন্স.com / numericalapproximation এ সম্পর্কে কোনও চিন্তাভাবনা?

— জ্যাক ওয়েস্টফল

Answer 3

এই পদ্ধতির বিদ্যমান এবং একে ন্যূনতম বৈসাদৃশ্য অনুমানকারী বলা হয়। সম্পর্কিত কাগজের উদাহরণ (এবং ভিতরে থেকে অন্যান্য উল্লেখ দেখুন) https://arxiv.org/abs/0901.0655