এমএলই সমস্যার জন্য সর্বদা কি কোনও ম্যাক্সিমাইজার থাকে?

Question

আমি অবাক হয়েছি যদি কোনও সর্বাধিক (লগ-) সম্ভাবনা অনুমানের সমস্যার জন্য সর্বদা একটি ম্যাকিমিমাইজার থাকে? অন্য কথায়, এখানে কি কিছু বিতরণ এবং এর কিছু পরামিতি রয়েছে, যার জন্য এমএলই সমস্যাটির ম্যাক্সিমাইজার নেই?

আমার প্রশ্নটি একজন ইঞ্জিনিয়ারের দাবি থেকে আসে যে এমএলইতে ব্যয় ফাংশন (সম্ভাবনা বা লগ-সম্ভাবনা, আমি নিশ্চিত নই যে) যার উদ্দেশ্য ছিল) সর্বদা অবতল এবং তাই এর সর্বদা একটি ম্যাক্সিমাইজার থাকে।

ধন্যবাদান্তে!

Comments

(+1) আপনি কি নিশ্চিতরূপে এমন কিছু যোগ্যতা নেই যা আপনার প্রশ্নে অকারণে গেছে? যেমনটি দাঁড়িয়েছে, ইঞ্জিনিয়ারের বক্তব্যটি বিভিন্ন উপায়ে মিথ্যা, কোথা থেকে শুরু করা যায় তা প্রায় મુશ્કેલ। :)

— কার্ডিনাল

@ কার্ডিনাল: আমি যা শুনেছি তা মূলত লিখেছিলাম। তবে আমি স্বীকার করি আমি কিছু মিস করতে পারি।

— টিম

প্রতিবিম্ব (নমুনা): iid । যদিও একটি অনন্য এমএলই রয়েছে, সম্ভাবনা বা লগ-সম্ভাবনা এ উত্তল নয় । এন ( 0 , σ 2 ) σ $X_1,X_2,\ldots,X_n$$\mathcal N(0,\sigma^2)$$\sigma^2$

— কার্ডিনাল

@ টিম লজিস্টিক রিগ্রেশন একটি প্রাথমিক উদাহরণ যেখানে এমএলই সর্বদা বিদ্যমান থাকে না। এছাড়াও, কিছু লিঙ্ক ফাংশনের জন্য লগ-সম্ভাবনা অবতল হয় না।

Answer 1

প্রকৌশলী সম্ভবত ক্যানোনিকাল তাত্পর্যমূলক পরিবারগুলির মনে রেখেছিলেন: তাদের প্রাকৃতিক প্যারামিট্রাইজেশনে প্যারামিটারের স্থানটি উত্তল এবং লগের সম্ভাবনা অবতল হয় (বিকেল অ্যান্ড ডোকসুমের গাণিতিক পরিসংখ্যান, ভলিউম 1 এ থিম 1.6.3 দেখুন )। এছাড়াও, কিছু হালকা প্রযুক্তিগত অবস্থার অধীনে (মূলত যে মডেলটি "পূর্ণ র‌্যাঙ্ক" বা সমতুল্য, এটি প্রাকৃতিক পরামিতি সনাক্তযোগ্য), লগ-সম্ভাবনা কার্যটি কঠোরভাবে অবতল, যা বোঝায় সেখানে একটি অনন্য ম্যাক্সিমাইজার রয়েছে। (একই রেফারেন্সে 1.6.2 সহকারী)

নোট করুন যে একটি আধ্যাত্মিক সূচকীয় পরিবারের প্রাকৃতিক প্যারামিট্রাইজেশন সাধারণত প্যারামিট্রাইজেশন স্ট্যান্ডার্ড থেকে পৃথক। সুতরাং, আউট করার সময় যে পরিবারের জন্য লগ-সম্ভাবনা @cardinal পয়েন্ট নয় উত্তল মধ্যে σ 2 , এটা অবতল প্রাকৃতিক পরামিতি, যা হয় হবে η 1 = μ / σ 2 এবং η 2 = - 1 / σ 2 । $\mathcal{N}(\mu,\sigma^2)$$\sigma^2$$\eta_1 = \mu / \sigma^2$$\eta_2 = -1/\sigma^2$

Comments

(+1) ভাল উত্তর। ওপিকে আমার মন্তব্যে ইঙ্গিত হিসাবে, এটিই উত্তর যেটি আমি আশা করছিলাম যে পোস্ট করা হবে (এমনকি প্রতিলিপিটিও যত্ন সহকারে এটি মাথায় রেখেই বেছে নেওয়া হয়েছিল)। :)

— কার্ডিনাল

আপনি কি এটি মাল্টিভারিয়েট গউসিয়ান মডেলটিতে দেখাতে পারেন?

— রায়

Answer 2

আগ্রহের পরামিতি অনুমানের জন্য প্রায়শই সম্ভাব্যতা ফাংশন সর্বাধিক অর্জন করে। তবুও, কিছু সময় এমএলই বিদ্যমান নেই, যেমন গাউসীয় মিশ্রণ বিতরণ বা ননপ্যারামেট্রিক ফাংশনগুলির জন্য, যার একাধিক শৃঙ্গ রয়েছে (দ্বি বা বহু-মডেল)। আমি প্রায়শই জনসংখ্যার জেনেটিক্স অজানা প্যারামিটারগুলি, পুনঃসংশোধনের হার, প্রাকৃতিক নির্বাচনের প্রভাবের অনুমানের সমস্যার মুখোমুখি হই।

@ কার্ডিনাল পয়েন্ট আউট করার কারণগুলির মধ্যে একটি যা আনবাউন্ড প্যারামিট্রিক স্পেস।

তদতিরিক্ত, আমি নিম্নলিখিত নিবন্ধটি সুপারিশ করব , বিভাগ 3 (ফাংশন জন্য) এবং চিত্র 3 দেখুন। তবে, এমএলই সম্পর্কে বেশ কার্যকর এবং কার্যকর ডকুমেন্টের তথ্য রয়েছে।

Comments

আমি মনে করি আপনার অবশ্যই বর্ণিত উদাহরণটি আমি ভুল বুঝে চলেছি। চতুষ্কোণিক ক্রিয়াগুলির একাধিক শীর্ষ রয়েছে?

— কার্ডিনাল

@ কার্ডিনাল: আমাকে ব্যাখ্যা করার চেষ্টা করুন। আপনি আনবাউন্ডেড প্যারামিটার সম্পর্কে উল্লেখ করেছেন যে সাধারণ বন্টনের সাধারণ উদাহরণেও সম্ভাবনা ফাংশন সর্বাধিকতা অর্জন করে না এমন একটি কারণ। তবে আমার বক্তব্যটি অপ্টিমাইজেশনের দৃষ্টিকোণ থেকে যে স্থানীয় এবং বিশ্বব্যাপী ম্যাক্সিমার একটি জনপ্রিয় সমস্যা আছে। পুনঃসংখ্যার হারের অনুমানের সময় জনসংখ্যার জেনেটিক্সে আমি প্রায়শই এই সমস্যার মুখোমুখি হয়েছি। অধিকন্তু এই নিবন্ধটি বিভাগ 3 (ফাংশনের জন্য) এবং চিত্র 3 দেখুন article নিবন্ধ URL: citeseerx.ist.psu.edu/viewdoc/…

— বায়োস্ট্যাট

সুতরাং আপনি কি বলছেন "একাধিক শীর্ষের সাথে চতুর্ভুজ ফাংশন" উদাহরণস্বরূপ, কোনও গাউসিয়ান মিশ্রণ মডেল, সম্ভবত? যদি তা হয় তবে কোনও সম্পাদনা সম্ভবত কিছু বিভ্রান্তি দূর করতে পারে।

— কার্ডিনাল

এখন এটি আপডেট করা হয়েছে।

— বায়োস্ট্যাট

(+1) আপডেটের জন্য। নোট করুন যে গাউসির মিশ্রণ মডেলগুলিতে সাধারণভাবে আনবাউন্ডেড সম্ভাবনা এবং একাধিক স্থানীয় ম্যাক্সিমা উপস্থিত থাকে। বিষয়গুলিকে আরও খারাপ করার জন্য, বিশেষত রোগগত সমাধানগুলিতে সম্ভাবনা সীমাহীন হয়ে যায়। সাধারণভাবে, একাধিক ম্যাক্সিমা কোনও সমস্যার মতো খারাপ নাও হতে পারে। কিছু ক্ষেত্রে, এই ম্যাক্সিমা একে অপরকে দ্রুত পর্যাপ্ত রূপান্তরিত করে যে এগুলির যে কোনও একটি বাছাই করা এখনও অ্যাসিম্পোটোটিকভাবে সুদের প্যারামিটারের একটি যুক্তিসঙ্গত (এমনকি, দক্ষ) অনুমান করতে পারে।

— কার্ডিনাল

Answer 3

আমি স্বীকার করছি যে আমি কিছু মিস করছি, তবে -

যদি এটি কোনও অনুমানের সমস্যা হয় এবং লক্ষ্যটি একটি অজানা পরামিতিটি অনুমান করা হয় এবং প্যারামিটারটি কিছু বন্ধ এবং সীমাবদ্ধ সেট থেকে আসে বলে জানা যায় এবং সম্ভাবনা ফাংশনটি অবিচ্ছিন্ন থাকে, তবে এই পরামিতিটির সর্বাধিকতর মূল্য রয়েছে সম্ভাবনা ফাংশন। অন্য কথায়, সর্বাধিক বিদ্যমান থাকতে হবে। (এটি অনন্য হওয়ার দরকার নেই তবে কমপক্ষে একটি সর্বাধিক বিদ্যমান থাকতে হবে। সমস্ত স্থানীয় ম্যাক্সিমা বিশ্বব্যাপী ম্যাক্সিমা হবে এমন কোনও গ্যারান্টি নেই, তবে এটি সর্বাধিক উপস্থিতির জন্য প্রয়োজনীয় শর্ত নয়))

আমি জানি না যে সম্ভাবনা ফাংশনটি সর্বদা উত্তল হতে হবে, তবে এটি সর্বাধিক বিদ্যমান থাকার জন্য এটি প্রয়োজনীয় শর্ত নয়।

আমি যদি কিছু উপেক্ষা করে থাকি তবে আমি কী মিস করছি তা শুনে আমি স্বাগত জানাব।

Comments

অনুপস্থিত অতিরিক্ত অনুমান, ম্যাক্সিমা সম্পর্কিত বিবৃতিটি মিথ্যা। উদাহরণস্বরূপ, যদি প্যারামিটারের স্থানটি বন্ধ এবং সীমাবদ্ধ থাকে এবং সম্ভাবনা ফাংশনটি প্যারামিটারগুলিতে অবিচ্ছিন্ন থাকে, তবে সর্বাধিক উপস্থিত থাকতে হবে। এই অতিরিক্ত শর্তগুলির যে কোনও একটিতে অনুপস্থিত, ফলাফলটি ধরে রাখার দরকার নেই। জড়তা সম্পর্কে, এটি সবচেয়ে সাধারণ এবং সাধারণ উদাহরণগুলিতেও ব্যর্থ হয়। :)

— কার্ডিনাল

(+1) প্যারামিটার জায়গার সীমানা অনেক সাধারণ ক্ষেত্রে এমনকি ধারণ করে না in তবে, ব্যবহারিক উদ্দেশ্যে, আমরা সাধারণত জানি যে আমাদের পরামিতিগুলি সীমাবদ্ধ। :)

— কার্ডিনাল

Answer 4

সম্ভবত কেউ নিম্নলিখিত সাধারণ উদাহরণটি দরকারী খুঁজে পেতে পারেন।

একবারে একটি মুদ্রা উল্টানো বিবেচনা করুন। যাক মাথা সম্ভাবনা বোঝান। যদি এটি জানা থাকে যে মুদ্রাটি মাথা বা লেজগুলির মধ্যে আসতে পারে তবে θ ∈ ( 0 , 1 ) । সেট থেকে $\theta$$\theta \in (0,1)$$(0,1)$$\theta$

$$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$$ $\theta$$(0,1)$