সর্বাধিক সম্ভাবনার প্যারামিটারগুলি পোস্টেরিয়র বিতরণ থেকে বিচ্যুত হয়

Question

আমি একটি সম্ভাবনা কার্যকারিতা থাকতে আমার ডেটা সম্ভাবনা জন্য কিছু মডেল পরামিতি দেওয়া , যা আমি অনুমান করার জন্য চাই। পরামিতিগুলিতে ফ্ল্যাট প্রিয়ার ধরে নেওয়া, সম্ভাবনা উত্তরোত্তর সম্ভাবনার সাথে সমানুপাতিক। আমি এই সম্ভাবনার নমুনা নিতে একটি এমসিএমসি পদ্ধতি ব্যবহার করি।$\mathcal{L}(d | \theta)$$d$$\theta \in \mathbf{R}^N$

ফলাফল রূপান্তরিত শৃঙ্খলে দেখে, আমি দেখতে পাচ্ছি যে সর্বাধিক সম্ভাবনার পরামিতি উত্তরোত্তর বিতরণের সাথে সামঞ্জস্যপূর্ণ নয়। উদাহরণস্বরূপ, পরামিতি একটির জন্য প্রান্তিক অবর সম্ভাব্যতা বিতরণের হতে পারে , যখন এর মান সর্বাধিক সম্ভাবনা সময়ে হয় , মূলত এমসিএমসি স্যাম্পেলার দ্বারা প্রায় এর সর্বাধিক মান ।$\theta_0 \sim N(\mu=0, \sigma^2=1)$$\theta_0$$\theta_0^{ML} \approx 4$$\theta_0$

এটি আমার উদাহরণ হিসাবে উদাহরণস্বরূপ নয়। আসল বিতরণগুলি আরও জটিল, তবে কিছু এমএল প্যারামিটারগুলির উত্তরোত্তর বিতরণগুলিতে অনুরূপভাবে সম্ভাব্য পি-মান রয়েছে। নোট করুন যে আমার কিছু প্যারামিটারগুলি সীমিত (উদাহরণস্বরূপ ); সীমার মধ্যে, প্রিয়াররা সর্বদা অভিন্ন থাকে।$0 \leq \theta_1 \leq 1$

আমার প্রশ্নগুলি হ'ল:

1. এই ধরনের বিচ্যুতি কি প্রতি সেমি সমস্যা ? স্পষ্টতই আমি প্রত্যাশা করি না যে এমএল প্যারামিটারগুলি ঠিক তার সাথে মিলবে যা তাদের প্রান্তিক পোস্টেরিয়র বিতরণগুলির ম্যাক্সিমা, তবে স্বজ্ঞাতভাবে মনে হয় যে এগুলিও লেজগুলির গভীরে পাওয়া উচিত নয়। এই বিচ্যুতিটি কি আমার ফলাফলগুলি স্বয়ংক্রিয়ভাবে বাতিল করে দেয়?

2. এটি অগত্যা সমস্যাযুক্ত কিনা বা না, এটি ডেটা বিশ্লেষণের কোনও পর্যায়ে নির্দিষ্ট রোগবিজ্ঞানের লক্ষণ হতে পারে? উদাহরণস্বরূপ, এই জাতীয় বিচ্যুতিটি অনুচিতভাবে রূপান্তরিত শৃঙ্খলা, একটি ভুল মডেল বা পরামিতিগুলির অত্যধিক শক্ত বাঁধা দ্বারা প্ররোচিত হতে পারে কিনা সে সম্পর্কে কোনও সাধারণ বিবৃতি দেওয়া সম্ভব?

Answer 1

সমতল প্রিয়ারগুলির সাথে, উত্তরক একটি ধ্রুবক পর্যন্ত সম্ভাবনার সাথে অভিন্ন ical এইভাবে

1. এমএলই (একটি অপ্টিমাইজার দিয়ে অনুমান করা) এমএপি এর সাথে একরকম হওয়া উচিত (সর্বাধিক একটি পোস্টেরিয়েরি মান = বহুবর্তকের মোড, এমসিএমসি দিয়ে অনুমান করা)। আপনি যদি একই মান না পান তবে আপনার নমুনা বা অপ্টিমাইজারের সাথে আপনার সমস্যা আছে।

2. জটিল মডেলগুলির জন্য, এটি খুব সাধারণ যে প্রান্তিক মোডগুলি এমএপি থেকে পৃথক। এটি ঘটে, উদাহরণস্বরূপ, যদি প্যারামিটারগুলির মধ্যে পারস্পরিক সম্পর্কগুলি অ-লাইন হয়। এটি পুরোপুরি সূক্ষ্ম, তবে প্রান্তিক মোডগুলি তাই উচ্চতর উত্তর ঘনত্বের পয়েন্ট হিসাবে ব্যাখ্যা করা উচিত নয় এবং এমএলইয়ের সাথে তুলনা করা উচিত নয়।

3. আপনার সুনির্দিষ্ট ক্ষেত্রে, তবে আমি সন্দেহ করি যে পূর্ববর্তী সীমানার বিরুদ্ধে পোস্টারিয়রটি চলে। এই ক্ষেত্রে, পূর্ববর্তী দৃ strongly়ভাবে অসম্পূর্ণ হবে, এবং এর অর্থ, এসডির দিক থেকে এটি ব্যাখ্যা করা কোনও অর্থবোধ করে না। এই পরিস্থিতি নিয়ে কোনও নীতিগত সমস্যা নেই, তবে বাস্তবে এটি প্রায়শই মডেলকে ভুল বানান বা খারাপভাবে নির্বাচিত প্রিরিয়ার দিকে ইঙ্গিত দেয়।

Answer 2

এই অনুভূত বৈষম্যের জন্য কিছু সাধারণ জেনেরিক ব্যাখ্যা, অবশ্যই ধরেই নেওয়া কোড বা সম্ভাবনার সংজ্ঞা বা এমসিসিএম বাস্তবায়ন বা এমসিএমসি পুনরাবৃত্তির সংখ্যা বা সম্ভাবনা ম্যাক্সিমাইজারের রূপান্তর (ধন্যবাদ, জ্যাকব সোকোলার ) নিয়ে কোনও সমস্যা নেই :

1. $N$$\sqrt{N}$$\theta|\mathbf x\sim\mathcal N_N(0,I_N)$$\theta$$N-2\sqrt{2N}$$0$

2. যদিও এমএপি এবং এমএলই প্রকৃতপক্ষে একটি ফ্ল্যাটের নীচে বিভ্রান্ত হয়, তবে মডেলের বিভিন্ন পরামিতিগুলির প্রান্তিক ঘনত্বগুলি (প্রান্তিক) মোডগুলি হতে পারে যা সংশ্লিষ্ট এমএলইগুলি (যেমন, এমএপি) থেকে অনেক দূরে থাকে।

3. এমএপি হ'ল প্যারামিটার স্পেসে অবস্থিত যেখানে উত্তর ঘনত্ব সর্বাধিক তবে এটি এমএপি এর আশেপাশের ক্ষেত্রে ওজন বা ভলিউমের কোনও ইঙ্গিত দেয় না। খুব পাতলা স্পাইকের কোনও উত্তরোত্তর ভার নেই। এই কারণেই কোনও পোস্টারিয়র এমসিসিএম অনুসন্ধানে পোস্টেরিয়র মোড সনাক্ত করতে অসুবিধার মুখোমুখি হতে পারে ।

4. বেশিরভাগ পরামিতিগুলিতে আবদ্ধ হওয়ার বিষয়টি এমএপ = এমএলই এর কিছু উপাদান সীমানায় ঘটতে পারে।

দেখুন, যেমন, Druihlet এবং মেরিন (2007) উপর আর্গুমেন্ট জন্য আন-Bayesian প্রকৃতি মানচিত্র estimators করুন। একটি হ'ল প্রভাবশালী পরিমাপের উপর এই অনুমানকারীগুলির উপর নির্ভরতা, অন্যটি হ'ল পুনরায় পরিমাপের অধীনে চালানের অভাব (এমএলই'র বিপরীতে)।

উপরের পয়েন্ট 1 উদাহরণ হিসাবে, এখানে একটি সংক্ষিপ্ত আর কোড রয়েছে

N=100
T=1e4
lik=dis=rep(0,T)
mu=rmvnorm(1,mean=rep(0,N))
xobs=rmvnorm(1,mean=rep(0,N))
lik[1]=dmvnorm(xobs,mu,log=TRUE)
dis[1]=(xobs-mu)%*%t(xobs-mu)
for (t in 2:T){
  prop=rmvnorm(1,mean=mu,sigma=diag(1/N,N))
  proike=dmvnorm(xobs,prop,log=TRUE)
  if (log(runif(1))<proike-lik[t-1]){
    mu=prop;lik[t]=proike
     }else{lik[t]=lik[t-1]}
    dis[t]=(xobs-mu)%*%t(xobs-mu)}

যা N = 100 মাত্রায় একটি এলোমেলো হাঁটা মেট্রোপলিস-হেস্টিংস ক্রমটি নকল করে। এমএপি-তে লগ-সম্ভাবনার মান -91.89, তবে পরিদর্শন করা সম্ভাবনাগুলি কখনই কাছে আসে না:

> range(lik)
[1] -183.9515 -126.6924

ক্রমটি পর্যবেক্ষণের কাছাকাছি কখনই আসে না এই বিষয়টি দ্বারা ব্যাখ্যা করা হয়:

> range(dis)
[1]  69.59714 184.11525

Comments

আমি কেবল এটিকে যুক্ত করেছিলাম কোড বা সম্ভাবনা সংজ্ঞা বা এমসিসিএম বাস্তবায়নের বিষয়ে চিন্তা করার পাশাপাশি, ওপিও এমএল অনুমানের জন্য ব্যবহৃত সফ্টওয়্যারটি স্থানীয় সর্বোত্তমের মধ্যে আটকা পড়েছে কিনা তা নিয়েও চিন্তিত হতে পারে। stats.stackexchange.com/questions/384528/…

— জ্যাকব সোলার