কেন পৃথক নমুনার সম্ভাবনা 0 থাকলে এমএলই বুদ্ধি করে?

Question

কিছু পুরানো পরিসংখ্যান পর্যালোচনা করার সময় আমার কাছে এটি ছিল একটি বিচিত্র চিন্তাভাবনা এবং কোনও কারণে আমি উত্তরটি মনে করতে পারি না বলে মনে হয়।

একটি অবিচ্ছিন্ন পিডিএফ আমাদের প্রদত্ত যে কোনও রেঞ্জের মানগুলি পর্যবেক্ষণের ঘনত্বকে বলে। উদাহরণস্বরূপ, যদি , উদাহরণস্বরূপ, তবে সম্ভবত একটি উপলব্ধি এবং মধ্যে পড়ে simply যেখানে হয় সাধারণের ঘনত্ব।$X \sim N(\mu,\sigma^2)$$a$$b$$\int_a^{b}\phi(x)dx$$\phi$

আমরা যখন কোনও প্যারামিটারের এমএলই অনুমানের বিষয়ে চিন্তা করি, বলি , আমরা যৌথ ঘনত্ব লিখি, বলি , এলোমেলো ভেরিয়েবল এবং লগ-সম্ভাবনা আলাদা করে 0 এর সমান সেট করে সমাধান করুন জন্য । প্রায়শই প্রদত্ত ব্যাখ্যাকে "ডেটা দেওয়া হয়, যা পরামিতি এই ঘনত্বের কার্যকে সবচেয়ে প্রশংসনীয় করে তোলে"।$\mu$$N$$X_1 .. X_N$$\mu$$\mu$

যে অংশটি আমাকে বাগাগ্রিত করছে তা হ'ল: আমাদের আরভি এর ঘনত্ব রয়েছে , এবং আমাদের নমুনাটি বলে, আমরা একটি বিশেষ উপলব্ধি লাভ করার সম্ভাবনাটি ঠিক ২ 0. কেন আমাদের তথ্য প্রদত্ত যৌথ ঘনত্বকে সর্বাধিক করে তোলার পক্ষে কেন তা বোঝা যায় না ( যেহেতু আবার আমাদের প্রকৃত নমুনা পর্যালোচনা করার সম্ভাবনাটি ঠিক 0)?$N$

আমি কেবলমাত্র যৌক্তিকরণের সাথেই আসতে পারি তা হ'ল আমরা আমাদের পর্যবেক্ষিত নমুনার আশেপাশে পিডিএফটিকে যথাসম্ভব শিখিয়ে তুলতে চাই যাতে এই অঞ্চলে অবিচ্ছেদ্য (এবং তাই এই অঞ্চলে স্টাফ পর্যবেক্ষণের সম্ভাবনা) সর্বোচ্চ হয়।

Comments

একই কারণে আমরা সম্ভাব্যতা ঘনত্ব stats.stackexchange.com/q/4220/35989

— টিম

আমি কেন বুঝতে পারি (কেননা) ঘনত্বগুলি ব্যবহার করার জন্য এটি বোধগম্য। আমি যা বুঝতে পারি না কেন এটি ঘনত্বকে শর্তযুক্ত একটি নমুনা পর্যবেক্ষণ করার ক্ষেত্রে শর্তযুক্ত হওয়ার কারণ হওয়ার সম্ভাবনা রয়েছে 0

— অ্যালেক্স

কারণ সম্ভাবনার ঘনত্বগুলি আমাদের জানায় যে অন্যগুলির তুলনায় কোন মানগুলি তুলনামূলকভাবে বেশি হয়।

— টিম

যদি আপনার কাছে প্রশ্নের পুরোপুরি উত্তর দেওয়ার সময় থাকে তবে আমি মনে করি এটি আমার এবং পরবর্তী ব্যক্তির পক্ষে আরও সহায়ক হবে।

— অ্যালেক্স

কারণ, ভাগ্যক্রমে, সম্ভাবনা কোনও সম্ভাবনা নয়!

— আদমো

Answer 1

যে কোনও নমুনার সম্ভাবনা, , শূন্যের সমান এবং তবুও একটি নমুনা সম্ভাব্যতা বন্টন থেকে অঙ্কন দ্বারা উপলব্ধি করা যায়। সম্ভাব্যতা তাই কোনও নমুনা মূল্যায়নের জন্য ভুল সরঞ্জাম এবং এটির সম্ভাবনা। ফিশার (1912) দ্বারা সংজ্ঞায়িত হিসাবে পরিসংখ্যানগত সম্ভাবনা দৈর্ঘ্য যখন শূন্যে চলে যায় তখন নমুনা পর্যবেক্ষণের সম্ভাবনার সীমাবদ্ধ যুক্তির উপর ভিত্তি করে ( অ্যালড্রিক, ১৯৯ 1997 থেকে উদ্ধৃতি ) :$\mathbb{P}_\theta(X=x)$$x$$\delta$$\delta$

$\qquad\qquad\qquad$

prob দ্বারা এই সম্ভাবনাটিকে পুনর্নবীকরণ করার সময় । সম্ভাবনা ফাংশনটির শব্দটি কেবল ফিশারে (1921) এবং ফিশারে সর্বাধিক সম্ভাবনা (1922) চালু হয়।$\delta$

যদিও তিনি "সর্বাধিক সম্ভাব্য মান" হিসাবে পরিচিত হন এবং ফ্ল্যাট পূর্বে বিপরীত সম্ভাবনার নীতি (বায়েশিয়ান অনুমান) ব্যবহার করেছিলেন, কার্ল ফ্রেড্রিচ গাউ ইতিমধ্যে ১৮০৯ সালে একটি সাধারণ বিতরণের বৈকল্পিক প্যারামিটারের সর্বাধিক সম্ভাবনা অনুমানকারী তৈরি করেছিলেন। হালদ (১৯৯)) ফিশারের 1912 এর গবেষণাপত্রের আগে সর্বাধিক সম্ভাবনার অনুমানের অন্যান্য কয়েকটি ঘটনার উল্লেখ করেছে, যা সাধারণ নীতিটি নির্ধারণ করে।

সর্বাধিক সম্ভাবনার পদ্ধতির পরে যুক্তিযুক্তকরণটি হ'ল, যেহেতু কোনও নমুনার রিনরমালাইজড লগ-সম্ভাবনা [বৃহত সংখ্যার আইন] (যেখানে IID নমুনা প্রকৃত ঘনত্ব উল্লেখ করে), সম্ভাবনা পূর্ণবিস্তার [এর কার্যকারিতা হিসেবে ] এসিম্পটোটিকভাবে [মধ্যে কমানোর সমতূল্য ] Kullback-Leibler বিকিরণ $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ $f_0$$\theta$$\theta$ $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ আইআইড নমুনার সত্যিকারের বিতরণ এবং দ্বারা প্রতিনিধিত্ব করা বিতরণের পরিবারের মধ্যে ।$f_\theta$

Comments

উত্তরের জন্য ধন্যবাদ. আপনি কেএল যুক্তিতে কিছুটা প্রসারিত করতে পারেন? তাত্ক্ষণিকভাবে কীভাবে ঘটছে তা আমি দেখছি না।

— অ্যালেক্স