ফিশার ইনফরমেশন এবং ক্রেমার-রাও আবদ্ধের অন্তর্নিহিত ব্যাখ্যা

59

আমি ফিশারের তথ্য, এটি কীভাবে পরিমাপ করে এবং কীভাবে সহায়ক তা নিয়ে আরামদায়ক নই। এছাড়াও এটি ক্র্যামার-রাওর সাথে আবদ্ধ হওয়ার সম্পর্ক আমার কাছে আপাত নয়।

কেউ দয়া করে এই ধারণাগুলির একটি স্বজ্ঞাত ব্যাখ্যা দিতে পারেন?

estimation intuition fisher-information

— অনন্ত
সূত্র

1

উইকিপিডিয়া নিবন্ধে কি এমন কিছু আছে যা সমস্যার সৃষ্টি করছে? এটা তোলে তথ্যের পরিমাণ পরিমাপ যে একটি লক্ষণীয় দৈব চলক একটি অজানা প্যারামিটার সম্পর্কে বহন যার উপর সম্ভাবনা নির্ভর করে, এবং তার বিপরীত Cramer-রাও নিম্ন একজন নিরপেক্ষ মূল্নির্ধারক ভ্যারিয়েন্স উপর বাউন্ড ।

X

$X$

θ

$\theta$

X

$X$

θ

$\theta$

— হেনরি

2

আমি এটি বুঝতে পারি তবে আমি এটিতে আসলেই স্বাচ্ছন্দ্য বোধ করি না। পছন্দ করুন, "তথ্যের পরিমাণ" বলতে এখানে ঠিক কী বোঝায়। ঘনত্বের আংশিক ডেরাইভেটিভের বর্গক্ষেত্রের নেতিবাচক প্রত্যাশা কেন এই তথ্যকে পরিমাপ করে? ভাবটি কোথা থেকে আসে না তাই আমি এ সম্পর্কে কিছুটা অন্তর্দৃষ্টি পাওয়ার আশা করছি।

— অনন্ত 22

@ ইনফিনিটি: স্কোর হ'ল প্যারামিটার পরিবর্তন হওয়ার সাথে সাথে পর্যবেক্ষণ করা ডেটার সম্ভাবনার পরিবর্তনের আনুপাতিক হার এবং অনুমানের জন্য এত দরকারী। ফিশার তথ্য দেয় (শূন্য-মধ্যবর্তী) স্কোরের বৈকল্পিকতা। সুতরাং গাণিতিকভাবে এটি ঘনত্বের লোগারিদমের প্রথম আংশিক ডেরিভেটিভের বর্গক্ষেত্রের প্রত্যাশা এবং একইভাবে ঘনত্বের লোগারিদমের দ্বিতীয় আংশিক ডেরিভেটিভের প্রত্যাশার নেতিবাচক .ণাত্মক।

— হেনরি

32

এখানে আমি ব্যাখ্যা করেছি যে কেন সর্বাধিক সম্ভাবনা অনুমানকারীটির asympotic প্রকরণটি ক্র্যামার-রাও নিম্ন সীমানা। আশা করি এটি ফিশারের তথ্যের প্রাসঙ্গিকতা সম্পর্কে কিছু অন্তর্দৃষ্টি প্রদান করবে।

আপনি ডেটা থেকে তৈরি করেন এমন সম্ভাবনা ফাংশন ব্যবহার করে পরিসংখ্যানগত অনুমানন এগিয়ে যায় । বিন্দু অনুমান the এমন মান যা সর্বোচ্চ । অনুমানকারী a একটি এলোমেলো পরিবর্তনশীল, তবে এটি উপলব্ধি করতে সহায়তা করে যে সম্ভাবনা ফাংশন একটি "এলোমেলো বক্রিয়া"। $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$ $\hat{\theta}$ $\mathcal{L}(\theta)$

এখানে আমরা আইডির একটি ডিস্ট্রিবিউশন থেকে প্রাপ্ত ডেটা ধরে নিয়েছি এবং আমরা $f(x|\theta)$

L (θ) = \frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i} | θ)

$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$

প্যারামিটার- এমন বৈশিষ্ট্য রয়েছে যে এটি "সত্য" সম্ভাবনার মান সর্বাধিক করে তোলে, । যাইহোক, "পর্যবেক্ষণ" সম্ভাবনা ফাংশন যা তথ্য থেকে তৈরি করা হয় প্রকৃত সম্ভাবনা থেকে কিছুটা "বন্ধ"। তবুও আপনি যেমন কল্পনা করতে পারেন, নমুনার আকার বাড়ার সাথে সাথে "পর্যবেক্ষণ করা" সম্ভাবনাটি সত্য সম্ভাবনা বক্রের আকারে রূপান্তরিত করে। প্যারামিটার, স্কোর ফাংশন ক্ষেত্রে সম্ভাব্যতার ডেরিভেটিভ একই ক্ষেত্রে একই প্রযোজ্য । (দীর্ঘ গল্প সংক্ষেপে, ফিশার তথ্য নির্ধারণ করে যে পর্যবেক্ষণ করা স্কোর ফাংশনটি কত দ্রুত সত্য স্কোর ফাংশনের আকারে রূপান্তরিত করে। $\theta$ $\mathbb{E}\mathcal{L}(\theta)$ $\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$

বৃহৎ নমুনা আকার এ, আমরা অনুমান যে আমাদের সর্বোচ্চ সম্ভাবনা অনুমান খুব কাছাকাছি । আমরা আশেপাশে একটি ছোট্ট পাড়ায় জুম করি and এবং into যাতে সম্ভাবনা ফাংশনটি "স্থানীয়ভাবে চতুষ্কোণ" হয়। $\hat{\theta}$ $\theta$ $\theta$ $\hat{\theta}$

সেখানে, the এমন বিন্দু যেখানে স্কোর ফাংশন ছেদ করে। এই ছোট অঞ্চলে, আমরা স্কোর ফাংশনটিকে একটি লাইন হিসাবে দেখি , একটি এবং র্যান্ডম ইন্টারসেপ্ট - । আমরা একটি লাইনের সমীকরণ থেকে জানি $\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$ $a$ $b$ $\theta$

a (\hat{θ} - θ) + b = 0

$a(\hat{\theta} - \theta) + b = 0$

অথবা

\hat{θ} = θ - b / a .

$\hat{\theta} = \theta - b/a .$

এমএলই অনুমানের ধারাবাহিকতা থেকে আমরা জানি

E (\hat{θ}) = θ

$\mathbb{E}(\hat{\theta}) = \theta$

সীমাতে।

অতএব, অ্যাসিপোটোটিকভাবে

n V a r (\hat{θ}) = n V a r (b / a)

$nVar(\hat{\theta}) = nVar(b/a)$

এটি দেখা যাচ্ছে যে interালটি ইন্টারসেপ্টের চেয়ে অনেক কম পরিবর্তিত হয় এবং অ্যাসিপোটোটিকভাবে আমরা স্কোর ফাংশনটিকে কাছাকাছি একটি ছোট্ট পাড়ায় স্থির sl । এভাবে আমরা লিখতে পারি $\theta$

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$

সুতরাং, এবং এর মানগুলি কী ? দেখা যাচ্ছে যে অসাধারণ গাণিতিক কাকতালীয় কারণে ফিশারের তথ্য, এগুলি একই পরিমাণে (মাইনাস বিয়োগ চিহ্ন)। $a$ $nVar(b)$

- a = E [- \frac{\partial^{2} L}{\partial θ^{2}}] = I (θ)

$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$

n V a r (b) = n V a r [\frac{\partial L}{\partial θ}] = I (θ)

$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$

সুতরাং,

n V a r (\hat{θ}) = \frac{1}{a^{2}} n V a r (b) = (1 / I (θ)^{2}) I (θ) = 1 / I (θ)

$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$ asympototically : ক্রিমার-রাও নিম্ন সীমানা। (দেখানো হচ্ছে যে একটি নিরপেক্ষ অনুমানকটির বৈকল্পিকের নীচে নীচে আবদ্ধ হওয়া অন্য বিষয়))

1 / I (θ)

$1/I(\theta)$

— charles.y.zheng
সূত্র

2

যে অংশটি আপনি উল্লেখ করেছেন যে সম্ভাবনা ফাংশনটি স্থানীয়ভাবে চতুর্ভুজযুক্ত তার কোনও গ্রাফিকাল উপস্থাপনা আছে?

— quirik

@ কিউরিক, দ্বিতীয়টি অর্ডার টেলর প্রসারটি থেটা_-এর চারপাশে ব্যবহার করার বিষয়ে বিবেচনা করুন।

— ইডনাভিড

@ Charles.y.zheng এটি দৃশ্যের সবচেয়ে আকর্ষণীয় ব্যাখ্যাগুলির মধ্যে একটি।

— ইডনাভিড

13

আমি ফিশারের তথ্যগুলি বোঝার একটি উপায় নিম্নলিখিত সংজ্ঞা দ্বারা হয়:

I (θ) = \int_{X} \frac{\partial^{2} f (x | θ)}{\partial θ^{2}} d x - \int_{X} f (x | θ) \frac{\partial^{2}}{\partial θ^{2}} \log [f (x | θ)] d x

$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$

ঘনত্ব দ্বিগুণ পার্থক্যযোগ্য হলে ফিশার তথ্য এইভাবে লেখা যেতে পারে । যদি নমুনা স্পেস the পরামিতি উপর নির্ভর করে না , তবে আমরা প্রথম শব্দটি শূন্য হয় তা দেখানোর জন্য লাইবনিজ অবিচ্ছেদ্য সূত্রটি ব্যবহার করতে পারি ( উভয় পক্ষের পার্থক্য দ্বিগুণ এবং আপনি শূন্য পাবেন) এবং দ্বিতীয় শব্দটি হ'ল "স্ট্যান্ডার্ড" সংজ্ঞা। প্রথম মেয়াদ শূন্য হলে আমি মামলা নেব। ক্ষেত্রেগুলি যখন শূন্য হয় না তখন ফিশার তথ্য বোঝার জন্য খুব বেশি ব্যবহার হয় না। $f(x|\theta)$ $\cal{X}$ $\theta$ $\int_{\cal{X}} f(x|\theta)dx=1$

এখন আপনি যখন সর্বাধিক সম্ভাবনা অনুমান করেন (এখানে "নিয়মিততার শর্তাবলী" সন্নিবেশ করুন) আপনি সেট করেন

\frac{\partial}{\partial θ} \log [f (x | θ)] = 0

$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$

এবং জন্য সমাধান । তাই দ্বিতীয় ব্যুৎপন্ন বলছেন কত তাড়াতাড়ি গ্রেডিয়েন্ট পরিবর্তন করা হয়, এবং একটি অর্থে "কতদূর" MLE থেকে উপরে সমীকরণের ডান দিকে মধ্যে উপলব্ধিজনক পরিবর্তন না করে প্রস্থান করতে পারেন। আপনি যেভাবে ভাবতে পারেন তার অন্য কোনও উপায় হ'ল কাগজে আঁকা একটি "পর্বত" কল্পনা করা - এটি লগ-সম্ভাবনা ফাংশন। উপরের এমএলই সমীকরণটি সমাধান করা আপনাকে জানায় যে এই পাহাড়ের শিখরটি এলোমেলো পরিবর্তনশীল ফাংশন হিসাবে অবস্থিত । দ্বিতীয় ডেরাইভেটিভ আপনাকে জানায় যে পর্বতটি কতটা খাড়া - যা এক অর্থে আপনাকে বলে যে পর্বতের শিখরটি খুঁজে পাওয়া কতটা সহজ। ফিশারের তথ্যটি প্রত্যাশিত শিখরের উচ্চতা গ্রহণ থেকে আসে এবং তাই এর কিছুটা "প্রাক-ডেটা" ব্যাখ্যা থাকে। $\theta$ $\theta$ $x$

একটি বিষয় যা আমি এখনও কৌতূহল বোধ করি তা হ'ল লগ-সম্ভাবনাটি কতটা খাড়া এবং সম্ভাবনার কিছু একঘেয়েমি ফাংশন কতটা খাড়া নয় (সম্ভবত সিদ্ধান্ত তত্ত্বের "সঠিক" স্কোরিং ফাংশনগুলির সাথে সম্পর্কিত? অথবা এন্ট্রপির ধারাবাহিকতা অক্ষের সাথে থাকতে পারে) ?)।

ফিশার তথ্যগুলি ল্যাপ্লেস আনুমানিকতা হিসাবে পরিচিত বলে কারণে অনেকগুলি অ্যাসিম্পোটিক বিশ্লেষণে "প্রদর্শিতও হয়"। এটি মূলত যে কোনও "গোলাকৃতি" একক সর্বাধিক উচ্চতর এবং উচ্চতর শক্তির উত্থানের সাথে কোনও ক্রিয়াকলাপ গাউসীয় ফাংশন- মধ্যে চলে যায় (কেন্দ্রীয় সীমাবদ্ধ তত্ত্বের অনুরূপ, তবে কিছুটা বেশি) সাধারণ). সুতরাং যখন আপনার কাছে একটি বড় নমুনা থাকে আপনি কার্যকরভাবে এই অবস্থানে থাকবেন এবং আপনি লিখতে পারেন: $\exp(-ax^{2})$

f (d a t a | θ) = \exp (\log [f (d a t a | θ)])

$f(data|\theta)=\exp(\log[f(data|\theta)])$

এবং যখন আপনি টেলর এমএলই সম্পর্কে লগ-সম্ভাবনা প্রসারিত করেন:

f (d a t a | θ) \approx [f (d a t a | θ)]_{θ = θ_{M L E}} \exp (- \frac{1}{2} {[- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)]]}_{θ = θ_{M L E}} (θ - θ_{M L E})^{2})

$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$ এবং লগ-সম্ভাবনার দ্বিতীয়টি ডেরাইভেটিভ প্রদর্শিত হয় (তবে "প্রত্যাশিত" ফর্মের পরিবর্তে "পর্যবেক্ষণে")। এখানে সাধারণত যা করা হয় তা হল আরও অনুমান করা:

- \frac{\partial^{2}}{\partial θ^{2}} \log [f (d a t a | θ)] = n (- \frac{1}{n} \sum_{i = 1}^{n} \frac{\partial^{2}}{\partial θ^{2}} \log [f (x_{i} | θ)]) \approx n I (θ)

$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$

যা একটি অখণ্ড দ্বারা কোনও যোগফল প্রতিস্থাপনের সাধারণত ভাল আনুমানিকতার পরিমাণ, তবে এর জন্য ডেটা স্বতন্ত্র হওয়া দরকার। সুতরাং বৃহত স্বতন্ত্র নমুনার জন্য (প্রদত্ত ) আপনি দেখতে পাচ্ছেন যে ফিশারের তথ্য এমএলইর বিভিন্ন মানের জন্য এমএলই কত পরিবর্তনশীল। $\theta$

— probabilityislogic
সূত্র

1

"একটি জিনিস যা আমি এখনও কৌতূহল বোধ করি তা হ'ল লগ-সম্ভাবনাটি কতটা খাড়া এবং এটির সম্ভাবনার অন্য একঘেয়ে কাজগুলি কতটা খাড়া নয়" " আমি নিশ্চিত যে আপনি সম্ভাবনার অন্যান্য রূপান্তরগুলির ক্ষেত্রে ফিশার তথ্যের জন্য অ্যানালগগুলি অর্জন করতে পেরেছিলেন তবে ক্র্যামার-রাও নিম্ন সীমানার জন্য আপনি কোনও অভিব্যক্তির মতো ঝরঝরে পাবেন না।

— charles.y.zheng

2

এটি আমি এখনও অবধি দেখা সবচেয়ে স্বজ্ঞাত নিবন্ধ:

ক্রিমার-রাও লোয়ার সীমানা ভারিয়েন্স: অ্যাডাম এবং হাওয়ার "অনিশ্চয়তা নীতি" মাইকেল আর। পাওয়ারস, জার্নাল অফ রিস্ক ফাইন্যান্স, খণ্ড। 7, নং 3, 2006

আবাদের উদ্যানটি অ্যাডন গার্ডেনে অ্যাডাম এবং হাওয়ার একটি সাদৃশ্য দ্বারা ব্যাখ্যা করা হয়েছে যে ফলটি খেতে څوک পায় তা দেখতে তারা একটি মুদ্রা ছুঁড়ে মারে এবং তারা তখন নিজেকে জিজ্ঞাসা করে যে তাদের প্রাক্কলনটিতে নির্ভুলতার একটি নির্দিষ্ট স্তর অর্জনের জন্য কত বড় একটি নমুনা প্রয়োজন, এবং তারপরে তারা এই সীমাবদ্ধ আবিষ্কার করে ...

বাস্তবতা সম্পর্কে প্রকৃতপক্ষে একটি গভীর বার্তা সহ দুর্দান্ত গল্প।

— vonjd
সূত্র

6

এই রেফারেন্স পোস্ট করার জন্য আপনাকে ধন্যবাদ। শেষে আমি হতাশ হয়েছি, যদিও এটি সন্ধান করে যে এটি আসলে সিআরএলবি ব্যাখ্যা করে না। এটি কেবল এটি সত্য যে কেন এটি কোনও অন্তর্দৃষ্টি না দিয়ে কেবল তা বর্ণিত করে এবং এটি ব্যাখ্যা করার প্রয়াসে কিছু "উদ্বেগজনক তথ্য" এর মতো কিছু উদ্দীপ্ত কিন্তু চূড়ান্ত অর্থহীন ভাষা সরবরাহ করে।

— হোবার

@ শুভ: যথেষ্ট ভাল, আমি একমত যে এটি আরও গভীরভাবে ডুবতে পারে এবং শেষটি কিছুটা আকস্মিকভাবে ঘটে। তবুও নিবন্ধটি সম্পর্কে আমি যা পছন্দ করি তা হ'ল এটি প্রাকৃতিক বলে মনে হয় যে নমুনার আকার, নমুনাটির অর্থ, প্রচুর সংখ্যার আইন এবং যে নমুনার বৈকল্পিকতা কেবলমাত্র একটি বিন্দুতে হ্রাস করা যেতে পারে (অর্থাৎ সেখানে থাকতে হবে) কিছু আবদ্ধ , যা উপরোক্ত একটি হিসাবে ঘটে)। এটি আরও স্পষ্ট করে তোলে যে এটি কিছু অধরা গাণিতিক ফলাফল নয় তবে সত্যিকারের জ্ঞান অর্জনের সীমা সম্পর্কে একটি বিবৃতি।

— ভনজড

2

যদিও উপরে প্রদত্ত ব্যাখ্যাগুলি খুব আকর্ষণীয় এবং সেগুলির মধ্য দিয়ে যেতে আমি আনন্দ পেয়েছি, আমি অনুভব করি যে জ্যামিতিক দৃষ্টিকোণ থেকে ক্র্যামার-রাও লোয়ার বাউন্ডের প্রকৃতি আমার পক্ষে সবচেয়ে ভাল ব্যাখ্যা করা হয়েছিল। এই স্বীকৃতিটি স্ট্যাটিস্টিকাল সিগন্যাল প্রসেসিং সম্পর্কিত স্কার্ফের বইয়ের Chapter ষ্ঠ অধ্যায় থেকে ঘনত্বের উপবৃত্তের ধারণার সংক্ষিপ্তসার ।

কোন নিরপেক্ষ মূল্নির্ধারক বিবেচনা করুন । উপরন্তু, অনুমান মূল্নির্ধারক সহভেদাংক সঙ্গে একটি গসিয়ান ডিস্ট্রিবিউশন আছে । এই অবস্থার অধীনে, এর বিতরণ আনুপাতিক: ${\boldsymbol\theta}$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\Sigma}$ $\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ ।

আর distribution 2 এ for এর জন্য এই বিতরণের কনট্যুর প্লটগুলি সম্পর্কে ভাবেন । (যেমন, ) এর সম্ভাব্যতার উপর কোনও উচ্চতর আবদ্ধ বাধা সৃষ্টি করবে যার ফলে একটি কেন্দ্র করে fixed স্থির ব্যাসার্ধ । এটি দেখানো সহজ যে ব্যাসার্ধ এবং কাঙ্ক্ষিত সম্ভাবনা মধ্যে একের মধ্যে একটি সম্পর্ক রয়েছে । অন্য কথায়, পাসে হবে ব্যাসার্ধ দ্বারা নির্ধারিত একটি উপবৃত্ত মধ্যে সম্ভাব্যতা সঙ্গে ${\boldsymbol\theta}\in R^2$ $\hat{\boldsymbol\theta}$ $\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$ ${\boldsymbol\theta}$ $r$ $r$ $P_r$ $\hat{\boldsymbol\theta}$ ${\boldsymbol\theta}$ $r$ $P_r$ । এই এলিপসয়েডকে ঘনত্বের উপবৃত্ত বলা হয়।

উপরের বর্ণনাকে বিবেচনা করে আমরা সিআরএলবি সম্পর্কে নিম্নলিখিতটি বলতে পারি। সমস্ত পক্ষপাতহীন অনুমানকারীগুলির মধ্যে, সিআরএলবি একটি অনুমানকারী সাথে প্রতিনিধিত্ব করে যা "ঘনিষ্ঠতা" (উপরে বর্ণিত হিসাবে) এর নির্দিষ্ট সম্ভাবনার জন্য , সবচেয়ে কম ঘনত্বের উপবৃত্তাকার। নীচের চিত্রটি একটি 2D চিত্র সরবরাহ করেছে ( স্কার্ফের বইয়ের চিত্র দ্বারা অনুপ্রাণিত )। $\hat{\boldsymbol\theta}_{crlb}$ $\boldsymbol\Sigma_{crlb}$ $P_r$

— idnavid
সূত্র

2

ভাল এটি রক্তাক্ত দুর্দান্ত, বিশেষত চিত্রটির আরও বেশি পরিমাণের প্রয়োজন।

— অ্যাস্ট্রিড