ফিশারের তথ্য কী ধরণের?

মনে করুন আমাদের কাছে এলোমেলো পরিবর্তনশীল । যদি সত্য প্যারামিটার হয় তবে সম্ভাবনা ফাংশনটি সর্বাধিক করা উচিত এবং শূন্যের সমান ডেরিভেটিভ হওয়া উচিত। সর্বাধিক সম্ভাবনা অনুমানের পিছনে এটিই মূল নীতি। $X \sim f(x|\theta)$ $\theta_0$

আমি এটি বুঝতে হিসাবে, ফিশার তথ্য হিসাবে সংজ্ঞায়িত করা হয়

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

সুতরাং, যদি হয় সত্য পরামিতি, । তবে যদি এটি প্রকৃত প্যারামিটার না হয় তবে আমাদের কাছে ফিশারের তথ্য প্রচুর পরিমাণে থাকবে। $\theta_0$ $I(\theta) = 0$ $\theta_0$

আমার প্রশ্নগুলো

ফিশার তথ্য প্রদত্ত এমএলইয়ের "ত্রুটি" পরিমাপ করে? অন্য কথায়, ইতিবাচক ফিশার তথ্যের অস্তিত্ব কি বোঝায় না যে আমার এমএলই আদর্শ হতে পারে না?
"তথ্য" এর এই সংজ্ঞাটি শ্যাননের ব্যবহৃত ব্যবস্থার থেকে কীভাবে আলাদা? কেন আমরা এটিকে তথ্য বলি?

— স্ট্যান শুনপিকে
সূত্র

কেন আপনি এটি লিখছেন ? প্রত্যাশাটি বিতরণ করা মানগুলির চেয়ে বেশি, যেন তারা প্যারামিটার- দিয়ে আপনার বিতরণ থেকে আসে ।

E_{θ}

$E_\theta$

X

$X$

θ

$\theta$

— নিল জি

এছাড়াও সত্য পরামিতিতে শূন্য নই।

I (θ)

$I(\theta)$

— নিল জি

ই (এস) শূন্য (যেমন: স্কোর ফাংশনটির প্রত্যাশা), তবে নীল জি যেমন লিখেছেন - ফিশারের তথ্য (ভি (এস)) শূন্য নয়।

— তাল গালিলি

উত্তর:

অন্যান্য উত্তরগুলির পরিপূরক দেওয়ার চেষ্টা করা হচ্ছে ... ফিশার তথ্য কী ধরণের তথ্য? Loglikelihood ফাংশন দিয়ে শুরু করুন এর কার্যকারিতা হিসেবে জন্য , প্যারামিটার স্থান। কিছু নিয়মিততার শর্ত ধরে আমরা এখানে আলোচনা করি না, আমাদের রয়েছে (আমরা প্যারামিটারের সাথে বিন্দু হিসাবে এখানে ডেরাইভেটিভ লিখব)। বৈকল্পিকতা হ'ল ফিশারের তথ্য

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$ শেষ সূত্রটি দেখায় যে এটি লগলিঙ্কিলিটি ফাংশনের (negativeণাত্মক) বক্রতা। সম্ভাব্য সমীকরণ একজন প্রায়শই থেইটার সর্বাধিক সম্ভাবনা অনুমানকারী (ম্লে) খুঁজে পান যখন স্কোরের বৈচিত্র হিসাবে বৃহত্তর, তারপরে সেই সমীকরণের সমাধান তথ্যটির জন্য খুব সংবেদনশীল হবে, ম্লেটির উচ্চতর নির্ভুলতার জন্য একটি আশা প্রদান করবে। এটি কমপক্ষে অ্যাসেম্পোটোটিকভাবে নিশ্চিত হয়ে গেছে, ফলের তথ্যের বিপরীত হওয়া মলের অ্যাসেম্পটোটিক বৈকল্পিক।

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

আমরা কীভাবে এটি ব্যাখ্যা করতে পারি? প্যারামিটার সম্পর্কে সম্ভাবনা তথ্য নমুনা থেকে। এটি কেবলমাত্র একটি আপেক্ষিক অর্থে ব্যাখ্যা করা যেতে পারে, যেমন আমরা যখন সম্ভাবনা অনুপাত পরীক্ষার মাধ্যমে দুটি স্বতন্ত্র সম্ভাব্য প্যারামিটার মানের তুলনা করতে এটি ব্যবহার করি । লগলিস্টিওনেসিটির পরিবর্তনের হারটি স্কোর ফাংশন ll ইল ta থটা আমাদের জানায় যে সম্ভাবনাটি কতটা দ্রুত পরিবর্তিত হয় এবং এর প্রকরণ থেইটা) প্রদত্ত প্যারামিটারে নমুনা থেকে নমুনায় কতটা পরিবর্তিত হয় মান, বলুন । সমীকরণ (যা সত্যই অবাক!) $\ell(\theta)$ $\theta$ $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ $\theta_0$

I (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$ আমাদের জানায় একটি প্রদত্ত প্যারামিটার মান, , এবং সেই প্যারামিটার মানের জন্য সম্ভাবনা ফাংশনের বক্রতা সম্পর্কে তথ্য (সম্ভাবনা) এর পরিবর্তনশীলতার মধ্যে একটি সম্পর্ক (সমতা) রয়েছে । এটি আশেপাশের পরিসংখ্যান of এর পরিবর্তনশীলতার (বৈকল্পিক) মধ্যে আশ্চর্যজনক সম্পর্ক এবং যখন আমরা কিছুটা বিরতিতে প্যারামিটার- পরিবর্তিত করি তখন মিলের প্রত্যাশিত পরিবর্তন relationship (একই ডেটার জন্য)। এটি সত্যই অবাক, আশ্চর্যজনক এবং শক্তিশালী!

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$

θ

$\theta$

θ_{0}

$\theta_0$

সুতরাং সম্ভাবনা ফাংশন কি? আমরা সাধারণত পরিসংখ্যান মডেল মনে ডেটার জন্য সম্ভাব্যতা ডিস্ট্রিবিউশন একটি পরিবার হিসাবে , প্যারামিটার দ্বারা সূচীবদ্ধ কিছু প্যারামিটার স্থান উপাদান । আমরা এই মডেলটিকে সত্য বলে মনে করি যদি কিছু মান যেমন এর সম্ভাব্যতা বন্টন । সুতরাং আমরা প্রকৃত ডেটাজেনরেটিং সম্ভাব্যতা বিতরণ করে একটি পরিসংখ্যানগত মডেল $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ $f(x;\theta_0)$ সম্ভাবনা বিতরণ পরিবারে। তবে, এটি স্পষ্ট যে এই জাতীয় ইমবেডিং বিভিন্ন উপায়ে করা যেতে পারে এবং প্রতিটি এম্বেডিং একটি "সত্য" মডেল হতে পারে এবং তারা বিভিন্ন সম্ভাবনা কার্য দেয়। এবং, যেমন একটি এম্বেডিং ছাড়া, সম্ভাবনার কোনও কার্য নেই is মনে হচ্ছে আমাদের কীভাবে কিছু সাহায্যের দরকার, কীভাবে বুদ্ধিমানের সাথে একটি এম্বেডিং বেছে নেওয়া যায় তার জন্য কিছু নীতি!

তাহলে এর অর্থ কি? এর অর্থ হ'ল সম্ভাবনা ফাংশনের পছন্দটি যদি আমাদের কিছুটা পরিবর্তন করে তবে কীভাবে ডেটা পরিবর্তিত হবে আশা করি tells তবে, এটি সত্যই ডেটা দ্বারা যাচাই করা যায় না, কারণ ডেটা কেবলমাত্র সত্য মডেল ফাংশন সম্পর্কে তথ্য দেয় যা আসলে ডেটা উত্পন্ন করে, এবং মডেলের সমস্ত উপাদান সম্পর্কে কিছুই নয়। এইভাবে আমরা দেখতে পাচ্ছি যে সম্ভাবনা কার্যকারিতা বাছাই বায়েশীয় বিশ্লেষণের পূর্বের নির্বাচনের অনুরূপ, এটি বিশ্লেষণে অ-ডেটা তথ্যকে ইনজেক্ট করে। আসুন আমরা এটি একটি সাধারণ (কিছুটা কৃত্রিম) উদাহরণে এবং বিভিন্ন উপায়ে মডেলটিতে এর । $f(x;\theta_0)$ $f(x;\theta_0)$

আসুন জেনে নিই যাক যেমন IID হয় । সুতরাং, এটি সত্য, ডেটা তৈরির বিতরণ। এখন, আসুন আমরা এটিকে দুটি ভিন্ন উপায়ে মডেলটিতে এম্বেড করি, মডেল এ এবং মডেল বি। আপনি দেখতে পারেন যে এটি সাথে মিলে যায় । $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

লগলিস্টিভিলিটি ফাংশনগুলি হয়ে যায়

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

স্কোর ফাংশন: (loglikelihood ডেরাইভেটিভস): এবং সুতরাং, ফিশার তথ্য সত্যই এমবেডিংয়ের উপর নির্ভর করে। এখন, আমরা ফিশার তথ্যগুলি সঠিক মান , সুতরাং পরামিতি সম্পর্কে ফিশারের তথ্য বি মডেলের চেয়ে কিছুটা বড় B.

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

এটি চিত্রিত করে যে, কোনও অর্থে, ফিশার তথ্য আমাদের জানায় যে কোনও মডেল পরিবারে এম্বেডিং দ্বারা পোস্ট করা পদ্ধতিতে যদি গভর্নিং প্যারামিটারগুলি পরিবর্তন হয় তবে প্যারামিটার সম্পর্কিত ডেটা থেকে প্রাপ্ত তথ্যগুলি কত দ্রুত পরিবর্তন হতে পারে । মডেল বিতে উচ্চতর তথ্যের ব্যাখ্যা হ'ল আমাদের মডেল পরিবার বি পোস্টটি দেয় যে যদি প্রত্যাশাটি বাড়ত, তবে তারতম্যটিও বাড়ত । সুতরাং, বি বি মডেলের অধীনে, নমুনা বৈকল্পিকগুলিও সম্পর্কে তথ্য বহন করবে , যা এটি মডেল এ এর অধীনে করবে না which $\mu$

এছাড়াও, এই উদাহরণটি ব্যাখ্যা করে যে আমাদের কীভাবে মডেল পরিবারগুলি তৈরি করতে সহায়তা করার জন্য কিছু তত্ত্বের প্রয়োজন।

— কেজেটিল বি হালওয়ারসেন
সূত্র

দুর্দান্ত ব্যাখ্যা। আপনি কেন বলছেন ? এটি একটি ফাংশন তাই না 0 শুধুমাত্র যখন সত্য পরামিতি এ মূল্যায়ন - ?

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

— ইহাদান্নি

হ্যাঁ, আপনি যা বলছেন তা সত্য, @idadanny সত্য প্যারামিটার মান থেকে মূল্যায়ন করা হলে এটি শূন্য।

— কেজেটিল বি হালওয়ারসন

আবার ধন্যবাদ @kjetil - তাই শুধু একটা আরো প্রশ্ন: স্কোর ভ্যারিয়েন্স এবং সম্ভাবনা বক্রতা মধ্যে বিস্ময়কর সম্পর্ক যে জন্য সত্য ? বা কেবল সত্য প্যারামিটারের আশেপাশে ?

θ

$\theta$

θ_{0}

$\theta_0$

— ইহাদানী

আবার, সেই ট্রেলিশনশিপটি সত্য প্যারামিটার মানের জন্য সত্য। তবে এটি আরও সাহায্য করার জন্য অবশ্যই ধারাবাহিকতা থাকতে হবে, যাতে এটি কোনও কোনও আশেপাশের অঞ্চলে প্রায় সত্য, যেহেতু আমরা এটিকে কেবলমাত্র সত্য (অজানা) মূল্যে নয়, অনুমানিত মান এ ব্যবহার করব ।

\hat{θ}

$\hat{\theta}$

— কেজেটিল বি হালওয়ারসন

সুতরাং, সম্পর্কটি সত্য পরামিতি র জন্য ধারণ করে, এটি প্রায় for এর জন্য ধারণ করে যেহেতু আমরা ধরে নিই যে এটি এর আশেপাশে রয়েছে তবে একটি সাধারণ এটি ধরে না, তাই না?

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

— ইহাদান্নি

আসুন নেতিবাচক লগ-সম্ভাবনা ফাংশন পরিপ্রেক্ষিতে মনে । Negativeণাত্মক স্কোরটি প্যারামিটার মানের সাথে সম্মানের সাথে এর গ্রেডিয়েন্ট। সত্য প্যারামিটারে, স্কোর শূন্য। অন্যথায়, এটি সর্বনিম্ন দিকে দিক নির্দেশনা দেয় (বা নন-উত্তল , একটি স্যাডল পয়েন্ট বা স্থানীয় সর্বনিম্ন বা সর্বাধিক)। $\ell$ $\ell$ $\ell$

ফিশার তথ্য ডেটা অনুসরণ করে প্রায় around বক্রতা পরিমাপ করে । অন্য কথায়, এটি আপনাকে জানায় যে প্যারামিটারটি উইগল করা আপনার লগ-সম্ভাবনাটিকে কতটা প্রভাবিত করবে। $\ell$ $\theta$ $\theta$

লক্ষ লক্ষ প্যারামিটার সহ আপনার একটি বড় মডেল ছিল তা বিবেচনা করুন। এবং আপনার একটি ছোট থাম্ব ড্রাইভ ছিল যাতে আপনার মডেলটি সঞ্চয় করতে পারেন। প্রতিটি প্যারামিটারের কতগুলি বিট সংরক্ষণ করতে হবে তা আপনার কীভাবে অগ্রাধিকার দেওয়া উচিত? সঠিক উত্তর হ'ল ফিশারের তথ্য অনুসারে বিট বরাদ্দ করা (রিসানেন এটি সম্পর্কে লিখেছেন)। যদি কোনও প্যারামিটারের ফিশার তথ্য শূন্য হয় তবে সেই প্যারামিটারটি কিছু যায় আসে না।

আমরা এটিকে "তথ্য" বলি কারণ ফিশার তথ্য পরিমাপ করে যে এই প্যারামিটারটি ডেটা সম্পর্কে আমাদের কতটা বলে।

এটি সম্পর্কে ভাবার একটি আধ্যাত্মিক উপায় হ'ল ধরুন প্যারামিটারগুলি গাড়ি চালাচ্ছে, এবং ডেটাটি পিছনের সিটে ড্রাইভারটি সংশোধন করছে। ডেটার বিরক্তিকরতা হ'ল ফিশার তথ্য। যদি ডেটা ড্রাইভারকে ড্রাইভ করতে দেয় তবে ফিশারের তথ্য শূন্য; যদি ডেটা অবিচ্ছিন্নভাবে সংশোধন করে, তবে এটি বড়। এই অর্থে, ফিশার তথ্য তথ্য থেকে প্যারামিটারগুলিতে যাওয়া তথ্যের পরিমাণ।

আপনি যদি স্টিয়ারিং হুইলটিকে আরও সংবেদনশীল করে তো কী ঘটে তা বিবেচনা করুন। এটি একটি পুনঃনির্মাণের সমতুল্য। সেক্ষেত্রে গাড়িটি তদারকি করার ভয়ে ডেটা এত জোরে থাকতে চায় না। এই জাতীয় পুনঃনির্মাণগুলি ফিশারের তথ্য হ্রাস করে।

— নীল জি
সূত্র

@ নীলজির দুর্দান্ত উত্তর (+1) এর পরিপূরক এবং আপনার নির্দিষ্ট প্রশ্নগুলির সমাধান করতে:

আমি বলব এটি "ত্রুটি" এর পরিবর্তে "নির্ভুলতা" গণনা করে।

মনে রাখবেন যে এমএল অনুমানের ভিত্তিতে মূল্যায়ন হওয়া লগ-সম্ভাবনার হেসিয়ান হ'ল পর্যবেক্ষণ করা ফিশারের তথ্য। আনুমানিক স্ট্যান্ডার্ড ত্রুটিগুলি পর্যবেক্ষিত ফিশার তথ্য ম্যাট্রিক্সের বিপরীতটির তির্যক উপাদানগুলির বর্গাকার শিকড়। এটি থেকে ফিশার তথ্য থেকে প্রাপ্তি হ'ল ফিশার তথ্য ম্যাট্রিক্সের সন্ধান। প্রদত্ত যে ফিশার ইনফরমেশন ম্যাট্রিক্স হের্মিটিয়ান পজিটিভ-সেমিডেফিনাইট ম্যাট্রিক্স ম্যাট্রিক্স তারপর এর তির্যক এন্ট্রি real আসল এবং অ-নেতিবাচক; প্রত্যক্ষ ফলাফল হিসাবে এটি ট্রেস অবশ্যই ইতিবাচক হতে হবে। এর অর্থ হল যে আপনার দাবি অনুসারে আপনার কাছে কেবল "অ-আদর্শ" অনুমানক থাকতে পারে। সুতরাং না, একটি ইতিবাচক ফিশার তথ্য আপনার এমএলই কত আদর্শ তা সম্পর্কিত নয়। $I$ $I_{j,j}$ $tr(I)$

সংজ্ঞাটি উভয় ক্ষেত্রেই আমরা তথ্য ধারণার ব্যাখ্যা করি way যে বলে, দুটি পরিমাপ ঘনিষ্ঠভাবে জড়িত।

ফিশারের তথ্যের বিপরীতটি একটি নিরপেক্ষ অনুমানক ( ক্রোমার-রাও আবদ্ধ ) এর সর্বনিম্নতম বৈকল্পিক । সেই অর্থে তথ্য ম্যাট্রিক্স নির্দেশ করে যে আনুমানিক সহগগুলি সম্পর্কে তথ্যটিতে কতটা তথ্য রয়েছে। বিপরীতে শ্যানন এন্ট্রপিটি থার্মোডিনামিক্স থেকে নেওয়া হয়েছিল। এটি হিসাবে ভেরিয়েবলের একটি নির্দিষ্ট মানের তথ্যের বিষয়বস্তু সম্পর্কিত যেখানে মানটি গ্রহণের ভেরিয়েবলের সম্ভাবনা। উভয়ই একটি পরিবর্তনশীল "তথ্যবহুল" এর পরিমাপ। প্রথম ক্ষেত্রে যদিও আপনি এই তথ্যের যথাযথতার সাথে বিচার করছেন তবে দ্বিতীয় ক্ষেত্রে ব্যাঘাতের ক্ষেত্রে; বিভিন্ন দিক, একই মুদ্রা! : ডি $–p·log_2(p)$ $p$

পুনরুদ্ধার করার জন্য: এমএল অনুমানক মানগুলিতে মূল্যায়ন ফিশার তথ্য ম্যাট্রিক্সের বিপরীতটি হ'ল অ্যাসিমেটোটিক বা আনুমানিক কোভারিয়েন্স ম্যাট্রিক্স। এই এমএল অনুমানের মানগুলি স্থানীয় ন্যূনতম গ্রাফিকভাবে পাওয়া গেলে ফিশারের তথ্যটি দেখায় যে সেই ন্যূনতমটি কতটা গভীর এবং আপনার চারপাশে কতটা উইগল রুম রয়েছে। আমি এই পেপারটি লুत्ওয়াক এট আল-এর দ্বারা পেয়েছি। উপর ফিশার তথ্য ও Stam এর বৈষম্য এক্সটেনশানগুলি এই বিষয়ে একটি তথ্যপূর্ণ পঠিত। ফিশার ইনফরমেশন মেট্রিক এবং জেনসেন-শ্যানন ডাইভারজেন্সে উইকিপিডিয়া নিবন্ধগুলি আপনাকে শুরু করতে খুব ভাল। $I$

— usεr11852 বলেছেন মিনিকে রিইনস্টেট করুন
সূত্র