তথ্য লাভ, পারস্পরিক তথ্য এবং সম্পর্কিত ব্যবস্থা

33

অ্যান্ড্রু মোর তথ্য প্রাপ্তির সংজ্ঞা দেয় :

$IG(Y|X) = H(Y) - H(Y|X)$

যেখানে $H(Y|X)$ হচ্ছে শর্তসাপেক্ষ এনট্রপি । তবে উইকিপিডিয়া উপরের পরিমাণটিকে পারস্পরিক তথ্য বলে ।

অন্যদিকে উইকিপিডিয়া দুটি এলোমেলো ভেরিয়েবলের মধ্যে কুলব্যাক – লেবলার ডাইভারজেন্স (ওরফে ইনফরমেশন ডাইভারজেন বা আপেক্ষিক এনট্রপি) হিসাবে তথ্য প্রাপ্তির সংজ্ঞা দেয় :

$D_{KL}(P||Q) = H(P,Q) - H(P)$

যেখানে ক্রস-এনট্রপি $H(P,Q)$ হিসাবে সংজ্ঞায়িত করা হয়েছে ।

এই দুটি সংজ্ঞা একে অপরের সাথে বেমানান বলে মনে হচ্ছে।

আমি অন্যান্য লেখককে আরও দুটি সম্পর্কিত সম্পর্কিত ধারণা সম্পর্কে কথা বলতে দেখেছি, যথা: ডিফারেনশাল এন্ট্রপি এবং আপেক্ষিক তথ্য অর্জন।

এই পরিমাণগুলির মধ্যে সুনির্দিষ্ট সংজ্ঞা বা সম্পর্ক কী? এখানে কোনও ভাল পাঠ্যপুস্তক রয়েছে যা এগুলি সবকটি জুড়ে?

তথ্য লাভ
পারস্পরিক তথ্য
ক্রস এনট্রপি
শর্তসাপেক্ষ এনট্রপি
ডিফারেনশিয়াল এন্ট্রপি
সম্পর্কিত তথ্য প্রাপ্তি

information-theory

— আমেলিও ভাজকেজ-রেইনা
সূত্র

2

বিভ্রান্তি আরও বাড়ানোর জন্য, নোট করুন যে ক্রস এনট্রপির জন্য আপনি যে স্বরলিপিটি ব্যবহার করেছেন তাও যৌথ এনট্রপির জন্য ব্যবহৃত একই স্বরলিপি। আমি নিজেকে বিভ্রান্ত করতে না পারার জন্য ক্রস-এন্ট্রপির জন্য

ব্যবহার করেছি, তবে এটি আমার সুবিধার জন্য এবং আমি এই চিহ্নটি অন্য কোথাও দেখিনি।

H^{x} (P, Q)

$H^x(P, Q)$

— মাইকেল ম্যাকগোয়ান

24

আমি মনে করি যে কুলব্যাক-লেবলার ডাইভারজেন্সকে "তথ্য লাভ" বলা মানসম্মত নয়।

প্রথম সংজ্ঞাটি আদর্শ।

সম্পাদনা: তবে পারস্পরিক তথ্যও বলা যেতে পারে। $H(Y)−H(Y|X)$

মনে রাখবেন যে আমি মনে করি না যে আপনি এমন কোনও বৈজ্ঞানিক শৃঙ্খলা পাবেন যা সত্যই একটি প্রমিত, নির্ভুল এবং ধারাবাহিক নামকরণের স্কিম রয়েছে। সুতরাং আপনাকে সর্বদা সূত্রগুলি দেখতে হবে কারণ তারা সাধারণত আপনাকে আরও ভাল ধারণা দেবে।

পাঠ্যপুস্তক: দেখুন "বিভিন্ন ধরণের এন্ট্রপিতে ভাল পরিচিতি" ।

এছাড়াও: কসম্মা শালিজি: জটিল সিস্টেম বিজ্ঞানের পদ্ধতি ও কৌশল: একটি ওভারভিউ, থমাস এস ডাইসবোক এবং জে ইয়শা ক্রেশ (সংস্করণ) এর অধ্যায় 1 (pp। 33--114), বায়োমেডিসিনে কমপ্লেক্স সিস্টেমস বিজ্ঞান http: // arxiv.org/abs/nlin.AO/0307015

রবার্ট এম গ্রে: এন্ট্রপি এবং তথ্য থিয়োরি http://ee.stanford.edu/~gray/it.html

ডেভিড ম্যাকে: তথ্য তত্ত্ব, অনুমান এবং শিক্ষার অ্যালগরিদম http://www.inferences.phy.cam.ac.uk/mackay/itila/book.html

এছাড়াও, "" এনট্রপি এবং তথ্য অর্জন "কী?"

— wolf.rauch
সূত্র

ধন্যবাদ @ ওল্ফ। আমি এই উত্তরটি মানতে আগ্রহী। প্রথম সংজ্ঞাটি যদি মানসম্মত হয় তবে পারস্পরিক তথ্যকে আপনি কীভাবে সংজ্ঞায়িত করবেন?

— আমেলিও ওয়াজকেজ-রেইনা

2

দুঃখিত। প্রথম পরিমাণ,

প্রায়শই পারস্পরিক তথ্যও বলা হয়। এটি বেমানান নামকরণের একটি মামলা। যেমনটি আমি বলেছি, ধারণা এবং নামগুলির সাথে কোনও সামঞ্জস্যপূর্ণ, দ্ব্যর্থহীন, একের সাথে একটি চিঠিপত্র আছে বলে আমি মনে করি না। যেমন "মিউচুয়াল ইনফরমেশন" বা "ইনফরমেশন লাভ" কেএল ডাইভার্জেন্সের একটি বিশেষ ঘটনা, যাতে উইকিপিডিয়া নিবন্ধটি খুব বেশি দূরে নয়।

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

— wolf.rauch

4

$p(X,Y)$ এবং $P(X)P(Y)$ মধ্যে কুলব্যাক-লেবার ডাইভারজেন্স পারস্পরিক তথ্য হিসাবে একই, যা সহজেই পাওয়া যায়:

\begin{aligned} I (X; Y) & = H (Y) - H (Y ∣ X) \\ = - \sum_{y} p (y) \log p (y) + \sum_{x, y} p (x) p (y ∣ x) \log p (y ∣ x) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) \log p (y) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{x, y} p (x, y) \log p (y) \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) \log \frac{p (x, y)}{p (y) p (x)} \\ = D_{K L} (P (X, Y) ∣∣ P (X) P (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

$p(y) = \sum_x p(x,y)$

— ক্রিস এলগোগ
সূত্র

1

পারস্পরিক তথ্য হিসাবে কুলব্যাক-লেবলার ব্যবহার করে সংজ্ঞায়িত করা যেতে পারে

\begin{aligned} আমি (এক্স; ওয়াই) = {ডি}_{কে এল} (পি (এক্স, Y) | | পি (এক্স) পি (Y)) । \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

— yters
সূত্র

1

মেশিন লার্নিং মডেলকে প্রশিক্ষণের বৈশিষ্ট্য হিসাবে পাঠ্যগত ডেটাসেটগুলি থেকে পারস্পরিক তথ্য আহরণ করা: (কাজটি ছিল ব্লগারদের বয়স, লিঙ্গ এবং ব্যক্তিত্বের পূর্বাভাস দেওয়া)

— Krebto
সূত্র

1

উভয় সংজ্ঞা সঠিক, এবং সামঞ্জস্যপূর্ণ। আমি নিশ্চিত নই যে আপনি একাধিক পয়েন্ট উল্লেখ করেছেন যেগুলি স্পষ্টকরণের প্রয়োজন হতে পারে you

প্রথমত : $MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ একই জিনিস জন্য সমস্ত পৃথক নাম। প্রেক্ষাপটের এই নামগুলি এক বাঞ্ছনীয় হতে পারে, আমি এটা hereon ডাকব তথ্য ।

দ্বিতীয় দফা মধ্যে সম্পর্ক Kullback-Leibler বিকিরণ - $D_{KL}$ , এবং তথ্য । কুলব্যাক – লাইবলার ডাইভারজেন্স কেবল দুটি বিতরণের মধ্যে পার্থক্যের একটি পরিমাপ। তথ্য ডিস্ট্রিবিউশন এই পরিপ্রেক্ষিতে সংজ্ঞায়িত করা যায় '(প্রতিক্রিয়া অনৈক্য Yters দেখতে')। সুতরাং তথ্য একটি বিশেষ ক্ষেত্রে $K_{LD}$ , কোথায় $K_{LD}$ দুটি ভেরিয়েবলের প্রকৃত যৌথ বন্টন (যা তাদের নির্ভরতা ক্যাপচার করে ) এবং একই ভেরিয়েবলের অনুমানমূলক যৌথ বন্টনের মধ্যে পার্থক্য মাপার জন্য প্রয়োগ করা হয়, তারা যদি স্বাধীন হত । আমরা যে পরিমাণ তথ্য কল ।

তৃতীয় নির্মল বিন্দু যদিও মান সঙ্গতিহীন স্বরলিপি , ব্যবহৃত হচ্ছে যথা যে $\operatorname{H} (X,Y)$ is both the notation for Joint entropy and for Cross-entropy as well.

So, for example, in the definition of Information:

\begin{aligned} I (X; Y) & \equiv H (X) - H (X | Y) \\ \equiv H (Y) - H (Y | X) \\ \equiv H (X) + H (Y) - H (X, Y) \\ \equiv H (X, Y) - H (X | Y) - H (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$ in both last lines,

H (X, Y)

$\operatorname{H}(X,Y)$ is the joint entropy. This may seem inconsistent with the definition in the Information gain page however:

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$ but you did not fail to quote the important clarification -

H (P, Q)

$\operatorname{H}(P,Q)$ is being used there as the cross-entropy (as is the case too in the cross entropy page).

Joint-entropy and Cross-entropy are NOT the same.

Check out this and this where this ambiguous notation is addressed and a unique notation for cross-entropy is offered - $H_q(p)$

I would hope to see this notation accepted and the wiki-pages updated.

— אלימלך שרייבר
সূত্র

wonder why the equations are not displayed properly..

— Shaohua Li