তথ্য তত্ত্ব ব্যতীত কুলব্যাক-লেবেলার বিচ্যুতি

Question

ক্রস যাচাইয়ের অনেক ট্রলিংয়ের পরেও আমি এখনও মনে করি না যে আমি তথ্য তত্ত্বের ক্ষেত্রের বাইরে কেএল ডাইভারজেন্স বোঝার আরও কাছাকাছি। ম্যাথ ব্যাকগ্রাউন্ডের কারও মতো তথ্য তত্ত্বের ব্যাখ্যাটি বোঝার পক্ষে এটি আরও সহজ খুঁজে পাওয়ার পক্ষে এটি অদ্ভুত।

একটি তথ্য তত্ত্বের পটভূমি থেকে আমার বোঝার বাহ্যরেখা: যদি আমাদের সীমিত সংখ্যক ফলাফলের সাথে একটি এলোমেলো পরিবর্তনশীল থাকে তবে একটি অনুকূল এনকোডিং উপস্থিত রয়েছে যা আমাদের সাথে গড়পড়তা সংক্ষিপ্ত বার্তা দিয়ে অন্য কারও সাথে ফলাফলটি যোগাযোগ করতে দেয় (আমি এটিকে সবচেয়ে সহজ বলে মনে করি) বিট পদে চিত্র)। ফলাফলটি জানানোর জন্য যে বার্তাটির প্রত্যাশিত দৈর্ঘ্যটি হবে তা প্রদত্ত যদি সর্বোত্তম এনকোডিং ব্যবহার করা হয়। আপনি যদি একটি সর্বোত্তম এনকোডিং ব্যবহার করতে চান তবে কেএল ডাইভার্জেন্স আমাদের বার্তাটি কত দীর্ঘ সময় দেবে তা গড়ে আমাদের জানান।

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

আমি এই ব্যাখ্যাটি পছন্দ করি কারণ এটি স্বজ্ঞাতভাবে কেএল ডাইভার্জেন্সের অসম্পূর্ণতার সাথে কাজ করে। আমাদের যদি দুটি পৃথক সিস্টেম থাকে, অর্থাত্ দুটি লোড হওয়া কয়েন যা আলাদাভাবে লোড হয়, তাদের আলাদা আলাদা অনুকূল এনকোডিং থাকবে। আমি কোনওভাবেই সহজাতভাবে অনুভব করি না যে প্রথমটির জন্য দ্বিতীয় সিস্টেমের এনকোডিংটি দ্বিতীয়টির জন্য প্রথম সিস্টেমের এনকোডিংটি ব্যবহার করা "সমানভাবে খারাপ"। কীভাবে আমি নিজেকে বুঝিয়েছি এই চিন্তার প্রক্রিয়াটি না পেরে আমি এখন যথেষ্ট খুশি যে এর জন্য এর এনকোডিং ব্যবহার করার সময় আপনাকে এই "অতিরিক্ত প্রত্যাশিত বার্তার দৈর্ঘ্য" দেয় ।কিউ

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

তবে, উইকিপিডিয়াসহ কেএল ডাইভার্জেন্সের বেশিরভাগ সংজ্ঞা তখন বিবৃতি দেয় (এটিকে পৃথক শর্তে রেখে যাতে এটি তথ্যের তত্ত্বের ব্যাখ্যার সাথে তুলনা করা যায় যা বিট হিসাবে বিচ্ছিন্ন পদগুলিতে আরও ভাল কাজ করে) যে আমাদের যদি দুটি পৃথক সম্ভাবনা থাকে বিতরণ, তারপরে কেএল "তারা কতটা আলাদা" এর কিছু মেট্রিক সরবরাহ করে। এই দুটি ধারণাটি কীভাবে সম্পর্কিত, তার একটিমাত্র ব্যাখ্যা আমি এখনও দেখতে পাইনি। অনুমান সম্পর্কিত তাঁর বইটিতে আমার মনে আছে, ডেভ ম্যাকে কীভাবে ডেটা সংক্ষেপণ এবং অনুমানগুলি মূলত একই জিনিসটি সম্পর্কে পয়েন্টগুলি তৈরি করে এবং আমার সন্দেহ হয় যে আমার প্রশ্নটি সত্যই এর সাথে সম্পর্কিত।

তা যাই হোক না কেন তা নির্বিশেষে আমার মনে যে ধরণের প্রশ্ন রয়েছে তা অনুমানের সমস্যাগুলির চারপাশে। (বিষয়গুলি পৃথক করে রাখা), যদি আমাদের কাছে দুটি তেজস্ক্রিয় নমুনা থাকে এবং আমরা জানি যে এর মধ্যে একটি হল নির্দিষ্ট তেজস্ক্রিয়তা সহ একটি নির্দিষ্ট উপাদান (এটি সন্দেহজনক পদার্থবিজ্ঞান তবে মহাবিশ্বটি এর মতো কাজ করে দেখায়) এবং সুতরাং আমরা "সত্য" বিতরণটি জানি তেজস্ক্রিয় ক্লিকের আমাদের পরিমাপ করা উচিত জ্ঞাত- সহ পোষোনিয়ান হওয়া উচিত , উভয় নমুনার জন্য একটি অনুশীলনমূলক বিতরণ তৈরি করা এবং তাদের কেএল ডাইভারজেন্সগুলি পরিচিত বন্টনের সাথে তুলনা করা এবং নীচের অংশে উপাদানটি হওয়ার সম্ভাবনা কম বলে মনে করা উচিত?$\lambda$

সন্দেহজনক পদার্থবিজ্ঞান থেকে দূরে সরে যাওয়া, যদি আমি জানি যে একই ডিস্ট্রিবিউশন থেকে দুটি নমুনা টানা হয়েছে তবে আমি জানি যে তারা এলোমেলোভাবে নির্বাচিত হয়নি, তাদের কেএল ডাইভার্জেন্সগুলি পরিচিতের সাথে তুলনা করবে, বিশ্বব্যাপী বিতরণ আমাকে নমুনা "কতটা পক্ষপাতদুষ্ট" করার জন্য অনুভূতি দেয় , যাইহোক এক এবং অন্যের তুলনায়?

এবং শেষ অবধি, যদি পূর্ববর্তী প্রশ্নের উত্তর হ্যাঁ হয়, তবে কেন? তথ্য তত্ত্বের সাথে কোনও (সম্ভবত ধনাত্মক) সংযোগ না করে একা একটি পরিসংখ্যানিক দৃষ্টিকোণ থেকে এই বিষয়গুলি বোঝা সম্ভব?

Comments

আমার উত্তরটি এখানে দেখুন: stats.stackexchange.com/questions/188903/… যা তথ্য তত্ত্বের উল্লেখ করে না

— kjetil b halvorsen

কেএল ডাইভার্জেন্স কি খালি তথ্য তাত্ত্বিক ধারণা নয়? আমি জানি এটি কোনও বায়েশিয়ান পূর্ববর্তী ও উত্তরোত্তর বা এরকম কিছুগুলির মধ্যে পারস্পরিক তথ্য দেয় এবং আমি ফেনচেল রূপান্তর / কনজুগেটস (বৃহত বিচ্যুতি তত্ত্ব) এর প্রসঙ্গে এটি একবার দেখেছি মনে আছে তবে কোনও ক্ষেত্রেই আমি এটি একটি তথ্য তাত্ত্বিক ধারণা বলে মনে করেছি ।

— চিল

Answer 1

একটি নমুনা নেওয়া আছে: Kullback-Leibler বিকিরণ করার জন্য একটি বিশুদ্ধরূপে পরিসংখ্যানগত পন্থা একটি অজানা বন্টন থেকে IID পি ⋆ এবং ডিস্ট্রিবিউশন একটি পরিবার দ্বারা সম্ভাব্য হইয়া বিবেচনা, এফ = { P $X_1,\ldots,X_n$$p^\star$ সম্পর্কিত সম্ভাবনাটি এল ( θ | x 1 , … , x n ) = n ∏ i = 1 পি θ ( এক্স i ) হিসাবে সংজ্ঞায়িত করা হয়েছে এবং এর লোগারিদমটি ℓ ( θ | x 1 , … , x n) ) = n ∑ i = 1 লগ পি θ ( x আমি

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ অতএব, যা p θ এবং p ⋆ H ( p θ | p ⋆ ) Def = ∫ লগ { পি ⋆ ( এক্স ) / পি θ ( এক্স ) between এর মধ্যে কুলব্যাক-লেবেলার বিচরণের আকর্ষণীয় অংশ $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ অন্যান্য অংশ ∫ লগ { পি ⋆ ( এক্স ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ সেখানে হচ্ছে [ন্যূনতম আছে θ এর] এইচ ( পি θ | পি ⋆ ) শূন্য সমান। $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

একটি বই যা ডাইভার্জেনশন, তথ্য তত্ত্ব এবং পরিসংখ্যানিক অনুক্রমকে সংযুক্ত করে সেটি হ'ল রিসেনেনের পরামিতিগুলির অনুকূল অনুমান , যা আমি এখানে পর্যালোচনা করেছি ।

Comments

এর সংখ্যাসূচক উদাহরণ দেখার কোন সম্ভাবনা?

— পল উজ্জাক

ঠিক আছে মানে আমি কিছু আসল সংখ্যা দেখছি। থিওরি সুন্দর তবে বিশ্ব সংখ্যা অনুসারে চলে। কেএল ডাইভার্জেন্সের কোনও উদাহরণ নেই যা প্রকৃত সংখ্যা ব্যবহার করে, তাই আমি এই সিদ্ধান্তে টানছি যে এটি কোনও সম্ভাব্য প্রয়োগ ছাড়াই একটি তত্ত্ব। বিপি এবং ডেটা সংকোচনে বার্তাগুলির দৈর্ঘ্য নিয়ে আলোচনা করেছে OP আমি এমন কোনও উদাহরণের উল্লেখ করছিলাম যার এতে বেশ কয়েকটি বিট ছিল ...

— পল উসযাক

@ পলিউসাক: যদি আমি আপনাকে বলি যে এন (0,1) এবং একটি এন (1,1) বিতরণের মধ্যে কুল্ল্যাকব্যাক-লেবেলারের দূরত্ব 1/2, তবে কীভাবে এই সাহায্য করবে?

— শি'য়ান

@ শি'য়ান: অবশ্যই সেই সম্ভাবনা অনুপাত পরীক্ষার 1//২ নম্বর এবং পাওয়ার মধ্যে কিছু সংযোগ থাকতে হবে?

— কেজেটিল বি হালওয়ারসেন

+1 মন্তব্যের থ্রেডটি পুনরায়: মন এই চিন্তায় বিচলিত হয় যে কোনও ধারণা যা "বিটের সংখ্যায়" হ্রাস করা যায় না তা অকেজো।

— whuber

Answer 2

এখানে কুলব্যাক-লেবেলার বিচরণের একটি পরিসংখ্যানগত ব্যাখ্যা দেওয়া হয়েছে, আইজে গুডের কাছ থেকে আলগাভাবে নেওয়া হয়েছে ( প্রমাণের ওজন: একটি সংক্ষিপ্ত সমীক্ষা , বায়েসিয়ান পরিসংখ্যান 2, 1985)।

প্রমাণ ওজন।

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

$x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

$x$$W(x)$$W(x) > 2$

কুলব্যাক-লেবলার ডাইভারজেন্স

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Answer 3

এই দুটি ধারণাটি কীভাবে সম্পর্কিত, তার একটিমাত্র ব্যাখ্যা আমি এখনও দেখতে পাইনি।

আমি তথ্য তত্ত্ব সম্পর্কে খুব বেশি জানি না, তবে আমি এটি সম্পর্কে এইভাবেই চিন্তা করি: যখন আমি কোনও তথ্য তত্ত্বের লোক শুনতে পাই "বার্তার দৈর্ঘ্য", তখন আমার মস্তিষ্ক বলে "অবাক"। আশ্চর্য হ'ল 1.) এলোমেলো এবং 2.) বিষয়গত।

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

"তারা কতটা আলাদা" সে সম্পর্কে চিন্তা না করে আমি "ভুল বিতরণ ব্যবহার করে প্রত্যাশিত আশ্চর্য বৃদ্ধি" নিয়ে ভাবি। এটি সমস্ত লগারিদমের বৈশিষ্ট্য থেকে।

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

সম্পাদন করা

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

সম্পাদনা 2: দেখে মনে হচ্ছে যে আমিই একা নন যিনি এটিকে "আশ্চর্য" হিসাবে মনে করেন। থেকে এখানে :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$

Comments

$-\log(q(x))$$q$

$T$$T(X) = aX$$a \not = 0$$T$$T(x)$$x$$T(x)$$x$$-\log q_{T(X)}(T(x)) > -\log q_X (x)$

$(X - E[X])^2$