কুলব্যাক-লেবলার দূরত্বের একটি অভিযোজন?

Question

এই ছবি তাকান:

যদি আমরা লাল ঘনত্ব থেকে একটি নমুনা আঁকি তবে কিছু মান 0.25 এর থেকে কম আশা করা যায় তবে নীল বিতরণ থেকে এই জাতীয় নমুনা তৈরি করা অসম্ভব। ফলস্বরূপ, লাল ঘনত্ব থেকে নীল ঘনত্বের কুলব্যাক-লেবেলারের দূরত্ব অনন্ত। যাইহোক, দুটি বাঁকানো কিছু "প্রাকৃতিক অর্থে" তেমন আলাদা নয়।

এখানে আমার প্রশ্ন: এটি কি কুলব্যাক-লেবেলারের দূরত্বটির এমন একটি অভিযোজন যা অস্তিত্বের সাথে এই দুটি বক্ররেখার মধ্যে সীমাবদ্ধ দূরত্বের অনুমতি দেয়?

Comments

কোন "প্রাকৃতিক অর্থে" এই বক্ররেখাগুলি "যে আলাদা নয়"? এই স্বজ্ঞাত নৈকট্য কিভাবে কোনও পরিসংখ্যানগত সম্পত্তির সাথে সম্পর্কিত? (আমি বিভিন্ন উত্তর মনে করতে পারেন কিন্তু অবাক হচ্ছি তুমি কি মনে আছে।)

— whuber

ভাল ... তারা উভয় ইতিবাচক মানের উপর সংজ্ঞায়িত করা হয় যে অর্থে একে অপরের খুব কাছাকাছি; তারা উভয় বৃদ্ধি এবং তারপর হ্রাস; উভয়েরই একই প্রত্যাশা থাকে; এবং কুলব্যাক লেবেলারের দূরত্বটি "ছোট" যদি আমরা এক্স-অক্ষের একটি অংশে সীমাবদ্ধ রাখি ... তবে এই স্বজ্ঞাত ধারণাটি কোনও পরিসংখ্যানগত সম্পত্তির সাথে সংযুক্ত করার জন্য, এই বৈশিষ্ট্যগুলির জন্য আমার কিছু কঠোর সংজ্ঞা প্রয়োজন ...

— অক্রাম

en.wikipedia.org/wiki/Statistical_distance

— Memming

Answer 1

আপনি ডিভ্রয়ে, গাইরফি এবং লুগোসির অধ্যায় 3 এ দেখবেন, প্যাটার্ন রিকগনিশন , প্রপ্রঞ্জার, প্রব্যাবিলিস্টিক থিওরি , স্প্রিংগার, 1996 দেখুন। বিশেষত, ডাইভারজেন্সির বিভাগটি দেখুন।$f$

$f$ ডাইভারজেন্সগুলি কুলব্যাকের সাধারণীকরণ হিসাবে দেখা যেতে পারে - লেবেলারের (বা, বিকল্পভাবে, কেএলকে একটি ডাইভারজেনের একটি বিশেষ ক্ষেত্রে হিসাবে দেখা যেতে পারে )।$f$

সাধারণ ফর্মটি হ'ল

$$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$$

যেখানে এমন একটি পরিমাপ যা এবং এবং সাথে যুক্ত পদক্ষেপগুলিকে প্রাধান্য দেয় একটি উত্তল ক্রিয়া যা সন্তুষ্টকারী । (যদি এবং লেবেসগু পরিমাপের ক্ষেত্রে ঘনত্ব হয় তবে কেবল জন্য নোটেশন প্রতিস্থাপন করুন এবং আপনি যেতে ভাল))p q f ( ⋅ ) f ( 1 ) = 0 p ( x ) q ( x ) d x λ ( d x $\lambda$$p$$q$$f(\cdot)$$f(1) = 0$$p(x)$$q(x)$$dx$$\lambda(dx)$

আমরা নিয়ে কেএল পুনরুদ্ধার করি । আমরা মাধ্যমে হেলিংগার পার্থক্য পেতে পারি এবং আমরা নিয়ে মোট-প্রকরণ বা দূরত্ব পেতে পারি। পরেরটি দেয়f ( x ) = ( 1 - $f(x) = x \log x$এল1এফ(এক্স)=$f(x) = (1 - \sqrt{x})^2$$L_1$$f(x) = \frac{1}{2} |x - 1|$

$$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$$

মনে রাখবেন যে এটি সর্বশেষে অন্তত একটি সীমাবদ্ধ উত্তর দেয়।

ঘনত্বের প্রাক্কলন: দ্য ভিউ$L_1$ শিরোনামের আরেকটি ছোট বইতে তার দুর্দান্ত দূরত্বের বৈশিষ্ট্যগুলির কারণে (অন্যদের মধ্যে) এই ব্যবহারের জন্য যুক্তি । এই পরবর্তী বইটি সম্ভবত আগেরটির চেয়ে বেশি শক্তিশালী এবং শিরোনামের পরামর্শ অনুসারে, আরও কিছুটা বিশেষায়িত।

---

সংযোজন : এই প্রশ্নটির মাধ্যমে , আমি সচেতন হয়েছি যে এটি প্রদর্শিত হয় যে @ ডিডিয়ার প্রস্তাব করেছেন যে পদক্ষেপটি (ধ্রুবক পর্যন্ত) জেনসেন-শ্যানন ডাইভারজেন হিসাবে পরিচিত। যদি আপনি এই প্রশ্নের প্রদত্ত উত্তরের লিঙ্কটি অনুসরণ করেন, আপনি দেখতে পাবেন যে এই পরিমাণটির বর্গমূল আসলে একটি মেট্রিক এবং পূর্বে সাহিত্যে একটি বিভাজনের বিশেষ ক্ষেত্রে হিসাবে স্বীকৃত ছিল । আমি এটি আকর্ষণীয় বলে মনে করেছি যে আমরা মনে করি এই প্রশ্নটির আলোচনার মাধ্যমে আমরা সম্মিলিতভাবে চাকাটিকে "পুনর্বহাল" করেছি (বরং দ্রুত)। @ ডিডিয়ারের প্রতিক্রিয়াটি নীচের মন্তব্যে আমি যে ব্যাখ্যাটি দিয়েছি তা আগেও স্বীকৃত ছিল। চারদিকে, এক ধরণের ঝরঝরে প্রকৃতপক্ষে।$f$

Comments

খুব সুন্দর! আমি "প্যাটার্ন রিকগনিশন এর একটি সম্ভাব্য থিওরি" সন্ধান করার এবং এর ৩ য় অধ্যায়টি বোঝার চেষ্টা করতে যাচ্ছি!

— ocram

ভাল উত্তর, নোট করুন যে প্রায়শই another কে অন্যভাবে সংজ্ঞায়িত করা হয় যা এটি দূরত্বকে অর্ধেক করে । এল $D_{TV}$$L_1$

— রবিন গিরার্ড

@ আরবিন, আপনার মন্তব্যের জন্য ধন্যবাদ হ্যাঁ, আমি এটা বুঝতে পারি আমি কেবল এক্সপোশনে কোনও অগোছালো বাহ্যিক ধ্রুবক এড়ানোর চেষ্টা করছিলাম। তবে, কঠোরভাবে বলতে গেলে, আপনি সঠিক। আমি সে অনুযায়ী আপডেট করেছি।

— কার্ডিনাল

আপনার পরিসংখ্যান হ'ল স্ট্যাটিস.এসইতে এখন পর্যন্ত যে তথ্যটি পড়েছি তার মধ্যে সবচেয়ে দরকারী অংশ। এর জন্য আমার সমস্ত উষ্ণ ধন্যবাদ। : আমি কেবল এখানে রেফারেন্স আপনার দেওয়া পুনর্গঠন research-repository.st-andrews.ac.uk/bitstream/10023/1591/1/... Endres এবং Schindelin, সম্ভাব্যতা ডিস্ট্রিবিউশন জন্য একটি নতুন মেট্রিক, আইইইই ট্রান্স। তথ্য। তোমার. , খণ্ড। 49, না। 3, জুলাই 2003, পৃষ্ঠা 1858-1860।

— কি

@ ডিডিয়ার, ভাল, এটি অন্য যে কোনও কিছুর চেয়ে বেশি আনন্দময় দুর্ঘটনা ছিল। কেউই অন্য প্রশ্নের জবাব দিচ্ছিল না, তাই আমি জেনসেন-শ্যানন ডাইভারজেনটি প্রথম স্থানে রয়েছে তা বের করার চেষ্টা করার সিদ্ধান্ত নিয়েছিলাম। একবার আমি সংজ্ঞাটি পেয়ে গেলে, আমার সংযোজনের মাধ্যমে দুটি প্রশ্নকে যুক্ত করা যুক্তিসঙ্গত বলে মনে হয়েছিল। আপনি এটি দরকারী হিসাবে খুশি। শুভেচ্ছা।

— কার্ডিনাল

Answer 2

Kullback-Leibler বিকিরণ এর থেকে সম্মান সঙ্গে অসীম যখন থেকে সম্মান সঙ্গে একেবারে একটানা নয় , যে যখন একটি পরিমাপযোগ্য সেট বিদ্যমান যেমন যে এবং । তবুও কেএল ডাইভার্জেনসটি প্রতিসম নয়, এই অর্থে যে সাধারণভাবে । মনে রাখবেন যে এই উভয় ত্রুটিগুলি থেকে বেরিয়ে আসার একটি উপায়, এখনও কেএল ডাইভারজেন্সের উপর ভিত্তি করে মিডপয়েন্ট প্রবর্তন করা এভাবে$\kappa(P|Q)$$P$$Q$$P$$Q$$A$$Q(A)=0$$P(A)\ne0$$\kappa(P\mid Q)\ne\kappa(Q\mid P)$

$$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$$ আরপিকিউআরপিকিআর আরη(পি,কিউ)=κ(পি∣আর)+κ(কিউ∣আর) $$R=\tfrac12(P+Q).$$ $R$একটি সম্ভাব্যতা পরিমাপ, এবং এবং সবসময় সম্মান সঙ্গে একেবারে একটানা হয় । সুতরাং যে কেউ এবং মধ্যে "দূরত্ব" বিবেচনা করতে পারেন , এখনও কেএল ডাইভারজেন্সের ভিত্তিতে কিন্তু ব্যবহার করে , হিসাবে সংজ্ঞায়িত করেছেন তারপর নন-নেগেটিভ এবং প্রতি জন্য সসীম হয় এবং , অর্থে প্রতিসম যে যে জন্য এবং , এবং যদি ।$P$$Q$$R$$P$$Q$$R$ $$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$$ $\eta(P,Q)$$P$$Q$$\eta$$\eta(P,Q)=\eta(Q,P)$$P$$Q$পি = $\eta(P,Q)=0$$P=Q$

সমতুল্য সূত্রটি হ'ল

$$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$$

সংযোজন 1 এবং এর মিডপয়েন্টের প্রবর্তনটি এই অর্থে স্বেচ্ছাচারী নয় যে যেখানে সম্ভাব্যতার পরিমাপের সেটটি সর্বনিম্ন।Q η ( পি , কিউ ) = $P$$Q$

$$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$$

সংযোজন 2 @cardinal মন্তব্য করেন যে এছাড়াও একটি হল -divergence, উত্তল ফাংশন জন্য $\eta$$f$

$$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$$

Comments

@ মার্কো, @ ডিডিয়ার পিয়াউ, এটি লক্ষ করা যেতে পারে যে @ ডিডিয়ারের পরামর্শটি xversion এর আরও একটি বিশেষ ক্ষেত্রে যেখানে । $f$$f(x) = x \log x - (1+x) \log( \frac{1+x}{2} )$

— কার্ডিনাল

@ মার্কো, @ ডিডিয়ার পিয়াউ, একটি বিকল্প সূত্র যা কিছু উদ্রেককারী প্রকৃতি হ'ল হ'ল এবং তাই যেখানে । অন্য কথায়, "গড় পরিমাপের এনট্রপি এবং ব্যবস্থাগুলির গড় এনট্রপি "।$\eta(P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H(R) - (H(P) + H(Q))$$\eta(P,Q) = 2 ( H(\mu(P,Q)) - \mu(H(P), H(Q))$$\mu(x,y) = \frac{x+y}{2}$$\frac{1}{2} \eta(P,Q)$

— কার্ডিনাল

এটি কি শুধু জেনসন-শ্যানন ডাইভারজেন্স নয়?

— স্মরণ করা হচ্ছে

মনে হচ্ছে ।

— কি

"যেখানে সম্ভাব্যতার পরিমাপের সেটটি সর্বনিম্নের চেয়ে বেশি" " আমি জেনসেন-শ্যানন ডাইভার্জের এই বৈশিষ্ট্যটি পছন্দ করি। কোথাও এর প্রমাণ আছে?

— ব্যবহারকারী 76284

Answer 3

Kolmogorov দূরত্ব দুই ডিস্ট্রিবিউশন মধ্যে এবং তাদের CDFs এর চুমুক দিয়া পান আদর্শ নেই। (এটি সিডিএফগুলির দুটি গ্রাফের মধ্যে বৃহত্তম লম্বালম্বীয় তাত্পর্যপূর্ণ।) এটি বিতরণ পরীক্ষায় ব্যবহৃত হয় যেখানে একটি অনুমানযুক্ত বিতরণ এবং একটি ডেটাসেটের অভিজ্ঞতাগত বিতরণ ফাংশন।$P$$Q$$P$$Q$

কেএল দূরত্বের এটি "অভিযোজন" হিসাবে চিহ্নিত করা শক্ত, তবে এটি "প্রাকৃতিক" এবং সসীম হওয়ার অন্যান্য প্রয়োজনীয়তাগুলি পূরণ করে।

ঘটনাচক্রে, যেহেতু কেএল ডাইভার্জেনশন সত্য "দূরত্ব" নয়, আমাদের দূরত্বের সমস্ত অ্যাক্সিয়োম্যাটিক বৈশিষ্ট্য সংরক্ষণ করার বিষয়ে চিন্তা করতে হবে না। কিছু সীমাবদ্ধ মান জন্য যেকোন একজাতীয় রূপান্তর প্রয়োগ করে মানগুলি সীমাবদ্ধ করার সময় আমরা অ-নেতিবাচক সম্পত্তি বজায় রাখতে পারি । বিপরীতমুখী স্পর্শক উদাহরণস্বরূপ সূক্ষ্ম কাজ করবে।$\mathbb{R_+} \to [0,C]$$C$

Comments

কলমোগোরভ দূরত্ব সম্পর্কে আপনার পরামর্শের জন্য আপনাকে ধন্যবাদ। আপনি কি একঘেয়ে রূপান্তর সম্পর্কে আপনার মন্তব্যকে আরও কিছুটা স্পষ্ট করে বলতে পারেন? ধন্যবা

— ocram

@ মার্কো আমি বুঝতে পারছি না যে কীভাবে আরও স্পষ্ট হতে পারে। আপনি কি বোঝাতে চেয়েছেন যে আমি কী লিখেছি a বা মতো সূত্রের ক্ষেত্রে সাথে সমস্ত জন্য বোঝায় ? $\arctan(KL(P,Q))$$f(KL(P,Q))$$f:\mathbb{R_+} \to [0,C]$$x \ge y$$f(x) \ge f(y)$$x,y \ge 0$

— হোয়বার

হ্যাঁ, এটাই আমার অর্থ :-) রূপান্তরটি কীভাবে প্রয়োগ করতে হবে তা সম্পর্কে আমি নিশ্চিত ছিলাম না। এখন, এটি পরিষ্কার, thx

— oc

@ মার্কো: আমি হারিয়ে গেছি। আপনি কি কোলমোগোরভ দূরত্বের জন্য মীমাংসা করেন (যা সর্বদা সীমাবদ্ধ তবে কেএল ডাইভারজেন্সের সাথে কিছু মিল নেই)? অথবা কেএল ডাইভারজেনের (যেমন ) একচেটিয়া রূপান্তরকরণের জন্য ? আপনার পোস্টের উদাহরণে (এবং অন্য কোনও ক্ষেত্রে একেবারে অবিচ্ছিন্ন উদাহরণ নয়), পরবর্তীটি রূপান্তরটির শীর্ষস্থান তৈরি করে ( যদি আপনি স্থির করেন তবে )। বাস্তবে, এগুলি সম্ভাব্যতাগুলির দূরত্ব নির্ধারণের যে ধারণাটি তারা অনেক দূরে রয়েছেন তার চেয়ে আরও স্পষ্টতই এড়িয়ে যায় (আপনি এটিকে দ্বারা এনকোড করেন কিনা বা অপ্রাসঙ্গিক)। $\arctan$$\pi/2$$\arctan$$\pi/2$$+\infty$

— করেছেন

@ ডিডিয়ার হ্যাঁ, রূপান্তরকৃত কেএল ডাইভারজেন্স (যখন আপনি বর্ণনা করেছেন প্রতিসামগ্রী করা) ত্রিভুজ বৈষম্য পূরণ করতে পারে না এবং তাই এটি কোনও দূরত্ব হতে পারে না, তবে এটি এখনও টপোলজিকে সংজ্ঞায়িত করবে (যা সম্ভবত প্রশংসনীয় হবে)) আপনি এর দ্বারা অল্প কিছু বা কিছু ত্যাগ করবেন। আমি এগুলির যে কোনও কিছুর যোগ্যতা সম্পর্কে অজ্ঞেয় রয়েছি: আমার কাছে মনে হয় এটি প্রথম স্থানে কেএল ডাইভার্জেন্সের অসীম মূল্যবোধগুলির সাথে সম্পর্কিত অসুবিধাগুলি নিয়ে মাথা ঘোরানোর এক উপায় মাত্র।

— whuber

Answer 4

হ্যাঁ, বার্নার্ডো এবং রেউদা এমন কিছু সংজ্ঞায়িত করেছেন যা "অন্তর্গত বিভেদ" নামে অভিহিত হয় যা সমস্ত উদ্দেশ্যেই কেএল-ডাইভারজেন্সের একটি "প্রতিসম" সংস্করণ is থেকে কেএল বিকিরণ গ্রহণ থেকে হতে স্বকীয় অমিল দেওয়া হয়:$P$$Q$$\kappa(P \mid Q)$

$$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$$

অভ্যন্তরীণ তাত্পর্য (বা বাইসিয়ান রেফারেন্সের মানদণ্ড) অনুসন্ধান করা আপনাকে এই পরিমাপের জন্য কিছু নিবন্ধ দেবে।

আপনার ক্ষেত্রে, আপনি কেবল সীমাবদ্ধ কেএল-ডাইভার্জেনশন নেবেন।

কেএল-এর আর একটি বিকল্প ব্যবস্থা হেল্পিংজার দূরত্ব

সম্পাদনা: স্পষ্টকরণ, কিছু মন্তব্য উত্থাপিত পরামর্শ দেয় যে একটি ঘনত্ব 0 যখন অন্যটি না হয় তখন অভ্যন্তরীণ তাত্পর্য সীমাবদ্ধ হবে না। যদি শূন্য ঘনত্বের মূল্যায়ন করার অপারেশনটি সীমা বা হিসাবে চালিত হয় তবে এটি সত্য নয় । সীমাটি সুনির্দিষ্টভাবে সংজ্ঞায়িত করা হয়েছে এবং কেএল ডাইভারজেন্সগুলির মধ্যে একটির জন্য এটি টির সমান , অপরটি প্রসারিত হবে। এই নোটটি দেখতে:$Q\rightarrow 0$ $P\rightarrow 0$ $0$

$$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$$

ইন্টিগ্রালের একটি অঞ্চলে হিসাবে সীমা নেওয়া , দ্বিতীয় অবিচ্ছেদ্য ডাইভারেজ হয় এবং প্রথম অবিচ্ছেদ্য এই অঞ্চলে রূপান্তরিত হয় (শর্তগুলি ধরে নেওয়া হয় যে এটি সীমা এবং একীকরণের বিনিময় করতে পারে)। এটি কারণ । মধ্যে প্রতিসাম্য কারণে এবং ফলাফলের এছাড়াও ঝুলিতে ।$P\rightarrow 0$$0$$\lim_{z\rightarrow 0} z \log(z) =0$$P$$Q$$Q$

Comments

এমনকি এবং বিপরীতে ধনাত্মক সম্ভাবনার সাথে শূন্য হলে এমনকি "অভ্যন্তরীণ বৈষম্য" অসীম হবে , এমনকি যদি এবং অন্যভাবে অভিন্ন হয়। $P$$Q$$P$$Q$

— শুক্র

হ্যাঁ ... আমি আশঙ্কা করছি যে অভ্যন্তরীণ তাত্পর্যটি প্রয়োজনীয়তাটি পূরণ করে না। তবে পরামর্শের জন্য আপনাকে ধন্যবাদ। অন্য কোনও পরামর্শ প্রশংসা করা হবে।

— ocram

এটি প্রয়োজনীয়তাটি পূরণ করে, যদি আপনি নীল ঘনত্বের সমর্থনকে সীমাবদ্ধ করেন যেখানে এটির জন্য যেমন ইতিবাচক সমর্থন রয়েছে ঠিক তেমনই আপনার যেমন রেড (> 0) রয়েছে

— সম্ভাব্যতা ব্লগ

@ প্রোব্যাবিলিটিস্লোগিক: আমি আপনার শেষ মন্তব্যটি বোঝার চেষ্টা করি না। প্রথমে, আসুন আমরা জড়িত ধারণার তাদের সঠিক নাম করা যাক বলবো যে, থেকে সম্মান সঙ্গে একেবারে অবিচ্ছিন্ন (জাগতিক ) যদি, যে পরিমাপযোগ্য জন্য , বোঝা । এখন, আপনার কিছুটা রহস্যময় (আমার কাছে) সীমাবদ্ধতার বিবেচনা সত্ত্বেও, আপনার সীমাবদ্ধ যদি ইফ বা । ... / ...$P$$Q$$P\ll Q$$A$$Q(A)=0$$P(A)=0$$\delta(P,Q)$$P\ll Q$$Q\ll P$

— কি

... / ... যে খাঁজটি আপনাকে খনন করা হয়েছে বলে মনে হচ্ছে তার মধ্যবর্তী পয়েন্ট পরিমাপ প্রবর্তন করা হতে পারে । যেহেতু এবং , পরিমাণ সর্বদা সীমাবদ্ধ। তদ্ব্যতীত যদি এবং প্রতিসম হয়। সুতরাং প্রকৃতপক্ষে এবং মধ্যে এক ধরণের "দূরত্ব" পরিমাপ করে । $P+Q$$P\ll P+Q$$Q\ll P+Q$$\eta(P,Q):=\kappa(P|P+Q)+\kappa(Q|P+Q)$$\eta(P,Q)=0$$P=Q$$\eta$$\eta(P,Q)$$P$$Q$

— কি