কুলব্যাক – লেইবলার বনাম কোলমোগোরভ-স্মারনভ দূরত্ব

37

আমি দেখতে পাচ্ছি যে কুলব্যাক – লেইবলার বনাম কোলমোগোরভ-স্মারনভ দূরত্বের ব্যবস্থার মধ্যে প্রচুর আনুষ্ঠানিক পার্থক্য রয়েছে। তবে উভয়ই বিতরণের মধ্যকার দূরত্ব পরিমাপ করতে ব্যবহৃত হয়।

একটি সাধারণ পরিস্থিতি যেখানে অন্যটির পরিবর্তে একটি ব্যবহার করা উচিত?
এটা করার যৌক্তিকতা কি?

— গ্রেগ
সূত্র

একটি সম্পর্কিত প্রশ্ন: stats.stackexchange.com/questions/4/…

— গাবোরগুলিয়া

23

কেএল-ডাইভারজেন্স সাধারণত তথ্য-তাত্ত্বিক সেটিংস বা এমনকি বয়েশিয়ান সেটিংসে ব্যবহৃত হয়, উদাহরণস্বরূপ কিছু অনুমান প্রয়োগ করার আগে এবং পরে বিতরণের মধ্যে তথ্য পরিবর্তন পরিমাপ করতে। প্রতিসাম্য এবং ত্রিভুজ অসমতার অভাবের কারণে এটি আদর্শ (মেট্রিক) অর্থে কোনও দূরত্ব নয় এবং তাই এটি এমন জায়গায় ব্যবহার করা হয় যেখানে দিকনির্দেশটি অর্থবহ।

কেএস-দূরত্ব সাধারণত একটি প্যারামিমেট্রিক পরীক্ষার প্রসঙ্গে ব্যবহৃত হয়। আসলে, আমি খুব কমই এটিকে জেনেরিক "বিতরণের মধ্যবর্তী দূরত্ব" হিসাবে ব্যবহার করতে দেখেছি, যেখানে দূরত্ব, জেনসেন-শ্যানন দূরত্ব এবং অন্যান্য দূরত্বগুলি বেশি দেখা যায় common $\ell_1$

— সুরেশ ভেঙ্কটাসুব্রাহ্মণ্য
সূত্র

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

প্রকৃতপক্ষে. এটি একটি দুর্দান্ত উদাহরণ। এবং প্রকৃতপক্ষে চেরনফ-হয়েফডিংয়ের লেজ সীমানার বেশিরভাগ সাধারণ সংস্করণে কেএল-ডাইভারজেন্স ব্যবহার করে।

— সুরেশ ভেঙ্কটাসুব্রাহ্মণিয়াম

2

পূর্ববর্তী উত্তর হিসাবে একই জিনিসকে আরও সাধারণ লোকের শর্তে বলার আরেকটি উপায়:

কেএল ডাইভারজেন্স - প্রকৃতপক্ষে একে অপরের দুটি বিতরণে কতটা তাত্পর্য রয়েছে তার একটি পরিমাপ সরবরাহ করে। পূর্ববর্তী উত্তরের হিসাবে উল্লিখিত হিসাবে, এই পরিমাপটি যথোপযুক্ত নয় বলে এটি একটি উপযুক্ত দূরত্বের মেট্রিক নয়। অর্থাৎ ডিস্ট্রিবিউশন এ এবং বি এর মধ্যে দূরত্ব বি এবং এ এর বিতরণের দূরত্বের থেকে পৃথক মান is

কোলমোগোরভ-স্মারনভ পরীক্ষা - এটি একটি মূল্যায়ন মেট্রিক যা রেফারেন্স বিতরণের সাথে সম্পর্কিত পরীক্ষার বিতরণের সংখ্যামূলক বিতরণের মধ্যে সর্বাধিক বিভাজন দেখায়। অধিকন্তু, আপনি এই মেট্রিকটি কলমোগোরভ বিতরণের বিরুদ্ধে জেড-স্কোরের মতো একটি অনুমানমূলক পরীক্ষা করতে পরীক্ষার বিতরণটিও রেফারেন্সের মতো একই বিতরণ কিনা তা ব্যবহার করতে পারেন। এই মেট্রিকটি প্রতিসম হিসাবে এটি দূরত্ব ফাংশন হিসাবে ব্যবহার করা যেতে পারে। আই এর বি বনাম সিডিএফ এর সিডিএফের মধ্যে সর্বাধিক পৃথকীকরণ হ'ল বি এর সিডিএফ এর বি বনাম সিডিএফের মধ্যে সবচেয়ে বড় বিভাজন হিসাবে একই is

— SriK
সূত্র