প্রশ্ন ট্যাগ «kullback-leibler»

আমাকে দুটি গৌসিয়ার মধ্যে কেএল-বিভাজন নির্ধারণ করতে হবে। আমি আমার ফলাফল তুলনা করছি এইসব , কিন্তু আমি তাদের ফলাফলের পুনর্গঠন করতে পারবে না। আমার ফলাফল স্পষ্টতই ভুল, কারণ KL কেএল (পি, পি) এর জন্য 0 নয়। আমি ভাবছি যেখানে আমি কোন ভুল করছি এবং জিজ্ঞাসা করে কেউ এটির জায়গা খুঁজে …

79 normal-distribution  kullback-leibler 

কেএল ডাইভারজেন্সের পিছনে অন্তর্নিহিততা সম্পর্কে আমি শিখেছি যেমন কোনও মডেল বিতরণ ফাংশন তাত্ত্বিক / সত্যের বিতরণের থেকে তথ্যের থেকে কতটা পৃথক। উৎস আমি পরছি বলতে যে এই দুই ডিস্ট্রিবিউশন মধ্যে 'দূরত্ব' এর স্বজ্ঞাত বোঝার সহায়ক, কিন্তু আক্ষরিক গ্রহণ করা উচিত নয় কারণ দুটি ডিস্ট্রিবিউশন যায় PPP এবং QQQ , কেএল …

47 distributions  distance  intuition  kullback-leibler 

দু'টি মাল্টিভারিয়েট স্বাভাবিক বিতরণ ধরে ধরে কেএল ডাইভারজেন্সি সূত্রটি গ্রহণ করতে আমার সমস্যা হচ্ছে। আমি ইউনিভারিয়েট কেস মোটামুটি সহজেই সম্পন্ন করেছি যাইহোক, আমি গণিতের পরিসংখ্যান নেওয়ার পরে বেশ কিছুক্ষণ হয়ে গেছে, তাই মাল্টিভারিয়েট ক্ষেত্রে এটি প্রসারিত করতে আমার কিছুটা সমস্যা হচ্ছে। আমি নিশ্চিত যে আমি সাদামাটা কিছু মিস করছি। আমার …

46 normal-distribution  kullback-leibler  proof 

আমার মনে, নমুনা বিতরণ থেকে সত্য বিতরণে কেএল ডাইভার্জেন্স কেবল ক্রস এনট্রপি এবং এন্ট্রপির মধ্যে পার্থক্য। আমরা কেন অনেকগুলি মেশিন লার্নিং মডেলগুলিতে ব্যয় ফাংশন হিসাবে ক্রস এনট্রপি ব্যবহার করি, তবে টি-সনে কুলব্যাক-লেবলার ডাইভারজেন্সটি ব্যবহার করি? শেখার গতিতে কি কোনও পার্থক্য আছে?

39 kullback-leibler  tsne  cross-entropy 

আমি দেখতে পাচ্ছি যে কুলব্যাক – লেইবলার বনাম কোলমোগোরভ-স্মারনভ দূরত্বের ব্যবস্থার মধ্যে প্রচুর আনুষ্ঠানিক পার্থক্য রয়েছে। তবে উভয়ই বিতরণের মধ্যকার দূরত্ব পরিমাপ করতে ব্যবহৃত হয়। একটি সাধারণ পরিস্থিতি যেখানে অন্যটির পরিবর্তে একটি ব্যবহার করা উচিত? এটা করার যৌক্তিকতা কি?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

আমি নিম্নলিখিত প্রশ্নের জন্য একটি স্বজ্ঞাত ব্যাখ্যা খুঁজছি: পরিসংখ্যান এবং তথ্য তত্ত্বে, দুটি পৃথক সম্ভাব্যতা বিতরণের পার্থক্যের ব্যবস্থা হিসাবে ভট্টাচার্য দূরত্ব এবং কেএল বৈচিত্রের মধ্যে পার্থক্য কী? তাদের কি একেবারে কোনও সম্পর্ক নেই এবং দুটি সম্ভাব্য বিতরণের মধ্যকার দূরত্বটি সম্পূর্ণ ভিন্ন উপায়ে মাপুন?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

দুটি প্রতিসাম্য কোভেরিয়েন্স ম্যাট্রিক্সের (উভয়ই একই মাত্রা রয়েছে) মধ্যে সাদৃশ্য বা দূরত্বের কোনও ব্যবস্থা আছে কি? আমি এখানে ম্যাট্রিক্স প্রয়োগ ব্যতীত দুটি সম্ভাব্য বন্টন বা ভেক্টরগুলির মধ্যে ইউক্লিডিয়ান দূরত্বের কেএল ডাইভার্জেন্সের এনালগগুলি নিয়ে ভাবছি। আমি ভাবছি সেখানে বেশ কয়েকটি মিলের পরিমাপ হবে। আদর্শভাবে আমি নাল অনুমানটিও পরীক্ষা করতে চাই যে …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

এই ছবি তাকান: যদি আমরা লাল ঘনত্ব থেকে একটি নমুনা আঁকি তবে কিছু মান 0.25 এর থেকে কম আশা করা যায় তবে নীল বিতরণ থেকে এই জাতীয় নমুনা তৈরি করা অসম্ভব। ফলস্বরূপ, লাল ঘনত্ব থেকে নীল ঘনত্বের কুলব্যাক-লেবেলারের দূরত্ব অনন্ত। যাইহোক, দুটি বাঁকানো কিছু "প্রাকৃতিক অর্থে" তেমন আলাদা নয়। এখানে …

28 kullback-leibler 

ওয়াসারস্টেইন মেট্রিক এবং কুলব্যাক-লেবলার ডাইভারজেন্সের মধ্যে ব্যবহারিক পার্থক্য কী ? ওয়াসারস্টেইন মেট্রিককে আর্থ মুভারের দূরত্ব হিসাবেও উল্লেখ করা হয় । উইকিপিডিয়া থেকে: ওয়াসারস্টেইন (বা ভ্যাসারস্টাইন) মেট্রিক একটি দূরত্ব ফাংশন যা প্রদত্ত মেট্রিক স্পেস এম তে সম্ভাব্যতা বিতরণের মধ্যে সংজ্ঞায়িত হয় function এবং কুলব্যাক – লেবলার ডাইভার্জেন্স হ'ল একটি সম্ভাব্যতা বন্টন …

25 distributions  kullback-leibler  metric  wasserstein 

ক্রস যাচাইয়ের অনেক ট্রলিংয়ের পরেও আমি এখনও মনে করি না যে আমি তথ্য তত্ত্বের ক্ষেত্রের বাইরে কেএল ডাইভারজেন্স বোঝার আরও কাছাকাছি। ম্যাথ ব্যাকগ্রাউন্ডের কারও মতো তথ্য তত্ত্বের ব্যাখ্যাটি বোঝার পক্ষে এটি আরও সহজ খুঁজে পাওয়ার পক্ষে এটি অদ্ভুত। একটি তথ্য তত্ত্বের পটভূমি থেকে আমার বোঝার বাহ্যরেখা: যদি আমাদের সীমিত সংখ্যক …

23 inference  entropy  information-theory  kullback-leibler  compression 

আমি শ্রেণিবদ্ধকরণ এবং রিগ্রেশন গাছগুলি অধ্যয়ন করছি এবং বিভক্ত অবস্থানের জন্য অন্যতম একটি পদক্ষেপ হ'ল জিআইএনআই স্কোর। এখন আমি দুটি বিভক্তির মধ্যে একই তথ্যের সম্ভাবনা অনুপাতের লগ শূন্য হলে সর্বাধিক বিভক্ত অবস্থান নির্ধারণ করতে অভ্যস্ত, যার অর্থ সদস্যতার সম্ভাবনাও সমান সম্ভাবনা। আমার অন্তর্নিহিততা বলছে যে কোনও না কোনও সংযোগের অবশ্যই …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

কেউ কি বিশুদ্ধ গাণিতিক কঠোর উপায়ে ফিশার তথ্য মেট্রিক এবং আপেক্ষিক এনট্রপি (বা কেএল ডাইভারজেন্স) এর মধ্যে নিম্নলিখিত সংযোগটি প্রমাণ করতে পারেন ? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) যেখানে a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i …

20 mathematical-statistics  kullback-leibler  fisher-information 

আসুন আমরা নিম্নলিখিত দুটি সম্ভাব্য বন্টন বিবেচনা করি P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 আমি কুলব্যাক- ডাইভারজেন্স গণনা করেছি যা 0.492820258 সমান , আমি সাধারণভাবে জানতে চাই যে এই সংখ্যাটি আমাকে কী দেখায়? সাধারণত, কুলব্যাক-লেবলার ডাইভারজেন্স …

18 interpretation  information-theory  kullback-leibler 

কেএল ডাইভারজেন অ-নেতিবাচক কেন? তথ্য তত্ত্বের দৃষ্টিকোণ থেকে আমার এমন স্বজ্ঞাত জ্ঞান রয়েছে: দুই ensembles আছে বলুন AAA এবং BBB যার দ্বারা লেবেল উপাদানের একই সেট দ্বারা গঠিত xxx । p(x)p(x)p(x) এবং q(x)q(x)q(x) হ'ল যথাক্রমে AAA এবং জুড়ে বিভিন্ন সম্ভাবনা বিতরণ BBB। তথ্য তত্ত্বের দৃষ্টিকোণ থেকে, log2(P(x))log2⁡(P(x))\log_{2}(P(x)) হ'ল বিটগুলির ন্যূনতম …

18 information-theory  kullback-leibler 

পিডিএফ জি ( x ; বি , সি ) = 1 দ্বারা গামা বিতরণ প্যারামিটারাইজ করতে বেছে নেওয়া হচ্ছেΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} মধ্যে Kullback-Leibler বিকিরণΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)এবংΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)দ্বারা [1] হিসাবে দেওয়া হয় KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + …

15 kullback-leibler  gamma-distribution  exponential-family