প্রশ্ন ট্যাগ «information-theory»

ছাড়া সূত্র উদ্ধৃত, উইকিপিডিয়া সংজ্ঞায়িত ক্রস এনট্রপি বিযুক্ত ডিস্ট্রিবিউশন এবং কিউ হতেপিপিPপ্রশ্নঃপ্রশ্নঃQ এইচ×( পি; প্রশ্ন )= - ∑এক্সপি ( এক্স )লগকুই( এক্স ) ।এইচ×(পি;প্রশ্নঃ)=-Σএক্সপি(এক্স)লগ⁡কুই(এক্স)।\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} কে এই পরিমাণ ব্যবহার করা শুরু করেছিলেন কে? এবং এই শব্দটি কে আবিষ্কার করেছেন? আমি ভিতরে তাকিয়েছি: জে …

15 information-theory  entropy 

আমি ভেবেছিলাম যে টিপিকাল সেটটির ধারণাটি বেশ স্বজ্ঞাত: দৈর্ঘ্য এর একটি অনুক্রম nnnটিপিকাল সেট A(n)ϵAϵ(n)A_\epsilon ^{(n)} যদি সিকোয়েন্সটি বের হওয়ার সম্ভাবনা বেশি থাকে। সুতরাং, কোন ক্রম যে সম্ভাবনা ছিল হবে A(n)ϵAϵ(n)A_\epsilon ^{(n)} । (আমি এন্ট্রপির সাথে সম্পর্কিত আনুষ্ঠানিক সংজ্ঞা এড়িয়ে চলেছি কারণ আমি এটি গুণগতভাবে বোঝার চেষ্টা করছি।) তবে, আমি …

15 entropy  intuition  information-theory 

এই প্রশ্নটি সূত্রের বিচারে ক্রস এনট্রপির একটি পরিমাণগত সংজ্ঞা দেয়। আমি আরও কল্পিত সংজ্ঞা খুঁজছি, উইকিপিডিয়া বলেছেন: তথ্য তত্ত্বে, দুটি সম্ভাব্য বিতরণের মধ্যে ক্রস এনট্রপি সম্ভাবনার একটি সেট থেকে একটি ইভেন্ট সনাক্ত করার জন্য প্রয়োজনীয় বিটগুলির গড় সংখ্যার পরিমাপ করে, যদি কোনও কোডিং স্কিম একটি "সম্ভাব্য" বিতরণ পি-র পরিবর্তে প্রদত্ত …

15 entropy  information-theory 

আমি সম্প্রতি এই নিবন্ধটি একটি পৃথক সম্ভাব্যতা বিতরণের এনট্রপিতে পড়েছি । এটি আপনার ব্যবহার শব্দের সম্ভাব্যতা বন্টনের কারণে আপনার এনকোডিংটি অনুকূল হওয়ার সময় কোনও বার্তা এনকোড করার জন্য প্রত্যাশিত সংখ্যা বিটগুলি (কমপক্ষে আপনার এনট্রপি সংজ্ঞাতে ব্যবহার করার সময় ) এনট্রপির বিষয়ে চিন্তা করার একটি দুর্দান্ত উপায় বর্ণনা করে ।লগ2log2\log_2 যাইহোক, …

15 entropy  information-theory 

গাউসীয় মিশ্রণ মডেলগুলি (জিএমএম) আবেদন করছে কারণ তারা বিশ্লেষণাত্মকভাবে এবং অনুশীলনে উভয়ের সাথেই কাজ করা সহজ এবং খুব বেশি জটিলতা ছাড়াই কিছু বিদেশী বিতরণকে মডেলিং করতে সক্ষম। এমন কয়েকটি বিশ্লেষণাত্মক বৈশিষ্ট্য রয়েছে যা আমাদের ধরে রাখা উচিত যা সাধারণভাবে পরিষ্কার নয়। নির্দিষ্টভাবে: বলুন হল উপাদানগুলির সাথে সমস্ত গসিয়ান মিশ্রণের শ্রেণি …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

নির্বিচারে ক্রমাগত র‌্যান্ডম ভেরিয়েবলের জন্য বলুন , এর ডিফারেন্সিয়াল এনট্রপি সর্বদা ∞ এর চেয়ে কম হয় ? (এটি ঠিক আছে যদি এটা - ∞ ।) যদি না হয়, কি প্রয়োজনীয় এবং যথেষ্ট শর্ত এটা থেকে কম হিসাবে জন্য ∞ ?এক্সXX∞∞\infty- ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

আমি নিম্নলিখিত প্রমাণকে ঘিরে আমার মাথা নেওয়ার চেষ্টা করছি যে গাউসের সর্বোচ্চ এনট্রপি রয়েছে। তারকাযুক্ত পদক্ষেপটি কীভাবে বোঝায়? একটি নির্দিষ্ট কোভেরিয়েন্স কেবল দ্বিতীয় মুহূর্তটি ঠিক করে। তৃতীয়, চতুর্থ, পঞ্চম মুহূর্ত ইত্যাদির কী ঘটে?

13 entropy  information-theory  maximum-entropy 

আমি গত এক বছর ধরে মোটামুটি কাছাকাছিভাবে গুরুত্বের নমুনা নিয়ে কাজ করছি এবং কয়েকটি মুক্ত-সমাপ্ত প্রশ্ন রয়েছে যার সাথে আমি কিছুটা সহায়তা পাব বলে আশা করি। গুরুত্ব সহকারে নমুনা দেওয়ার প্রকল্পগুলির সাথে আমার ব্যবহারিক অভিজ্ঞতাটি হ'ল তারা মাঝেমধ্যে চমত্কার নিম্ন-বৈকল্পিক এবং কম-পক্ষপাত অনুমান উত্পাদন করতে পারে। আরও ঘন ঘন, তবে, …

13 monte-carlo  information-theory  importance-sampling 

পরিসংখ্যান বা তথ্য তত্ত্বের পরিমাণের জন্য কোনও ব্যবহার আছে কি ?∫f(x)2dx∫f(x)2dx \int f(x)^2 dx

13 probability  entropy  information-theory 

(আমি গণিতের ক্ষেত্রে একই প্রশ্ন পোস্ট করেছি )) তথ্য জ্যামিতিতে, ফিশার তথ্য ম্যাট্রিক্সের নির্ধারক একটি পরিসংখ্যানগত বহুগুণে একটি প্রাকৃতিক ভলিউম ফর্ম, তাই এটির একটি দুর্দান্ত জ্যামিতিক ব্যাখ্যা রয়েছে। উদাহরণস্বরূপ, এটি কোনও জেফরির সংজ্ঞায় প্রদর্শিত হয়েছিল, উদাহরণস্বরূপ, এটি পুনঃনির্মাণের অধীনে তার আক্রমণটির সাথে যুক্ত, যা (ইমো) একটি জ্যামিতিক সম্পত্তি। কিন্তু পরিসংখ্যান …

13 variance  information-theory  fisher-information  information-geometry 

শিরোনাম হিসাবে, ধারণাটি একটি অবিচ্ছিন্ন ভেরিয়েবল এবং শ্রেণিবদ্ধ ভেরিয়েবলের মধ্যে "পারস্পরিক সম্পর্ক" ("আমি যখন বি কে জানি তখন" সম্পর্কে কতটা জানি "হিসাবে সংজ্ঞায়িত করা হয়) এবং এমআইয়ের পরে পারস্পরিক তথ্য ব্যবহার করা হয়। আমি আপনাকে এই মুহুর্তে আমার চিন্তাভাবনাগুলি বলব, তবে আমি আপনাকে ক্রসভিলেটেডে এই অন্যান্য প্রশ্ন / উত্তরটি পড়ার …

13 correlation  information-theory  mutual-information 

গাউসিয়ান আরভি-র ডিফারেনশিয়াল এনট্রপি । এটি উপর নির্ভরশীল যা মানক বিচ্যুতি।σলগ2( σ)2 πই---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma যদি আমরা এলোমেলো পরিবর্তনশীলটিকে স্বাভাবিক করি যাতে এটির ইউনিট ভেরিয়েন্স থাকে তার ডিফারেন্সিয়াল এনট্রপি ড্রপস। আমার কাছে এটি পাল্টা স্বজ্ঞাত যেহেতু এন্ট্রপির হ্রাসের তুলনায় কোলমোগোরভ ধ্রুবককে স্বাভাবিক করার জটিলতা খুব কম হওয়া উচিত। এই এলোমেলো …

13 information-theory  entropy  randomness 

উইকিপিডিয়া থেকে আকাইকের তথ্য মানদণ্ড (এআইসি) এর হিসাবে সংজ্ঞা রয়েছে , যেখানে প্যারামিটারের সংখ্যা এবং মডেলের লগ-সম্ভাবনা।কে লগ লএ আইসি= 2 কে - 2 লগএলAIC=2k−2log⁡L AIC = 2k -2 \log L টkkলগএলlog⁡L\log L তবে well-respected বিশ্ববিদ্যালয় রাষ্ট্র আমাদের অর্থনীতি নোট যে । এখানে হ'ল একটি এআরএমএ মডেলের ত্রুটির জন্য অনুমানিত …

12 econometrics  aic  arma  information-theory 

দ্রষ্টব্য: এই প্রশ্নটি পুনরায় পোস্ট করা হয়েছে, কারণ আমার আগের প্রশ্নটি আইনি কারণে মুছে ফেলা হয়েছিল। আর- lmeএর nlmeপ্যাকেজ থেকে ফাংশনটির সাথে এসএএস থেকে প্রসকে মিক্সেড তুলনা করার সময় , আমি কিছু বরং বিভ্রান্তিকর পার্থক্যের উপর হোঁচট খেয়েছি। আরও সুনির্দিষ্টভাবে বলা যায় যে বিভিন্ন পরীক্ষায় স্বাধীনতার ডিগ্রিগুলির মধ্যে পার্থক্য রয়েছে …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

আমি তার 3 টি বিতরণ অনুসরণ করার জন্য জেনসেন-শ্যানন ডাইভার্জেন্স গণনা করতে চাই। নীচের হিসাবটি কি সঠিক? (আমি উইকিপিডিয়া থেকে জেএসডি সূত্র অনুসরণ করেছি ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, …

12 distance-functions  information-theory