প্রশ্ন ট্যাগ «entropy»

ছাড়া সূত্র উদ্ধৃত, উইকিপিডিয়া সংজ্ঞায়িত ক্রস এনট্রপি বিযুক্ত ডিস্ট্রিবিউশন এবং কিউ হতেপিপিPপ্রশ্নঃপ্রশ্নঃQ এইচ×( পি; প্রশ্ন )= - ∑এক্সপি ( এক্স )লগকুই( এক্স ) ।এইচ×(পি;প্রশ্নঃ)=-Σএক্সপি(এক্স)লগ⁡কুই(এক্স)।\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} কে এই পরিমাণ ব্যবহার করা শুরু করেছিলেন কে? এবং এই শব্দটি কে আবিষ্কার করেছেন? আমি ভিতরে তাকিয়েছি: জে …

15 information-theory  entropy 

আমি অ্যাফিনিটি প্রচার প্রচারের অ্যালগরিদম ব্যবহার করে সম্ভাব্যতা বিতরণগুলিকে ক্লাস্টারিং করছি এবং আমি জেনসেন-শ্যানন ডাইভারজেনকে আমার দূরত্বের মেট্রিক হিসাবে ব্যবহার করার পরিকল্পনা করছি। জেএসডি নিজেই দূরত্ব হিসাবে ব্যবহার করা ঠিক, বা জেএসডি বর্গক্ষেত্র? কেন? এক বা অন্যটি বেছে নেওয়ার ফলে কী তফাত হবে?

15 machine-learning  clustering  entropy  distance-functions 

আমি ভেবেছিলাম যে টিপিকাল সেটটির ধারণাটি বেশ স্বজ্ঞাত: দৈর্ঘ্য এর একটি অনুক্রম nnnটিপিকাল সেট A(n)ϵAϵ(n)A_\epsilon ^{(n)} যদি সিকোয়েন্সটি বের হওয়ার সম্ভাবনা বেশি থাকে। সুতরাং, কোন ক্রম যে সম্ভাবনা ছিল হবে A(n)ϵAϵ(n)A_\epsilon ^{(n)} । (আমি এন্ট্রপির সাথে সম্পর্কিত আনুষ্ঠানিক সংজ্ঞা এড়িয়ে চলেছি কারণ আমি এটি গুণগতভাবে বোঝার চেষ্টা করছি।) তবে, আমি …

15 entropy  intuition  information-theory 

এই প্রশ্নটি সূত্রের বিচারে ক্রস এনট্রপির একটি পরিমাণগত সংজ্ঞা দেয়। আমি আরও কল্পিত সংজ্ঞা খুঁজছি, উইকিপিডিয়া বলেছেন: তথ্য তত্ত্বে, দুটি সম্ভাব্য বিতরণের মধ্যে ক্রস এনট্রপি সম্ভাবনার একটি সেট থেকে একটি ইভেন্ট সনাক্ত করার জন্য প্রয়োজনীয় বিটগুলির গড় সংখ্যার পরিমাপ করে, যদি কোনও কোডিং স্কিম একটি "সম্ভাব্য" বিতরণ পি-র পরিবর্তে প্রদত্ত …

15 entropy  information-theory 

আমি সম্প্রতি এই নিবন্ধটি একটি পৃথক সম্ভাব্যতা বিতরণের এনট্রপিতে পড়েছি । এটি আপনার ব্যবহার শব্দের সম্ভাব্যতা বন্টনের কারণে আপনার এনকোডিংটি অনুকূল হওয়ার সময় কোনও বার্তা এনকোড করার জন্য প্রত্যাশিত সংখ্যা বিটগুলি (কমপক্ষে আপনার এনট্রপি সংজ্ঞাতে ব্যবহার করার সময় ) এনট্রপির বিষয়ে চিন্তা করার একটি দুর্দান্ত উপায় বর্ণনা করে ।লগ2log2\log_2 যাইহোক, …

15 entropy  information-theory 

কোভেরিয়েন্স ম্যাট্রিক্সের ইগেনভেেক্টরগুলির দিকে তাকানোর সময় আমরা সর্বাধিক বৈকল্পিকের দিকনির্দেশ পাই (প্রথম ইগেনভেেক্টরটি সেই দিক যা ডেটা সর্বাধিক পরিবর্তিত হয় ইত্যাদি); একে বলা হয় মূল উপাদান বিশ্লেষণ (পিসিএ)। আমি ভাবছিলাম যে মিউচুয়াল ইনফরমেশন ম্যাট্রিক্সের ইগেনভেেক্টর / মানগুলি দেখার অর্থ কী, তারা কি সর্বাধিক এনট্রপির দিক নির্দেশ করবে?

14 pca  entropy  mutual-information  eigenvalues 

নির্বিচারে ক্রমাগত র‌্যান্ডম ভেরিয়েবলের জন্য বলুন , এর ডিফারেন্সিয়াল এনট্রপি সর্বদা ∞ এর চেয়ে কম হয় ? (এটি ঠিক আছে যদি এটা - ∞ ।) যদি না হয়, কি প্রয়োজনীয় এবং যথেষ্ট শর্ত এটা থেকে কম হিসাবে জন্য ∞ ?এক্সXX∞∞\infty- ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

এনট্রপি সঙ্গে ঘনত্ব ফাংশন একটি ক্রমাগত বিতরণের প্রত্যাশা নেতিবাচক হতে সংজ্ঞায়িত করা হয় এবং সেইজন্য সমানচffলগ( চ)) ,log⁡(f),\log(f), এইচচ= - ∫∞- ∞লগ( চ)( x ) ) চ( এক্স ) ঘ এক্স ।Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. আমরা বলি যে কোনো দৈব চলক যার ডিস্ট্রিবিউশন আছে ঘনত্ব এনট্রপি হয়েছে (এই অবিচ্ছেদ্যটি …

14 distributions  data-transformation  entropy 

ক্রস-এনট্রপি ব্যয়টি কি রিগ্রেশন প্রসঙ্গে (শ্রেণিবিন্যাসের বিপরীতে) অর্থবোধ করে? যদি তা হয় তবে আপনি টেনসরফ্লো এর মাধ্যমে খেলনার উদাহরণ দিতে পারেন? তা না হলে কেন? আমি নিউরাল নেটওয়ার্কগুলিতে ক্রস-এনট্রপি এবং মাইকেল নীলসেনের ডিপ লার্নিংয়ের বিষয়ে পড়ছিলাম এবং মনে হয় এটি এমন একটি বিষয় যা স্বাভাবিকভাবেই রিগ্রেশন এবং শ্রেণিবিন্যাসের জন্য ব্যবহার …

14 regression  entropy  tensorflow  cross-entropy 

আমি নিম্নলিখিত প্রমাণকে ঘিরে আমার মাথা নেওয়ার চেষ্টা করছি যে গাউসের সর্বোচ্চ এনট্রপি রয়েছে। তারকাযুক্ত পদক্ষেপটি কীভাবে বোঝায়? একটি নির্দিষ্ট কোভেরিয়েন্স কেবল দ্বিতীয় মুহূর্তটি ঠিক করে। তৃতীয়, চতুর্থ, পঞ্চম মুহূর্ত ইত্যাদির কী ঘটে?

13 entropy  information-theory  maximum-entropy 

সুতরাং, এই প্রশ্নটি কিছুটা জড়িত তবে আমি যথাসম্ভব এটিকে যথাসম্ভব সোজা-এগিয়ে করার চেষ্টা করেছি। লক্ষ্য: দীর্ঘ গল্পের সংক্ষিপ্ত বিবরণ, নেজেনট্রপির একটি উত্স রয়েছে যা উচ্চতর অর্ডার কুল্যান্টগুলিকে জড়িত করে না এবং আমি কীভাবে এটি প্রাপ্ত হয়েছিল তা বোঝার চেষ্টা করছি। পটভূমি: (আমি এই সমস্ত বুঝি) আমি এখানে পাওয়া 'ইন্ডিপেন্ডেন্ট কম্পোনেন্ট …

13 distributions  probability  pdf  entropy 

পরিসংখ্যান বা তথ্য তত্ত্বের পরিমাণের জন্য কোনও ব্যবহার আছে কি ?∫f(x)2dx∫f(x)2dx \int f(x)^2 dx

13 probability  entropy  information-theory 

গাউসিয়ান আরভি-র ডিফারেনশিয়াল এনট্রপি । এটি উপর নির্ভরশীল যা মানক বিচ্যুতি।σলগ2( σ)2 πই---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma যদি আমরা এলোমেলো পরিবর্তনশীলটিকে স্বাভাবিক করি যাতে এটির ইউনিট ভেরিয়েন্স থাকে তার ডিফারেন্সিয়াল এনট্রপি ড্রপস। আমার কাছে এটি পাল্টা স্বজ্ঞাত যেহেতু এন্ট্রপির হ্রাসের তুলনায় কোলমোগোরভ ধ্রুবককে স্বাভাবিক করার জটিলতা খুব কম হওয়া উচিত। এই এলোমেলো …

13 information-theory  entropy  randomness 

আমার একটি খুব বড় ডেটাসেট রয়েছে এবং প্রায় 5% এলোমেলো মান অনুপস্থিত। এই ভেরিয়েবলগুলি একে অপরের সাথে সম্পর্কিত হয়। নীচের উদাহরণটি আর ডেটাসেটটি ডমি কোলেলেটেড ডেটা সহ একটি খেলনার উদাহরণ। set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

এন্ট্রপি গণনা করার জন্য আমি নিম্নলিখিত ফাংশনটি প্রয়োগ করেছি: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum ফলাফল: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in …

11 mathematical-statistics  python  entropy