পরিসংখ্যান এবং বড় তথ্য

কেউ কি আমাকে বলতে পারেন কীভাবে 'রেসিডুয়ালাম বনাম লাগানো', 'সাধারণ কিউ-কিউ', 'স্কেল-লোকেশন', এবং 'রেসিডুয়ালগুলি বনাম লিভারেজ' প্লটগুলি কীভাবে ব্যাখ্যা করা যায়? আমি একটি দ্বিপদী জিএলএম ফিট করছি, এটি সংরক্ষণ এবং এরপরে এটি প্লট করছি।

30 r  logistic  data-visualization  generalized-linear-model  qq-plot 

আমার কাছে দুটি নমুনা রয়েছে যা আমি পরীক্ষা করতে চাই (পাইথন ব্যবহার করে) যদি সেগুলি একই বিতরণ থেকে আঁকা হয়। এটি করার জন্য আমি স্কিপি.স্ট্যাটস থেকে পরিসংখ্যান ফাংশন ks_2 স্যাম্প ব্যবহার করি। এটি 2 টি মান দেয় এবং আমি তাদের কীভাবে ব্যাখ্যা করতে পারি তা অসুবিধা পেতে পারি। অনুগ্রহ করে …

30 python 

গণিতে, বীজগণিত, বিশ্লেষণ, টপোলজি ইত্যাদির মতো শাখা রয়েছে। মেশিন লার্নিংয়ে তদারকি করা হয়, নিরীক্ষণ করা হয় না এবং শক্তিবৃদ্ধি শেখানো হয়। এই শাখাগুলির প্রত্যেকটির মধ্যেই সূক্ষ্ম শাখা রয়েছে যা আরও পদ্ধতিগুলিকে বিভক্ত করে। পরিসংখ্যানের সাথে সমান্তরাল আঁকতে আমার সমস্যা হচ্ছে। পরিসংখ্যানের প্রধান শাখা (এবং উপ-শাখা) কী হবে? একটি নিখুঁত পার্টিশন …

30 self-study  classification 

Birthতিহ্যবাহী জন্মদিনের প্যারাডক্সে প্রশ্নটি হ'ল " গ্রুপের দুই বা তার বেশি লোক nnnএকটি জন্মদিন ভাগ করে নেওয়ার সম্ভাবনাগুলি কী "? আমি একটি সমস্যার উপর আটকে আছি যা এটি এর একটি এক্সটেনশন। দু'জন জন্মদিন ভাগ করে নেওয়ার সম্ভাবনাটি জানার পরিবর্তে, xxx বা আরও বেশি লোক জন্মদিনে ভাগ করে নেওয়ার সম্ভাবনা কী …

29 probability  combinatorics  birthday-paradox 

টাইম সিরিজ বিশ্লেষণের বিন্দুটি কী? প্রচুর অন্যান্য পরিসংখ্যানগত পদ্ধতি রয়েছে যেমন রিগ্রেশন এবং মেশিন লার্নিংয়ের স্পষ্ট ব্যবহারের ক্ষেত্রে রয়েছে: রিগ্রেশন দুটি ভেরিয়েবলের মধ্যে সম্পর্কের বিষয়ে তথ্য সরবরাহ করতে পারে, তবে মেশিন লার্নিং পূর্বাভাসের পক্ষে দুর্দান্ত। তবে ইতিমধ্যে, আমি দেখতে পাচ্ছি না কোন সিরিজের বিশ্লেষণ ভাল for অবশ্যই, আমি একটি আরিমা …

29 time-series  arima 

দুই র্যান্ডম ভেরিয়েবল যদি এবং সম্পর্কহীন, আমরা যে জানতে পারেন এবং সম্পর্কহীন? আমার অনুমান হ্যাঁ।ওয়াই এক্স 2 ওয়াইXXXYYYX2X2X^2YYY E [ X Y ] = E [ X ] E [ Y ]X,YX,YX, Y অসংরক্ষিত অর্থ , বাE[XY]=E[X]E[Y]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y]E[XY]=∫xyfX(x)fY(y)dxdy=∫xfX(x)dx∫yfY(y)dy=E[X]E[Y] E[XY]=\int xy f_X(x)f_Y(y)dxdy=\int xf_X(x)dx\int yf_Y(y)dy=E[X]E[Y] তারও কি নিম্নলিখিতটি বোঝানো হচ্ছে? E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y]E[X2Y]=∫x2yfX(x)fY(y)dxdy=∫x2fX(x)dx∫yfY(y)dy=E[X2]E[Y] E[X^2Y]=\int …

29 random-variable  independence 

ধরুন আমার কাছে দুটি এবং দুটি গ্রুপ গোষ্ঠী রয়েছে, যার লেবেলযুক্ত এ এবং বি রয়েছে (প্রতিটি উদাহরণস্বরূপ 200 টি নমুনা এবং 1 টি বৈশিষ্ট্য রয়েছে) এবং আমি জানতে চাই যে সেগুলি আলাদা কিনা। আমি করতে পারে: ক) একটি পরিসংখ্যানগত পরীক্ষা (উদাহরণস্বরূপ টি-পরীক্ষা) সঞ্চালন করুন যে তারা পরিসংখ্যানগতভাবে আলাদা কিনা। খ) …

29 machine-learning  hypothesis-testing  t-test  unsupervised-learning  supervised-learning 

অভিযোজিত ডেটা বিশ্লেষণের ধারণাটি হ'ল ডেটা বিশ্লেষণের জন্য আপনার পরিকল্পনাটি পরিবর্তন করার সাথে সাথে আপনি আরও শিখবেন। অনুসন্ধানের তথ্য বিশ্লেষণের ক্ষেত্রে (ইডিএ), এটি সাধারণত একটি ভাল ধারণা (আপনি প্রায়শই ডেটাতে অপ্রত্যাশিত নিদর্শনগুলির সন্ধান করছেন), তবে একটি নিশ্চিত গবেষণার জন্য, বিশ্লেষণের খুব ত্রুটিযুক্ত পদ্ধতি হিসাবে এটি ব্যাপকভাবে গৃহীত হয় (যতক্ষণ না …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

আমার একটি অনলাইন কোর্স ছিল, যেখানে আমি শিখেছি যে প্রশিক্ষণের ডেটাগুলিতে ভারসাম্যহীন ক্লাসগুলি সমস্যার কারণ হতে পারে, কারণ শ্রেণিবদ্ধকরণ অ্যালগরিদম সংখ্যাগরিষ্ঠ নিয়মের জন্য যায়, কারণ ভারসাম্যহীনতা খুব বেশি হলে এটি ভাল ফলাফল দেয়। একটি অ্যাসাইনমেন্টে একজনকে সংখ্যাগরিষ্ঠ শ্রেণির আন্ডার স্যাম্পলিংয়ের মাধ্যমে ডেটা ভারসাম্য বজায় রাখতে হয়। তবে এই ব্লগে কেউ …

29 machine-learning  classification  unbalanced-classes 

একটি মেটা-বিশ্লেষণে একগুচ্ছ অধ্যয়ন অন্তর্ভুক্ত রয়েছে, সেগুলির মধ্যে 0.05 এর চেয়ে বেশি পি মানের প্রতিবেদন করা হয়েছে। সামগ্রিক মেটা-বিশ্লেষণের পক্ষে কি পি মান 0.05 এর চেয়ে কম রিপোর্ট করা সম্ভব? কোন পরিস্থিতিতে? (আমি পুরোপুরি নিশ্চিত যে উত্তরটি হ্যাঁ, তবে আমি একটি উল্লেখ বা ব্যাখ্যা চাই))

29 statistical-significance  meta-analysis  combining-p-values 

যদি হেসিয়ানরা অপ্টিমাইজেশনের জন্য খুব ভাল হয় (উদাহরণস্বরূপ নিউটনের পদ্ধতিটি দেখুন ) তবে কেন সেখানে থামবেন? আসুন তৃতীয়, চতুর্থ, পঞ্চম এবং ষষ্ঠ ডেরিভেটিভ ব্যবহার করি? কেন না?

29 optimization  gradient-descent  hessian 

আমি আমার সমস্যাটি একটি উদাহরণ দিয়ে ব্যাখ্যা করব। ধরুন আপনি কোনও ব্যক্তির আয়ের ভবিষ্যদ্বাণী করতে চান এমন কয়েকটি বৈশিষ্ট্য দেওয়া হয়েছে: {বয়স, লিঙ্গ, দেশ, অঞ্চল, শহর} আপনার মতো প্রশিক্ষণ ডেটাসেট রয়েছে train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

আমরা সিএনএন-এর জন্য চিত্রটি স্বাভাবিক করার কারণটি (চিত্র - গড়_মাখা) দ্বারা পরিষ্কার করছি না? ধন্যবাদ!

29 deep-learning  conv-neural-network  image-processing 

আমি মনে করি এটি একটি আকর্ষণীয় বিষয় এবং আমি এটি পুরোপুরি বুঝতে পারি না। পদার্থবিজ্ঞানের কোন আইন এতগুলি প্রাকৃতিক ঘটনাকে স্বাভাবিক বন্টন করতে পারে? এটি আরও স্বজ্ঞাত বলে মনে হয় যে তাদের অভিন্ন বিতরণ হবে। এটি বুঝতে আমার পক্ষে খুব কঠিন এবং আমি অনুভব করি যে আমি কিছু তথ্য অনুপস্থিত। …

29 distributions  normal-distribution  normality-assumption  uniform 

নিউরাল নেটওয়ার্কগুলিতে বায়াস নোড কেন ব্যবহার করা হয়? আপনার কতগুলি ব্যবহার করা উচিত? কোন স্তরগুলিতে আপনার সেগুলি ব্যবহার করা উচিত: সমস্ত লুকানো স্তর এবং আউটপুট স্তর?

29 machine-learning  neural-networks  bias-node