পরিসংখ্যান এবং বড় তথ্য

আমি পরিসংখ্যানগুলিতে নুব, তাই আপনি ছেলেরা এখানে আমাকে সাহায্য করতে পারেন। আমার প্রশ্নটি নিম্নরূপ: পুলযুক্ত ভেরিয়েন্সটি আসলে কী বোঝায়? আমি যখন ইন্টারনেটে পুঞ্জিকৃত ভ্যারিয়েন্স জন্য একটি সূত্র সন্ধান, আমি নিম্নলিখিত সূত্র (এখানে ব্যবহার উদাহরণস্বরূপ, সাহিত্য অনেক খুঁজে পেয়েছেন: http://math.tntech.edu/ISR/Mathematical_Statistics/Introduction_to_Statistical_Tests/thispage/newnode19.html ): S2p=S21(n1−1)+S22(n2−1)n1+n2−2Sp2=S12(n1−1)+S22(n2−1)n1+n2−2\begin{equation} \label{eq:stupidpooledvar} \displaystyle S^2_p = \frac{S_1^2 (n_1-1) + S_2^2 (n_2-1)}{n_1 …

15 variance  mean  pooling 

যাক {Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n IID র্যান্ডম মান গ্রহণ ভেরিয়েবল একটি পরিবার হতে [0,1][0,1][0,1] , একটি গড় থাকার μμ\mu এবং ভ্যারিয়েন্স σ2σ2\sigma^2 । গড়, ব্যবহার করার জন্য একটি সহজ আস্থা ব্যবধান σσ\sigma যখনই পরিচিত, দেওয়া হয় P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). এছাড়াও, কারণ …

15 normal-distribution  confidence-interval  references  asymptotics  approximation 

আমি একটি পাঠ্য ক্লাস্টারিং সমস্যা নিয়ে কাজ করছি। তথ্যটিতে কয়েকটি বাক্য রয়েছে। একটি ভাল অ্যালগরিদম যা সংক্ষিপ্ত পাঠ্যে উচ্চ নির্ভুলতায় পৌঁছেছে? আপনি ভাল রেফারেন্স প্রদান করতে পারেন? কেমিনস, বর্ণালী ক্লাস্টারিংয়ের মতো অ্যালগরিদম এই সমস্যার জন্য ভাল কাজ করে না।

15 machine-learning  clustering  text-mining 

অনেকগুলি সাহিত্য মিশ্রণ মডেলগুলিতে প্রত্যাশা সর্বাধিককরণের পদ্ধতির উপর জোর দেয় (গাউসির মিশ্রণ, লুকানো মার্কোভ মডেল ইত্যাদি)। কেন ইএম গুরুত্বপূর্ণ? ইএম অপটিমাইজেশন করার একটি উপায় এবং গ্রেডিয়েন্ট ভিত্তিক পদ্ধতি (গ্রেডিয়েন্ট শালীন বা নিউটনের / কোয়াটি-নিউটন পদ্ধতি) বা অন্যান্য গ্রেডিয়েন্ট ফ্রি পদ্ধতিটি এখানে আলোচনা করা হিসাবে ব্যাপকভাবে ব্যবহৃত হয় না । এছাড়াও, …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

আপনি নীচের বক্সপ্লট চিত্রটিতে দেখতে পারেন এমন চারটি পদ্ধতির সাথে আমার একটি পূর্বাভাস মডেল পরীক্ষা করা আছে। মডেলটি যে গুণাবলীটি পূর্বাভাস দেয় তা 0-8 এর মধ্যে থাকে। আপনি খেয়াল করতে পারেন যে একটি পদ্ধতি রয়েছে যার উপরের দিকের বাইরের একজন এবং তিনটি নিম্ন-আবদ্ধ আউটলিয়ার সমস্ত পদ্ধতি দ্বারা নির্দেশিত। আমি ভাবছি …

15 regression  machine-learning  multiple-regression  predictive-models  outliers 

একটি সাধারণ নিউরাল নেটওয়ার্ক বাইনারি শ্রেণিবদ্ধের প্রশিক্ষণের সময় আমি ক্রস-এন্ট্রপি ব্যবহার করে একটি উচ্চ ক্ষতির মান পাই get এটি সত্ত্বেও, বৈধতা সেটটিতে নির্ভুলতার মানটি বেশ ভাল। এর কিছু অর্থ আছে? ক্ষতি এবং নির্ভুলতার মধ্যে কোনও কঠোর সম্পর্ক নেই? আমি এই মানগুলি প্রশিক্ষণ এবং বৈধকরণের উপর রেখেছি : 0.4011 - acc: …

15 neural-networks  accuracy 

আমি জানি নিয়মিত পিসিএ পর্যবেক্ষণ করা ডেটার জন্য সম্ভাব্য মডেল অনুসরণ করে না। তাহলে পিসিএ এবং পিপিসিএর মধ্যে মূল পার্থক্য কী ? পিপিসিএতে সুপ্ত পরিবর্তনশীল মডেলটিতে পর্যবেক্ষণযোগ্য ভেরিয়েবলগুলি , সুপ্ত (অরক্ষিত ভেরিয়েবল ) এবং একটি ম্যাট্রিক্স যা নিয়মিত পিসিএর মতো অর্থেওনরমাল হতে হয় না। আরও একটি পার্থক্য যা আমি নিয়মিত …

15 pca 

ধরুন আপনি মাপসই একটি রৈখিক / লজিস্টিক রিগ্রেশন , একটি পক্ষপাতিত্বহীন অনুমান লক্ষ্য সঙ্গে একটি 1g(y)=a0+a1⋅x1+a2⋅x2g(y)=a0+a1⋅x1+a2⋅x2g(y) = a_0 + a_1\cdot x_1 + a_2\cdot x_2 । আপনি নিশ্চিত যে উভয়একটি1এবংএকটিa1a2a1a2\frac{a_1}{a_2}a1a1a_1তাদের অনুমানের গোলমালের তুলনায় খুব ইতিবাচক।a2a2a_2 আপনি যুগ্ম সহভেদাংক যদি , আপনি নিরূপণ করতে পারে, বা অন্তত উত্তর ভান। এর চেয়েও ভাল …

15 regression  regression-coefficients  unbiased-estimator  ratio 

আমি lme4::glmer()দ্বিপদী জেনারেলাইজড মিশ্র মডেল (জিএলএমএম) এর উপর নির্ভরশীল ভেরিয়েবলের সাথে ফিট করতে ব্যবহার করার চেষ্টা করছি যা বাইনারি নয়, তবে শূন্য এবং একের মধ্যে একটি অবিচ্ছিন্ন পরিবর্তনশীল। এই পরিবর্তনশীলটিকে কেউ সম্ভাবনা হিসাবে ভাবতে পারে; এটি আসলে হয় সম্ভাব্যতা হিসাবে প্রতিবেদন মানুষের বিষয় দ্বারা (একটি পরীক্ষা যে আমি সাহায্যের বিশ্লেষণ)। …

15 r  logistic  mixed-model  glmm  lme4-nlme 

স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশোদ্ভূত পুরো প্রশিক্ষণ ডেটাসেটের জন্য গ্রেডিয়েন্ট গণনা করবে। for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad একটি প্রাক সংজ্ঞায়িত সংখ্যার জন্য, আমরা প্রথমে সম্পূর্ণ ডেটাসেটের জন্য আমাদের প্যারামিটার ভেক্টর প্যারামগুলির জন্য ক্ষতির ফাংশনের গ্রেডিয়েন্ট ভেক্টর ওয়েট_ গ্রেড গণনা করি। বিপরীতে …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

মাল্টি-আর্ম দস্যুরা এমন পরিস্থিতিতে ভাল কাজ করে যেখানে আপনার পছন্দ আছে এবং আপনি নিশ্চিত নন যে কোনটি আপনার মঙ্গলকে সর্বাধিক বাড়িয়ে তুলবে। কিছু বাস্তব জীবনের পরিস্থিতিতে আপনি অ্যালগরিদম ব্যবহার করতে পারেন। উদাহরণস্বরূপ, শেখা একটি ভাল ক্ষেত্র হতে পারে: যদি কোনও বাচ্চা ছুতের কাজ শিখতে থাকে এবং সে এতে খারাপ হয় …

15 algorithms  reinforcement-learning  multiarmed-bandit 

দুই IID র্যান্ডম ভেরিয়েবল জন্য কোন বন্টন হয় যেখানে যুগ্ম বিতরণ এক্স - ওয়াই সহায়তা [0,1] উপর অভিন্ন হয়?X,YX,YX,YX−YX−YX-Y

15 distributions  random-variable 

প্রদত্ত অনুমানের সমস্যার জন্য, আমরা জানি যে একটি বয়েশিয়ান পদ্ধতির সাধারণত উভয়ই ফর্ম এবং ফ্যাসোনিস্ট পদ্ধতির ফলাফলগুলির মধ্যে পৃথক হয়। ঘনঘন বিশেষজ্ঞরা (সাধারণত আমাকে অন্তর্ভুক্ত করেন) প্রায়শই নির্দেশ করে যে তাদের পদ্ধতিগুলির জন্য পূর্বের প্রয়োজন হয় না এবং তাই "রায় পরিচালিত" এর চেয়ে "ডেটা চালিত"। অবশ্যই, বায়েশিয়ানরা অ-তথ্যমূলক প্রিরিয়ারগুলিকে ইঙ্গিত …

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

প্রাথমিক অবস্থা x ∈ Z এর সাথে পূর্ণসংখ্যার 1-মাত্রিক এলোমেলো হাঁটা বিবেচনা করুন :ZZ\mathbb{Z}x∈Zx∈Zx\in\mathbb{Z} Sn=x+∑i=1nξiSn=x+∑i=1nξi\begin{equation} S_n=x+\sum^n_{i=1}\xi_i \end{equation} যেখানে ξiξi\xi_i আইআইডি তেমন হয় যে P{ξi=1}=P{ξi=−1}=12P{ξi=1}=P{ξi=−1}=12P\{\xi_i=1\}=P\{\xi_i=-1\}=\frac{1}{2} । যে কেউ প্রমাণ করতে পারে (1) Px{Sn reaches +1 eventually}=1Px{Sn reaches +1 eventually}=1\begin{equation} P^x{\{S_n \text{ reaches +1 eventually}\}} = 1 \end{equation} যেখানে সাবস্ক্রিপ্ট প্রাথমিক অবস্থানকে …

15 probability  terminology  stochastic-processes  randomness  random-walk 

আমি এর মাধ্যমে গ্রেডিয়েন্ট বুস্টিং মেশিন অ্যালগরিদম নিয়ে পরীক্ষা করছি caret আর। প্যাকেজটির ing একটি ছোট কলেজ ভর্তি ডেটাসেট ব্যবহার করে, আমি নিম্নলিখিত কোডটি চালিয়েছি: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable