পরিসংখ্যান এবং বড় তথ্য

অ্যান্ড্রু গেলম্যান তার সাম্প্রতিক একটি ব্লগ পোস্টে বলেছেন: আমি মনে করি না যে সিম্পসনের প্যারাডক্সের জন্য জবাবদিহি বা সম্ভাব্য ফলাফলগুলি প্রয়োজনীয়। আমি এটি বলছি কারণ কেউ সিম্পসনের প্যারাডক্সটিকে ভেরিয়েবলগুলির সাথে সেট করতে পারে যা ম্যানিপুলেট করা যায় না, বা যার জন্য ম্যানিপুলেশনগুলি সরাসরি আগ্রহের নয়। সিম্পসনের প্যারাডক্স আরও সাধারণ ইস্যুর …

22 regression  interaction  simpsons-paradox 

আমি সম্প্রতি মান-হুইটনি ইউ পরীক্ষাটি পড়ছি। দেখা যাচ্ছে যে আর-তে এই পরীক্ষাটি চালানোর জন্য আপনাকে আসলে উইলকক্সন পরীক্ষা চালানো দরকার! আমার প্রশ্ন: ডাব্লু স্ট্যাটিস্টিক কি wilcox.testআর স্ট্যাটিস্টিক্সের সাথে ইউ স্ট্যাটিস্টিকের মতো?

22 r  wilcoxon-mann-whitney 

আমি 0 থেকে 1 সাল পর্যন্তglmnet গ্রিডের উপরে ল্যাম্বডা মানগুলি নির্বাচন করে আর -তে প্যাকেজটি ব্যবহার করে স্বাস্থ্যসেবা ডেটাসেটে একটি ইলাস্টিক-নেট লজিস্টিক রিগ্রেশন করছি My আমার সংক্ষিপ্ত কোডটি নীচে রয়েছে:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} যা প্রতিটি …

22 machine-learning  cross-validation  glmnet  elastic-net 

আমি বুঝি যে রিগ্রেশন কোফিসিয়েন্টস জন্য Wald, পরীক্ষা নিম্নলিখিত সম্পত্তি যে এসিম্পটোটিকভাবে ঝুলিতে উপর ভিত্তি করে তৈরি (যেমন ওয়েসারম্যান (2006): পরিসংখ্যান সকল , পৃষ্ঠা 153, 214-215): কোথায়βআনুমানিক রিগ্রেশন সহগ, উল্লেখ করে^SE(β)রিগ্রেশন সহগ আদর্শ ত্রুটি উল্লেখ করে এবংβ0(সুদের মানβ0সাধারণত 0 সহগ 0 থেকে উল্লেখযোগ্যভাবে পৃথক কিনা তা পরীক্ষা করতে। সুতরাং আকারαওয়াল্ড …

22 r  regression  hypothesis-testing  generalized-linear-model 

আমি আর প্যাকেজগুলি আরও ভালভাবে বুঝতে চাই Larsএবং Glmnetযা লসো সমস্যা সমাধানের জন্য ব্যবহৃত হয়: (জন্য ভেরিয়েবল এবং নমুনা পৃষ্ঠা 3 এ www.stanford.edu/~hastie/Papers/glmnet.pdf দেখুন )পিএনমি i এন( β)0β) ∈ আরপি + 1[ ১2 এনΣi = 1এন( y)আমি- β0- এক্সটিআমিβ)2+ λ | | β| |ঠ1]মিআমিএন(β0β)∈আরপি+ +1[12এনΣআমি=1এন(Yআমি-β0-এক্সআমিটিβ)2+ +λ||β||ঠ1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 …

22 r  regression  machine-learning  lasso  regularization 

আমি আমার থাকা বস্তুগুলিতে কে-মানে ক্লাস্টারিং করতে চাই, তবে বস্তুগুলিকে স্থানের বিন্দু হিসাবে বর্ণনা করা হয় না, যেমন objects x featuresডেটাসেট দ্বারা । যাইহোক, আমি যে কোনও দুটি বস্তুর মধ্যে দূরত্ব গণনা করতে সক্ষম (এটি একটি মিলের ফাংশনের উপর ভিত্তি করে)। সুতরাং, আমি দূরত্বের ম্যাট্রিক্স নিষ্পত্তি করি objects x objects। …

22 machine-learning  clustering  data-mining  k-means  distance 

খুব বেশি অ্যাংরি পাখি খেলার পরে, আমি নিজের কৌশলগুলি পর্যবেক্ষণ করতে শুরু করেছি। দেখা যাচ্ছে যে আমি প্রতিটি স্তরে 3 তারা পাওয়ার জন্য খুব নির্দিষ্ট পদ্ধতির বিকাশ করেছি। এটি অ্যাগ্রি পাখি খেলতে সক্ষম হবে এমন একটি মেশিন লার্নিং সিস্টেম বিকাশের চ্যালেঞ্জগুলি সম্পর্কে আমাকে অবাক করে দিয়েছে। গেমটির সাথে ইন্টারঅ্যাক্ট করা …

22 machine-learning  reinforcement-learning 

ধরা যাক প্রতিটি সাইটে আমার প্রতিটি বিষয়ের জন্য কিছু পরিমাপ আছে। দুটি ভেরিয়েবল, সাবজেক্ট এবং সাইট ইন্টারপাস ক্লাস রিলেশন (আইসিসি) মানগুলির ক্ষেত্রে আগ্রহী। সাধারণত আমি lmerআর প্যাকেজ থেকে ফাংশন ব্যবহার করব lme4, এবং রান করব lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata) উপরের মডেলটিতে এলোমেলো …

22 r  lme4-nlme  intraclass-correlation 

আমি এই আর জিনিসটিতে একেবারে নতুন তবে কোন মডেলটি নির্বাচন করব তা সম্পর্কে আমি নিশ্চিত নই। আমি সর্বনিম্ন AIC এর উপর ভিত্তি করে প্রতিটি ভেরিয়েবল নির্বাচন করে একটি ধাপে এগিয়ে ফরোয়ার্ড রিগ্রেশন করেছি । আমি 3 টি মডেল নিয়ে এসেছি যা আমি নিশ্চিত না যেটি "সেরা"। Model 1: Var1 (p=0.03) …

22 model-selection  aic  stepwise-regression 

আমি অবিলম্বে যে, আমি একজন অনুশীলন সফ্টওয়্যার ডেভেলপার, না একটি পরিসংখ্যানবিদ নই নির্মল নয়, এবং যে আমার কলেজ পরিসংখ্যান বর্গ একটি ছিল খুব দীর্ঘ সময় আগে ... এটি বলেছিল, আমি জানতে চাই যে বর্ণনামূলক পরিসংখ্যানগুলির একটি সেট সংগ্রহ করার জন্য যদি এমন কোনও পদ্ধতি রয়েছে যা বাক্সপ্লট তৈরি করতে ব্যবহার …

22 algorithms  median  quantiles 

আমার কাছে দুটি গ্রুপের ডেটা রয়েছে। একাধিক ভেরিয়েবলের আলাদা বিতরণ সহ প্রতিটি। আমি এই দুটি দলের বিতরণ একটি পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ উপায়ে পৃথক কিনা তা নির্ধারণ করার চেষ্টা করছি। আমার কাছে কাঁচা আকারে ডেটা রয়েছে এবং প্রতিটিটিতে ফ্রিকোয়েন্সি গণনার সাথে পৃথক পৃথক বিভাগগুলি মোকাবেলা করা সহজ easier এই দুটি গ্রুপ উল্লেখযোগ্যভাবে …

22 distributions  statistical-significance 

পারস্পরিক সম্পর্ক সহগ সাধারণত একটি মূলধন দিয়ে লেখা হয় তবে কখনও কখনও হয় না। আমি অবাক হয়েছি যদি সত্যিই এবং মধ্যে পার্থক্য আছে ? ক্যান গড় একটি পারস্পরিক সম্পর্কের সহগের চেয়ে অন্য কিছু?আর 2 র 2 আরআরআরRR2R2r^2আর2আর2R^2RRr

22 correlation  terminology  r-squared 

আমি নিশ্চিত নন কেন আমাদের ডামি কোড শ্রেণিবদ্ধ ভেরিয়েবলগুলি দরকার। উদাহরণস্বরূপ, যদি আমার চারটি সম্ভাব্য মান 0,1,2,3 সহ একটি স্পষ্টিক পরিবর্তনশীল থাকে তবে আমি এটিকে দুটি মাত্রা দ্বারা প্রতিস্থাপন করতে পারি। যদি ভেরিয়েবলটির মান 0 হয় তবে এর দুটি মাত্রায় 0,0 থাকবে, যদি এটি 3 থাকে, তবে এটি দুটি মাত্রায় …

22 categorical-data  categorical-encoding 

রৈখিক প্রতিরোধের অনুমানগুলি কী তা নিয়ে আমি কিছুটা বিভ্রান্ত। এখনও পর্যন্ত আমি যাচাই করেছি কিনা: সমস্ত ব্যাখ্যামূলক ভেরিয়েবল প্রতিক্রিয়া ভেরিয়েবলের সাথে রৈখিকভাবে সম্পর্কযুক্ত। (এটি ছিল) ব্যাখ্যামূলক ভেরিয়েবলগুলির মধ্যে কোনও মিল ছিল। (সামান্য তাত্পর্য ছিল)। আমার মডেলের ডেটাপয়েন্টগুলির কুকের দূরত্ব 1 এর নীচে (এটি হ'ল, সমস্ত দূরত্ব 0.4 এর নীচে, সুতরাং …

22 linear-model  residuals  assumptions  normality-assumption 

গুচ্ছ বিশ্লেষণ সম্পর্কে আমার একটি প্রশ্ন আছে। 3000 টি সংস্থা রয়েছে, তাদের 5 বছরেরও বেশি সময় ধরে বিদ্যুৎ ব্যবহার অনুযায়ী ক্লাস্টার করতে হয়। প্রতিটি কোম্পানির 5 বছরের মধ্যে প্রতি ঘন্টা জন্য মান আছে। আমি জানতে চাই যে কিছু সময়সীমার মধ্যে কিছু সংস্থার ব্যবহার ক্ষমতাতে একই প্যাটার্ন রয়েছে কিনা। ফলাফলগুলি বিদ্যুতের …

22 time-series  clustering  spss