পরিসংখ্যান এবং বড় তথ্য

মনে করুন যে আমি তাত্পর্যপূর্ণভাবে বিতরণ করা একটি সম্ভাবনা ফাংশনটি আবার প্যারামিটারাইজ করার চেষ্টা করছি। যদি আমার আসল সম্ভাবনা ফাংশন হয়: p ( y)∣ θ ) = θ ই- θ yপি(Y|θ)=θই-θY p(y \mid \theta) = \theta e^{-\theta y} এবং আমি এটি using ব্যবহার করে এটি পুনরায় প্যারামিট্রাইজ করতে চাই , …

10 regression  bayesian  mathematical-statistics 

বিভিন্ন লজিস্টিক মডেলের তুলনা করতে আরএমএসই (রুট মিন স্কোয়ার্ড ত্রুটি) ব্যবহারের বৈধতা সম্পর্কে আমার একটি প্রশ্ন রয়েছে। প্রতিক্রিয়া হয় 0বা হয় 1এবং ভবিষ্যদ্বাণীগুলি মধ্যে সম্ভাব্যতা 0- 1? বাইনারি প্রতিক্রিয়া সঙ্গে নীচে প্রয়োগ উপায় বৈধ? # Using glmnet require(glmnet) load(url("https://github.com/cran/glmnet/raw/master /data/BinomialExample.RData")) cvfit = cv.glmnet(x, y, family = "binomial", type.measure = "mse") …

10 regression  logistic  generalized-linear-model  glmnet  rms 

আমি নিম্নলিখিত ধরণের ক্ষেত্রে আগ্রহী: এখানে 'এন' ধারাবাহিক এলোমেলো ভেরিয়েবল রয়েছে যার সমষ্টি 1 হতে হবে then সুতরাং, যদি , তবে আমি for এর জন্য বিতরণে আগ্রহী , যেখানে , এবং সমস্ত বিতরণ করা হয়েছে। অবশ্যই উদাহরণস্বরূপ, , কারণ কেবল , এবং যদিও এটি আর মধ্যে বিতরণ অনুকরণ করা সহজ …

10 uniform 

যদি কোনও হয়, একাধিক পৃথক "পরীক্ষাগুলি" -এর জন্য একটি লাইন ফিটিংয়ের মধ্যে থাকে তবে ফিটগুলির গড় গড়ে নেওয়া, বা পৃথক পরীক্ষাগুলি থেকে ডেটা গড় করার পরে গড় ডেটা ফিটিং করা। আমাকে বিস্তারিতভাবে বলতে দাও: আমি কম্পিউটার সিমুলেশনগুলি সম্পাদন করি যা নীচে দেখানো একটি বক্র তৈরি করে। আমরা একটি পরিমাণ বের …

10 error  fitting  average 

আমি কন্টিজেন্সি টেবিলে স্বাধীনতার পরীক্ষা করছি । জি-টেস্ট বা পিয়ারসনের চি-স্কোয়ার্ড টেস্ট ভাল কিনা তা আমি জানি না । নমুনার আকারটি কয়েকশতে রয়েছে তবে কিছু কম ঘরের সংখ্যা রয়েছে। উইকিপিডিয়া পৃষ্ঠায় যেমন বলা হয়েছে, চি-স্কোয়ার ডিস্ট্রিবিউজের আনুমানিকতা জি-পরীক্ষার জন্য পিয়ারসনের চি-স্কোয়ার পরীক্ষার চেয়ে ভাল। তবে আমি পি-মান গণনা করতে মন্টি …

10 chi-squared  p-value  monte-carlo  contingency-tables 

আমার কিছু তথ্য রয়েছে যা গ্রাফ । দুটি ক্লাসের মধ্যে , একটির অন্তর্ভুক্ত , এবং আমি দুটি শ্রেণীর মধ্যে পার্থক্য করার জন্য একটি এসভিএম প্রশিক্ষণ দিতে আগ্রহী। এর একটি উপযুক্ত কার্নেল হল আশ্লেষ কার্নেল , যেখানে হয় Laplacian এর এবং একটি টিউনিং প্যারামিটার।y আমি ∈ { - 1 , 1 …

10 svm  cross-validation  kernel-trick  graph-theory 

কোনও আর প্যাকেজ (বা এমনকি একটি বেস আর ফাংশন) রয়েছে যা পি-মানগুলির সংমিশ্রণের জন্য ফিশার বা স্টুফারের পদ্ধতি প্রয়োগ করে ? এটির কোডিং প্রায় তুচ্ছ হওয়া উচিত, তবে আমি বরং একটি প্যাকেজ (এবং উদ্ধৃত) ব্যবহার করি। এই প্রশ্নের উদাহরণ কোড: পি-মানগুলিকে সংযুক্ত করার জন্য ফিশারের পদ্ধতি - নীচের লেজের কী …

10 r  combining-p-values 

আমি ভাবছিলাম যেখানে একই আরভিটির কোয়ান্টাইলগুলির ক্রিয়াকলাপ হিসাবে ক্রমাগত র্যান্ডম ভেরিয়েবলের প্রত্যাশিত মান সম্পর্কিত কোনও সাধারণ সূত্র আছে যেখানে আরভি এর প্রত্যাশিত মানটি সংজ্ঞায়িত করা হয়েছে: এবং quantiles হিসাবে সংজ্ঞায়িত করা হয়: জন্য ।XXX E(X)=∫xdFX(x)E(X)=∫xdFX(x)E(X) = \int x dF_X(x) QpX={x:FX(x)=p}=F−1X(p)QXp={x:FX(x)=p}=FX−1(p)Q^p_X = \{x : F_X(x) = p \} =F_X^{-1}(p) p∈(0,1)p∈(0,1)p\in(0,1) উদাহরণস্বরূপ …

10 expected-value  quantiles  quantile-regression 

প্রমাণ ওজন (ডাব্লুইউই) শ্রেণিবদ্ধ ভেরিয়েবলের রূপান্তর কখন কার্যকর হয়? উদাহরণটি WOE রূপান্তরকরণে দেখা যায় (সুতরাং একটি প্রতিক্রিয়ার জন্য , & সঙ্গে একটি শ্রেণীগত predictor বিভাগ, & সফলতা বাইরে বিচারের মধ্যে এই predictor বিষয়শ্রেণীতে তম জন্য দুর্ভোগ তম বিভাগ হিসেবে সংজ্ঞায়িত করা হয়yyykkkyjyjy_jnjnjn_jjjjjjj logyj∑kjyj∑kj(nj−yj)nj−yjlog⁡yj∑jkyj∑jk(nj−yj)nj−yj\log \frac{y_j} {\sum_j^k {y_j}} \frac{\sum_j^k (n_j-y_j)}{n_j-y_j} & রূপান্তরটি …

10 logistic  categorical-data  regression-strategies 

প্রধান উপাদান বিশ্লেষণ '(পিসিএ) ক্লাসিকাল পদ্ধতিতে এটি কোনও ইনপুট ডেটা ম্যাট্রিক্সে করা হয় যার কলামগুলির শূন্য মানে হয় (তারপরে পিসিএ "বৈচিত্র্যকে সর্বাধিক করতে পারে")। কলামগুলি কেন্দ্র করে সহজেই এটি অর্জন করা যায়। হাভেনভার, যখন ইনপুট ম্যাট্রিক্স বিচ্ছিন্ন হয়, কেন্দ্রিক ম্যাট্রিক্সটি এখন আর বিচ্ছিন্ন হয়ে যায় এবং - ম্যাট্রিক্সটি যদি খুব …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

আমি একটি ফাংশন f এর অর্থ অনুমান করতে চাই, অর্থাৎ EX,Y[f(X,Y)]EX,Y[f(X,Y)]E_{X,Y}[f(X,Y)] যেখানে XXX এবং YYY स्वतंत्र র্যান্ডম ভেরিয়েবল। আমি চ নমুনা আছে কিন্তু IID নয়, কারণ IID নমুনা আছে Y1,Y2,…YnY1,Y2,…YnY_1,Y_2,\dots Y_n এবং প্রতিটি জন্য আছে থেকে নমুনা :n i XYiYiY_ininin_iXXXএক্সi , 1, এক্সi , 2, … , এক্সi , nআমিএক্সআমি,1,এক্সআমি,2,...,এক্সআমি,এনআমিX_{i,1},X_{i,2},\dots, …

10 variance  unbiased-estimator  estimators 

অতীতে আমি এমন অনেক অঞ্চলে প্রকাশিত কাগজপত্র সম্পর্কিত আমার সম্পর্কে অনেকগুলি প্রশ্ন জিজ্ঞাসা করেছি যেখানে পর্যবেক্ষণমূলক ডেটাগুলিতে রিগ্রেশন (এবং সম্পর্কিত মডেল যেমন প্যানেল মডেল বা জিএলএম) ব্যবহার করা হয় (যেমন নিয়ন্ত্রিত পরীক্ষার মাধ্যমে ডেটা তৈরি হয় না) , অনেক ক্ষেত্রে - তবে সর্বদা নয় - সময়ের সাথে সাথে ডেটা পর্যবেক্ষণ …

10 regression  references  instrumental-variables  observational-study 

যতদূর আমি দেখেছি, মতামতগুলি সম্পর্কে এই বিষয়ে পৃথক প্রবণতা রয়েছে। সেরা অনুশীলন অবশ্যই ক্রস-বৈধতা ব্যবহার করে নির্দেশ করবে (বিশেষত যদি একই ডেটাসেটের অন্যান্য অ্যালগরিদমের সাথে আরএফগুলির তুলনা করা হয়)। অন্যদিকে, মূল উত্সটি বলেছে যে মডেল প্রশিক্ষণের সময় ওওবি ত্রুটিটি গণনা করা হয় তা পরীক্ষার সেট পারফরম্যান্সের একটি সূচক যথেষ্ট। এমনকি …

10 cross-validation  random-forest  overfitting  out-of-sample 

কেউ কি আমাকে বলতে পারবেন যে এই ধরণের চিত্রটির নাম কী (যদি থাকে)? এছাড়াও যে কেউ এই জাতীয় চিত্রটি প্লট করার জন্য যে কোনও সরঞ্জাম, সহজ সরল, পরামর্শ দিতে পারে?

10 categorical-data  proportion 

এই প্রশ্নটি রবার্ট হগের গাণিতিক পরিসংখ্যানের 6th ষ্ঠ সংস্করণের সমস্যা সম্পর্কিত পৃষ্ঠা থেকে page.৪.৯ পৃষ্ঠায় is যাক IID সঙ্গে পিডিএফ হতে শূন্য অন্যত্র, যেখানে ।X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (ক) MLE খুঁজুন এরθ^θ^\hat{\theta}θθ\theta (খ) Is একটি জন্য যথেষ্ট পরিসংখ্যান ? কেন?θ^θ^\hat{\theta}θθ\theta (গ) টুটা ta থিতা থটির অনন্য এমভিইউ ? কেন?(n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/nθθ\theta আমি মনে করি আমি …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue