পরিসংখ্যান এবং বড় তথ্য

আমি দেখেছি এমন কিছু বক্তৃতা এবং টিউটোরিয়ালে , তারা আপনার ডেটাটিকে তিন ভাগে ভাগ করার পরামর্শ দেয়: প্রশিক্ষণ, বৈধতা এবং পরীক্ষা and তবে পরীক্ষার ডেটাসেট কীভাবে ব্যবহার করা উচিত এবং পুরো ডেটা সেটের উপরে ক্রস-বৈধকরণের চেয়ে এই পদ্ধতিটি কীভাবে ভাল তা পরিষ্কার নয়। ধরা যাক আমরা একটি পরীক্ষার সেট হিসাবে …

25 machine-learning  cross-validation  validation 

lmerTestপ্যাকেজ একটি উপলব্ধ anova()ফ্রিডম (df প্রয়োগ) ডিগ্রীগুলির ঐচ্ছিকরূপে Satterthwaite এর (ডিফল্ট) বা Kenward-রজার এর পড়তা সঙ্গে রৈখিক মিশ্র মডেলের জন্য ফাংশন। এই দুটি পদ্ধতির মধ্যে পার্থক্য কী? কোনটি বেছে নেবে?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

ন্যূনতম স্কোয়ার্স প্রসঙ্গে রিজ পেনাল্টি সম্পর্কে আমার বেশ কয়েকটি প্রশ্ন রয়েছে: βr i dছই= ( λ আইডি+ এক্স'এক্স)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) অভিব্যক্তিটি সূচিত করে যে এক্স এর কোভারিয়েন্স ম্যাট্রিক্সটি একটি তির্যক ম্যাট্রিক্সের দিকে সঙ্কুচিত হয়েছে, যার অর্থ (প্রক্রিয়াটির আগে ভেরিয়েবলগুলি মানক হিসাবে ধরে নেওয়া হয়) ইনপুট ভেরিয়েবলগুলির …

25 regression  pca  regularization  ridge-regression 

এলোমেলো অরণ্য বিভিন্ন কার্যক্রমে সুষ্ঠুভাবে সম্পাদন করার জন্য সুপরিচিত এবং লার্নিং পদ্ধতির চামড়াধারী হিসাবে পরিচিত । এমন কোন ধরণের সমস্যা বা নির্দিষ্ট পরিস্থিতি রয়েছে যেখানে একটি এলোমেলো বন ব্যবহার করা এড়ানো উচিত?

25 machine-learning  classification  random-forest 

আমি এখন একটি জার্মান বিশ্ববিদ্যালয়ের একটি মাস্টার সিএস ছাত্র আমার থিসিস লিখছি। আমার পিএইচডি করা চালিয়ে যাওয়া বা শিল্পে কোনও চাকরি পাওয়া উচিত কিনা আমাকে খুব কঠিন সিদ্ধান্ত নিতে হবে দুই মাসের মধ্যেই করা হবে । পিএইচডি করার জন্য আমার কারণগুলি: আমি খুব কৌতূহলী ব্যক্তি এবং আমার মনে হয় এখনও …

25 machine-learning  data-mining  careers 

ধরুন আমার কাছে তত্ত্বাবধানের পরিসংখ্যান শ্রেণিবদ্ধকরণের জন্য একটি ডেটাসেট রয়েছে, যেমন, কোনও বয়েসের শ্রেণিবদ্ধের মাধ্যমে। এই ডেটাসেটে 20 টি বৈশিষ্ট্য রয়েছে এবং আমি প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (পিসিএ) এবং / অথবা লিনিয়ার ডিসক্রিমেন্ট্যান্ট অ্যানালাইসিস (এলডিএ) এর মতো মাত্রিক হ্রাস কৌশলগুলির মাধ্যমে এটি 2 টি বৈশিষ্ট্যে সিদ্ধ করতে চাই। উভয় কৌশলই ডেটাটিকে …

25 classification  pca  regularization  discriminant-analysis  overfitting 

একটি সাধারণ রিগ্রেশন মডেলে, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, ওএলএস অনুমানকারী এবং পরস্পর সম্পর্কযুক্ত।ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} দুটি অনুমানকারীদের মধ্যে সম্পর্কের সূত্রটি হ'ল (যদি আমি এটি সঠিকভাবে উত্পন্ন করেছি): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. প্রশ্নাবলী: পারস্পরিক সম্পর্কের উপস্থিতির স্বজ্ঞাত ব্যাখ্যা কী? পারস্পরিক সম্পর্কের উপস্থিতি কি কোনও গুরুত্বপূর্ণ জড়িত? …

25 regression  least-squares  estimators 

পক্ষপাতদুষ্ট সর্বাধিক সম্ভাবনা (এমএল) অনুমানকারী সম্পর্কে আমার একটি বিভ্রান্তি রয়েছে । পুরো ধারণার গণিতটি আমার কাছে বেশ স্পষ্ট তবে আমি এর পিছনে স্বজ্ঞাত যুক্তিটি বের করতে পারি না। একটি নির্দিষ্ট ডেটাসেট দেওয়া হয়েছে যার একটি ডিস্ট্রিবিউশন থেকে নমুনা রয়েছে, যা নিজেই আমরা অনুমান করতে চাই যে একটি প্যারামিটারের ফাংশন, এমএল …

25 maximum-likelihood  bias 

আমি বর্তমানে কয়েকটি মিশ্র প্রভাব লিনিয়ার মডেল চালাচ্ছি। আমি আর তে প্যাকেজ "lme4" ব্যবহার করছি আমার মডেলগুলি ফর্মটি গ্রহণ করে: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) আমার মডেলগুলি চালানোর আগে, আমি ভবিষ্যদ্বাণীকারীদের মধ্যে সম্ভাব্য বহুবিধ লাইনটি পরীক্ষা করেছিলাম। আমি এটি দ্বারা: ভবিষ্যদ্বাণীকারীদের একটি ডেটা …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

আমার কাছে 800 ডলারের একটি ডেটা ফ্রেম রয়েছে। 40 টি ভেরিয়েবলের মধ্যে রয়েছে এবং আমার পূর্বাভাসের ফলাফলগুলি উন্নত করতে নীতিগত উপাদান উপাদান বিশ্লেষণ ব্যবহার করতে চান (যা এখন পর্যন্ত প্রায় 15 হাত-বাছাই করা ভেরিয়েবলের সাপোর্ট ভেক্টর মেশিনের সাথে সবচেয়ে ভাল কাজ করছে)। আমি বুঝতে পারি যে একটি প্রম্পম্প আমাকে ভবিষ্যদ্বাণীগুলি …

25 r  pca 

নীচের আর উদাহরণটি বিবেচনা করুন: plot( hclust(dist(USArrests), "ave") ) "উচ্চতা" অর্থ হ'ল y- অক্ষ কী? উত্তর ক্যারোলিনা এবং ক্যালিফোর্নিয়ার দিকে তাকিয়ে (বরং বাম দিকে)। ক্যালিফোর্নিয়া কি অ্যারিজোনার চেয়ে উত্তর ক্যারোলিনার কাছাকাছি? আমি কি এই ব্যাখ্যা করতে পারি? হাওয়াই (ডান) এর চেয়ে বেশি দেরিতে ক্লাস্টারে যোগ দেয়। অন্যান্য রাজ্যের তুলনায় এটি …

25 interpretation  hierarchical-clustering  dendrogram 

আমি কার্নেলের ঘনত্বের অনুমান সম্পর্কে আরও ভাল বোঝার চেষ্টা করছি। উইকিপিডিয়া থেকে সংজ্ঞাটি ব্যবহার করে: https://en.wikedia.org/wiki/Kernel_density_estimission#Difinition চজ^( এক্স ) = 1এনΣএনi = 1কেজ( এক্স - এক্স)আমি)= 1এন এইচΣএনi = 1কে( এক্স - এক্স)আমিজ)চজ^(এক্স)=1এনΣআমি=1এনকেজ(এক্স-এক্সআমি)=1এনজΣআমি=1এনকে(এক্স-এক্সআমিজ) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) আসুন একটি আয়তক্ষেত্রাকারী ফাংশন হিসাবে …

25 r  kernel-smoothing  convolution 

আমি একটি পুনরাবৃত্তি নকশা চালিয়েছি যার মাধ্যমে আমি তিনটি ভিন্ন কার্যে 30 জন পুরুষ এবং 30 জন মহিলা পরীক্ষা করেছি tested আমি বুঝতে চাই যে পুরুষ এবং স্ত্রীদের আচরণ কীভাবে আলাদা এবং এটি কীভাবে কাজের উপর নির্ভর করে। আমি এটি তদন্ত করার জন্য lmer এবং lme4 উভয়ই প্যাকেজ ব্যবহার করেছি …

25 r  mixed-model  assumptions  lme4-nlme 

আমি একটি র্যান্ডম পারস্পরিক সম্পর্ক ম্যাট্রিক্স জেনারেট করতে চাই এর আকার যেমন কিছু পরিমিতরূপে শক্তিশালী সম্পর্কযুক্তরূপে উপস্থিত আছে: এন × এনCসি\mathbf Cn×nএন×এনn \times n মাপের বর্গক্ষেত্রের রিয়েল প্রতিসম ম্যাট্রিক্স , যেমন ;n = 100n×nএন×এনn \times nn=100এন=100n=100 ধনাত্মক-সুনির্দিষ্ট, অর্থাত্ সমস্ত ইগ্যালভ্যালু সহ বাস্তব এবং ধনাত্মক; পূর্ণ পদ; সমস্ত তির্যক উপাদান সমান …

25 random-generation  covariance-matrix  correlation-matrix 

আমি ডকুমেন্ট ক্লাস্টারিংয়ে ব্যবহৃত বিভিন্ন কৌশলগুলি তদন্ত করছি এবং আমি পিসিএ (মূল উপাদান বিশ্লেষণ) এবং এলএসএ (সুপ্ত শব্দার্থ বিশ্লেষণ) সম্পর্কিত কিছু সন্দেহ মুছে ফেলতে চাই। প্রথম জিনিস - তাদের মধ্যে পার্থক্য কি? আমি জানি যে পিসিএতে, এসভিডি পচনটি টার্ম-কোভারিয়েন্স ম্যাট্রিক্সে প্রয়োগ করা হয়, যখন এলএসএতে এটি টার্ম-ডকুমেন্ট ম্যাট্রিক্স হয়। আর …

25 clustering  pca  data-mining  svd  lsa