পরিসংখ্যান এবং বড় তথ্য

আমি একটি জালিয়াতি সনাক্তকরণ (ক্রেডিট-স্কোরিং-এর মতো) সমস্যাটি মোকাবিলা করি। যেমন জালিয়াতি এবং জালিয়াতিহীন পর্যবেক্ষণগুলির মধ্যে একটি ভারসাম্যহীন সম্পর্ক রয়েছে। http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html বিভিন্ন শ্রেণিবদ্ধকরণের মেট্রিকের দুর্দান্ত সংক্ষিপ্তসার সরবরাহ করে। Precision and Recallবা kappaউভয়ই ভাল পছন্দ বলে মনে হচ্ছে: এ জাতীয় শ্রেণিবদ্ধের ফলাফলকে ন্যায়সঙ্গত করার একটি উপায় হ'ল তাদের বেসলাইন শ্রেণিবদ্ধগুলির সাথে তুলনা …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

ঠিক আছে প্রশ্ন সব বলে। "প্রাক প্রশিক্ষণ একটি নিউরাল নেটওয়ার্ক" বলতে কী বোঝায়? কেউ কি খাঁটি সরল ইংরেজিতে ব্যাখ্যা করতে পারেন? আমি এর সাথে সম্পর্কিত কোনও সংস্থান খুঁজে পাচ্ছি না। কেউ আমাকে তাদের দিকে নির্দেশ করতে পারলে দুর্দান্ত হবে।

22 neural-networks  pre-training 

আমি সর্বাধিক সম্ভাবনার অনুমান সম্পর্কে অধ্যয়ন করছি এবং আমি পড়েছি যে সম্ভাবনা ফাংশনটি প্রতিটি ভেরিয়েবলের সম্ভাবনার পণ্য। কেন এটি পণ্য? যোগফল কেন নয়? আমি গুগলে অনুসন্ধান করার চেষ্টা করছি কিন্তু আমি কোনও অর্থবহ উত্তর খুঁজে পাই না। https://en.wikipedia.org/wiki/Maximum_likelihood

22 maximum-likelihood 

আমি প্রোগ্রামিং এবং মেশিন লার্নিংয়ের উত্সাহী। মাত্র কয়েক মাস আগে আমি মেশিন লার্নিং প্রোগ্রামিং সম্পর্কে শিখতে শুরু করি। যাদের পরিমাণগত বিজ্ঞানের পটভূমি নেই তাদের মতো আমিও বহুল ব্যবহৃত এমএল প্যাকেজের (ক্যারেট আর) অ্যালগরিদম এবং ডেটাসেটগুলির সাথে টিঙ্কারিং করে এমএল সম্পর্কে শিখতে শুরু করি। কিছুক্ষণ আগে আমি একটি ব্লগ পড়েছিলাম যেখানে …

22 machine-learning 

এটি প্রায়শই বলা হয়েছে যে ক্রমশক্তি পরীক্ষার কোনও অনুমান নেই, তবে এটি অবশ্যই সত্য নয়। উদাহরণস্বরূপ, যদি আমার নমুনাগুলি কোনওভাবে পরস্পর সম্পর্কিত হয় তবে আমি কল্পনা করতে পারি যে তাদের লেবেলগুলিকে অনুমতি দেওয়া সঠিক কাজটি হবে না। কেবলমাত্র ভাবেন যে আমি এই সমস্যাটি সম্পর্কে উইকিপিডিয়া থেকে এই বাক্যটি পেয়েছি: "একটি …

22 hypothesis-testing  permutation-test  resampling 

এই প্রশ্নটি স্ট্যাক ওভারফ্লো থেকে স্থানান্তরিত হয়েছিল কারণ ক্রস ভ্যালিডেটে উত্তর দেওয়া যেতে পারে। ৫ বছর আগে হিজরত হয়েছে । আমি আংশিক নির্ভরতা প্লটগুলির উপর অন্যান্য বিষয়ের মাধ্যমে পড়েছি এবং তাদের বেশিরভাগের উপর আপনি কীভাবে প্রকৃতপক্ষে বিভিন্ন প্যাকেজগুলি দিয়ে প্লট করেছেন, কীভাবে আপনি সঠিকভাবে ব্যাখ্যা করতে পারেন তা নয়, সুতরাং: …

22 r  classification  data-visualization  random-forest  interpretation 

মিইন পরম স্কেলড ত্রুটি (এমএএসই) হ'ল কোহেলার অ্যান্ড হেন্ডম্যান (2006) প্রস্তাবিত পূর্বাভাস নির্ভুলতার একটি পরিমাপ । এমএ এসই= এমএ ইএমএ ইi n - s a এম পি এল ই ,n a i v eএমএকজনএসই=এমএকজনইএমএকজনইআমিএন-গুলিএকটিমিপিঠই,এনএকটিআমিবনামইMASE=\frac{MAE}{MAE_{in-sample, \, naive}} যেখানে প্রকৃত পূর্বাভাস দ্বারা উত্পাদিত গড় পরম ত্রুটি; যখন একটি নিরীহ পূর্বাভাস দ্বারা উত্পাদিত …

22 time-series  forecasting  accuracy  mase 

বিবৃতি নমুনা বৈকল্পিকের নমুনা বিতরণ হ'ল চি - স্কোয়ার্ড ডিস্ট্রিবিউশন হ'ল ডিগ্রি অফ সমান যেখানে এন নমুনার আকার (আগ্রহের এলোমেলো পরিবর্তনশীল সাধারণত বিতরণ করা হয়) isn - 1n−1n-1এনnn সূত্র আমার অন্তর্দৃষ্টি এটি কিন্ডা আমার কাছে স্বজ্ঞাত ধারণা দেয় 1) কারণ চি-স্কোয়ার পরীক্ষাটি বর্গ এবং 2 এর যোগফলের মতো দেখায়) কারণ …

22 distributions  normal-distribution  sampling  chi-squared  sample-size 

আমরা নিম্নলিখিত সিনট্যাক্স ব্যবহার করে একটি মিশ্র প্রভাব লজিস্টিক রিগ্রেশন চালিয়েছি; # fit model fm0 <- glmer(GoalEncoding ~ 1 + Group + (1|Subject) + (1|Item), exp0, family = binomial(link="logit")) # model output summary(fm0) বিষয় এবং আইটেম এলোমেলো প্রভাব। আমরা একটি বিজোড় ফলাফল পাচ্ছি যা বিষয়বস্তুর জন্য সহগ এবং মান বিচ্যুতি …

22 r  mixed-model  stata  glmm  lme4-nlme 

আমার কাছে বেকারি থেকে historicতিহাসিক বিক্রয় ডেটা রয়েছে (প্রতিদিন, 3 বছরেরও বেশি) এখন আমি ভবিষ্যতের বিক্রয় (সপ্তাহের দিন, আবহাওয়ার পরিবর্তনশীল ইত্যাদির মতো বৈশিষ্ট্যগুলি ব্যবহার করে) পূর্বাভাস দেওয়ার জন্য একটি মডেল তৈরি করতে চাই want মডেলগুলি ফিটিং এবং মূল্যায়নের জন্য আমি কীভাবে ডেটাসেট বিভক্ত করব? এটি কি কালানুক্রমিক ট্রেন / বৈধতা …

22 cross-validation  partitioning 

আমরা জানি যে সঠিক পূর্ববর্তী বিতরণের ক্ষেত্রে, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) । এই পদক্ষেপের স্বাভাবিক সমর্থনযোগ্যতা হ'ল XXX , পি (এক্স) এর প্রান্তিক বিতরণ \ থিতাকেP(X)P(X)P(X) সম্মান করে ধ্রুবক এবং উত্তরোত্তর বিতরণটি গ্রহণ করার সময় এভাবে উপেক্ষা করা যেতে পারে।θθ\theta যাইহোক, পূর্বে …

22 distributions  bayesian  prior  posterior 

যখন আমরা দুটি গ্রুপে পরীক্ষামূলকভাবে (ছোট নমুনা আকারে (সাধারণত চিকিত্সা গ্রুপে নমুনার আকার প্রায় 7 ~ 8% হয়)) করি, তখন আমরা পার্থক্যের জন্য পরীক্ষার জন্য একটি টি-টেস্ট ব্যবহার করি। যাইহোক, যখন আমরা একটি এনওওএ সম্পাদন করি (স্পষ্টতই দুটি দলের বেশি), আমরা বনফেরনির (এলএসডি / # পেয়ারওয়াই তুলনায়ের) বা টুকি পোস্ট …

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

প্যারামিটারগুলির সর্বাধিক সম্ভাবনার প্রাক্কলন কেন এত সাধারণ, তবে আপনি কার্যত কখনও প্রত্যাশিত সম্ভাবনা পরামিতি অনুমানগুলি সম্পর্কে শুনেন নি (অর্থাত্ কোনও সম্ভাবনা ফাংশনের মোডের চেয়ে প্রত্যাশিত মানের উপর ভিত্তি করে )? এটি কি মূলত historicalতিহাসিক কারণে, বা আরও তাত্পর্যপূর্ণ প্রযুক্তিগত বা তাত্ত্বিক কারণে? সর্বাধিক সম্ভাবনা অনুমানের চেয়ে প্রত্যাশিত সম্ভাবনার প্রাক্কলন ব্যবহারে …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

যখন আমি একটি বড় ডেটা সেট (অনেকগুলি নমুনা, অনেকগুলি ভেরিয়েবল) নিয়ে অনুসন্ধান বিশ্লেষণ শুরু করি, আমি প্রায়শই নিজেকে শত শত উদ্ভূত ভেরিয়েবল এবং টন বিভিন্ন প্লট দিয়ে খুঁজে পাই এবং কোথায় কী চলছে তার ট্র্যাক রাখার কোনও সত্যিকারের উপায় নেই। কোডটি স্প্যাগেটির মতো শেষ হয়, কারণ শুরু থেকে কোনও দিকনির্দেশ …

22 eda  project-management 

আমার কাছে আধা-ছোট ম্যাট্রিক্সের বাইনারি বৈশিষ্ট্যগুলির মাত্রা 250 কে x 100 রয়েছে Each user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 1 0 C 1 0 0 1 0 আমি ব্যবহারকারীদের 5-10 ক্লাস্টারে ফিট করতে এবং লোডিংগুলি বিশ্লেষণ করে দেখতে …

22 r  clustering  binary-data