পরিসংখ্যান এবং বড় তথ্য

আমি এন্টারপ্রাইজ মাইনার ব্যবহার করে প্রায় 1% ইভেন্টের ডেটাসেটে গ্রেডিয়েন্ট বুস্ট করার চেষ্টা করছি, তবে এটি কোনও আউটপুট উত্পাদন করতে ব্যর্থ হচ্ছে। আমার প্রশ্নটি, যেহেতু এটি সিদ্ধান্তের ভিত্তিতে ভিত্তিক একটি পদ্ধতির পদ্ধতির, এত কম ইভেন্টের সাথে গ্রেডিয়েন্ট বুস্টিং ব্যবহার করা কি সঠিক?

14 boosting  unbalanced-classes  rare-events  gradient 

আরওসি বক্ররেখার অধীনে অঞ্চলটি কেন এমন সম্ভাবনা রয়েছে যে কোনও শ্রেণিবদ্ধ একজন এলোমেলোভাবে বেছে নেওয়া "ইতিবাচক" উদাহরণটি (পুনরুদ্ধার পূর্বাভাস থেকে) এলোমেলোভাবে বেছে নেওয়া "ইতিবাচক" একের (মূল ইতিবাচক শ্রেণি থেকে) উচ্চতর হবে? কীভাবে এই সত্যটি ইতিবাচক এবং নেতিবাচক শ্রেণির বিতরণের সিডিএফ এবং পিডিএফ প্রদান করে অবিচ্ছেদ্য ব্যবহার করে এই বিবৃতিটিকে গাণিতিকভাবে …

14 probability  roc  auc 

আমি জানি যে ক্রমাগত পরিবর্তনশীল ।P[X=x]=0P[X=x]=0P[X=x]=0 তবে আমি ভিজ্যুয়ালাইজ করতে পারছি না যদি , সম্ভাব্য সংখ্যা অসীম । এবং এছাড়াও কেন তাদের সম্ভাবনা সীমিতভাবে ছোট হয়?P[X=x]=0P[X=x]=0P[X=x]=0xxx

14 probability  self-study  references  continuous-data 

কেউ উপর একটি অনুভূতি প্রদান করতে পারেন কেন একটি সম্ভাব্যতা বিতরণের উচ্চতর মুহূর্ত , তৃতীয় ও চতুর্থ মুহূর্ত মত, বক্রতা মিলা এবং যথাক্রমে সূঁচালতা? বিশেষত, তৃতীয় বা চতুর্থ শক্তিতে উত্থাপিত গড় সম্পর্কে বিচ্যুতি কেন স্কিউনেস এবং কুর্তোসিসের একটি পরিমাপে অনুবাদ করে? ফাংশনের তৃতীয় বা চতুর্থ ডেরাইভেটিভগুলির সাথে এটি সম্পর্কিত কোনও …

14 mathematical-statistics  skewness  moments  intuition  kurtosis 

আমি জানি যে কেএল ডাইভারজেনটি প্রতিসম নয় এবং এটিকে মেট্রিক হিসাবে কঠোরভাবে বিবেচনা করা যায় না। যদি তা হয় তবে জেএস ডাইভারজেন কোনও মেট্রিকের জন্য প্রয়োজনীয় বৈশিষ্ট্যগুলি সন্তুষ্ট করলে কেন এটি ব্যবহৃত হয়? কিছু পরিস্থিতিতে আছে যেখানে কেএল ডাইভারজেন্স ব্যবহার করা যেতে পারে তবে জেএস ডাইভারজেন বা তদ্বিপরীত নয়?

14 probability  distributions  kullback-leibler  metric 

আমি অনেক জায়গায় লগ-সাম-এক্সপ্রেস ট্রিক সম্পর্কে পড়েছি (উদাহরণস্বরূপ এখানে এবং এখানে ) তবে নায়েভ বেয়েস শ্রেণিবদ্ধের জন্য এটি কীভাবে বিশেষভাবে প্রয়োগ করা হয় তার উদাহরণ কখনও দেখেনি (যেমন বিচ্ছিন্ন বৈশিষ্ট্য এবং দুটি শ্রেণি সহ) কীভাবে কেউ এই কৌশলটি ব্যবহার করে সংখ্যার আন্ডারফ্লোর সমস্যাটি এড়াতে পারবেন?

14 naive-bayes  underflow 

আমি আমার গবেষণা কাজের জন্য সাইকিট-লার্নে প্রয়োগ করা একটি শ্রেণির এসভিএম ব্যবহার করছিলাম। তবে আমার এ সম্পর্কে ভাল ধারণা নেই। কেউ দয়া করে একটি শ্রেণির এসভিএমের একটি সহজ, ভাল ব্যাখ্যা দিতে পারেন ?

14 machine-learning  svm  data-mining  novelty-detection 

এমএলই = সর্বাধিক সম্ভাবনার অনুমান এমএপি = সর্বাধিক একটি পোস্টেরিয়েরি এমএলই স্বজ্ঞাত / নিষ্পাপ যে এটি কেবলমাত্র প্যারামিটারের (যেমন সম্ভাবনা ফাংশন) প্রদত্ত পর্যবেক্ষণের সম্ভাবনার সাথেই শুরু হয় এবং পর্যবেক্ষণের সাথে পরামিতিটির সেরা অনুসারগুলি খুঁজে পাওয়ার চেষ্টা করে । তবে পূর্বের জ্ঞানের বিষয়টি বিবেচনায় নেই। এমএপি আরও যুক্তিসঙ্গত বলে মনে হচ্ছে …

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

আমি লজিস্টিক রিগ্রেশন-এ ওভারডিস্পেরেশন ধারণার উপর একটি হ্যান্ডেল পাওয়ার চেষ্টা করছি। আমি পড়েছি যে যখন কোনও প্রতিক্রিয়ার পরিবর্তনশীলটির দ্বিপদী বিতরণ থেকে প্রত্যাশার চেয়ে বেশি হয় তখন পর্যবেক্ষণের পরিমাণটি বেশি হয়। তবে দ্বিপদী ভেরিয়েবলের কেবল দুটি মান থাকতে পারে (1/0), কীভাবে এর অর্থ ও বৈকল্পিকতা থাকতে পারে? বার্নোল্লি ট্রায়ালগুলির x সংখ্যা …

14 logistic  variance  binomial  mean  overdispersion 

আমি বুঝতে পারি এটি সম্ভবত খুব সহজ প্রশ্ন তবে অনুসন্ধানের পরে আমি যে উত্তরটি খুঁজছি তা খুঁজে পাচ্ছি না। আমার একটি সমস্যা আছে যেখানে বেটাসের রিজ অনুমানগুলি গণনা করার জন্য ভেরিয়েবলগুলি (রিজ রিগ্রেশন) রান করুন standard আমার তখন এগুলিকে মূল ভেরিয়েবল স্কেলে রূপান্তর করতে হবে। তবে আমি কীভাবে এটি করব? …

14 regression  standard-error  standardization  predictor  centering 

আমি যখন 10-গুণ ক্রস বৈধতা ব্যবহার করি তখন প্যারামিটার অপ্টিমাইজেশন সম্পর্কে আমার একটি প্রশ্ন রয়েছে। আমি জিজ্ঞাসা করতে চাই যে প্রতিটি ভাঁজগুলির মডেল প্রশিক্ষণের সময় প্যারামিটারগুলি ঠিক করা উচিত বা না, অর্থাৎ (1) প্রতিটি ভাড়ার গড় যথার্থতার জন্য অনুকূলিত পরামিতিগুলির একটি সেট নির্বাচন করুন। অথবা (২) আমার প্রতিটি ভাঁজের জন্য …

14 cross-validation  optimization  parameterization 

আমার কাছে সংখ্যার ভেক্টর রয়েছে যা আমি এখানে (... / কোড / মাইডাটা.আরডিটা) ডুপুট ব্যবহার করে আপলোড করেছি। আমি বিসিএ সিআই পেতে চাই তাই আমি এই কোডটি লিখেছি: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) তবে আমি যখন নিম্নলিখিতগুলি চালনা করি আমি …

14 r  bootstrap 

সংক্ষিপ্ত সংস্করণ: একটি অবিচ্ছিন্ন বিতরণ থেকে নমুনাযুক্ত বহুমাত্রিক ডেটা সেটের মোডটি নির্ধারণের সবচেয়ে গণনামূলক দক্ষ পদ্ধতি কোনটি? দীর্ঘ সংস্করণ: আমি একটি ডেটা সেট পেয়েছি যা এর মোডটি অনুমান করা দরকার। মোডটি গড় বা মিডিয়ানের সাথে একত্রে আসে না। একটি নমুনা নীচে দেখানো হয়েছে, এটি 2D উদাহরণ, তবে একটি এনডি সমাধান …

14 estimation  multivariate-analysis  continuous-data  mode 

একটি নমুনার উপর ভিত্তি করে বেঁচে থাকার বার আমি সময় জীবিত সম্ভাবনা অনুমান করার জন্য চাই কিছু নির্দিষ্ট জন্য, , কাপলান-মায়ার মূল্নির্ধারক ব্যবহার করে। এটি কি এটি করা সম্ভব ? দয়া করে নোট করুন, অবশ্যই কোনও ইভেন্টের সময় নয়।এনnnটিttটিttRটিtt

14 r  kaplan-meier 

আমি ভাবছিলাম যে একতরফা (এক-লেজযুক্ত) হাইপোথিসিসের সাথে একটি আলফা-স্তর রয়েছে .05, আমরা কি 95% আত্মবিশ্বাসের বিরতি সম্পর্কে কথা বলতে পারি? উদাহরণস্বরূপ, আমরা করতে পারেন গঠন করা আলাদাভাবে "ওয়ান পক্ষ" এবং আস্থা অন্তর "দ্বি-পার্শ্বযুক্ত" একটি জন্য একতরফা জেড বা টি পরীক্ষা? একতরফা পরীক্ষা দেওয়া এই আত্মবিশ্বাসের অন্তরগুলির প্রতিটিটির "ব্যাখ্যা" কী হবে …

14 hypothesis-testing  confidence-interval