পরিসংখ্যান এবং বড় তথ্য

আসল প্রশ্ন (//২৫/১)): সংবাদমাধ্যমের এই উদ্ধৃতিটি কী বোঝায়? তবে বার্নেট পয়সন বিতরণ তত্ত্বের দিকেও দৃষ্টি আকর্ষণ করেছেন, যা বোঝায় যে ক্র্যাশের মধ্যে সংক্ষিপ্ত বিরতি আসলে দীর্ঘ সময়ের চেয়ে বেশি সম্ভাব্য। "ধরুন যে প্রতি বছর গড়ে একটি মারাত্মক দুর্ঘটনা ঘটে, যার অর্থ যে কোনও দিনেই দুর্ঘটনার সম্ভাবনা ৩ chance৫ এর মধ্যে …

15 probability  poisson-distribution 

আমি দেখতে কিনা যাওয়ার জন্য চেষ্টা করছি শৈলশিরা রিগ্রেশন , Lasso , প্রধান উপাদান রিগ্রেশন (পিসিআর), অথবা আংশিক লিস্ট স্কোয়ার যেখানে ভেরিয়েবল / বৈশিষ্ট্য (এর সংখ্যক আছে একটি পরিস্থিতির মধ্যে (পিএলএস) ) এবং নমুনা ছোট নম্বর ( এন < পি ), এবং আমার উদ্দেশ্যটি পূর্বাভাস।pppn<pn<pn np>10np>10np>10n ভেরিয়েবল ( এবং ওয়াই …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

আমার দুটি ডেটাসেট রয়েছে এবং আমি জানতে চাই যে সেগুলি উল্লেখযোগ্যভাবে পৃথক কিনা বা না (এটি " দুটি গ্রুপ থেকে উল্লেখযোগ্যভাবে পৃথক? ব্যবহারের পরীক্ষা " থেকে এসেছে)। আমি নিম্নলিখিতটি আর তে করে একটি ক্রমশক্তি পরীক্ষা করার সিদ্ধান্ত নিয়েছি: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- …

15 p-value  permutation-test 

আমি হেটেরোসেসটেস্টিক ডেটাতে একটি রিগ্রেশন করার চেষ্টা করছি যেখানে আমি একটি লিনিয়ার মডেলের ক্ষেত্রে ত্রুটি বৈকল্পের পাশাপাশি গড় মানগুলি পূর্বাভাস দেওয়ার চেষ্টা করছি । এটার মতো কিছু: y(x,t)ξ(x,t)y¯(x,t)σ(x,t)=y¯(x,t)+ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim N\left(0,\sigma\left(x,t\right)\right),\\ \bar{y}\left(x,t\right) &= y_{0}+ax+bt,\\ \sigma\left(x,t\right) &= \sigma_{0}+cx+dt. \end{align} কথায় কথায়, ডেটাতে x এবং t এর বিভিন্ন মানগুলিতে …

15 regression  spss  variance  residuals  heteroscedasticity 

আমার কাছে থাকা কিছু ডেটার স্বাভাবিকতা নিয়ে আমার সমস্যা আছে: আমি একটি কলমোগোরভ পরীক্ষা করেছি যা বলেছে যে এটি পি = .0000 এর সাথে স্বাভাবিক নয়, আমি বুঝতে পারি না: আমার বিতরণের সঙ্কোচ = = 497, এবং কুরটোসিস = -0,024 আমার বিতরণের প্লটটি যা দেখতে খুব স্বাভাবিক দেখাচ্ছে ... (আমার …

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

এক-লেজযুক্ত কেএস পরীক্ষা করা কি অর্থবহ এবং সম্ভব? এ জাতীয় পরীক্ষার নাল অনুমান কী হবে? নাকি কেএস পরীক্ষাটি সহজাতভাবে একটি দ্বি-পুচ্ছ পরীক্ষা? আমি কোন উত্তর যে সাহায্য করেছে আমাকে বিতরণের বুঝতে থেকে উপকৃত হবে ডি (আমি ম্যাসে এর 1951 কাগজ মাধ্যমে কাজ করছি, এবং বর্ণনা চ্যালেঞ্জ খুঁজে, উদাহরণস্বরূপ হয় এবং …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

কয়েক মিলিয়ন সারি এবং 100 ডলার কলাম সহ আমার একটি ডেটাসেট রয়েছে। আমি ডেটাসেটের প্রায় 1% উদাহরণ সনাক্ত করতে চাই, যা একটি সাধারণ শ্রেণীর অন্তর্গত। আমার ন্যূনতম নির্ভুলতা সীমাবদ্ধতা রয়েছে, তবে খুব অসম্পূর্ণ ব্যয়ের কারণে আমি কোনও বিশেষ স্মরণে খুব আগ্রহী নই (যতক্ষণ না আমি 10 টি ইতিবাচক ম্যাচ না …

15 machine-learning  classification  unbalanced-classes  precision-recall 

পরিসংখ্যান এবং মেশিন লার্নিং পদগুলির জন্য কি কোনও রেফারেন্স থিসরাস আছে? আমি জানি যে উইকিপিডিয়া নিবন্ধগুলিতে প্রায়শই প্রতিশব্দ থাকে, তবে আমি কেবল একটি থিসেরাস রাখতে চাই যা আমি সহজেই (বনাম একটি সম্পূর্ণ এনসাইক্লোপিডিয়া) যেতে পারতাম তা নিশ্চিত করার জন্য যে আমি সমস্ত জার্গোনটি জানি।

15 machine-learning  terminology 

আমি শুনেছি যে পূর্বের পর্যাপ্ত পরিমাণটি বেছে নেওয়া হলে রিজ রিগ্রেশন উত্তরোত্তর বিতরণের মাধ্যম হিসাবে উত্পন্ন হতে পারে। পূর্ববর্তী (যেমন 0 প্রায় স্ট্যান্ডার্ড সাধারণ বিতরণ) দ্বারা রিগ্রেশন সহগের উপর নির্ধারিত সীমাবদ্ধতাগুলি কি সহগ / স্কোয়ার সাইজের পেনাল্টি সেটটি প্রতিস্থাপন করে? এই সমতাটি ধরে রাখার জন্য কি পূর্বের গাউসিয়ান হতে হবে?

15 bayesian  prior  ridge-regression 

বিশেষত, আমি ভাবছি কেন আমাদের এই ধারণাটি একাধিক আর (যা আমি একাধিক রিগ্রেশনে পর্যবেক্ষণকৃত এবং পূর্বাভাসিত স্কোরগুলির মধ্যে পারস্পরিক সম্পর্ক হিসাবে বুঝতে পারি), এবং তারপরে একটি পৃথক ধারণা আর-স্কোয়ার যা কেবল বর্গ বা আর is আমাকে জানানো হয়েছে যে আর-স্কোয়ারটি শতাংশের পার্থক্য ব্যাখ্যা করেছে এবং আর নয়, তবে পারস্পরিক সম্পর্ক …

15 multiple-regression 

যদি আমার কাছে স্টার রেটিং সিস্টেম থাকে যেখানে ব্যবহারকারীরা কোনও পণ্য বা আইটেমের জন্য তাদের পছন্দটি প্রকাশ করতে পারেন, ভোটগুলি যদি "বিভক্ত" হয় তবে আমি কীভাবে পরিসংখ্যানগুলি সনাক্ত করতে পারি। অর্থ, যদি কোনও প্রদত্ত পণ্যের জন্য গড় 5 এর মধ্যে 3 হয় তবে আমি কীভাবে সনাক্ত করতে পারি যে এটি …

15 variance  average  dispersion 

আমি এলোমেলো বনের জন্য গিনি বৈশিষ্ট্য গুরুত্ব পরিমাপে কাজ করছি। অতএব, আমার নোড অপরিষ্কারের গিনি হ্রাস গণনা করা উচিত। আমি এখানে এমনভাবেই চলেছি, যা সংজ্ঞার সাথে দ্বন্দ্বের দিকে পরিচালিত করে, যা আমাকে কোথাও ভুল হতে হবে তা বোঝায় ... :) বাইনারি গাছের জন্য, এবং বাম এবং ডান বাচ্চাদের সম্ভাব্যতাগুলি দেওয়া, …

15 feature-selection  random-forest  cart 

আমি আমার ডেটাসেটে সাপোর্ট ভেক্টর মেশিনগুলি (এসভিএম) ব্যবহার করার চেষ্টা করতে চাই। যদিও সমস্যাটি চেষ্টা করার আগে, আমাকে সতর্ক করা হয়েছিল যে এসভিএমগুলি অত্যন্ত ভারসাম্যহীন ডেটাতে ভাল সম্পাদন করে না। আমার ক্ষেত্রে, আমি 95-98% 0 এবং 2-5% 1 এর মতো থাকতে পারি। আমি সংস্থানসমূহ / ভারসাম্যহীন ডেটাতে এসভিএম ব্যবহারের বিষয়ে …

15 svm  libsvm  unbalanced-classes 

দ্বিগুণ প্রতিক্রিয়ার পরিবর্তনের পরে আমি আমার এবং ভেরিয়েবলের মধ্যে একটি শক্তিশালী রৈখিক সম্পর্ক অর্জন করেছি । মডেলটি তবে আমি এটিকে .১৯ থেকে .76 from থেকে rac উন্নত করে rac ফ্র্যাক্স q স্ক্র্যাট to এ রূপান্তরিত করেছি।XXXYYYY∼XY∼XY\sim XYX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X}R2R2R^2 স্পষ্টতই আমি এই সম্পর্কে কিছু শালীন অস্ত্রোপচার করেছি। অতিরিক্ত পরিবর্তনের ঝুঁকি বা …

15 regression  data-transformation  r-squared 

সুতরাং (অপ্রচলিত) পাঠ্য মডেলিংয়ে, লেটেন্ট ডিরিচলেট অ্যালোকেশন (এলডিএ) হ'ল সম্ভাবনাবাদী ল্যাটেন্ট সেমেন্টিক অ্যানালাইসিস (পিএলএসএ) এর একটি বয়েসিয়ান সংস্করণ। মূলত, এলডিএ = পিএলএসএ + ডিরিচলেট এর পরামিতিগুলির আগে। আমার বোধগম্যতা হল যে এলডিএ এখন রেফারেন্স অ্যালগরিদম এবং বিভিন্ন প্যাকেজগুলিতে প্রয়োগ করা হয়েছে, যখন পিএলএসএ আর ব্যবহার করা উচিত নয়। তবে (তত্ত্বাবধানে) …

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution