পরিসংখ্যান এবং বড় তথ্য

আমি অনেক অ্যালগরিদম নিয়ে কাজ করছি: র‌্যান্ডমফোরস্ট, ডিসিশনট্রিজ, নাইভবেইস, এসভিএম (কার্নেল = লিনিয়ার এবং আরবিএফ), কেএনএন, এলডিএ এবং এক্সজিবিস্ট। এসভিএম বাদে সকলেই বেশ দ্রুত ছিল। এটি যখন আমি জানতে পারলাম দ্রুত কাজ করার জন্য এটির বৈশিষ্ট্য স্কেলিং প্রয়োজন। তারপরে আমি ভাবতে শুরু করি যে অন্য অ্যালগরিদমের জন্য আমারও একই করা …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

নেস্টেড ক্রস বৈধকরণের জন্য আমি নিম্নলিখিত পোস্টগুলি পড়েছি এবং এখনও নেস্টেড ক্রস বৈধতা সহ মডেল নির্বাচনের জন্য আমি কী করব তা 100% নিশ্চিত নই: মডেল নির্বাচনের জন্য নেস্টেড ক্রস বৈধকরণ মডেল নির্বাচন এবং ক্রস-বৈধকরণ: সঠিক উপায় আমার বিভ্রান্তি ব্যাখ্যা করার জন্য, আমাকে নেস্টেড ক্রস বৈধকরণ পদ্ধতিটি ধাপে ধাপে মডেল নির্বাচনের …

17 cross-validation  scikit-learn  hyperparameter 

প্রথমত, এমন একটি প্রশ্ন পোস্ট করার জন্য ক্ষমা চাওয়া যা ইতিমধ্যে এখানে , এখানে , এখানে , এখানে , এখানে দীর্ঘ আলোচনা করা হয়েছে, এবং একটি পুরানো বিষয় পুনরায় গরম করার জন্য। আমি জানি @ ডিক্রানমারসুপিয়াল পোস্ট এবং জার্নাল পেপারগুলিতে এই বিষয়টি সম্পর্কে দীর্ঘমেয়াদে লিখেছেন, তবে আমি এখনও বিভ্রান্ত হয়েছি, …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

আমি তালেব, ২০১,, স্ট্যান্ডার্ড পি-ভ্যালুগুলির মেটা-বিতরণে তৈরি বড় চিত্র দাবিটি বোঝার চেষ্টা করছি । এতে, তালেব পি-মানটির অবিশ্বাস্যতার জন্য নিম্নলিখিত যুক্তিটি তৈরি করেছেন (যেমনটি আমি এটি বুঝতে পারি): কিছু বিতরণ আউটপুট এপি মান থেকে ডাটা পয়েন্টগুলিতে অপারেশন করে এমন একটি অনুমান পদ্ধতি procedure যদি আমরা এই বিতরণ থেকে আরও পয়েন্ট …

17 hypothesis-testing  statistical-significance  p-value 

যদি আমার কাছে কোনও ডেটা থাকে এবং আমি ক্রস বৈধকরণের (এই 5 টি ভাঁজগুলি বলি) একটি শ্রেণিবদ্ধকরণ চালাও (আসুন 5-ভাজ বলি) আমি কি এই সিদ্ধান্তে পৌঁছাতে পারি যে আমার পদ্ধতিতে কোনও অতিরিক্ত ফিট নেই?

17 cross-validation  overfitting 

প্রশ্ন (গুলি): আধা সর্বাধিক সম্ভাবনা অনুমানের পিছনে কী ধারণা এবং স্বজ্ঞাততা রয়েছে (কিউএমএলই; এটি ছদ্ম সর্বাধিক সম্ভাবনা অনুমান, পিএমইএল) নামেও পরিচিত? যখন আসল ত্রুটি বিতরণ অনুমান করা ত্রুটি বিতরণের সাথে মেলে না তখন প্রাক্কলনকারীকে কী কাজ করে? কিউএমএলই- র উইকিপিডিয়া সাইটটি সূক্ষ্ম (সংক্ষেপে, স্বজ্ঞাত), তবে আমি আরও কিছু অন্তর্দৃষ্টি এবং …

17 maximum-likelihood  references  intuition  quasi-likelihood 

সাপ্পস এবং প্রমিত এ সমানভাবে বিতরণ করা হয়েছে এবং তারা স্বতন্ত্র, পিডিএফ কী ?XXXYYY[0,1][0,1][0, 1]Z=Y/XZ=Y/XZ = Y / X কিছু সম্ভাবনা তত্ত্বের পাঠ্যপুস্তকের উত্তর হ'ল fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z \le 1 \\ 1/(2z^2), & \text{if } z > 1 …

17 probability  derived-distributions 

এই প্রশ্নে যেমন বলা হয়েছে , কোভারিয়েন্স ম্যাট্রিক্সের সর্বাধিক র‌্যাঙ্ক n−1n−1n-1 যেখানে nnn নমুনার আকার এবং তাই যদি কোভারিয়েন্স ম্যাট্রিক্সের মাত্রা নমুনার আকারের সমান হয়, তবে এটি একক হবে। আমি বুঝতে পারি না কেন আমরা কোভারিয়েন্স ম্যাট্রিক্সের সর্বোচ্চ র‌্যাঙ্ক এন থেকে বিয়োগ করি ।111nnn

17 covariance-matrix  linear-algebra 

সুতরাং আমি কীভাবে একটি পি-মানটিকে সঠিকভাবে ব্যাখ্যা করতে পারি সে সম্পর্কে প্রচুর পড়ছি, এবং আমি যা পড়েছি, পি-মানটি নাল অনুমানটি সত্য বা মিথ্যা সম্ভাবনার বিষয়ে কিছুই বলেনি। তবে, নিম্নলিখিত বিবৃতিটি পড়ার সময়: পি - মানটি টাইপ আই ত্রুটি তৈরি করার সম্ভাবনা বা প্রতিনিধিত্ব করে বা নাল অনুমানটিকে সত্য বলে প্রত্যাখ্যান …

17 hypothesis-testing  p-value 

একবার আমি আর-এ একটি (রিগ্রেশন) এলোমেলো বন মডেল তৈরি করেছি, কলটি rf$importanceআমাকে প্রতিটি পূর্বাভাসক চলকের জন্য দুটি পদক্ষেপ সরবরাহ করে %IncMSEএবং IncNodePurity। ছোট %IncMSEমূল্যবোধের সাথে পূর্বাভাসকারী ভেরিয়েবলগুলি %IncMSEকী বড় মূল্যবোধের সাথে ভবিষ্যদ্বাণীকারী ভেরিয়েবলের চেয়ে গুরুত্বপূর্ণ ? কীভাবে IncNodePurity?

17 r  feature-selection  random-forest 

স্ট্যান্ডার্ড সর্বাধিক সম্ভাবনার সেটিংসে ( নমুনা ঘনত্ব ) সহ কিছু বিতরণ থেকে ) এবং সঠিকভাবে নির্দিষ্ট মডেলের ক্ষেত্রে ফিশার তথ্য দ্বারা দেওয়া হয় f y ( y | θ 0)Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] যেখানে প্রত্যাশাটি সত্য ঘনত্বের প্রতি সম্মান নিয়ে নেওয়া হয়েছে যা ডেটা উত্পন্ন করে। …

17 maximum-likelihood  fisher-information 

আমি শুনেছি নাল অনুমানের অধীনে পি-মান বিতরণ অভিন্ন হওয়া উচিত। তবে, ম্যাটল্যাব-তে দ্বিপদী পরীক্ষার সিমুলেশনগুলি ইউনিফর্মের ডিস্ট্রিবিউশনগুলির তুলনায় 0.5-এর চেয়ে বড় (এই ক্ষেত্রে 0.518) এর সাথে খুব আলাদা - ফেরত দেয়: coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j = 1:200 success …

17 matlab  p-value  binomial  simulation  uniform 

আমি দেখেছি এই পাইথন বাস্তবায়ন এর Jenks স্বাভাবিক বিরতি অ্যালগরিদম এবং আমি এটা আমার উইন্ডোজ 7 মেশিনে রান করতে পারে। এটি বেশ দ্রুত এবং এটি আমার জিওডাটার আকার বিবেচনা করে কিছু সময়ের মধ্যে বিরতিগুলি খুঁজে পেয়েছে। আমার ডেটা জন্য এই ক্লাস্টারিং অ্যালগরিদম ব্যবহার করার আগে, আমি sklearn.clustering.KMeans (এখানে) অ্যালগরিদম ব্যবহার …

17 python  clustering  optimization 

আমাকে সবসময় বলা হয়েছে একটি সিডিএফ অনন্য তবে পিডিএফ / পিএমএফ অনন্য নয়, কেন? আপনি একটি উদাহরণ দিতে পারেন যেখানে পিডিএফ / পিএমএফ অনন্য নয়?

17 probability  distributions  pdf  cdf 

আমি বারবার কে-ফোল্ড ক্রস বৈধতা ব্যবহার করেছি এবং ক্রস বৈধতার বিভিন্ন রানের ভাঁজগুলি জুড়ে গ্র্যান্ড গড় হিসাবে গণনা করে (মূল্যায়ন মেট্রিকের উদাহরণস্বরূপ, সংবেদনশীলতা, নির্দিষ্টতা) প্রতিবেদন করছি। তবে, কীভাবে আমার বৈচিত্রটি রিপোর্ট করা উচিত তা আমি নিশ্চিত নই। আমি এখানে বারবার ক্রস-বৈধকরণ নিয়ে আলোচনা করে অনেক প্রশ্ন পেয়েছি, তবে, যেগুলি আমি …

17 cross-validation