পরিসংখ্যান এবং বড় তথ্য

একটি সম্মেলনে আমি নিম্নলিখিত বিবৃতিটি শুনেছি: 5 টি বিষয়ের 100 টি পরিমাপ 100 টি বিষয়ের 5 টি পরিমাপের চেয়ে কম তথ্য সরবরাহ করে। এটি সত্য যে এটি সত্য, তবে আমি ভাবছিলাম যে কেউ কীভাবে এটি গাণিতিকভাবে প্রমাণ করতে পারেন ... আমি মনে করি যে একটি রৈখিক মিশ্র মডেল ব্যবহার করা …

21 mixed-model  variance  repeated-measures  sample-size  intraclass-correlation 

সংক্ষিপ্ত সংস্করণ: আমরা জানি যে লজিস্টিক রিগ্রেশন এবং প্রবিট রিগ্রেশনকে পর্যবেক্ষণের আগে কিছু স্থির প্রান্ত অনুসারে অবিচ্ছিন্ন সুপ্ত পরিবর্তনশীল জড়িত হিসাবে ব্যাখ্যা করা যেতে পারে। পিসন রিগ্রেশন এর জন্য কি একই রকম সুপ্ত পরিবর্তনশীল ব্যাখ্যা পাওয়া যায়? দ্বিপদী রিগ্রেশন (যেমন লজিট বা প্রবাইটের মতো) কীভাবে হবে যখন দুটিরও বেশি পৃথক …

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

আমাদের কখন বিন / স্বতন্ত্র চলক / বৈশিষ্ট্য বিবেচনা করা উচিত এবং কখন করা উচিত নয়? প্রশ্নের উত্তর দেওয়ার জন্য আমার প্রচেষ্টা: সাধারণভাবে, আমাদের বিন করা উচিত নয়, কারণ বিনিংয়ের তথ্য হারাবে। বিনিং আসলে মডেলের স্বাধীনতার ডিগ্রি বাড়িয়ে তুলছে, সুতরাং, বিনিংয়ের পরে ওভার-ফিটিং হওয়া সম্ভব। যদি আমাদের কাছে "হাই বায়াস" …

21 machine-learning  continuous-data  feature-construction  binning 

সম্পর্কে কিছু প্রশ্ন পড়া হয়েছে টি-Sne ( টি-বন্টিত স্টচাস্টিক নেইবার এমবেডিং ) ইদানীং, এবং এছাড়াও সম্পর্কে কিছু প্রশ্ন পরিদর্শন MDS ( বহুমাত্রিক স্কেলিং )। এগুলি প্রায়শই আনুষাঙ্গিকভাবে ব্যবহৃত হয়, সুতরাং দেখে মনে হচ্ছে একটি ভাল ধারণা এই প্রশ্নটি তৈরি করে দেখুন যে এখানে উভয় পৃথকভাবে (বা পিসিএর তুলনায় ) অনেকগুলি …

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

পরিসংখ্যানগুলিতে, স্বাধীন এবং এলোমেলো একই বৈশিষ্ট্য বর্ণনা করে? তাদের মধ্যে পার্থক্য কী? আমরা প্রায়শই "দুটি স্বতন্ত্র র্যান্ডম ভেরিয়েবল" বা "এলোমেলো নমুনা" এর মতো বিবরণটি দেখতে পাই come আমি ভাবছি যে তাদের মধ্যে সঠিক পার্থক্য কি। কেউ কি এর ব্যাখ্যা দিয়ে কিছু উদাহরণ দিতে পারে? উদাহরণস্বরূপ অ-স্বতন্ত্র কিন্তু এলোমেলো প্রক্রিয়া?

21 distributions  sampling  randomness 

অনেক পিডিএফ বিয়োগ থেকে ধনাত্মক অনন্ত পর্যন্ত বিস্তৃত, তবুও কিছু উপায় সংজ্ঞায়িত করা হয়েছে এবং কিছুটি নয়। কোন সাধারণ বৈশিষ্ট্য কিছু গণনাযোগ্য করে তোলে?

21 distributions  mean 

পটভূমি: হ্যাঁ, সীমাবদ্ধ বল্টজম্যান মেশিন (আরবিএম) একটি নিউরাল নেটওয়ার্কের ওজন সূচনা করতে ব্যবহার করা যেতে পারে। এছাড়াও এটিকে একটি গভীর বিশ্বাস নেটওয়ার্ক নির্মাণ একটি "স্তর-বাই-স্তর" ভাবে ব্যবহার করা যেতে পারে (যে, একটি প্রশিক্ষণ উপরে -th স্তর -th স্তর, এবং তারপর প্রশিক্ষণের উপরে -th স্তর -th স্তর, পাখলান এবং পুনরাবৃত্তি ...)এনএনn( …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

আমার এমসিএমসি (মার্কভ চেইন মন্টি কার্লো) পদ্ধতিগুলির উপর যে সামান্য জ্ঞান রয়েছে তার উপর ভিত্তি করে আমি বুঝতে পারি যে নমুনাটি পূর্বোক্ত কৌশলগুলির একটি গুরুত্বপূর্ণ অঙ্গ। স্যাম্পলিংয়ের সর্বাধিক ব্যবহৃত পদ্ধতি হ্যামিলটোনিয়ান এবং মেট্রোপলিস। আরও দক্ষ এমসিএমসি স্যাম্পলার তৈরির জন্য কি মেশিন লার্নিং বা আরও গভীর শিক্ষার ব্যবহার করার কোনও উপায় …

21 machine-learning  mcmc  monte-carlo  markov-process 

আমার প্রশ্নটি @ হুবারের সাথে একটি পৃথক প্রশ্নের মন্তব্যে আলোচনার মধ্য দিয়ে বেড়েছে । বিশেষত, @ ভোবারের মন্তব্যটি নীচে ছিল: এটি আপনাকে বিস্মিত করার একটি কারণ হ'ল পারস্পরিক সম্পর্ক পরীক্ষা এবং রিগ্রেশন স্লোপ টেস্টের অন্তর্নিহিত অনুমানগুলি আলাদা - তাই আমরা যখন বুঝতে পারি যে পরস্পর সম্পর্ক এবং opeাল সত্যই একই …

21 regression  correlation  p-value  assumptions 

আমার বোঝার এমনকি যখন সঠিক ক্রস বৈধতা এবং মডেল নির্বাচন পদ্ধতি অনুসরণ overfitting হয় হবে একটি মডেল জন্য এক যদি অনুসন্ধানসমূহ ঘটতে হার্ড যথেষ্ট , যদি না মডেল জটিলতা, কাল এক চাপিয়ে সীমাবদ্ধতা। অধিকন্তু, প্রায়শই লোকেরা ডেটা থেকে মডেল জটিলতায় জরিমানা শেখার চেষ্টা করে যা তারা সরবরাহ করতে পারে এমন …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

যৌক্তিক উপায়ে লজিস্টিক বিতরণ সম্পর্কে "লজিস্টিক" কী? খাঁটি গণিত সংজ্ঞা নয়, নামের জন্য ব্যুৎপত্তি এবং লেজিকাল যুক্তি কী?

21 terminology  history  etymology  logistic-curve  logistic-distribution 

ভাল সম্প্রতি আমি অ্যাডাবোস্ট, গ্রেডিয়েন্ট বুস্টের মতো অ্যালগরিদমগুলি শিখতে কাজ করছি এবং আমি এই সত্যটি জানি যে সবচেয়ে বেশি ব্যবহৃত দুর্বল-শিক্ষকই গাছ is আমি সত্যই জানতে চাই যে বেসলাল নেটওয়ার্ক হিসাবে নিউরাল নেটওয়ার্কগুলি ব্যবহার করার জন্য কয়েকটি সাম্প্রতিক সফল উদাহরণ (আমি কিছু কাগজপত্র বা নিবন্ধগুলি বোঝাই)।

21 neural-networks  deep-learning  boosting  ensemble  dropout 

কেন কার্নেলাইজড এসভিএমগুলির সাথে কাজ করার সময় লোকেরা চতুষ্কোণ প্রোগ্রামিং কৌশল (যেমন এসএমও) ব্যবহার করে? গ্রেডিয়েন্ট বংশোদ্ভূত কি সমস্যা? কার্নেলগুলি ব্যবহার করা কি অসম্ভব বা এটি খুব ধীর (এবং কেন?)। এখানে আরও একটি প্রসঙ্গ এখানে দেওয়া হয়েছে: এসভিএমগুলি আরও ভালভাবে বোঝার চেষ্টা করে, আমি নিম্নলিখিত ব্যয়ের ফাংশনটি ব্যবহার করে লিনিয়ার …

21 svm  kernel-trick  gradient-descent 

আমি একটি কাগল প্রতিযোগিতার বিজয়ী সমাধানের প্রতিবেদনটি পড়ছিলাম ( ম্যালওয়্যার শ্রেণিবিন্যাস )। প্রতিবেদনটি এই ফোরামের পোস্টে পাওয়া যাবে । সমস্যাটি ছিল একটি শ্রেণিবদ্ধকরণ সমস্যা (নয়টি ক্লাস, মেট্রিকটি লোগারিথমিক ক্ষতি) ট্রেনের সেটটিতে 10000 উপাদান, পরীক্ষার সেটে 10000 উপাদান রয়েছে। প্রতিযোগিতার সময়, পরীক্ষাগুলির 30% বিপরীতে মডেলগুলি মূল্যায়ন করা হয়েছিল। আর একটি গুরুত্বপূর্ণ …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

সম্পাদনা: যেহেতু এই প্রশ্নটি ফুলে উঠেছে, একটি সংক্ষিপ্তসার: একই মিশ্র পরিসংখ্যানের সাথে বিভিন্ন অর্থপূর্ণ এবং ব্যাখ্যাযোগ্য ডেটাসেটগুলি সন্ধান করা (মানে, মিডিয়ান, মিডরেঞ্জ এবং তাদের সম্পর্কিত বিচ্ছুরণ এবং রিগ্রেশন)। আনসকম্বের চৌকোটিটি ( উচ্চ মাত্রিক ডেটা দেখার উদ্দেশ্যে দেখুন ? ) একই প্রান্তিক গড় / স্ট্যান্ডার্ড বিচ্যুতি ( আলাদাভাবে চার x এবং …

21 regression  descriptive-statistics  curve-fitting  estimators