পরিসংখ্যান এবং বড় তথ্য

এই প্রশ্নের অনুপ্রেরণাটি এসেছে প্রয়াত লিও-ব্রেইমানের সুপরিচিত নিবন্ধ স্ট্যাটিস্টিকাল মডেলিং: দ্য সংস্কৃতি (উন্মুক্ত অ্যাক্সেস) থেকে। শাস্ত্রীয় পরিসংখ্যান এবং মেশিন লার্নিংয়ের মূল ধারণাগুলি স্পর্শ করে লেখক ডেটা বিশ্লেষণের ক্ষেত্রে দুটি স্বতন্ত্র পদ্ধতির হিসাবে যা দেখেন তার তুলনা করেন। যাইহোক, নিবন্ধটি বিস্তৃত দর্শকদের কাছে সুস্পষ্ট - যুক্তিযুক্ত যে কেউ ডেটা নিয়ে কাজ …

24 references 

যেমনটি আমরা সবাই জানি, লজিস্টিক রিগ্রেশন মডেলটি মূল্যায়নের 2 টি পদ্ধতি রয়েছে এবং তারা খুব আলাদা জিনিস পরীক্ষা করে দেখছে ভবিষ্যদ্বাণীমূলক শক্তি: একটি পরিসংখ্যান পান যা স্বতন্ত্র ভেরিয়েবলের উপর নির্ভর করে নির্ভরশীল ভেরিয়েবলটি কতটা ভালভাবে পূর্বাভাস দিতে পারে তা পরিমাপ করে। সুপরিচিত সিউডো আর ^ 2 হলেন ম্যাকফ্যাডডেন (1974) এবং …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

\newcommand{\P}{\mathbb{P}} আমাদের একটি এলোমেলো প্রক্রিয়া রয়েছে যা এর একটি নির্দিষ্ট সময়কালে একাধিকবার ঘটে-বা-না-হতে পারে । আমাদের এই প্রক্রিয়াটির পূর্ব-বিদ্যমান মডেল থেকে একটি ডেটা ফিড রয়েছে, যা 0 \ লেক টি <টি পিরিয়ডে সংঘটিত কয়েকটি সংখ্যক ঘটনার সম্ভাবনা সরবরাহ করে । এই বিদ্যমান মডেলটি পুরানো এবং অনুমানের ত্রুটির জন্য আমাদের ফিড-ডেটাতে …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

পাঠ্য শ্রেণিবিন্যাসের একটি সাধারণ পন্থা হল 'ব্যাগ-অফ-শব্দের' বাইরে কোনও শ্রেণিবদ্ধকে প্রশিক্ষণ দেওয়া। ব্যবহারকারী পাঠ্যটিকে শ্রেণিবদ্ধ করার জন্য গ্রহণ করে এবং প্রতিটি বস্তুর শব্দের ফ্রিকোয়েন্সি গণনা করে, এরপরে ম্যানেজযোগ্য আকারের ফলস্বরূপ ম্যাট্রিক্স রাখার জন্য কিছু ধরণের ট্রিমিং করে। প্রায়শই, আমি টিএফআইডিএফ ব্যবহার করে ব্যবহারকারীরা তাদের বৈশিষ্ট্য ভেক্টরটি নির্মাণ করতে দেখি। অন্য …

24 machine-learning  classification  text-mining 

যতদুর আমার সমষ্টিগত (এবং দুর্লভ) পরিসংখ্যান পারমিট জ্ঞান হিসেবে আমি বুঝলাম যে যদি হল আইড র্যান্ডম ভেরিয়েবল, তারপরে এই শব্দটি বোঝায় এগুলি স্বতন্ত্র এবং অভিন্নরূপে বিতরণ করা হয়েছে।এক্স1, এক্স2, । । । , এক্সএনএক্স1,এক্স2,।।।,এক্সএনX_1, X_2,..., X_n আমার উদ্বেগ এখানে IID নমুনা সাবেক সম্পত্তি, যেখানে লেখা আছে হল: পি ( এক্সএন| …

24 sampling  conditional-probability  independence 

প্রদত্ত ডাটা পয়েন্টগুলি, প্রতিটি বৈশিষ্ট্য সহ হিসাবে লেবেলযুক্ত , অন্য হিসাবে লেবেলযুক্ত । প্রতিটি বৈশিষ্ট্য এলোমেলোভাবে (অভিন্ন বিতরণ) থেকে একটি মান নেয় । হাইপারপ্লেন যে দুটি শ্রেণিকে বিভক্ত করতে পারে তার সম্ভাবনা কী?ডি এন / 2 0 এন / 2 1 [ 0 , 1 ]এনএনnঘঘdএন / 2এন/2n/2000এন / 2এন/2n/2111[ …

24 probability  classification  mathematical-statistics  separation 

মেশিন লার্নিং (এমএল) ভারীভাবে লিনিয়ার এবং লজিস্টিক রিগ্রেশন কৌশল ব্যবহার করে। এছাড়া বৈশিষ্ট্য ইঞ্জিনিয়ারিং কৌশল (উপর নির্ভর feature transform, kernelইত্যাদি)। এমএল-তে (উদাঃ ) সম্পর্কে কিছুই উল্লেখ করা হয়নি কেন ? (উদাহরণস্বরূপ, বৈশিষ্ট্যগুলিতে রুট বা লগ নেওয়ার বিষয়ে আমি কখনই শুনি না, তারা সাধারণত কেবল বহুপদী বা আরবিএফ ব্যবহার করে)) একইভাবে, …

24 regression  machine-learning  data-transformation 

আমি জানি আমার প্রশ্ন / শিরোনাম খুব নির্দিষ্ট নয়, তাই আমি এটি পরিষ্কার করার চেষ্টা করব: কৃত্রিম নিউরাল নেটওয়ার্কগুলির তুলনামূলকভাবে কঠোর ডিজাইন রয়েছে। অবশ্যই, সাধারণত, তারা জীববিজ্ঞান দ্বারা প্রভাবিত হয় এবং বাস্তব নিউরাল নেটওয়ার্কগুলির একটি গাণিতিক মডেল তৈরি করার চেষ্টা করে, তবে প্রকৃত স্নায়ু নেটওয়ার্কগুলির বিষয়ে আমাদের বোঝার সঠিক মডেল …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

সুতরাং এই প্রশ্নটি কিছুটা অগোছালো, তবে আমি এটির জন্য বর্ণিল গ্রাফগুলি অন্তর্ভুক্ত করব! প্রথমে পটভূমি তারপর প্রশ্ন (গুলি)। পটভূমি বলুন যে বিভাগগুলিতে সমান প্রোবাইলাইট সহ আপনার একটি মাত্রিক বহুমাত্রিক বিতরণ রয়েছে । যাক সাধারণ গন্য (হতে যে বন্টন থেকে) হল যে:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

লসোর জন্য বিভিন্ন বাস্তবায়ন সফ্টওয়্যার উপলব্ধ । আমি বিভিন্ন ফোরামে বায়সিয়ান অ্যাপ্রোচ বনাম ঘন ঘনবাদী পদ্ধতির বিষয়ে অনেক আলোচনা জানি। আমার প্রশ্নটি লাসোর সাথে খুব নির্দিষ্ট - নিয়মিত ল্যাসো বনাম বায়সিয়ান লাসোর পার্থক্য বা সুবিধা কী কী ? প্যাকেজে বাস্তবায়নের দুটি উদাহরণ এখানে রয়েছে: # just example data set.seed(1233) X …

24 r  machine-learning  linear-model  lasso 

এই দুটি হিসাবে আমার 50,000 চিত্র রয়েছে: তারা ডেটা গ্রাফ চিত্রিত। আমি এই চিত্রগুলি থেকে বৈশিষ্ট্যগুলি বের করতে চেয়েছিলাম তাই আমি থায়ানো (ডিপলাইরনিং ডটকম) দ্বারা সরবরাহিত অটোরকোডার কোডটি ব্যবহার করেছি। সমস্যাটি হ'ল, এই অটোইনকোডারগুলি কোনও বৈশিষ্ট্য শিখতে পারে বলে মনে হয় না। আমি আরবিএম চেষ্টা করেছি এবং এটি একই রকম। …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

আমি বর্তমানে টুইটারের অ্যানোমালিডিটেকশনটি আর: https://github.com/twitter/AnomalyDtetection এ ব্যবহার করছি । এই অ্যালগরিদম মৌসুমী সহ ডেটাগুলির জন্য সময় সিরিজের অসাধারণ সনাক্তকরণ সরবরাহ করে। প্রশ্ন: এর মতো আর কোনও অ্যালগোরিদম রয়েছে (alityতুতে নিয়ন্ত্রণের বিষয়টি বিবেচনা করে না)? আমি আমার ডেটাতে যতটা সম্ভব সময় সিরিজ অ্যালগরিদমগুলি স্কোর করার চেষ্টা করছি যাতে আমি সেরাটি …

24 r  regression  time-series  anomaly-detection 

আমি একাধিক পারস্পরিক সম্পর্কের জ্যামিতিক অর্থ আগ্রহী এবং সংকল্প সহগ রিগ্রেশনে , বা ভেক্টর স্বরলিপি,আরRRআর2R2R^2Yআমি= β1+ + β2এক্স2 , i+ ⋯ + βটএক্সk , i+ + εআমিyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i y = এক্স β+ + εY=এক্সβ+ +ε\mathbf{y} = \mathbf{X \beta} + …

24 regression  correlation  multiple-regression  r-squared  geometry 

সাধারণত কোলগোমোরভের অ্যালকোমিস দিয়ে প্রব্যাবিলিটি তত্ত্ব শেখানো হয়। বায়েশিয়ানরাও কি কলমোগোরভের স্বীকৃতি গ্রহণ করে?

24 probability  bayesian  kolmogorov-axioms 

আউটলারের একটি শাস্ত্রীয় সংজ্ঞায়নের আওতায় ডেটা পয়েন্ট হিসাবে উপরের বা নিম্ন কোয়ার্টাইল থেকে 1.5 * আইকিউআরকে ছাড়িয়ে যায়, সেখানে স্কিচবিহীন বিতরণের অনুমান রয়েছে। স্কিউড ডিস্ট্রিবিউশনের জন্য (এক্সফেনশনাল, পোইসন, জ্যামিতিক, ইত্যাদি) মূল ফাংশনের রূপান্তর বিশ্লেষণ করে কোনও আউটলেটর সনাক্ত করার সেরা উপায়? উদাহরণস্বরূপ, কোনও তাত্পর্যপূর্ণ বিতরণ দ্বারা আলগাভাবে পরিচালিত বিতরণগুলি একটি …

24 distributions  outliers  skewness  exponential  interquartile