প্রশ্ন ট্যাগ «large-data»

আমি আমার ডেটাসেটের একটি অংশ যাচাই করছি যা 46840 দ্বিগুণ রয়েছে যা 1 থেকে 1690 এর মধ্যে দুটি গ্রুপে গ্রুপযুক্ত। এই গোষ্ঠীর মধ্যে পার্থক্য বিশ্লেষণ করার জন্য আমি সঠিক পরীক্ষা বাছাইয়ের জন্য মানগুলির বন্টন পরীক্ষা করে শুরু করেছি। স্বাভাবিকতার জন্য পরীক্ষার বিষয়ে গাইড অনুসরণ করে আমি একটি কিউকিপ্লট, হিস্টোগ্রাম এবং …

12 r  normal-distribution  normality-assumption  large-data 

আপনি কীভাবে বড় ডেটা দিয়ে অনুমানের পরীক্ষা করেন? আমি আমার বিভ্রান্তির উপর জোর দেওয়ার জন্য নিম্নলিখিত ম্যাটল্যাব স্ক্রিপ্টটি লিখেছি। এটি সবই দুটি এলোমেলো সিরিজ উত্পন্ন করে, এবং অন্যটিতে একটি ভেরিয়েবলের একটি সাধারণ লিনিয়ার রিগ্রেশন চালায়। এটি বিভিন্ন এলোমেলো মান এবং প্রতিবেদন গড় ব্যবহার করে বেশ কয়েকবার এই প্রতিরোধ সম্পাদন করে। …

12 hypothesis-testing  large-data 

আমি শক্তির মজুত এবং আবহাওয়ার মধ্যে একটি মডেল খুঁজছি। আমার কাছে ইউরোপের দেশগুলির মধ্যে কেনা এমওয়্যাট ওয়াটের মূল্য এবং আবহাওয়ার (গ্রিভ ফাইলগুলি) প্রচুর মান রয়েছে। 5 ঘন্টা (২০১১-২০১৫) সময়কালে প্রতি ঘন্টা। PRICE / দিন এটি এক বছরের জন্য প্রতিদিন is আমার প্রতি ঘন্টা 5 ঘন্টা আছে। আবহাওয়ার উদাহরণ এক ঘন্টা …

11 time-series  forecasting  predictive-models  modeling  large-data 

আমি একজন আর নূব, যাকে আর-তে বড় ডেটা সেটগুলি নিয়ে বিভিন্ন ধরণের বিশ্লেষণ করা দরকার So সুতরাং এই সাইটটি এবং অন্য কোথাও ঘুরে দেখার সময় আমার কাছে মনে হয়েছিল যে এখানে প্রচুর রহস্য এবং কম পরিচিত বিষয়গুলি জড়িত রয়েছে - যেমন কখন কোন প্যাকেজটি ব্যবহার করতে হবে, ডেটাতে কী রূপান্তরিত …

11 r  large-data 

প্রধান উপাদান বিশ্লেষণ '(পিসিএ) ক্লাসিকাল পদ্ধতিতে এটি কোনও ইনপুট ডেটা ম্যাট্রিক্সে করা হয় যার কলামগুলির শূন্য মানে হয় (তারপরে পিসিএ "বৈচিত্র্যকে সর্বাধিক করতে পারে")। কলামগুলি কেন্দ্র করে সহজেই এটি অর্জন করা যায়। হাভেনভার, যখন ইনপুট ম্যাট্রিক্স বিচ্ছিন্ন হয়, কেন্দ্রিক ম্যাট্রিক্সটি এখন আর বিচ্ছিন্ন হয়ে যায় এবং - ম্যাট্রিক্সটি যদি খুব …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

আমার প্রশ্নটি আরও ভালভাবে জিজ্ঞাসা করার জন্য, আমি একটি 16 ভেরিয়েবল মডেল ( fit) এবং fit2নীচে 17 ভেরিয়েবল মডেল ( ) উভয় থেকে কিছু আউটপুট সরবরাহ করেছি (এই মডেলগুলির মধ্যে সমস্ত ভবিষ্যদ্বাণী ভেরিয়েবল অবিচ্ছিন্ন, যেখানে এই মডেলগুলির মধ্যে পার্থক্য কেবল fitতা নয় ভেরিয়েবল 17 (var17) থাকতে পারে: fit Model Likelihood …

10 r  regression  logistic  model-selection  large-data 

পুরো জনসংখ্যার উপাত্ত পাওয়া গেলে আত্মবিশ্বাসের ব্যবধানগুলি গণনা করা এবং হাইপোথিসিসগুলি পরীক্ষা করা কী বোঝায়? আমার মতে, উত্তরটি হ'ল না, যেহেতু আমরা প্যারামিটারগুলির আসল মানগুলি নির্ভুলভাবে গণনা করতে পারি। তবে তারপরে, মূল জনসংখ্যা থেকে উপাত্তের সর্বাধিক অনুপাত কী যা আমাদের পূর্বোক্ত কৌশলগুলি ব্যবহার করতে দেয়?

10 hypothesis-testing  confidence-interval  sample-size  large-data  population 

আমি প্রায়শই সময় সিরিজের ডেটা যুক্তিসঙ্গত আকারের সাথে ডিল করি, সম্পর্কিত টাইম স্ট্যাম্পগুলির সাথে 50-200 মিলিয়ন ডাবল এবং এগুলি গতিশীলভাবে দেখতে চাই visual এটি কার্যকরভাবে করার জন্য কি বিদ্যমান সফ্টওয়্যার রয়েছে? গ্রন্থাগার এবং ডেটা ফর্ম্যাট সম্পর্কে কীভাবে? বড় সময়ের সিরিজে ফোকাস করা লাইব্রেরির একটি উদাহরণ জুম-ক্যাশে । জুম-ক্যাশে ডেটা বিভিন্ন …

10 time-series  data-visualization  large-data  interactive-visualization 

আমার একটি খুব বড় ডেটাসেট অ্যাক্সেস রয়েছে। চারটি জেনারগুলির মধ্যে একটির থেকে সংগীত অংশগুলি শোনার লোকদের এমইজি রেকর্ডিং থেকে ডেটা । তথ্য নিম্নরূপ: 6 বিষয় 3 পরীক্ষামূলক পুনরাবৃত্তি (যুগ) যুগে যুগে 120 ট্রায়াল 275 মেগা চ্যানেল থেকে 500Hz (= 4000 নমুনা) এ পরীক্ষার জন্য 8 সেকেন্ডের ডেটা সুতরাং এখানে প্রতিটি …

10 machine-learning  feature-selection  large-data  feature-construction 

মূলত, বিশাল ডেটাসেটের বিরুদ্ধে শেখার দুটি সাধারণ উপায় রয়েছে (যখন আপনি সময় / স্থানের বিধিনিষেধের মুখোমুখি হন): প্রতারণা :) - প্রশিক্ষণের জন্য কেবলমাত্র "পরিচালনযোগ্য" সাবসেট ব্যবহার করুন। হ্রাসকারী রিটার্নের আইনের কারণে নির্ভুলতার ক্ষতি নগণ্য হতে পারে - সমস্ত প্রশিক্ষণের ডেটা এতে অন্তর্ভুক্ত করার আগে মডেলের ভবিষ্যদ্বাণীপূর্ণ অভিনয় প্রায়শই দীর্ঘ হয়ে …

10 machine-learning  large-data  model-evaluation  train 

ডেটা মাইনিং বা বড় ডেটাতে আমার শিল্পের অভিজ্ঞতা নেই তাই আপনাকে কিছু অভিজ্ঞতা ভাগ করে নিতে শুনে ভালো লাগবে। লোকেরা কি আসলেই বড়-বড় ডেটাসেটে কে-মানে, প্যাম, ক্লারা ইত্যাদি চালায়? অথবা তারা এলোমেলোভাবে এটি থেকে একটি নমুনা বাছাই করে? যদি তারা কেবল ডেটাসেটের একটি নমুনা নেন, তবে ডাটাসেটটি সাধারণত বিতরণ না …

10 clustering  data-mining  k-means  convergence  large-data 

উচ্চ পর্যায়ের ডেটা সেটগুলিতে কাউকে গাউসিয়ান প্রক্রিয়া রিগ্রেশন (জিপিআর) প্রয়োগ করার কোনও অভিজ্ঞতা আছে কিনা তা দেখতে চেয়েছিলেন। আমি কয়েকটি বিচ্ছিন্ন জিপিআর পদ্ধতিতে (যেমন স্পার্স সিউডো-ইনপুটস জিপিআর) সন্ধান করছি যা উচ্চ মাত্রিক ডেটা সেটগুলির জন্য কী কাজ করতে পারে তা দেখতে আদর্শভাবে বৈশিষ্ট্য নির্বাচন প্যারামিটার নির্বাচন প্রক্রিয়ার অংশ part কাগজপত্র …

10 machine-learning  predictive-models  large-data  gaussian-process 

স্থির বৈশিষ্ট্যগুলির সংখ্যা বিবেচনা করে, বার্নস-হট টি-এসএনই- তে একটি জটিলতা রয়েছে , এলোমেলো প্রক্ষেপণ এবং পিসিএ-তে একটি জটিলতা রয়েছে এগুলিকে খুব বড় ডেটা সেটগুলির জন্য "সাশ্রয়ী" করে তোলে।O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) অন্যদিকে, বহুমাত্রিক স্কেলিংয়ের উপর নির্ভরশীল পদ্ধতিগুলির একটি জটিলতা রয়েছে।O(n2)O(n2)O(n^2) অন্যান্য মাত্রা হ্রাস কৌশলগুলি (তুচ্ছ বিষয়গুলি বাদ দিয়ে, যেমন প্রথম কলামগুলি দেখার …

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

স্কেলেবল মেশিন লার্নিং অ্যালগরিদমগুলি আজকাল গুঞ্জনের মতো মনে হচ্ছে। প্রতিটি সংস্থা বড় ডেটার সংক্ষিপ্ত কিছুই পরিচালনা করে না । ম্যাপ-রিডুজের মতো সমান্তরাল আর্কিটেকচার ব্যবহার করে কোন মেশিন লার্নিং অ্যালগরিদমকে ছোট করা যেতে পারে এবং কোনটি অ্যালগরিদমগুলি করতে পারে না তা নিয়ে কোনও পাঠ্যপুস্তক রয়েছে কিনা তা আলোচনা করে? নাকি কিছু …

9 machine-learning  large-data 

নিম্নলিখিত গ্রাফ্ট এই নিবন্ধ থেকে নেওয়া হয়েছে । আমি বুটস্ট্র্যাপে নবাগত এবং R bootপ্যাকেজের সাথে রৈখিক মিশ্র মডেলের জন্য প্যারামিমেট্রিক, সেমিপ্রায়মেট্রিক এবং ননপ্যারমেট্রিক বুটস্ট্র্যাপিং বুটস্ট্র্যাপিং বাস্তবায়নের চেষ্টা করছি । আর কোড আমার Rকোডটি এখানে : library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography