প্রশ্ন ট্যাগ «large-data»

'বৃহত্তর ডেটা' এমন পরিস্থিতিতে বোঝায় যেখানে পর্যবেক্ষণের সংখ্যা (ডেটা পয়েন্ট) এত বেশি যে তথ্য বিশ্লেষক বিশ্লেষণ সম্পর্কে ভাবেন বা পরিচালনা করেন সেভাবে পরিবর্তনের প্রয়োজন হয়। ('উচ্চ মাত্রিকতা' নিয়ে বিভ্রান্ত হওয়ার দরকার নেই))

4
পিসিএ স্পেসে নতুন ভেক্টর কীভাবে প্রজেক্ট করবেন?
প্রধান উপাদান বিশ্লেষণ (পিসিএ) করার পরে, আমি পিসিএ স্পেসে একটি নতুন ভেক্টর প্রজেক্ট করতে চাই (অর্থাত পিসিএ স্থানাঙ্ক সিস্টেমে এর স্থানাঙ্কগুলি সন্ধান করুন)। আমি আর ভাষা ব্যবহার করে পিসিএ গণনা করেছি prcomp। এখন আমার পিসিএ রোটেশন ম্যাট্রিক্স দ্বারা আমার ভেক্টরকে গুণ করতে সক্ষম হওয়া উচিত। এই ম্যাট্রিক্সের মূল উপাদানগুলি কি …
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

1
আমরা কী * মিলিয়ন * সহগ / স্বতন্ত্র ভেরিয়েবলগুলি দিয়ে মাল্টিভারিয়েট রিগ্রেশন বিশ্লেষণ করি?
আমি কিছুটা সময় মেশিন লার্নিং শেখার জন্য ব্যয় করছি (পুনরাবৃত্তির জন্য দুঃখিত :) এবং মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন ক্ষেত্রে গণনীয় রিগ্রেশন সহগগুলির জন্য সরাসরি সমীকরণ সমাধানের চেয়ে গ্রেডিয়েন্ট বংশোদ্ভূত বাছাইয়ের নিয়মের দ্বারা আগ্রহী হতে পারি না । থাম্বের বিধি: যদি বৈশিষ্ট্যগুলির সংখ্যা (পড়ুন সহগ / স্বতন্ত্র ভেরিয়েবলগুলি) বা এক মিলিয়নেরও বেশি …

6
আউট-অফ-কোর ডেটা বিশ্লেষণ বিকল্পগুলি
আমি প্রায় 5 বছর ধরে পেশাগতভাবে এসএএস ব্যবহার করছি। আমি এটি আমার ল্যাপটপে ইনস্টল করেছি এবং প্রায়শই 1,000-2,000 ভেরিয়েবল এবং কয়েক লক্ষ লক্ষ পর্যবেক্ষণ সহ ডেটাসেটগুলি বিশ্লেষণ করতে হয়। আমি এসএএস এর বিকল্পগুলি সন্ধান করছি যা আমাকে অনুরূপ আকারের ডেটা সেটগুলিতে বিশ্লেষণ পরিচালনা করতে দেয়। অন্যান্য ব্যক্তিরা এ জাতীয় পরিস্থিতিতে …
18 r  sas  large-data 

5
বড় ডেটা সহ পয়সন রিগ্রেশন: পরিমাপের এককটি পরিবর্তন করা কি ভুল?
পোয়েসন বিতরণে ফ্যাক্টরিয়াল হওয়ার কারণে, পর্যবেক্ষণগুলি বড় হলে পোইসন মডেলগুলি (উদাহরণস্বরূপ, সর্বাধিক সম্ভাবনা ব্যবহার করে) অনুমান করা অযৌক্তিক হয়ে ওঠে। সুতরাং, উদাহরণস্বরূপ, যদি আমি একটি নির্দিষ্ট বছরে আত্মহত্যার সংখ্যা ব্যাখ্যা করার জন্য কোনও মডেলটি অনুমান করার চেষ্টা করছি (কেবলমাত্র বার্ষিক তথ্য পাওয়া যায়), এবং বলি, প্রতি বছর হাজার হাজার আত্মহত্যা …

5
গড় নিরঙ্কুশ বিচ্যুতি এবং বড় ডেটা সেটের জন্য অনলাইন অ্যালগরিদম
আমার কিছুটা সমস্যা আছে যা আমাকে ফ্রিকে আউট করে তুলছে। বহুবিধ সময় সিরিজের অনলাইন অধিগ্রহণের প্রক্রিয়াটির জন্য আমাকে প্রক্রিয়া লিখতে হবে। প্রতিটি সময়ের ব্যবধানে (উদাহরণস্বরূপ 1 সেকেন্ড), আমি একটি নতুন নমুনা পাই যা মূলত আকার N এর একটি ভাসমান বিন্দু ভেক্টর I প্রতিটি নতুন নমুনার জন্য, আমি সেই নমুনার জন্য …

4
ভোটদানের উপর খ্যাতির প্রভাব সম্পর্কে কীভাবে আমি আমার বিশ্লেষণ উন্নত করতে পারি?
সম্প্রতি আমি আপভোটগুলিতে সুনামের প্রভাবগুলির কিছু বিশ্লেষণ করেছি ( ব্লগ-পোস্ট দেখুন ) এবং পরবর্তীকালে আমার সম্ভবত আরও আলোকিতকরণ (বা আরও উপযুক্ত) বিশ্লেষণ এবং গ্রাফিক্স সম্পর্কে কয়েকটি প্রশ্ন ছিল। সুতরাং কয়েকটি প্রশ্ন (এবং বিশেষত কারও কাছে সাড়া দিতে নির্দ্বিধায় এবং অন্যকে উপেক্ষা করুন): অবতারের বর্তমানটিতে, আমি পোস্ট নম্বরটি কেন্দ্র করে বোঝাতে …

5
গ্রাফিকভাবে প্রচুর ডেটা দেখানোর একটি ভাল উপায়
আমি এমন একটি প্রকল্পে কাজ করছি যা 14 টি ভেরিয়েবল এবং 345,000 পর্যবেক্ষণকে আবাসন সম্পর্কিত ডেটা (বছরের মতো নির্মিত, বর্গক্ষেত্রের ফুটেজ, বিক্রয়মূল্যের মূল্য, আবাসনের কাউন্টি ইত্যাদির জন্য) জড়িত। আমি ভাল গ্রাফিকাল কৌশলগুলি এবং আর লাইব্রেরিগুলিতে সুন্দর প্লট করার কৌশল রয়েছে সেগুলি সন্ধানের চেষ্টা নিয়ে উদ্বিগ্ন। আমি ইতিমধ্যে জিপিপ্লট এবং ল্যাটিসে …

4
নমুনার আকার যখন খুব বড় হয় তখন আত্মবিশ্বাসের ব্যবধানগুলি
আমার প্রশ্নটি "বড় ডেটা ব্যবহার করে কীভাবে নমুনা ত্রুটির মূল্যায়ন করবেন", বিশেষত একটি জার্নাল পাবলিকেশনের জন্য পুনরায় জবাব দেওয়া যেতে পারে। এখানে একটি চ্যালেঞ্জ বর্ণনা করার জন্য একটি উদাহরণ। খুব বড় একটি ডেটাসেট (> 100000 অনন্য রোগী এবং 100 টি হাসপাতাল থেকে তাদের নির্ধারিত ওষুধ) থেকে, আমি নির্দিষ্ট ওষুধ গ্রহণের …

3
অনুদায়ী বড় ডেটা কীভাবে মডেল করবেন?
Ditionতিহ্যগতভাবে আমরা দ্রাঘিমাংশীয় তথ্য মডেল করতে মিশ্র মডেল ব্যবহার করি, যেমন ডেটা: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 আমরা বিভিন্ন ব্যক্তির জন্য র্যান্ডম ইন্টারসেপ্ট বা opeাল …

3
আর এ ক্লাস্টার বিগ ডেটা কি নমুনা প্রাসঙ্গিক?
আমি ডেটা সায়েন্সে নতুন এবং 200,000 সারি এবং আর-এ 50 টি কলাম সহ একটি ডেটা সেটটিতে ক্লাস্টারগুলি খুঁজে পেতে সমস্যা হচ্ছে যেহেতু ডেটাতে উভয় সংখ্যাসূচক এবং নামমাত্র ভেরিয়েবল রয়েছে, তাই কে-ইনের মতো পদ্ধতিগুলি যা ইউক্লিডিয়ান দূরত্ব পরিমাপ ব্যবহার করে তা উপযুক্ত পছন্দ বলে মনে হয় না। সুতরাং আমি পিএএম, অ্যাগনেস …

5
বৃহত্তর ডেটা সেটের জন্য গ্রেডিয়েন্ট বংশদ্ভুত অক্ষম কেন?
আসুন ধরা যাক আমাদের ডেটা সেটটিতে 1 মিলিয়ন উদাহরণ রয়েছে, যেমন, and, এবং আমরা এই ডেটা সেটটিতে লজিস্টিক বা লিনিয়ার রিগ্রেশন সঞ্চালনের জন্য গ্রেডিয়েন্ট ব্যবহার করতে চাই।x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতিটি কী এটি এটি অদক্ষ করে তোলে? রিকল যে সময়ে গ্রেডিয়েন্ট বংশদ্ভুত ধাপ দেওয়া হয়:ttt wt+1=wt+ηt∇f(x)wt+1=wt+ηt∇f(x)w_{t+1} = w_{t} + …

1
ভেক্টর মেশিনকে কি বড় ডেটাতে ব্যবহার করা যায়?
আমার এসভিএম-তে সীমিত জ্ঞানের সাহায্যে এটি একটি স্বল্প ও ফ্যাটযুক্ত ডেটা ম্যাট্রিক্স , (প্রচুর বৈশিষ্ট্য এবং খুব বেশি উদাহরণ নয়) এর জন্য ভাল তবে বড় ডেটার জন্য নয়।এক্সXX আমি বুঝতে পারি এর একটি কারণ হ'ল কার্নেল ম্যাট্রিক্স হ'ল n mat n ম্যাট্রিক্স যেখানে, এন ডেটাতে উদাহরণের সংখ্যা। যদি আমরা বলি, …

3
বড় ডেটা সেটিংয়ের জন্য সমান্তরাল / বিতরণ উপায়ে লিনিয়ার রিগ্রেশন কীভাবে চালানো যায়?
আমি খুব বড় লিনিয়ার রিগ্রেশন সমস্যা নিয়ে কাজ করছি, ডেটা আকার এত বড় যে তাদের মেশিনগুলির একটি গোষ্ঠীতে সংরক্ষণ করতে হবে। সমস্ত নমুনা একক মেশিনের মেমোরিতে (এমনকি ডিস্কে) একত্রিত করতে এটি অনেক বড় হবে এই ডেটাগুলিকে রিগ্রেশন করার জন্য, আমি একটি সমান্তরাল পদ্ধতির কথা চিন্তা করছি, অর্থাত্, প্রতিটি পৃথক বাক্সে …

5
খুব বড় সংখ্যক ডেটা পয়েন্টে মানগুলির অনুগমন কীভাবে করা যায়?
আমার একটি খুব বড় ডেটাসেট রয়েছে এবং প্রায় 5% এলোমেলো মান অনুপস্থিত। এই ভেরিয়েবলগুলি একে অপরের সাথে সম্পর্কিত হয়। নীচের উদাহরণটি আর ডেটাসেটটি ডমি কোলেলেটেড ডেটা সহ একটি খেলনার উদাহরণ। set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

4
খুব বড় নমুনা মাপের জন্য গডনেস অফ ফিট
আমি প্রতিদিন খুব বড় নমুনাগুলি (> 1,000,000) শ্রেণীবদ্ধ ডেটা সংগ্রহ করি এবং ডেটা সংগ্রহের ত্রুটিগুলি সনাক্ত করতে ডেটা দিনের মধ্যে "উল্লেখযোগ্যভাবে" আলাদা বলে দেখতে চাই। আমি ভেবেছিলাম একটি ভাল-ফিট-টেস্ট পরীক্ষা করা (বিশেষত, একটি জি-পরীক্ষা) এর জন্য ভাল ফিট (পাং উদ্দেশ্যযুক্ত) হবে। আগের দিন বিতরণ দ্বারা প্রত্যাশিত বিতরণ দেওয়া হয়। তবে, …

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.