পরিসংখ্যান এবং বড় তথ্য

এই প্রশ্নটি আমি এই স্নাতক স্তরের পরিসংখ্যান পাঠ্যপুস্তকটিতে পড়েছি এবং একটি পরিসংখ্যান সেমিনারে এই উপস্থাপনা চলাকালীন (স্বতন্ত্রভাবে) শুনেছি এমন কিছু দ্বারা ট্রিগার করা হয়েছে। উভয় ক্ষেত্রেই, বিবৃতিটি "" নমুনার আকারটি খুব ছোট হওয়ায়, আমরা এই প্যারাম্যাট্রিক পদ্ধতি পরিবর্তে (বা পাশাপাশি) বুটস্ট্র্যাপের মাধ্যমে অনুমান করার সিদ্ধান্ত নিয়েছি ।XXX তারা বিশদে getোকেনি, …

71 bootstrap  small-sample 

একটি সিমুলেশন অধ্যয়নের জন্য আমাকে এলোমেলো ভেরিয়েবলগুলি তৈরি করতে হবে যা বিদ্যমান ভেরিয়েবল সাথে একটি পূর্বনির্ধারিত (জনসংখ্যা) পারস্পরিক সম্পর্ক দেখায় ।ওয়াইYY আমি Rপ্যাকেজগুলিতে সন্ধান করেছি copulaএবং CDVineযা প্রদত্ত নির্ভরতা কাঠামোর সাথে এলোমেলো মাল্টিভারিয়েট বিতরণ তৈরি করতে পারে। যাইহোক, বিদ্যমান ভেরিয়েবলের ফলে ফলাফলগুলির মধ্যে একটি স্থির করা সম্ভব নয়। বিদ্যমান ক্রিয়াকলাপগুলির …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

আমি কৌতুহলী, আপনারা যারা অন্যান্য গবেষকদের সাথে সহযোগিতা করার বিস্তৃত অভিজ্ঞতা অর্জন করেছেন তাদের ক্ষেত্রে, লিনিয়ার রিগ্রেশন সম্পর্কে আপনার প্রচলিত কিছু ভুল ধারণা যা আপনার মুখোমুখি হয়? আমি মনে করি যে আগে সময়ের আগে সাধারণ ভুল ধারণা সম্পর্কে ভাবা একটি দরকারী অনুশীলন হতে পারে মানুষের ভুল অনুমান করুন এবং কেন …

70 regression  multiple-regression 

ক্যানোনিকাল পারস্পরিক সম্পর্ক বিশ্লেষণ (সিসিএ) মূল উপাদান বিশ্লেষণ (পিসিএ) সম্পর্কিত একটি কৌশল। স্ক্যাটার প্লট ব্যবহার করে পিসিএ বা লিনিয়ার রিগ্রেশন শেখানো সহজ হলেও (গুগল চিত্র অনুসন্ধানে কয়েক হাজার উদাহরণ দেখুন), সিসিএর জন্য আমি তেমন একটি স্বজ্ঞাত দ্বি-মাত্রিক উদাহরণ দেখিনি। লিনিয়ার সিসিএ কীভাবে দৃষ্টিভঙ্গি দিয়ে ব্যাখ্যা করবে?

70 regression  data-visualization  pca  canonical-correlation  geometry 

একনোমেট্রিক্সের প্রচলিত পরিসংখ্যানগুলির সাথে যথেষ্ট পরিমাণে ওভারল্যাপ রয়েছে তবে প্রায়শই বিভিন্ন বিষয় ("সনাক্তকরণ," "বহিরাগত," ইত্যাদি) সম্পর্কে নিজস্ব জার্গন ব্যবহার করে। আমি একবার অন্য ক্ষেত্রের মন্তব্যে প্রয়োগকৃত পরিসংখ্যান অধ্যাপককে শুনেছি যে প্রায়শই পরিভাষা পৃথক হলেও ধারণাগুলি একই রকম। তবুও এর নিজস্ব পদ্ধতি এবং দার্শনিক পার্থক্য রয়েছে (হেকম্যানের বিখ্যাত প্রবন্ধটি মাথায় আসে)। …

70 econometrics  terminology 

আমি বর্তমানে একটি প্রায়-পরীক্ষামূলক গবেষণা কাগজে কাজ করছি। নির্বাচিত অঞ্চলে কম জনসংখ্যার কারণে আমার কাছে কেবলমাত্র 15 টির একটি নমুনা আকার রয়েছে এবং এটি কেবল 15 আমার মানদণ্ডে ফিট করে। টি-টেস্ট এবং এফ-পরীক্ষার জন্য গণনা করার জন্য কি সর্বনিম্ন 15 টি নমুনার আকার? যদি তা হয় তবে এই ছোট্ট নমুনার …

70 t-test  sample-size  assumptions  power 

প্রশ্ন: আমি কোনও কিছুর বিষয়ে নিশ্চিত হতে চাই, সময় সিরিজের সাথে কে-ফোল্ড ক্রস-বৈধকরণের ব্যবহার কি সোজাসুজি, বা এটি ব্যবহার করার আগে কারও কি বিশেষ মনোযোগ দেওয়ার প্রয়োজন? পটভূমি: আমি প্রতি 5 মিনিটে ডেটা নমুনা সহ 6 বছরের একটি টাইম সিরিজ (আধা-চিহ্নভুক্ত চেইন সহ) মডেলিং করছি। কয়েকটি মডেলের তুলনা করতে, আমি …

70 time-series  modeling  cross-validation 

একাধিক লিনিয়ার রিগ্রেশন-এ, কেন অত্যন্ত সম্ভাব্য এফ স্ট্যাটিস্টিক (পি <.001) থাকা সম্ভব তবে সমস্ত রেজিস্ট্রারের টি পরীক্ষায় খুব উচ্চ মানের পি-মান থাকতে পারে কেন? আমার মডেলটিতে 10 জন নিবন্ধক রয়েছে। একটির পি-মান রয়েছে ০.০ এবং বাকী ০.৯ এর উপরে এই সমস্যাটি মোকাবেলার জন্য ফলোআপ প্রশ্নটি দেখুন ।

70 hypothesis-testing  regression  t-test  multicollinearity 

এপ্রিলে ফিরে আমি ইউএমডি ম্যাথ বিভাগের পরিসংখ্যান গোষ্ঠী সেমিনার সিরিজের "টো ব্যাখ্যায়িত বা ভবিষ্যদ্বাণী?" শীর্ষক একটি আলোচনায় অংশ নিয়েছি। বক্তব্যটি দিয়েছেন ইউএমডির স্মিথ বিজনেস স্কুলে অধ্যাপক গালিত শমুয়েলি । তাঁর আলোচনার ভিত্তিতে তিনি গবেষণার ভিত্তিতে তৈরি করেছিলেন "ভবিষ্যদ্বাণীপূর্ণ বনাম স্পেসিটারেটরি মডেলিং ইন আইএস রিসার্চ" শীর্ষক একটি গবেষণাপত্র , এবং "টো …

70 predictive-models 

স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত একটি যুগকে ডেটাগুলির মাধ্যমে একক পাস হিসাবে সংজ্ঞায়িত করা হয়। প্রতিটি এসজিডি মিনিবাসের জন্য, kkk নমুনাগুলি আঁকা হয়, গ্রেডিয়েন্ট গণনা করা হয় এবং পরামিতি আপডেট করা হয়। যুগের সেটিংয়ে, নমুনাগুলি প্রতিস্থাপন ছাড়াই আঁকা হয়। তবে এটি অপ্রয়োজনীয় বলে মনে হচ্ছে। প্রতিটি পুনরুক্তিতে সম্পূর্ণ ডেটা সেট থেকে kkk …

69 neural-networks  deep-learning  gradient-descent 

পটভূমি আমি নেটওয়ার্ক অপারেশনস সেন্টারে কাজ করছি, আমরা কম্পিউটার সিস্টেম এবং তাদের কার্যকারিতা পর্যবেক্ষণ করি। নিরীক্ষণের জন্য মূল মেট্রিকগুলির মধ্যে একটি হ'ল প্রচুর দর্শনার্থী \ গ্রাহকরা বর্তমানে আমাদের সার্ভারগুলিতে সংযুক্ত। এটি দৃশ্যমান করার জন্য আমরা (অপ্স টিম) সময়-সিরিজের ডেটা এবং গ্রাফ আঁকার মতো মেট্রিকগুলি সংগ্রহ করি। গ্রাফাইট আমাদের এটি করার …

69 machine-learning  time-series  python  computational-statistics  anomaly-detection 

আমি লক্ষ করেছি যে একটি লিনিয়ার রিগ্রেশন মধ্যে পূর্বাভাসিত মানগুলির জন্য আস্থার ব্যবধান ভবিষ্যদ্বাণীকারীর ন্যূনতম এবং সর্বাধিক মানগুলির কাছাকাছি পূর্বাভাসকের গড় এবং চর্বি হিসাবে প্রায় সংকীর্ণ থাকে। এটি এই 4 লিনিয়ার রিগ্রেশনগুলির প্লটে দেখা যায়: আমি প্রাথমিকভাবে ভেবেছিলাম কারণ এটি ছিল ভবিষ্যদ্বাণীকারীদের বেশিরভাগ মানগুলি ভবিষ্যদ্বাণীকের গড়ের চারপাশে কেন্দ্রীভূত হয়েছিল। যাইহোক, …

69 regression  confidence-interval  linear-model  standard-error  prediction-interval 

আমি প্রত্যাশা করতাম পারস্পরিক সম্পর্ক সহগটি একটি রিগ্রেশন opeাল (বিটা) এর মতোই হবে, তবে কেবল দুটিটির তুলনা করলে তারা আলাদা। তারা কীভাবে আলাদা হয় - তারা কী আলাদা তথ্য দেয়?

69 regression  correlation 

ডেটাসেট বিভক্ত করার জন্য উপযুক্ত কৌশল কী? আমি নিম্নলিখিত পদ্ধতির উপর প্রতিক্রিয়া জন্য অনুরোধ (যেমন পৃথক পরামিতি না test_sizeবা n_iter, কিন্তু যদি আমি ব্যবহৃত X, y, X_train, y_train, X_test, এবং y_testউপযুক্তভাবে এবং ক্রম ইন্দ্রিয় তোলে থাকেন): ( এই উদাহরণটি সাইকিট-লার্ন ডকুমেন্টেশন থেকে বাড়ানো ) 1. ডেটাसेट লোড করুন from sklearn.datasets …

69 machine-learning  cross-validation  python  scikit-learn 

আমি তুলনা ?prcompএবং ?princompএবং Q-মোড এবং R-মোড প্রধান উপাদান বিশ্লেষণ (পিসিএ) সম্পর্কে কিছু খুঁজে পাওয়া যায়নি। তবে সত্য - আমি তা বুঝতে পারি না। কেউ কি পার্থক্য ব্যাখ্যা করতে পারে এবং কোনটি প্রয়োগ করতে হবে তাও ব্যাখ্যা করতে পারে?

69 r  pca