পরিসংখ্যান এবং বড় তথ্য

প্রশ্ন এই Lasso চক্রান্ত (glmnet) থেকে উপসংহার Lasso মূল্নির্ধারক যে একঘেয়ে নয় সমাধান পাথ প্রমান। এটি হ'ল কিছু কফিশিয়েন্ট সঙ্কুচিত হওয়ার আগেই পরম মানে বৃদ্ধি পায়। আমি এই মডেলগুলিকে বিভিন্ন ধরণের ডেটা সেটগুলিতে প্রয়োগ করেছি এবং "বন্যের মধ্যে" এই আচরণটি কখনও দেখিনি এবং আজ অবধি তারা ধরেই নিয়েছিল যে তারা …

18 lasso  ridge-regression  elastic-net 

থেকে পরিসংখ্যানগত শেখার ভূমিকা জেমস এট আল।, ছুটি এক-আউট ক্রস বৈধতা (LOOCV) অনুমান দ্বারা সংজ্ঞায়িত করা হয় যেখানে ।CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2 প্রমাণ ছাড়াই সমীকরণ (৫.২) বলেছে যে সর্বনিম্ন-স্কোয়ার বা বহুবর্ষীয় রিগ্রেশন (এটি কেবলমাত্র একটি ভেরিয়েবলের ক্ষেত্রে রিগ্রেশন প্রযোজ্য কিনা তা আমার কাছে অজানা), যেখানে " \ টুপি {Y} …

18 regression  self-study  cross-validation  least-squares 

আমি সিভিল ইঞ্জিনিয়ারিং থেকে আসছি, যার মধ্যে আমরা জিইভি বিতরণের মতো সর্বাধিক বায়ুর গতি যেমন বাতাসের গতিবেগের 98.5% কম হবে তার মান পূর্বাভাস দিতে জিইভি বিতরণের মতো এক্সট্রিম মান তত্ত্ব ব্যবহার করি । আমার প্রশ্ন হ'ল কেন এমন চরম মূল্য বন্টন ব্যবহার করবেন ? যদি আমরা কেবল সামগ্রিক বিতরণটি ব্যবহার …

18 quantiles  extreme-value 

উইলিয়াম ব্রিগসের ব্লগে বেশ পুরাতন পোস্ট রয়েছে যা তথ্য স্মুথ করার অসুবিধাগুলি দেখে এবং সেই স্মুথড ডেটা বিশ্লেষণের মাধ্যমে নিয়ে যায়। মূল যুক্তিটি হ'ল: যদি, ক্ষিপ্ততার মুহুর্তে, আপনি মসৃণ সময় সিরিজের ডেটা করেন এবং আপনি অন্যান্য বিশ্লেষণের ইনপুট হিসাবে এটি ব্যবহার করেন, আপনি নিজেকে বোকা হওয়ার সম্ভাবনা নাটকীয়ভাবে বাড়িয়ে তোলেন! …

18 time-series  smoothing 

বায়েশিয়ান দর্শনের বিষয়ে একটি ভাল বই কী, অবজেক্টিভিস্টদের বিরুদ্ধে সাবজেক্টিভিস্টদের বিপরীত করে, বায়েসিয়ান পরিসংখ্যানগুলিতে জ্ঞানের রাষ্ট্র হিসাবে সম্ভাবনার দৃষ্টিভঙ্গি ব্যাখ্যা করে? হয়ত সেভেজের বই? প্রথমে আমি ভেবেছিলাম বার্গার (1986) কাজ করতে পারে তবে আমি যা খুঁজছি তা তা নয়। এই জাতীয় একটি বই অনুসন্ধান করা সন্ধানের ফলাফলগুলিতে কেবল তেমন নেতৃত্ব …

18 bayesian  references  philosophical 

আমি আমার ডেটা ক্লাস্টার করতে কে-মানে ব্যবহার করছি এবং একটি "অনুকূল" ক্লাস্টার নম্বর প্রস্তাব করার উপায় খুঁজছিলাম। গ্যাপের পরিসংখ্যান মনে হয় একটি ভাল ক্লাস্টার নম্বর খুঁজতে একটি সাধারণ উপায়। কোনও কারণে এটি সর্বোত্তম ক্লাস্টার নম্বর হিসাবে 1 প্রদান করে, তবে আমি যখন ডেটা দেখি তখন স্পষ্ট হয় যে 2 টি …

18 r  machine-learning  clustering  k-means 

আমি জাভাস্ক্রিপ্টে মূল উপাদান বিশ্লেষণ (পিসিএ) এর জন্য বাইপ্লট বাস্তবায়ন করতে চাই। আমার প্রশ্ন হ'ল আমি কীভাবে ডেটা ম্যাট্রিক্সের একক ভেক্টর পচন (এসভিডি) এর আউটপুট থেকে তীরগুলির স্থানাঙ্ক নির্ধারণ করব ?U,V,DU,V,DU,V,D এখানে আর দ্বারা উত্পাদিত একটি উদাহরণ বাইপ্লট: biplot(prcomp(iris[,1:4])) আমি বিপ্লট সম্পর্কিত উইকিপিডিয়া নিবন্ধে এটি সন্ধান করার চেষ্টা করেছি তবে …

18 pca  svd  biplot 

আমি দুই আদর্শ স্বাভাবিক র্যান্ডম ভেরিয়েবল আছে বলুন এবং যে যৌথভাবে স্বাভাবিক পারস্পরিক সম্পর্কের সহগের সঙ্গে ।এক্স 2 আরX1X1X_1X2X2X_2rrr এর বিতরণ ফাংশনটি কী ?max(X1,X2)max(X1,X2)\max(X_1, X_2)

18 correlation  normal-distribution  extreme-value 

উভয় ইন পরিবার-জ্ঞানী ত্রুটি হার (FWER) এবং মিথ্যা আবিষ্কারের হার (রুজভেল্টের) সাহিত্য, FWER বা রুজভেল্টের নিয়ন্ত্রণের বিশেষ পদ্ধতি নির্ভরশীল বা স্বাধীন পরীক্ষার উপযুক্ত হতে বলা যেতে পারে। উদাহরণস্বরূপ, ১৯৯ 1979 সালের গবেষণাপত্রে "এ সিম্পল সিকোয়েনটিভালি রিজেক্টিভ মাল্টিপল টেস্ট প্রসিসিডার" -তে, হোলম তার স্টেপ-আপ-আইডিক পদ্ধতির বিপরীতে তার স্টেপ-আপ বনফেরোনি নিয়ন্ত্রণ পদ্ধতির …

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

আমার পরিস্থিতি নিম্নরূপ: আমি একটি মন্টে-কার্লো অধ্যয়নের মাধ্যমে একটি আনুমানিক প্যারামিটারের পরিসংখ্যানগত তাৎপর্যের জন্য দুটি পৃথক পরীক্ষার মূল্যগুলির তুলনা করতে চাই নালটি "কোনও প্রভাব নয় - প্যারামিটারটি শূন্য", এবং অন্তর্নিহিত বিকল্পটি " প্যারামিটার শূন্য নয় ")। টেস্ট এ হ'ল নালীর নীচে সমান বৈকল্পিক সহ স্ট্যান্ডার্ড "স্বতন্ত্র দ্বি-নমুনা টি-টেস্ট টেস্ট টেস্ট" …

18 hypothesis-testing  p-value 

আমি সময় সিরিজের ডেটাগুলিতে পরিবর্তনগুলি সনাক্ত করতে চাই, যার সাধারণত একই আকার থাকে। এখন পর্যন্ত আমি changepointআর এর জন্য প্যাকেজ cpt.mean(), cpt.var()এবং cpt.meanvar()ফাংশনগুলির সাথে কাজ করেছি । cpt.mean()PELT পদ্ধতিটি যখন ডেটা সাধারণত একটি স্তরে থাকে তখন ভাল কাজ করে। তবে আমি আরোহণের সময় পরিবর্তনগুলিও সনাক্ত করতে চাই। পরিবর্তনের উদাহরণ, আমি …

18 r  time-series  change-point  structural-change 

এক বছরেরও বেশি সময় ধরে আমি এক ঘন্টা "পরিসংখ্যানের স্বাদ" শ্রেণি দিচ্ছি। প্রতিবার আমি বিভিন্ন গ্রুপের বাচ্চাদের কাছে আসছি এবং আমি তাদের ক্লাস দিই। ক্লাসের থিমটি হ'ল আমরা একটি পরীক্ষা চালিয়েছি যার মধ্যে 10 বাচ্চাকে (যারা কোকাকোলা পান পছন্দ করে) দুটি (চিহ্নবিহীন) কাপ দেওয়া হয়, একটি কোকাকোলা এবং একটি পেপ্সির …

18 hypothesis-testing  teaching 

আর এ ফিশারের বিখ্যাত লেডি টেস্টিং চায়ের পরীক্ষায় , মহিলাটিকে কত দুধের প্রথম / চা-প্রথম কাপ (8 কাপের মধ্যে প্রতিটি জন্য 4) তা জানানো হয়। এটি ফিশারের সঠিক পরীক্ষার স্থির প্রান্তিক মোট অনুমানকে সম্মান করে। আমি আমার বন্ধুর সাথে এই পরীক্ষাটি করার কথা ভাবছিলাম, কিন্তু ভাবনাটি আমাকে ধাক্কা দিয়েছে। ভদ্রমহিলা …

18 hypothesis-testing  statistical-significance  fishers-exact  conditioning 

ধরুন আমার কাছে স্বাধীন উত্স রয়েছে, এবং আমি উত্তল মিশ্রণগুলি পর্যবেক্ষণ করছি : এক্স 1 , এক্স 2 , । । । , এক্স এন মি ওয়াই 1এনএনnএক্স1, এক্স2, । । । , এক্সএনএক্স1,এক্স2,।।।,এক্সএনX_1, X_2, ..., X_nমিমিmওয়াই1। । ।ওয়াইমি= ক11এক্স1+ ক12এক্স2+ ⋯ + এ1 এনএক্সএন= কমি 1এক্স1+ কমি 2এক্স2+ ⋯ …

18 pca  ica 

আমার মাস্টারের থিসিসের জন্য, আমি সেরোলজিকাল স্ট্যাটাস দ্বারা সংজ্ঞায়িত বিভিন্ন রাজ্যের মধ্যে রূপান্তরগুলির জন্য একটি পরিসংখ্যানের মডেল বিকাশের উপর কাজ করছি। আপাতত, আমি এই প্রসঙ্গে খুব বেশি বিবরণ দেব না, কারণ আমার প্রশ্নটি আরও সাধারণ / তাত্ত্বিক। যাইহোক, আমার স্বজ্ঞাততা হ'ল আমার একটি লুকানো মার্কভ মডেল (এইচএমএম) ব্যবহার করা উচিত; …

18 machine-learning  self-study  hidden-markov-model