পরিসংখ্যান এবং বড় তথ্য

আমি অত্যন্ত ভারসাম্যহীন ডেটা সেট (সংখ্যালঘু শ্রেণির হার প্রায় 1% বা তারও কম) এর ফলাফল পূর্বাভাস দেওয়ার জন্য র্যান্ডম ফরেস্ট ব্যবহার করার চেষ্টা করছি। যেহেতু traditionalতিহ্যবাহী র্যান্ডম ফরেস্ট অ্যালগরিদম সংখ্যালঘু শ্রেণীর দিকে বিশেষ মনোযোগ দেওয়ার চেয়ে সামগ্রিক ত্রুটির হারকে হ্রাস করে, এটি ভারসাম্যহীন ডেটার উপরে সরাসরি প্রযোজ্য নয়। সুতরাং আমি …

16 r  random-forest 

এমএনআইএসটি ডেটাসেটকে শ্রেণিবদ্ধকরণ সম্পর্কে সমস্যাটি বিবেচনা করা যাক। মতে Yann LeCun এর MNIST ওয়েবপৃষ্ঠা , 'Ciresan এট অল।' কনভলিউশনাল নিউরাল নেটওয়ার্ক ব্যবহার করে এমএনআইএসটি পরীক্ষার সেটটিতে 0.23% ত্রুটি হার পেয়েছে। আসুন এমএনআইএসটি প্রশিক্ষণকে ডি_ as হিসাবে সেট করুন , এমএনআইএসটি টেস্টকে ডি_ as হিসাবে সেট করুন , চূড়ান্ত হাইপোথিসিসটি তারা …

16 machine-learning  classification  overfitting  probability-inequalities 

আমি সম্ভাবনা এবং পরিসংখ্যান খুব কম জানি, এবং শিখতে ইচ্ছুক। আমি দেখতে পেয়েছি "বিতরণ" শব্দটি বিভিন্ন প্রসঙ্গে পুরো জায়গা জুড়ে ব্যবহৃত হয়েছে। উদাহরণস্বরূপ, একটি পৃথক র্যান্ডম ভেরিয়েবলের একটি "সম্ভাব্যতা বন্টন" থাকে। আমি জানি এটা কি। একটি ক্রমাগত দৈব চলক জন্য তারপর একটি সম্ভাব্যতা ঘনত্ব ফাংশন আছে, x∈Rx∈Rx\in\mathbb{R} থেকে অবিচ্ছেদ্য, −∞−∞-\infty …

16 distributions  definition 

আমি তিনটি বিভাগ সহ একটি চি-বর্গক্ষেত্রের গুডনেস অফ ফিট (জিওএফ) পরীক্ষা নিচ্ছি এবং বিশেষভাবে প্রতিটি বিভাগে জনসংখ্যার অনুপাত সমান (অর্থাৎ, প্রতিটি গ্রুপের অনুপাত 1/3) নাল পরীক্ষা করতে চাই: ওবার্সভিড ডেটা গ্রুপ 1 গ্রুপ 2 গ্রুপ 3 মোট 686 928 1012 2626 সুতরাং, এই জিওএফ পরীক্ষার জন্য, প্রত্যাশিত গণনাগুলি 2626 (1/3) …

16 hypothesis-testing  chi-squared  goodness-of-fit  post-hoc 

আমি সবেমাত্র পরিসংখ্যান অধ্যয়ন শুরু করেছি এবং আমি পর্যাপ্ততার একটি স্বজ্ঞাত উপলব্ধি করতে পারি না। আরও সুনির্দিষ্ট হওয়ার জন্য আমি বুঝতে পারি না যে কীভাবে দেখানো যায় যে নীচের দুটি অনুচ্ছেদ সমতুল্য: মোটামুটিভাবে, অজানা প্যারামিটারে কন্ডিশনারযুক্ত স্বতন্ত্রভাবে বিতরণ করা ডেটার একটি সেট এক্স দেওয়া, একটি পর্যাপ্ত পরিসংখ্যান হ'ল একটি ফাংশন …

16 sufficient-statistics 

যদি আমরা ডেটার সেট , তবে এটিতে লাসো প্রয়োগ করুন এবং একটি সমাধান , আমরা আবার ডেটা সেটে লাসো প্রয়োগ করতে পারি , যেখানে অ- এর সেট is একটি সমাধান পাওয়ার জন্য এর শূন্য সূচক, relax , যাকে বলা হয় 'রিল্যাক্সড লাসো' সমাধান (আমি ভুল হলে আমাকে সংশোধন করুন!)। সমাধান …

16 regression  optimization  lasso  regularization  shrinkage 

হিসাবে ব্যাখ্যা করা এই কোর্সের বিলিপত্র (পৃষ্ঠা 1) , একটি রৈখিক মডেল আকারে লেখা যেতে পারে: y=β1x1+⋯+βpxp+εi,y=β1x1+⋯+βpxp+εi, y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i, যেখানে yyy হ'ল প্রতিক্রিয়া পরিবর্তনশীল এবং xixix_{i} হ'ল ithithi^{th} ব্যাখ্যামূলক পরিবর্তনশীল। প্রায়শই পরীক্ষার অনুমানগুলি পূরণের লক্ষ্য নিয়ে, কেউ প্রতিক্রিয়ার পরিবর্তনশীলকে রূপান্তর করতে …

16 regression  generalized-linear-model  data-transformation  linear-model 

Lasso বা শৈলশিরা রিগ্রেশনে, এক সংকোচন প্যারামিটার প্রায়ই ডাকা নির্দিষ্ট করতে হয়েছে বা α । এই মান প্রায়ই যা সেরা উদাঃ উৎপাদ প্রশিক্ষণ ডেটা এবং দেখে মান আলাদা একটি গুচ্ছ চেক করে ক্রস বৈধতা মাধ্যমে নির্বাচিত করা হয় আর 2 টেস্ট ডেটার উপর। মানগুলির পরিসীমাটি কোনটি পরীক্ষা করা উচিত? এটি …

16 regression  lasso  regularization  ridge-regression  penalized 

এসিএফ এবং পিএসিএফ প্লটগুলির চাক্ষুষ পরিদর্শন করে আপনি কীভাবে কোনও সময়ের সিরিজের উপযুক্ত পূর্বাভাসের মডেলটি অনুমান করবেন? কোনটি (যেমন, এসিএফ বা পিএসিএফ) এআর বা এমএকে বলে (বা তারা দুজনেই)? গ্রাফগুলির কোন অংশটি আপনাকে মৌসুমী আরিমা জন্য মৌসুমী এবং অ-মৌসুমী অংশ বলে? নীচে প্রদর্শিত এসিএফ এবং পিসিএফ ফাংশনগুলি বিবেচনা করুন। তারা …

16 r  time-series  forecasting  acf-pacf 

আমার প্রশ্নগুলি হ'ল: জেনারালাইজড লিনিয়ার মডেলগুলি (জিএলএম) কী গ্লোবাল সর্বাধিক রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত? যদি তাই হয় তবে কেন? তদ্ব্যতীত, জড়তা বীমা করার জন্য লিঙ্ক ফাংশনটিতে কোন বাধা আছে? জিএলএমগুলি সম্পর্কে আমার উপলব্ধি হ'ল তারা একটি উচ্চতররেখার সম্ভাবনা ফাংশনকে সর্বাধিক করে তোলে। সুতরাং, আমি কল্পনা করব যে বেশ কয়েকটি স্থানীয় ম্যাক্সিমা …

16 generalized-linear-model  optimization  convergence  exponential-family 

আমি আর তে লিনিয়ার রিগ্রেশন এর এআইসি গণনা করার চেষ্টা করেছি তবে এই AICফাংশনটি ব্যবহার না করেই : lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 তবে, AICএকটি আলাদা মান দেয়: AIC(lm_mtcars) [1] 190.7999 কেউ আমাকে বলতে পারে যে আমি কী ভুল করছি?

16 r  aic  information-theory 

অনুমানের জন্য আরিমা ত্রুটিগুলি (ডায়নামিক রিগ্রেশন) সহ রিগ্রেশন ব্যবহারের স্টেশনারিটি প্রয়োজনীয়তাগুলি কী কী? বিশেষ করে, আমি একটি অ-নিশ্চল একটানা ফলাফল পরিবর্তনশীল আছে , একটি অ-নিশ্চল একটানা predictor পরিবর্তনশীল x একটি এবং একটি ডামি পরিবর্তনশীল চিকিত্সা সিরিজের এক্স খ । আমি জানতে চাই যে চিকিত্সা শূন্য পরিবর্তন থেকে দ্বি-মানের ত্রুটিরও বেশি …

16 regression  time-series  arima  stationarity 

আমি বর্তমানে জন ডুচি এবং ইওরাম সিঙ্গার দ্বারা ফরোয়ার্ড-ব্যাকওয়ার্ড স্প্লিটিং ব্যবহার করে দক্ষ অনলাইনে এবং ব্যাচ লার্নিংটি কাগজটি পড়েছি । 'অনলাইন' এবং 'ব্যাচ' পদগুলির ব্যবহার সম্পর্কে আমি খুব বিভ্রান্ত। আমি ভেবেছিলাম 'অনলাইন' এর অর্থ আমরা প্রশিক্ষণের ডেটার এক ইউনিট প্রক্রিয়াকরণের পরে ওজনের পরামিতিগুলি আপডেট করি। তারপরে আমরা প্রশিক্ষণের ডেটার পরবর্তী …

16 machine-learning  online  gradient-descent 

আমি সাধারণ রৈখিক মডেলগুলিতে এখনও বেশ নতুন, এবং আমি যে জিএলএম পাঠিয়েছি তার বেশিরভাগ স্বরলিপি নিয়ে লড়াই করছি। এমন কি অত্যন্ত জনপ্রিয় জিএলএম বই রয়েছে যেগুলি তাদের পাঠযোগ্যতার জন্য আরও ভাল ধার দেয়?

16 regression  generalized-linear-model  references 

আমার কোনও ফাংশনের সর্বনিম্ন সন্ধান করা উচিত। Http://docs.scipy.org/doc/scipy/references/optimize.html এ ডকগুলি পড়ছি আমি দেখতে পাচ্ছি যে বেশ কয়েকটি অ্যালগরিদম একই জিনিস করে, অর্থাৎ সর্বনিম্ন সন্ধান করে। আমার কোনটি বেছে নেওয়া উচিত তা আমি কীভাবে জানব? তালিকাভুক্ত কিছু অ্যালগরিদম ডাউনহিল সিমপ্লেক্স অ্যালগরিদম ব্যবহার করে কোনও ফাংশন ছোট করুন। বিএফজিএস অ্যালগরিদম ব্যবহার করে …

16 optimization