প্রশ্ন ট্যাগ «optimization»

রিগ্রেশন করার সময়, উদাহরণস্বরূপ, দুটি হাইপার প্যারামিটারগুলি বেছে নিতে হ'ল প্রায়শই ফাংশনটির ক্ষমতা (যেমন: বহুত্বের বৃহত্তম ব্যয়কারী) এবং নিয়মিতকরণের পরিমাণ। আমি যা সম্পর্কে বিভ্রান্ত হয়েছি, তা কেন কেবলমাত্র একটি কম ক্ষমতার ফাংশনটি বেছে নিচ্ছেন না এবং তারপরে কোনও নিয়মিতকরণ উপেক্ষা করবেন না? এইভাবে, এটি উপকারী হবে না। নিয়মিতকরণের সাথে যদি …

32 regression  machine-learning  optimization  regularization  polynomial 

পারস্পরিক সম্পর্কের ক্ষেত্রে পিসিএ অ্যালগরিদম তৈরি করা যেতে পারে (ধরে নিন ডেটা ইতিমধ্যে স্বাভাবিক করা হয়েছে এবং আমরা কেবল প্রথম পিসিতে প্রক্ষেপণ বিবেচনা করছি)। উদ্দেশ্য ফাংশন হিসাবে লেখা যেতে পারে:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. এটি ঠিক আছে, এবং আমরা এটি সমাধান করার জন্য ল্যাঙ্গরজিয়ান গুণকগুলি …

32 pca  optimization 

যদি হেসিয়ানরা অপ্টিমাইজেশনের জন্য খুব ভাল হয় (উদাহরণস্বরূপ নিউটনের পদ্ধতিটি দেখুন ) তবে কেন সেখানে থামবেন? আসুন তৃতীয়, চতুর্থ, পঞ্চম এবং ষষ্ঠ ডেরিভেটিভ ব্যবহার করি? কেন না?

29 optimization  gradient-descent  hessian 

উদাহরণস্বরূপ, উপর XGBoost মডেল উদ্দেশ্য ফাংশন নিতে 'ম পুনরাবৃত্তির:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) যেখানে ক্ষতি ফাংশন, হয় 'ম গাছ আউটপুট এবং নিয়মিতকরণ হয়। দ্রুত গণনার জন্য (অনেকগুলি) গুরুত্বপূর্ণ পদক্ষেপগুলির মধ্যে একটি হল আনুমানিক:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), যেখানে এবং হ্রাস ফাংশনের প্রথম এবং দ্বিতীয় ডেরাইভেটিভ।gigig_ihihih_i আমি যা জিজ্ঞাসা করছি তা হল উপরোক্ত আনুমানিকতা কেন কাজ …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

আমি কেবল এই কাগজটি জুড়ে এসেছি , যা মিক্সড ইফেক্টস মডেলিংয়ের মাধ্যমে কোনও পরিমাপের পুনরাবৃত্তিযোগ্যতা (ওরফে বিশ্বাসযোগ্যতা, ওরফে ইন্ট্রাক্লাস পারস্পরিক সম্পর্ক) কীভাবে গণনা করতে হবে তা বর্ণনা করে। আর কোডটি হ'ল: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

আমি যখন জিএএম ব্যবহার করি তখন এটি আমাকে অবশিষ্ট ডিএফ (কোডের শেষ লাইন)। ওটার মানে কি? জিএএম উদাহরণ ছাড়িয়ে যান, সাধারণভাবে, স্বাধীনতার ডিগ্রির সংখ্যাটি একটি অ-পূর্ণসংখ্যার সংখ্যা হতে পারে?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

আমরা জানি যে কিছু উদ্দেশ্যমূলক ক্রিয়াগুলি অনুকূলিতকরণ করা সহজ এবং কিছু শক্ত। এবং এমন অনেক ক্ষতির ফাংশন রয়েছে যা আমরা ব্যবহার করতে চাই তবে ব্যবহার করা শক্ত, উদাহরণস্বরূপ 0-1 ক্ষতি। কাজটি করার জন্য আমরা কিছু প্রক্সি ক্ষতি ফাংশন পাই। উদাহরণস্বরূপ, আমরা "আনুমানিক" 0-1 ক্ষতিতে কব্জি ক্ষতি বা লজিস্টিক ক্ষতি ব্যবহার …

27 machine-learning  classification  optimization  loss-functions 

আমি আমার পিএইচডি করার জন্য তাত্ত্বিক মেশিন লার্নিং - ট্রান্সফার লার্নিংয়ে সুনির্দিষ্ট হতে কাজ করছি। কৌতূহলের বাইরে, কেন আমি উত্তল অপটিমাইজেশন সম্পর্কে কোর্স করবো? তাত্ত্বিক মেশিন লার্নিং সম্পর্কে আমার গবেষণায় আমি উত্তল অপ্টিমাইজেশন থেকে কী কী উপায় গ্রহণ করতে পারি?

27 machine-learning  optimization  convex  transfer-learning 

আমি প্রায় এক বছর আগে অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সটি সম্পন্ন করেছি এবং এখন লজিস্টিক রিগ্রেশন এবং পারফরম্যান্সকে অনুকূল করার কৌশলগুলি সম্পর্কে আমার হাই স্কুল গণিত অনুসন্ধানটি লিখছি writing এই কৌশলগুলির মধ্যে একটি অবশ্যই নিয়মিতকরণ। নিয়ন্ত্রণের লক্ষ্য হল মডেলের সরলতার লক্ষ্য অন্তর্ভুক্ত করার জন্য ব্যয় ক্রিয়াকে বাড়িয়ে ওভারফিটিং প্রতিরোধ করা। …

27 regression  machine-learning  optimization  regularization  overfitting 

এই প্রশ্নটি এখানে রয়েছে কিনা তা নিশ্চিত নয়, তবে এটি অপ্টিমাইজেশনের গ্রেডিয়েন্ট পদ্ধতির সাথে ঘনিষ্ঠভাবে সম্পর্কিত, যা এখানে বিষয়টিতে মনে হচ্ছে। যাইহোক, অন্য কোনও সম্প্রদায়ের বিষয়টিতে আরও ভাল দক্ষতা আছে বলে যদি মনে করেন তবে মাইগ্রেশন নির্দ্বিধায় করুন। সংক্ষেপে, আমি বিপরীত-মোড স্বয়ংক্রিয় পার্থক্যের একটি ধাপে ধাপে উদাহরণ খুঁজছি । বিষয়টিতে …

27 optimization  derivative  tensorflow  automatic-differentiation 

যখন আমরা একটি বই পড়ি, স্বরলিপিগুলি বুঝতে বিষয়বস্তু বোঝার জন্য একটি খুব গুরুত্বপূর্ণ ভূমিকা পালন করে। দুর্ভাগ্যক্রমে, বিভিন্ন সম্প্রদায়ের মডেল গঠনের জন্য এবং অপটিমাইজেশন সমস্যার জন্য আলাদা স্বরলিপি কনভেনশন রয়েছে। কেউ কি এখানে কিছু সূত্রের সংকেত সংক্ষিপ্ত করতে এবং সম্ভাব্য কারণগুলি সরবরাহ করতে পারেন? আমি এখানে একটি উদাহরণ দেব: লিনিয়ার …

26 machine-learning  probability  self-study  optimization 

অপ্টিমাইজেশনের জন্য এসজিডি ব্যবহার করে একটি উত্তল ব্যয় ফাংশন দেওয়া, অনুকূলিতকরণ প্রক্রিয়া চলাকালীন আমাদের একটি নির্দিষ্ট সময়ে একটি গ্রেডিয়েন্ট (ভেক্টর) থাকবে। আমার প্রশ্নটি, উত্তলটির বিন্দুটি বিবেচনা করে, গ্রেডিয়েন্টটি কেবলমাত্র সেই দিকে নির্দেশ করে যেখানে ক্রিয়াটি সবচেয়ে দ্রুত বৃদ্ধি / হ্রাস পায়, বা গ্রেডিয়েন্টটি সর্বদা ব্যয় কার্যের সর্বোত্তম / চরম বিন্দুতে …

25 neural-networks  optimization  gradient-descent  sgd  convex 

আমি ডিপ লার্নিংয়ের জন্য অ্যাডাম অপটিমাইজার সম্পর্কে পড়ছিলাম এবং বেঙ্গিও, গুডফেলো এবং করভিলের ডিপ লার্নিংয়ের নতুন বইয়ের নীচের বাক্যটি পেলাম : অ্যাডামকে সাধারণত হাইপার প্যারামিটারগুলির নির্বাচনের পক্ষে যথেষ্ট শক্তিশালী হিসাবে বিবেচনা করা হয়, যদিও শিক্ষার হারটি মাঝে মাঝে প্রস্তাবিত ডিফল্ট থেকে পরিবর্তন করা প্রয়োজন। যদি এটি সত্য হয় তবে এটি …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

আসলে, আমি আপনাকে জিজ্ঞাসা করতে চেয়েছিলাম যে আমি গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য কীভাবে স্থায়ী শর্তটি সংজ্ঞায়িত করতে পারি। আমি কি পুনরাবৃত্তির সংখ্যার উপর ভিত্তি করে এটি থামাতে পারি, অর্থাৎ 100 টি পুনরাবৃত্তির জন্য প্যারামিটারের মান বিবেচনা করে? বা আমার কি এমন অপেক্ষা করা উচিত যে দুটি নতুন প্যারামিটারের মান 'নতুন' …

24 algorithms  optimization  gradient-descent 

দ্রষ্টব্য: আমি আমার প্রাক্তন ছাত্রের কাছ থেকে প্রযুক্তিগত কারণে নিজের পোস্ট দিতে অক্ষম থেকে একটি প্রশ্ন পোস্ট করছি। একটি আইডির নমুনা দেওয়া একটি ডিস্ট্রিবিউশন থেকে পিডিএফ জন্য একটি দরকারী অনুপস্থিত ভেরিয়েবল উপস্থাপনা এবং সেইজন্য কোনও সম্পর্কিত EM (প্রত্যাশা-সর্বাধিকীকরণ) অ্যালগরিদম যা সরাসরি এর পরিবর্তে এর MLE সন্ধান করতে ব্যবহৃত হতে পারে …

24 optimization  missing-data  expectation-maximization  weibull  gumbel