প্রশ্ন ট্যাগ «regularization»

কিছু নিয়মিতকরণের সাথে লিনিয়ার রিগ্রেশন বিবেচনা করুন: উদাহরণস্বরূপ যেটি হ্রাস করুন | | একটি এক্স - বি | | 2 + λ | | এক্স | | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 সাধারণত, এ এর ​​কলামগুলিকে শূন্য গড় এবং একক আদর্শ হিসাবে মানক করা হয়, এবং শূন্য গড় হিসাবে কেন্দ্রীভূত হয়। মানককরণ …

16 regression  lasso  regularization  standardization 

আমি একটি স্থির প্রভাব (শর্ত) এবং দুটি এলোমেলো প্রভাব (বিষয় নকশা এবং জুটির মধ্যে অংশগ্রহণকারী) সহ একটি মিশ্র ইফেক্ট মডেল ব্যবহার করে একটি ডেটা সেট বিশ্লেষণ করছি। মডেল দিয়ে তৈরি করা হয়েছিল lme4প্যাকেজ: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp)। এরপরে, আমি স্থির প্রভাব (শর্ত) ছাড়াই মডেলটির বিপরীতে এই মডেলের সম্ভাবনা অনুপাতের পরীক্ষা করেছি এবং একটি …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ আপনি যদি এই পোস্টের শীর্ষের দিকে তাকান তবে লেখক উল্লেখ করেছেন যে এল 2 আদর্শের একটি অনন্য সমাধান রয়েছে এবং এল 1 আদর্শের অনেকগুলি সমাধান রয়েছে। আমি এটি নিয়মিতকরণের ক্ষেত্রে বুঝতে পারি, তবে ক্ষতির ক্ষেত্রে এল 1 আদর্শ বা এল 2 আদর্শ ব্যবহারের ক্ষেত্রে নয়। যদি আপনি স্কেলার এক্স …

16 regression  lasso  regularization 

এই সাইটে ইতিমধ্যে একই বিষয়ে কথা বলার একটি পোস্ট রয়েছে: সঙ্কুচিত কেন কাজ করে? তবে, উত্তরগুলি জনপ্রিয় হওয়া সত্ত্বেও, আমি বিশ্বাস করি না যে প্রশ্নের সূত্রটি সত্যই সম্বোধিত হয়েছে। এটি বেশ পরিষ্কার যে অনুমানের ক্ষেত্রে কিছু পক্ষপাতমূলক প্রবর্তন বৈচিত্র্য হ্রাস এনেছে এবং অনুমানের মানের উন্নতি করতে পারে। যাহোক: 1) পক্ষপাত …

15 regularization  ridge-regression  shrinkage 

লিনিয়ার রিগ্রেশন মডেলগুলিতে আমি লাসো, রিজ এবং ইলাস্টিক-নেট ধরণের নিয়মিতকরণ সম্পর্কে সচেতন। প্রশ্ন: এটি (বা অনুরূপ) ধরণের প্রাক্কলিত প্রাক্কলনটি আরিমা মডেলিংয়ে (একটি খালি এমএ অংশবিহীন) প্রয়োগ করা যেতে পারে? Arima মডেলের ভবনে, এটি একটি পূর্ব-নির্বাচিত সর্বাধিক ল্যাগ অর্ডার (বিবেচনা স্বাভাবিক বলে মনে হয় , কুই মি একটি এক্স ) এবং …

15 time-series  arima  lasso  regularization  ridge-regression 

আমি পরিসংখ্যান শেখার সর্বাধিক জনপ্রিয় বইগুলি পড়েছি 1- পরিসংখ্যানগত শিক্ষার উপাদানসমূহ। 2- পরিসংখ্যান শেখার একটি ভূমিকা । উভয়ই উল্লেখ করেছেন যে রিজ রিগ্রেশনটির দুটি সূত্র সমতুল্য। এই ফলাফলের কোন বোধগম্য গাণিতিক প্রমাণ আছে? আমি ক্রস ভ্যালিডেটেড দিয়েও গিয়েছিলাম , তবে আমি সেখানে কোনও সুনির্দিষ্ট প্রমাণ পাই না। তদুপরি, লাসো কি …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

ধরা যাক আমার একটি লজিস্টিক রিগ্রেশন শ্রেণিবদ্ধ রয়েছে। সাধারণ ব্যাচ শেখায়, আমার ওজন কম দেওয়া রোধ করতে এবং ওজন কম রাখার জন্য আমার নিয়ামক পদ থাকতে হবে। আমি আমার বৈশিষ্ট্যগুলিও স্বাভাবিক এবং স্কেল করব। একটি অনলাইন লার্নিং সেটিংয়ে, আমি একটানা তথ্যের স্ট্রিম পাচ্ছি। আমি প্রতিটি উদাহরণ সহ গ্রেডিয়েন্ট বংশোদ্ভূত আপডেট …

15 machine-learning  normalization  regularization  online 

β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n আমরা জানি যে λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty , লাসো অনুমান β^λ=0β^λ=0\hat\beta^\lambda = 0 । (উদাহরণস্বরূপ, লাসো এবং রিজ টিউনিংয়ের প্যারামিটার স্কোপ দেখুন )) অন্য স্বীকৃতিতে এটি প্রকাশ করছে …

14 lasso  regularization 

রিজ রিগ্রেশনে, উদ্দেশ্যমূলক কার্যকারিতা হ্রাস করা উচিত: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. এটিকে ল্যাঞ্জরেঞ্জ গুণক পদ্ধতি ব্যবহার করে অনুকূলিত করা যেতে পারে? নাকি তা সরাসরি পার্থক্য?

14 regression  regularization  ridge-regression 

এখানে বেশ কয়েকটি গণিত-ভারী কাগজপত্র রয়েছে যা বেয়েসিয়ান লাসোর বর্ণনা করে তবে আমি পরীক্ষিত, জাএজিএস কোড ব্যবহার করতে পারি যা সঠিকভাবে ব্যবহার করতে চাই। কেউ কি নিয়মিত লজিস্টিক রিগ্রেশন প্রয়োগ করে এমন বিগিজ / জাগএস কোডের নমুনা পোস্ট করতে পারে? যে কোনও স্কিম (এল 1, এল 2, ইলাস্টিকনেট) দুর্দান্ত হবে …

14 bayesian  logistic  lasso  jags  regularization 

গভীর শিক্ষার এই টিউটোরিয়াল অনুসারে , ওজন ক্ষয় (নিয়মিতকরণ) সাধারণত বায়াস শর্তাবলী প্রয়োগ করা হয় না কেন বি? এর পিছনে তাত্পর্য (অন্তর্দৃষ্টি) কী?

14 machine-learning  neural-networks  bias  regularization 

একটি L1L1L_1 আদর্শ অনন্য (কমপক্ষে আংশিকভাবে) কারণ p=1p=1p=1 নন-উত্তল এবং উত্তলগুলির মধ্যে সীমাতে থাকে। একটি L1L1L_1 আদর্শ হ'ল 'সর্বাধিক বিরল' উত্তল আদর্শ (ডান?)। আমি বুঝতে পারি যে p=2p=2p=2 ইউক্যালিডিয়ান আদর্শের জ্যামিতিতে শিকড় রয়েছে এবং যখন মাত্রাগুলি একই ইউনিট থাকে তখন এর স্পষ্ট ব্যাখ্যা থাকে। তবে আমি বুঝতে পারি না কেন …

13 regression  regularization  sparse 

\newcommand{\diag}{\operatorname{diag}} আমাদের সমস্যা রয়েছে: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), এই অনুমান সহ: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). এক্ষেত্রে কি কোনও বন্ধ-ফর্ম সমাধান রয়েছে? আমার কাছে এটি রয়েছে: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), এবং তাই আমার মনে হয় উত্তরটি : w \, ^ j = y \, ^ j \ সর্বোচ্চ \ বামে \ {0,1- \ ল্যাম্বদা …

13 mathematical-statistics  lasso  computational-statistics  regularization 

আমি সেন্টিমেন্টের পূর্বাভাসের জন্য ১৫০০ টি টুইটকে মডেলিং করছি একটি একক স্তর এলএসটিএম দিয়ে 128 টি লুকানো ইউনিট সহ 80 ডাইমেনড সহ ওয়ার্ড 2vec- এর মতো উপস্থাপনা ব্যবহার করে। আমি 1 যুগের পরে একটি বংশদ্ভুত নির্ভুলতা (এলোমেলো = 20% সহ 38%) পেয়েছি। প্রশিক্ষণের যথার্থতা আরোহণের সূচনা হওয়ার সাথে সাথে আরও …

13 deep-learning  regularization  overfitting  lstm 

বিশপের প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিংয়ের ৩.২ ধারায় তিনি পক্ষপাত-প্রকরণের পচন নিয়ে আলোচনা করেছেন এবং উল্লেখ করেছেন যে একটি স্কোয়ার ক্ষতির ক্রিয়াকলাপের জন্য, প্রত্যাশিত ক্ষতিটিকে স্কোয়ার বায়াস পদে বিভক্ত করা যেতে পারে (যা বর্ণনা করে যে গড় পূর্বাভাসগুলি সত্য থেকে কতদূর দূরে রয়েছে) মডেল), একটি বৈকল্পিক শব্দ (যা গড়ের প্রায়শই …

13 self-study  variance  bias  regularization  loss-functions