প্রশ্ন ট্যাগ «optimization»

এটি এমন একটি বিষয় যা আমাকে কিছুক্ষণের জন্য ত্রুটিযুক্ত করে চলেছে এবং আমি অনলাইনে কোনও সন্তোষজনক উত্তর খুঁজে পেলাম না, তাই এখানে যায়: উত্তল অপ্টিমাইজেশনের উপর বক্তৃতার একটি সেট পর্যালোচনা করার পরে, নিউটনের পদ্ধতিটি বিশ্বব্যাপী অনুকূল সমাধানগুলি অনুসন্ধানের জন্য গ্রেডিয়েন্ট বংশোদ্ভূত চেয়ে অনেক উচ্চতর অ্যালগরিদম বলে মনে হচ্ছে, কারণ নিউটনের …

131 machine-learning  optimization  gradient-descent  hessian 

ধরা যাক , আই = 1 , … , এম এর জন্য আমাদের কিছু প্রশিক্ষণ সেট ( এক্স( আমি ), y( আমি ))(এক্স(আমি),Y(আমি))(x_{(i)}, y_{(i)}) । এছাড়াও ধরুন যে আমরা প্রশিক্ষণের সেটটিতে কিছু ধরণের তদারকি করা শেখার অ্যালগরিদম চালাই। অনুমানগুলি h θ ( x ( i ) ) = θ 0 …

101 optimization  gradient-descent  sgd 

অনেক নিউরাল নেটওয়ার্ক বই এবং টিউটোরিয়াল ব্যাকপ্রোপেশন অ্যালগরিদমের জন্য প্রচুর সময় ব্যয় করে, যা মূলত গ্রেডিয়েন্টটি গণনা করার একটি সরঞ্জাম। ধরে নেওয়া যাক আমরা ~ 10 কে পরামিতি / ওজন দিয়ে একটি মডেল তৈরি করছি। কিছু গ্রেডিয়েন্ট ফ্রি অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করে কী অপ্টিমাইজেশন চালানো সম্ভব? আমি মনে করি সংখ্যার …

94 machine-learning  neural-networks  optimization  backpropagation 

তান অ্যাক্টিভেশন ফাংশনটি হ'ল: t a n h ( x ) = 2 ⋅ σ( 2 এক্স ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 কোথায় , সিগমা ফাংশন, হিসাবে সংজ্ঞায়িত করা হয়: ।σ ( x ) = ই xσ( এক্স )σ(x)\sigma(x) …

81 machine-learning  neural-networks  optimization  cost-maximization 

সবচেয়ে মেশিন লার্নিং কর্ম যেখানে আপনি কিছু সম্ভাবনা প্রণয়ন করতে পারেন যা বড় করা উচিত, আমরা আসলে লগ সম্ভাব্যতা নিখুত হবে কিছু প্যারামিটার সম্ভাব্যতার পরিবর্তে । যেমন সর্বোচ্চ সম্ভাবনা প্রশিক্ষণ, এটি সাধারণত লগ-সম্ভাবনা like কিছু গ্রেডিয়েন্ট পদ্ধতিতে এটি করার সময়, এটিতে একটি ফ্যাক্টর জড়িত:ppplogplog⁡p\log pθθ\theta ∂logp∂θ=1p⋅∂p∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial \theta} …

66 probability  optimization  log-likelihood 

গ্রেডিয়েন্ট বংশদ্ভুত এবং অন্যান্য অনেকগুলি পদ্ধতি ব্যয় কার্যক্রমে স্থানীয় মিনিমা সন্ধানের জন্য দরকারী। তারা কার্যকর হতে পারে যখন প্রতিটি বিন্দুতে ব্যয় কার্যকারিতা দ্রুত মূল্যায়ন করা যায়, সংখ্যাসূচক বা বিশ্লেষণাত্মক হোক না কেন। আমার কাছে যা অস্বাভাবিক পরিস্থিতি বলে মনে হয় তা আমার কাছে রয়েছে। আমার ব্যয় ক্রিয়াকলাপের প্রতিটি মূল্যায়ন ব্যয়বহুল। …

59 gradient-descent  optimization  bayesian-optimization 

আমি বিভিন্ন টিউটোরিয়াল এবং প্রশ্ন (যেমন সহ পিসিএ সম্পর্কে অনেক, পড়েছি এই এক , এই এক , এই এক , এবং এই এক )। পিসিএ যে জ্যামিতিক সমস্যাটি অপ্টিমাইজ করার চেষ্টা করছে তা আমার কাছে স্পষ্ট: পিসিএ পুনর্নির্মাণের (প্রক্ষেপণ) ত্রুটিটি হ্রাস করে প্রথম প্রধান উপাদানটি অনুসন্ধান করার চেষ্টা করে, যা …

54 pca  optimization  linear-algebra  intuition 

সুতরাং গতিবেগ ভিত্তিক গ্রেডিয়েন্ট বংশোদ্ভূত নিম্নলিখিত হিসাবে কাজ করে: v = s ই l f। মি ও এম ই এন টি ইউ এম ∗ এম - এল আর ∗ জিবনাম=গুলিইঠচ।মিণমিইএনটিতোমার দর্শন লগ করামি*মি-ঠR*ছv=self.momentum*m-lr*g যেখানে পূর্ববর্তী ওজন আপডেট, এবং পরামিতি থেকে সম্মান সঙ্গে বর্তমান গ্রেডিয়েন্ট হয় , শেখার হার, এবং একটি …

48 optimization  gradient-descent 

একটি সাম্প্রতিক ব্লগ পোস্ট Rong থেকে Ge দ্বারা, এটা যে বলা হলোঃ এটি বিশ্বাস করা হয় যে গভীর জাল শেখার সহ অনেক সমস্যার জন্য, প্রায় সমস্ত স্থানীয় নূন্যতমের বৈশ্বিক সর্বোত্তমের সাথে একই রকম ফাংশন মান রয়েছে এবং তাই স্থানীয় নূন্যতম সন্ধান করা যথেষ্ট ভাল। এই বিশ্বাসটি কোথা থেকে আসে?

46 machine-learning  neural-networks  optimization  deep-learning 

নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য আমি বেসিক গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমগুলির সাথে পরিচিত। আমি অ্যাডামের প্রস্তাব দেওয়ার কাগজটি পড়েছি: অ্যাডাম: স্টকস্টিক অপ্টিমাইজেশনের একটি পদ্ধতি । আমি অবশ্যই কিছু অন্তর্দৃষ্টি পেয়েছি (কমপক্ষে), কাগজটি সামগ্রিকভাবে আমার কাছে খুব উচ্চ স্তরের বলে মনে হচ্ছে। উদাহরণস্বরূপ, একটি ব্যয় ফাংশন প্রায়শই বিভিন্ন বিভিন্ন ফাংশনের সমষ্টি, অতএব এর …

45 neural-networks  optimization  gradient-descent  adam 

মোমেন্টাম একটানা পুনরাবৃত্তির সাথে ওজন পরিবর্তনের ওঠানামা হ্রাস করতে ব্যবহৃত হয়:αα\alpha যেখানেই(W)ত্রুটি ফাংশন হয়,W- ওজন ভেক্টর,η- শেখার হার।Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta ওজন ক্ষয় ওজন পরিবর্তনের দণ্ড দেয়:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i প্রশ্নটি হ'ল যদি পিছনের প্রচারের সময় উভয় কৌশলকে …

41 neural-networks  optimization  regularization  gradient-descent 

আমি বর্তমানে হাইপার-প্যারামিটার অপ্টিমাইজেশনের জন্য বেনজিও এবং বার্গস্তার র্যান্ডম অনুসন্ধানের মধ্য দিয়ে যাচ্ছি [1] যেখানে লেখকরা দাবি করেন যে প্রায় সমান পারফরম্যান্স অর্জনে গ্রিড অনুসন্ধানের চেয়ে র্যান্ডম অনুসন্ধান আরও দক্ষ efficient আমার প্রশ্ন: এখানকার লোকেরা কি এই দাবির সাথে একমত? আমার কাজটিতে আমি গ্রিড অনুসন্ধানটি বেশিরভাগ ক্ষেত্রে সহজেই এলোমেলো অনুসন্ধান …

41 machine-learning  hyperparameter  optimization 

সংখ্যাসূচকভাবে আহরিত MLE s এর GLMM কঠিন এবং বাস্তবে,, আমি জানি, আমরা পাশব বল অপ্টিমাইজেশান ব্যবহার করা উচিত নয় (যেমন, ব্যবহার optimএকটি সহজ ভাবে)। তবে আমার নিজের শিক্ষাগত উদ্দেশ্যে, আমি মডেলটি সঠিকভাবে বুঝতে পেরেছি কিনা তা চেষ্টা করার চেষ্টা করতে চাই (নীচের কোডটি দেখুন)। আমি দেখতে পেয়েছি যে আমি সবসময়ই …

37 r  maximum-likelihood  optimization  lme4-nlme 

কেউ দয়া করে আমাকে এসভিএম বা এলআর কে বেছে নেবেন সে সম্পর্কে কিছুটা অন্তর্দৃষ্টি দিতে পারেন? আমি দু'জনের হাইপারপ্লেন শিখার অপ্টিমাইজেশনের মানদণ্ডের মধ্যে পার্থক্য কী, তার পিছনে অন্তর্দৃষ্টি বুঝতে চাই, যেখানে সম্পর্কিত লক্ষ্যগুলি নীচে রয়েছে: এসভিএম: নিকটতম সমর্থন ভেক্টরগুলির মধ্যে মার্জিন সর্বাধিক করার চেষ্টা করুন এলআর: উত্তরোত্তর শ্রেণীর সম্ভাবনা সর্বাধিক …

37 regression  logistic  svm  optimization 

এই প্রশ্নটি একটি সুস্পষ্ট উত্তর পেতে খুব খোলামেলা হতে পারে, তবে আশা করি না। মেশিন লার্নিং অ্যালগরিদম, যেমন এসভিএম, জিবিএম, র‌্যান্ডম ফরেস্ট ইত্যাদি, সাধারণত কিছু ফ্রি প্যারামিটার থাকে যা থাম্ব গাইডেন্সের কিছু নিয়মের বাইরেও প্রতিটি ডেটা সেটে সুর করা দরকার। প্যারামিটারগুলির সেটটি সেরা জেনারেলাইজেশন ত্রুটি প্রদান করে যাতে এটি সাধারণত …

34 machine-learning  cross-validation  bootstrap  optimization  resampling