প্রশ্ন ট্যাগ «gradient-descent»

এটি এমন একটি বিষয় যা আমাকে কিছুক্ষণের জন্য ত্রুটিযুক্ত করে চলেছে এবং আমি অনলাইনে কোনও সন্তোষজনক উত্তর খুঁজে পেলাম না, তাই এখানে যায়: উত্তল অপ্টিমাইজেশনের উপর বক্তৃতার একটি সেট পর্যালোচনা করার পরে, নিউটনের পদ্ধতিটি বিশ্বব্যাপী অনুকূল সমাধানগুলি অনুসন্ধানের জন্য গ্রেডিয়েন্ট বংশোদ্ভূত চেয়ে অনেক উচ্চতর অ্যালগরিদম বলে মনে হচ্ছে, কারণ নিউটনের …

131 machine-learning  optimization  gradient-descent  hessian 

ধরা যাক , আই = 1 , … , এম এর জন্য আমাদের কিছু প্রশিক্ষণ সেট ( এক্স( আমি ), y( আমি ))(এক্স(আমি),Y(আমি))(x_{(i)}, y_{(i)}) । এছাড়াও ধরুন যে আমরা প্রশিক্ষণের সেটটিতে কিছু ধরণের তদারকি করা শেখার অ্যালগরিদম চালাই। অনুমানগুলি h θ ( x ( i ) ) = θ 0 …

101 optimization  gradient-descent  sgd 

আমি মেশিন লার্নিং কোর্সগুলি অনলাইনে নিচ্ছি এবং অনুমানের অনুকূল মান গণনা করার জন্য গ্রেডিয়েন্ট বংশোদ্ভূত সম্পর্কে শিখেছি। h(x) = B0 + B1X নীচের সূত্রের সাহায্যে যদি আমরা সহজেই মানগুলি খুঁজে পেতে পারি তবে কেন আমাদের গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করতে হবে? এটি সরাসরি এগিয়ে এবং সহজ দেখায়। তবে মান পেতে জিডির …

73 regression  machine-learning  gradient-descent 

অ্যান্ড্রু এনগের মেশিন লার্নিং কোর্সে তিনি লিনিয়ার রিগ্রেশন এবং লজিস্টিক রিগ্রেশন প্রবর্তন করেছেন এবং গ্রেডিয়েন্ট বংশোদ্ভূত এবং নিউটনের পদ্ধতি ব্যবহার করে মডেল পরামিতিগুলি কীভাবে ফিট করবেন তা দেখায়। আমি জানি যে গ্রেডিয়েন্ট বংশোদ্ভূত মেশিন লার্নিংয়ের কয়েকটি অ্যাপ্লিকেশনগুলিতে (যেমন, ব্যাকপ্রোপেশন) দরকারী হতে পারে, তবে আরও সাধারণ ক্ষেত্রে আপনি বদ্ধ আকারে প্যারামিটারগুলির …

71 regression  machine-learning  logistic  gradient-descent 

স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত একটি যুগকে ডেটাগুলির মাধ্যমে একক পাস হিসাবে সংজ্ঞায়িত করা হয়। প্রতিটি এসজিডি মিনিবাসের জন্য, kkk নমুনাগুলি আঁকা হয়, গ্রেডিয়েন্ট গণনা করা হয় এবং পরামিতি আপডেট করা হয়। যুগের সেটিংয়ে, নমুনাগুলি প্রতিস্থাপন ছাড়াই আঁকা হয়। তবে এটি অপ্রয়োজনীয় বলে মনে হচ্ছে। প্রতিটি পুনরুক্তিতে সম্পূর্ণ ডেটা সেট থেকে kkk …

69 neural-networks  deep-learning  gradient-descent 

গ্রেডিয়েন্ট বংশদ্ভুত এবং অন্যান্য অনেকগুলি পদ্ধতি ব্যয় কার্যক্রমে স্থানীয় মিনিমা সন্ধানের জন্য দরকারী। তারা কার্যকর হতে পারে যখন প্রতিটি বিন্দুতে ব্যয় কার্যকারিতা দ্রুত মূল্যায়ন করা যায়, সংখ্যাসূচক বা বিশ্লেষণাত্মক হোক না কেন। আমার কাছে যা অস্বাভাবিক পরিস্থিতি বলে মনে হয় তা আমার কাছে রয়েছে। আমার ব্যয় ক্রিয়াকলাপের প্রতিটি মূল্যায়ন ব্যয়বহুল। …

59 gradient-descent  optimization  bayesian-optimization 

বেশিরভাগ টেনসরফ্লো কোডে আমি দেখেছি অ্যাডাম অপ্টিমাইজারটি ধ্রুবক শেখার হারের 1e-4(অর্থাৎ 0.0001) ব্যবহার করে। কোডটি সাধারণত নিম্নলিখিতটি দেখায়: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = tf.initialize_all_variables() # launch …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

আমি বুঝতে পারি যে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত ট্র্যাকিং ডেটাসেটের পৃথক নমুনা সহ প্রতিটি পুনরাবৃত্তি আপডেট করে ব্যাকপ্রোপেশন ব্যবহার করে নিউরাল নেটওয়ার্কটি অনুকূল করতে ব্যবহৃত হতে পারে। ব্যাচের আকার কত বড় হওয়া উচিত?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

সুতরাং গতিবেগ ভিত্তিক গ্রেডিয়েন্ট বংশোদ্ভূত নিম্নলিখিত হিসাবে কাজ করে: v = s ই l f। মি ও এম ই এন টি ইউ এম ∗ এম - এল আর ∗ জিবনাম=গুলিইঠচ।মিণমিইএনটিতোমার দর্শন লগ করামি*মি-ঠR*ছv=self.momentum*m-lr*g যেখানে পূর্ববর্তী ওজন আপডেট, এবং পরামিতি থেকে সম্মান সঙ্গে বর্তমান গ্রেডিয়েন্ট হয় , শেখার হার, এবং একটি …

48 optimization  gradient-descent 

আমি একটি সহজ লিখেছি MLP মধ্যে TensorFlow যা মডেলিং করা হয় XOR যাও-গেট । অনেক দূরে: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] এটি নিম্নলিখিত উত্পাদন করা উচিত: output_data = [[0.], [1.], [1.], [0.]] নেটওয়ার্কটিতে একটি ইনপুট স্তর, একটি লুকানো স্তর এবং প্রতিটি 2, 5 এবং 1 …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য আমি বেসিক গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমগুলির সাথে পরিচিত। আমি অ্যাডামের প্রস্তাব দেওয়ার কাগজটি পড়েছি: অ্যাডাম: স্টকস্টিক অপ্টিমাইজেশনের একটি পদ্ধতি । আমি অবশ্যই কিছু অন্তর্দৃষ্টি পেয়েছি (কমপক্ষে), কাগজটি সামগ্রিকভাবে আমার কাছে খুব উচ্চ স্তরের বলে মনে হচ্ছে। উদাহরণস্বরূপ, একটি ব্যয় ফাংশন প্রায়শই বিভিন্ন বিভিন্ন ফাংশনের সমষ্টি, অতএব এর …

45 neural-networks  optimization  gradient-descent  adam 

মোমেন্টাম একটানা পুনরাবৃত্তির সাথে ওজন পরিবর্তনের ওঠানামা হ্রাস করতে ব্যবহৃত হয়:αα\alpha যেখানেই(W)ত্রুটি ফাংশন হয়,W- ওজন ভেক্টর,η- শেখার হার।Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),E(w)E(w)E({\bf w})ww{\bf w}ηη\eta ওজন ক্ষয় ওজন পরিবর্তনের দণ্ড দেয়:λλ\lambda Δωi(t+1)=−η∂E∂wi−ληωiΔωi(t+1)=−η∂E∂wi−ληωi\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i প্রশ্নটি হ'ল যদি পিছনের প্রচারের সময় উভয় কৌশলকে …

41 neural-networks  optimization  regularization  gradient-descent 

নিউরাল নেটওয়ার্কগুলির জন্য বিলুপ্ত গ্রেডিয়েন্ট সমস্যার সমাধান হিসাবে আমি বেশ কয়েকটি স্থানে প্রশংসিত লিনিয়ার ইউনিট (আরএলইউ) পেয়েছি । এটি, সক্রিয়করণ ফাংশন হিসাবে এক সর্বোচ্চ (0, x) ব্যবহার করে। যখন অ্যাক্টিভেশনটি ইতিবাচক হয়, তবে স্পষ্টতই বলা যায় যে এটি সিগময়েড অ্যাক্টিভেশন ফাংশনটির চেয়ে ভাল, যেহেতু এর এক্সেরিভিশনটি সর্বদা বড় এক্স এর …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

আমি গ্রেডিয়েন্ট বংশোদ্ভূত ইতিহাস এবং স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত ইতিহাস বোঝার চেষ্টা করছি । গ্রেডিয়েন্ট বংশদ্ভুত আবিষ্কৃত হয়েছিল কোশি 1847 সালে পদ্ধতি générale ঢালা লা রেজল্যুশন দেস Systemes d'সমীকরণ simultanées । পিপি। 536–538 এটি সম্পর্কে আরও তথ্যের জন্য এখানে দেখুন । সেই থেকে গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতিগুলি বিকাশ করে চলেছে এবং আমি …

36 references  gradient-descent  history  sgd 

আমি কোর্সেরা উপাদান ব্যবহার করে মেশিন লার্নিং শেখার চেষ্টা করছিলাম । এই বক্তৃতায় অ্যান্ড্রু এনজি লিনিয়ার রিগ্রেশন মডেলের সহগগুলি খুঁজে পেতে গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম ব্যবহার করে যা ত্রুটি ফাংশন (ব্যয় ফাংশন) হ্রাস করবে। লিনিয়ার রিগ্রেশন জন্য, আমাদের কি গ্রেডিয়েন্ট বংশোদ্ভূত দরকার? দেখে মনে হচ্ছে যে আমি ত্রুটিযুক্তভাবে ত্রুটি ফাংশনটিকে আলাদা …

31 regression  machine-learning  linear-model  gradient-descent