প্রশ্ন ট্যাগ «gradient-descent»

যদি হেসিয়ানরা অপ্টিমাইজেশনের জন্য খুব ভাল হয় (উদাহরণস্বরূপ নিউটনের পদ্ধতিটি দেখুন ) তবে কেন সেখানে থামবেন? আসুন তৃতীয়, চতুর্থ, পঞ্চম এবং ষষ্ঠ ডেরিভেটিভ ব্যবহার করি? কেন না?

29 optimization  gradient-descent  hessian 

আমি কোর্সেরাতে মেশিন লার্নিং স্ট্যানফোর্ড কোর্স করছি। লজিস্টিক রিগ্রেশন সম্পর্কিত অধ্যায়ে, ব্যয় কার্যকারিতাটি হ'ল: তারপরে, এটি এখানে উদ্ভূত: আমি ব্যয় ফাংশনের ডেরাইভেটিভ পাওয়ার চেষ্টা করেছি তবে আমি সম্পূর্ণ আলাদা কিছু পেয়েছি। কীভাবে ডেরাইভেটিভ প্রাপ্ত হয়? মধ্যস্থতাকারী পদক্ষেপগুলি কোনটি?

29 regression  logistic  gradient-descent  derivative 

অ্যালগরিদম ইএম (প্রত্যাশা ম্যাক্সিমাইজেশন) এবং গ্রেডিয়েন্ট অ্যাসেন্ট (বা উত্থান) এর মধ্যে পার্থক্য কী? এমন কোন শর্ত আছে যার অধীনে তারা সমতুল্য?

28 gradient-descent  expectation-maximization 

অপ্টিমাইজেশনের জন্য এসজিডি ব্যবহার করে একটি উত্তল ব্যয় ফাংশন দেওয়া, অনুকূলিতকরণ প্রক্রিয়া চলাকালীন আমাদের একটি নির্দিষ্ট সময়ে একটি গ্রেডিয়েন্ট (ভেক্টর) থাকবে। আমার প্রশ্নটি, উত্তলটির বিন্দুটি বিবেচনা করে, গ্রেডিয়েন্টটি কেবলমাত্র সেই দিকে নির্দেশ করে যেখানে ক্রিয়াটি সবচেয়ে দ্রুত বৃদ্ধি / হ্রাস পায়, বা গ্রেডিয়েন্টটি সর্বদা ব্যয় কার্যের সর্বোত্তম / চরম বিন্দুতে …

25 neural-networks  optimization  gradient-descent  sgd  convex 

আসলে, আমি আপনাকে জিজ্ঞাসা করতে চেয়েছিলাম যে আমি গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য কীভাবে স্থায়ী শর্তটি সংজ্ঞায়িত করতে পারি। আমি কি পুনরাবৃত্তির সংখ্যার উপর ভিত্তি করে এটি থামাতে পারি, অর্থাৎ 100 টি পুনরাবৃত্তির জন্য প্যারামিটারের মান বিবেচনা করে? বা আমার কি এমন অপেক্ষা করা উচিত যে দুটি নতুন প্যারামিটারের মান 'নতুন' …

24 algorithms  optimization  gradient-descent 

আমি ভাবছিলাম কি ভিন্ন ব্যবহারের ক্ষেত্রে দুই আলগোরিদিম, হয় স্থানাঙ্ক বংশদ্ভুত এবং গ্রেডিয়েন্ট বংশদ্ভুত । আমি জানি যে স্থানাঙ্ক বংশোদ্ভূত নন-স্মুথ ফাংশনগুলির সাথে সমস্যা রয়েছে তবে এটি এসভিএম এবং লাসো এর মতো জনপ্রিয় অ্যালগরিদমে ব্যবহৃত হয়। গ্রেডিয়েন্ট বংশোদ্ভূত যদিও আমি মনে করি বিশেষত এএনএনগুলির পুনরুত্থানের সাথে এবং আরও অনেকগুলি মেশিন …

23 optimization  gradient-descent 

আমি উত্সাহিত করছি কিভাবে রেসনেট মডিউলগুলি / এড়িয়ে যাওয়া সংযোগগুলি ব্যবহার করে নিউরাল নেটওয়ার্কের মাধ্যমে গ্রেডিয়েন্টগুলি ফেরত প্রচারিত হয় are আমি রেসনেট (যেমন স্কিপ-লেয়ার সংযোগ সহ নিউরাল নেটওয়ার্ক ) সম্পর্কে বেশ কয়েকটি প্রশ্ন দেখেছি তবে এটি প্রশিক্ষণের সময় গ্রেডিয়েন্টগুলির ব্যাক-প্রসারণ সম্পর্কে বিশেষত জিজ্ঞাসা করছে। প্রাথমিক স্থাপত্য এখানে: আমি এই কাগজটি …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

ব্যাক-প্রসারণ অ্যালগরিদম ব্যবহার করে কোনও নিউরাল নেটওয়ার্ক প্রশিক্ষণ দেওয়ার সময়, গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতি ওজন সম্পর্কিত আপডেটগুলি নির্ধারণ করার জন্য ব্যবহৃত হয়। আমার প্রশ্নটি হ'ল ধীরে ধীরে নির্দিষ্ট ওজনের ক্ষেত্রে ন্যূনতম বিন্দুটি সনাক্ত করতে গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতি ব্যবহার করার পরিবর্তে, আমরা কেন কেবল ডেরাইভেটিভ ডি সেট করি না ( ত্রুটি )d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0, …

22 neural-networks  gradient-descent  backpropagation 

কেন কার্নেলাইজড এসভিএমগুলির সাথে কাজ করার সময় লোকেরা চতুষ্কোণ প্রোগ্রামিং কৌশল (যেমন এসএমও) ব্যবহার করে? গ্রেডিয়েন্ট বংশোদ্ভূত কি সমস্যা? কার্নেলগুলি ব্যবহার করা কি অসম্ভব বা এটি খুব ধীর (এবং কেন?)। এখানে আরও একটি প্রসঙ্গ এখানে দেওয়া হয়েছে: এসভিএমগুলি আরও ভালভাবে বোঝার চেষ্টা করে, আমি নিম্নলিখিত ব্যয়ের ফাংশনটি ব্যবহার করে লিনিয়ার …

21 svm  kernel-trick  gradient-descent 

মূলত, আমার প্রশ্নটি হ'ল মাল্টিলেয়ার পারসেপ্ট্রনগুলিতে পার্সেপট্রনগুলি সিগময়েড অ্যাক্টিভেশন ফাংশন সহ ব্যবহৃত হয়। যাতে আপডেটের নিয়মে হিসাবে গণনা করা হয়y^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} এই "সিগময়েড" পারসেপ্ট্রন তখন লজিস্টিক রিগ্রেশন থেকে কীভাবে আলাদা? আমি বলব যে একটি একক স্তর সিগময়েড পার্সেপট্রন লজিস্টিক রিগ্রেশনের সমান, এই অর্থে যে উভয়ই আপডেট নিয়মে। এছাড়াও, …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

গভীর এবং অগভীর নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণে, অন্যান্য আবহাওয়াবিজ্ঞানের বিপরীতে গ্রেডিয়েন্ট পদ্ধতিগুলি (যেমন গ্রেডিয়েন্ট বংশোদ্ভূত নেস্টেরভ, নিউটন-রাফসন) সাধারণত ব্যবহৃত হয় কেন? মেটাহিউরিস্টিকস দ্বারা আমি বোঝায় যে পদ্ধতিগুলি যেমন সিমুলেটেড অ্যানিলিং, পিঁপড়া কলোনী অপ্টিমাইজেশন ইত্যাদি, যা স্থানীয় মিনিমে আটকে না যাওয়ার জন্য তৈরি করা হয়েছিল।

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

জেনেটিক অ্যালগরিদমগুলি অপ্টিমাইজেশন পদ্ধতির এক রূপ। প্রায়শই স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত এবং এর ডেরিভেটিভগুলি ফাংশন অপ্টিমাইজেশনের জন্য সেরা পছন্দ, তবে জেনেটিক অ্যালগরিদমগুলি এখনও মাঝে মধ্যে ব্যবহৃত হয়। উদাহরণস্বরূপ, নাসার এসটি 5 মহাকাশযানের অ্যান্টেনা জেনেটিক অ্যালগরিদম দিয়ে তৈরি করা হয়েছিল: জেনেটিক অপ্টিমাইজেশন পদ্ধতিগুলি কখন আরও সাধারণ গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতির চেয়ে ভাল পছন্দ …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

আমি একটি পুরানো সত্য / মিথ্যা পরীক্ষায় এই বিবৃতিটি পড়েছি: গ্রেডিয়েন্ট ডেসেন্ট ব্যবহার করে স্কোয়ারড ত্রুটির যোগফলকে হ্রাস করে যদি আমরা লিনিয়ার রিগ্রেশন সমস্যার সমাধান করি তবে আমরা একাধিক স্থানীয় সর্বোত্তম সমাধান পেতে পারি। সমাধান: মিথ্যা আমার প্রশ্ন, এই প্রশ্নের কোন অংশটি ভুল? কেন এই বিবৃতি মিথ্যা?

19 least-squares  gradient-descent  convex 

আমি জানি যে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত আচরণ এলোমেলো আচরণ করে তবে কেন তা আমি জানি না। এই সম্পর্কে কোন ব্যাখ্যা আছে?

19 machine-learning  random-variable  gradient-descent 

আমি অনেকগুলি আলোচনার অনুরূপ উপসংহার দেখেছি, যেহেতু মিনিবিচের আকারটি এসজিডি রূপান্তরিত হওয়ার ফলে বাস্তবে আরও শক্ত / খারাপ হয়, উদাহরণস্বরূপ এই কাগজটি এবং এই উত্তরটি । এছাড়াও আমি শুনেছি লোকেরা বড় ব্যাচের আকারের সাহায্যে এই সমস্যাটির সমাধানের জন্য প্রাথমিক পর্যায়ে ছোট শেখার হার বা ব্যাচের আকারের মতো কৌশল ব্যবহার করে। …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd