প্রশ্ন ট্যাগ «optimization»

আমি মেশিন লার্নিংয়ের জন্য অপ্টিমাইজেশন কৌশলগুলি নিয়ে কিছু গবেষণা করছি, তবে আমি আরও অবাক হয়েছি যে অন্যান্য অপটিমাইজেশন সমস্যার ক্ষেত্রে সংখ্যায় অপ্টিমাইজেশন অ্যালগরিদম সংজ্ঞায়িত হয়েছে। আমি নীচে কিছু উদাহরণ চিত্রিত। উদাহরণস্বরূপ https://arxiv.org/pdf/1511.05133v1.pdf সবকিছু দেখতে সুন্দর এবং ভাল দেখাচ্ছে তবে তারপরে z কে + 1 আপডেটে এই আছে .... তাহলে আরগোমিনের …

23 machine-learning  svm  optimization 

সম্প্রতি সিস্টি স্টেকেক্সচেঞ্জের উপর একটি এমএল-জাতীয় প্রশ্ন ছিল এবং আমি পাওলের পদ্ধতি, গ্রেডিয়েন্ট বংশোদ্ভূত, জেনেটিক অ্যালগরিদম বা অন্য "আনুমানিক অ্যালগরিদম" এর প্রস্তাব দিয়ে একটি উত্তর পোস্ট করেছি । একটি মন্তব্য কেউ আমাকে বলেছিল এই পদ্ধতি "হিউরিস্টিক" এবং ছিল না "পড়তা আলগোরিদিম" এবং ঘন ঘন তাত্ত্বিক সর্বোত্তম পাসে আসে না (কারণ …

23 machine-learning  optimization  approximation 

আমি অবাক হয়েছি যদি কোনও সর্বাধিক (লগ-) সম্ভাবনা অনুমানের সমস্যার জন্য সর্বদা একটি ম্যাকিমিমাইজার থাকে? অন্য কথায়, এখানে কি কিছু বিতরণ এবং এর কিছু পরামিতি রয়েছে, যার জন্য এমএলই সমস্যাটির ম্যাক্সিমাইজার নেই? আমার প্রশ্নটি একজন ইঞ্জিনিয়ারের দাবি থেকে আসে যে এমএলইতে ব্যয় ফাংশন (সম্ভাবনা বা লগ-সম্ভাবনা, আমি নিশ্চিত নই যে) …

23 maximum-likelihood  optimization 

আমি ভাবছিলাম কি ভিন্ন ব্যবহারের ক্ষেত্রে দুই আলগোরিদিম, হয় স্থানাঙ্ক বংশদ্ভুত এবং গ্রেডিয়েন্ট বংশদ্ভুত । আমি জানি যে স্থানাঙ্ক বংশোদ্ভূত নন-স্মুথ ফাংশনগুলির সাথে সমস্যা রয়েছে তবে এটি এসভিএম এবং লাসো এর মতো জনপ্রিয় অ্যালগরিদমে ব্যবহৃত হয়। গ্রেডিয়েন্ট বংশোদ্ভূত যদিও আমি মনে করি বিশেষত এএনএনগুলির পুনরুত্থানের সাথে এবং আরও অনেকগুলি মেশিন …

23 optimization  gradient-descent 

এখানে একটি অনুরূপ থ্রেড রয়েছে ( নিউরাল নেটওয়ার্কের ব্যয় ক্রিয়াকলাপটি নন-উত্তল? ) তবে আমি সেখানে উত্তরগুলির পয়েন্টগুলি বুঝতে পারি না এবং এটি পুনরায় জিজ্ঞাসা করার কারণটি এই আশা করে যে কিছু বিষয় স্পষ্ট হবে: আমি স্কোয়ারড পার্থক্য খরচ ফাংশনের সমষ্টি ব্যবহার করছি তবে আমি চরমভাবে ফর্মের কিছু নিখুঁত করছি যেখানে …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

ধরুন আমার নীচের মডেলটি রয়েছে yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i যেখানে , ব্যাখ্যামূলক ভেরিয়েবলের একটি ভেক্টর, হ'ল অ-লিনিয়ার ফাংশন এবং , যেখানে প্রাকৃতিকভাবে ম্যাট্রিক্স।yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK×KK×KK\times K লক্ষ্য অনুমান করার জন্য স্বাভাবিক এবং । সুস্পষ্ট পছন্দ সর্বাধিক সম্ভাবনা পদ্ধতি। এই মডেলের জন্য লগ-সম্ভাবনা (ধরে আমাদের কাছে একটি নমুনা রয়েছে ) দেখে মনে হচ্ছেθθ\thetaΣΣ\Sigma(yi,xi),i=1,...,n(yi,xi),i=1,...,n(y_i,x_i),i=1,...,n l(θ,Σ)=−n2log(2π)−n2logdetΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(θ,Σ)=−n2log⁡(2π)−n2log⁡detΣ−∑i=1n(yi−f(xi,θ))′Σ−1(y−f(xi,θ)))l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} …

22 maximum-likelihood  optimization  covariance 

প্যারামিটারগুলির সর্বাধিক সম্ভাবনার প্রাক্কলন কেন এত সাধারণ, তবে আপনি কার্যত কখনও প্রত্যাশিত সম্ভাবনা পরামিতি অনুমানগুলি সম্পর্কে শুনেন নি (অর্থাত্ কোনও সম্ভাবনা ফাংশনের মোডের চেয়ে প্রত্যাশিত মানের উপর ভিত্তি করে )? এটি কি মূলত historicalতিহাসিক কারণে, বা আরও তাত্পর্যপূর্ণ প্রযুক্তিগত বা তাত্ত্বিক কারণে? সর্বাধিক সম্ভাবনা অনুমানের চেয়ে প্রত্যাশিত সম্ভাবনার প্রাক্কলন ব্যবহারে …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

আমার এমন একটি প্রোগ্রাম বাস্তবায়ন করতে হবে যা কিছু প্রশিক্ষণের ডেটার ভিত্তিতে রেকর্ডগুলিকে 2 বিভাগে (সত্য / মিথ্যা) শ্রেণিবদ্ধ করবে এবং আমি ভাবছিলাম যে কোন অ্যালগরিদম / পদ্ধতিটি আমার উচিত at তাদের মধ্যে অনেকগুলি বেছে নেবেন বলে মনে হয় - কৃত্রিম নিউরাল নেটওয়ার্ক, জেনেটিক অ্যালগোরিদম, মেশিন লার্নিং, বয়েসিয়ান অপটিমাইজেশন ইত্যাদি …

21 machine-learning  bayesian  optimization  genetic-algorithms 

লজিস্টিক রিগ্রেশন মধ্যে নিখুঁত পৃথকীকরণ সম্পর্কে আমাদের অনেক ভাল আলোচনা আছে। যেমন, আর-এ লজিস্টিক রিগ্রেশনের ফলে নিখুঁত বিচ্ছেদ ঘটেছিল (হ্যাক-ডোনার ঘটনা)। এখন কি? এবং লজিস্টিক রিগ্রেশন মডেল রূপান্তর করে না । আমি ব্যক্তিগতভাবে এখনও অনুভব করি যে এটি কেন সমস্যা হবে এবং নিয়মিতকরণ যুক্ত করা কেন এটি সংশোধন করবে তার …

20 logistic  generalized-linear-model  optimization  intuition  separation 

আমি প্রতিসম পজিটিভ সুনির্দিষ্ট (এসপিডি) ম্যাট্রিক্সের সংজ্ঞা জানি, তবে আরও বুঝতে চাই। এগুলি এতটা গুরুত্বপূর্ণ, স্বজ্ঞাতভাবে কেন? এখানে আমি জানি is আর কি? প্রদত্ত ডেটার জন্য, কো-ভেরিয়েন্স ম্যাট্রিক্সটি এসপিডি। কো-ভেরিয়েন্স ম্যাট্রিক্স একটি গুরুত্বপূর্ণ মেট্রিক, স্বজ্ঞাত ব্যাখ্যা করার জন্য এই দুর্দান্ত পোস্টটি দেখুন । চতুর্ভুজ রূপ উত্তল, যদি এসপিডি হয়। উত্তেজক …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

গভীর এবং অগভীর নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণে, অন্যান্য আবহাওয়াবিজ্ঞানের বিপরীতে গ্রেডিয়েন্ট পদ্ধতিগুলি (যেমন গ্রেডিয়েন্ট বংশোদ্ভূত নেস্টেরভ, নিউটন-রাফসন) সাধারণত ব্যবহৃত হয় কেন? মেটাহিউরিস্টিকস দ্বারা আমি বোঝায় যে পদ্ধতিগুলি যেমন সিমুলেটেড অ্যানিলিং, পিঁপড়া কলোনী অপ্টিমাইজেশন ইত্যাদি, যা স্থানীয় মিনিমে আটকে না যাওয়ার জন্য তৈরি করা হয়েছিল।

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

আমি এলএসটিএমগুলির সাথে পরীক্ষার জন্য থিয়ানো ব্যবহার করছি, এবং ভাবছিলাম যে এলটিএসটিএম এর জন্য কোন অপ্টিমাইজেশন পদ্ধতি (এসজিডি, অ্যাডগ্রাড, অ্যাডাডেলটা, আরএমএসপ্রপ, অ্যাডাম ইত্যাদি) সবচেয়ে ভাল কাজ করে? এই বিষয়ে কোন গবেষণা কাগজপত্র আছে? এছাড়াও, আমি কী ধরণের প্রয়োগের জন্য এলএসটিএম ব্যবহার করছি তার উপরে কি উত্তর নির্ভর করে? যদি তা …

20 machine-learning  neural-networks  optimization  lstm 

জেনেটিক অ্যালগরিদমগুলি অপ্টিমাইজেশন পদ্ধতির এক রূপ। প্রায়শই স্টোকাস্টিক গ্রেডিয়েন্ট বংশদ্ভুত এবং এর ডেরিভেটিভগুলি ফাংশন অপ্টিমাইজেশনের জন্য সেরা পছন্দ, তবে জেনেটিক অ্যালগরিদমগুলি এখনও মাঝে মধ্যে ব্যবহৃত হয়। উদাহরণস্বরূপ, নাসার এসটি 5 মহাকাশযানের অ্যান্টেনা জেনেটিক অ্যালগরিদম দিয়ে তৈরি করা হয়েছিল: জেনেটিক অপ্টিমাইজেশন পদ্ধতিগুলি কখন আরও সাধারণ গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতির চেয়ে ভাল পছন্দ …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

আমি অপ্টিমাইজেশনে নতুন। আমি একটি আদর্শের ডানদিকে একটি সুপারস্ক্রিপ্ট 2 এবং একটি সাবস্ক্রিপ্ট 2 রয়েছে এমন সমীকরণগুলি দেখছি । উদাহরণস্বরূপ, এখানে সর্বনিম্ন স্কোয়ার সমীকরণ মিনি| | একটিএক্স-বি | |22||Ax−b||22 ||Ax-b||^2_2 আমি মনে করি আমি সুপারস্ক্রিপ্ট 2 বুঝি: এর অর্থ আদর্শের মানটি বর্গ করা। তবে সাবস্ক্রিপ্ট 2 কী? এই সমীকরণগুলি আমার …

20 regression  optimization  notation 

লজিস্টিক রিগ্রেশন অপ্টিমাইজেশনের জন্য নিউটনের পদ্ধতিটি কেন পুনরুক্তিযুক্ত ন্যূনতম স্কোয়ার্স বলা হয়? এটি আমার কাছে স্পষ্ট বলে মনে হচ্ছে না কারণ লজিস্টিক ক্ষতি এবং সর্বনিম্ন স্কোয়ার ক্ষতি সম্পূর্ণ ভিন্ন জিনিস।

19 logistic  generalized-linear-model  optimization  irls  fisher-scoring