অপ্টিমাইজেশন এবং মেশিন লার্নিং

13

আমি জানতে চেয়েছিলাম মেশিন লার্নিংয়ের কতটা অপ্টিমাইজেশন প্রয়োজন। আমি পরিসংখ্যান যা শুনেছি তা থেকে মেশিন লার্নিংয়ের সাথে কাজ করা লোকদের জন্য একটি গুরুত্বপূর্ণ গাণিতিক বিষয়। একইভাবে উত্তাল বা নন-উত্তল অপ্টিমাইজেশন সম্পর্কে শিখতে মেশিন লার্নিংয়ের সাথে কাজ করা কারও পক্ষে কতটা গুরুত্বপূর্ণ?

machine-learning optimization

— রোনাল্ড গ্রেসন
সূত্র

2

"মেশিন লার্নিংয়ের সাথে কাজ করা" একটি অস্পষ্ট ধারণা - আরও ভাল এমএল পদ্ধতি বিকাশের জন্য কাজ করা একটি উত্তর বোঝায়, জ্ঞাত পদ্ধতিগুলি ব্যবহার করে এমন এমএল সিস্টেমগুলি বিকাশ করা সম্পূর্ণ ভিন্ন জিনিস।

— পিটারিস

28

আমি এটি যেভাবে দেখছি তা হ'ল পরিসংখ্যান / মেশিন লার্নিং আপনাকে জানায় যে আপনাকে কী অনুকূল করা উচিত এবং অপ্টিমাইজেশন হ'ল আপনি কীভাবে বাস্তবে এটি করেন।

$Y = X\beta + \varepsilon$ $E(\varepsilon) = 0$ $Var(\varepsilon) = \sigma^2I$ $\hat \beta$

\hat{β} = {argmin}_{b \in R^{p}} | | Y - X b | |^{2} .

$\hat \beta = \textrm{argmin}_{b \in \mathbb R^p} ||Y - Xb||^2.$

$\hat \beta$

\hat{f} = {argmin}_{f \in F} \frac{1}{n} \sum_{i = 1}^{n} L (y_{i}, f (x_{i}))

$\hat f = \textrm{argmin}_{f \in \mathscr F} \frac 1n \sum_{i=1}^n L(y_i, f(x_i))$

$\mathscr F$ $\hat f$

আপনার সঠিক প্রশ্নের উত্তর দিতে, কিছু অপ্টিমাইজেশন জেনে রাখা অবশ্যই সহায়তাকারী তবে সাধারণভাবে কেউই এই সমস্ত ক্ষেত্রে বিশেষজ্ঞ নয় তাই আপনি যতটা পারেন তত শিখতে পারেন তবে কিছু দিক সর্বদা আপনার কাছে একটি কালো বাক্সের কিছু হতে পারে। হতে পারে আপনি আপনার প্রিয় এমএল অ্যালগরিদমের পিছনে এসএলটি ফলাফলগুলি সঠিকভাবে অধ্যয়ন করেন নি, বা আপনি যে অপটিমাইজারটি ব্যবহার করছেন তার অভ্যন্তরীণ কার্যকারিতা আপনি জানেন না। এটি একটি আজীবন যাত্রা।

— jld
সূত্র

3

এটি স্পষ্টভাবে en.wikedia.org/wiki/Empirical_risk_minimization

— এমরে

13

অনুশীলনে, প্রচুর প্যাকেজগুলি আপনার জন্য অপ্টিমাইজেশান এবং বেশিরভাগ গণিতের বিবরণ যত্ন করে। উদাহরণস্বরূপ, টেনসরফ্লো আপনার জন্য স্বয়ংক্রিয়ভাবে নিউরাল জাল প্রশিক্ষণের জন্য ব্যাকপ্রপ + স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত করতে পারে (আপনাকে কেবল শিক্ষার হার নির্দিষ্ট করতে হবে)। সাইকিট-লার্নের এমএল সরঞ্জামগুলি সাধারণত অপ্টিমাইজেশন কীভাবে ঘটে তা সম্পর্কে সাধারণত আপনাকে স্টাফ জানতে প্রয়োজন হবে না, তবে সম্ভবত কিছু টিউনিং প্যারামিটার নির্ধারণ করেছে এবং এটি বাকিটির যত্ন নেয় (উদাহরণস্বরূপ অপ্টিমাইজারের দ্বারা চালিত পুনরাবৃত্তির সংখ্যা)। উদাহরণস্বরূপ, আপনি স্কাইকিট-লার্নে কোনও গণিত না জেনে কোনও এসভিএমকে প্রশিক্ষণ দিতে পারেন - কেবল ডেটা, কার্নেলের ধরণে ফিড করুন এবং এগিয়ে যান।

বলা হচ্ছে, বেসিক অপ্টিমাইজেশন (উদাহরণস্বরূপ বয়ড এবং ভ্যান্ডেনবার্গের উত্তল অপটিমাইজেশন / বার্টসেকাসের ননলাইনার প্রোগ্রামিং) এর স্তরগুলি জেনে যাওয়া অ্যালগরিদম / সমস্যা নকশা এবং বিশ্লেষণে সহায়ক হতে পারে, বিশেষত যদি আপনি তত্ত্বের স্টাফ নিয়ে কাজ করছেন। অথবা, অপটিমাইজেশন অ্যালগরিদমগুলি নিজেকে প্রয়োগ করে।

নোট করুন যে পাঠ্যপুস্তক অপ্টিমাইজেশন পদ্ধতিগুলিতে প্রায়শই আধুনিক সেটিংসে অনুশীলনে কাজ করার জন্য টুইটগুলি প্রয়োজন; উদাহরণস্বরূপ, আপনি ক্লাসিক রবিনস-মুনরো স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভুত ব্যবহার নাও করতে পারেন, তবে একটি দ্রুততর ত্বরিত রূপটি। তবুও, আপনি অপ্টিমাইজেশান সমস্যার সাথে কাজ করে কিছু অন্তর্দৃষ্টি অর্জন করতে পারেন।

— সেনাপতির পরিচারক
সূত্র