তাত্ত্বিক মেশিন শেখার জন্য কেন উত্তল অপ্টিমাইজেশন?

Question

আমি আমার পিএইচডি করার জন্য তাত্ত্বিক মেশিন লার্নিং - ট্রান্সফার লার্নিংয়ে সুনির্দিষ্ট হতে কাজ করছি।

• কৌতূহলের বাইরে, কেন আমি উত্তল অপটিমাইজেশন সম্পর্কে কোর্স করবো?

• তাত্ত্বিক মেশিন লার্নিং সম্পর্কে আমার গবেষণায় আমি উত্তল অপ্টিমাইজেশন থেকে কী কী উপায় গ্রহণ করতে পারি?

Comments

আপনি যদি উত্তল অংশ, অপটিমাইজেশন অংশ বা উভয় ক্ষেত্রে আপত্তি জানাচ্ছেন তবে এটি অস্পষ্ট।

— মেহরদাদ

মনে রাখবেন যে আপনি গৃহীত উত্তরটি স্পষ্টতই ভুল। হতে পারে আপনি এই প্রশ্নটি আবার দেখে নিতে পারেন এবং এমন একটি উত্তর চয়ন করতে পারেন যা আরও বেশি অর্থবোধ করে।

— এক্সজি

উত্তল অপ্টিমাইজেশন এবং ম্যাথ অপ্টিমাইজেশন মডেল তৈরির একটি সরঞ্জাম - এই প্রযুক্তিগুলি মডেলগুলি তৈরি করতে / নিয়ন্ত্রণ করতে / কিছু অনিয়ন্ত্রীর কাছে বোধগম্য ঘটনাটির পরামিতিগুলি অনুসন্ধান করতে ব্যবহৃত হয়।

— বুড়িউজ ২

মেশিন লার্নিং বিল্ডিং পদ্ধতির মতো বিল্ডিং ফাংশন সান্নিধ্য সম্পর্কে, এবং যতদূর আপনি ধারণা ধারণার মধ্যে কোনওটি বেছে নিন যা ক্ষতিকে প্রায় কমিয়ে দেয় (যা নন-উত্তল বা আরও খারাপ দিকটি সূচক ভেরিয়েবলগুলি অন্তর্ভুক্ত করে), সুতরাং এমএল নন-কনভেক্স অপটিমাইজেশনের সাথে দুর্দান্ত খেলবে।

— বুড়িউজ ২

এফওয়াইআই "উত্তল অপ্টিমাইজেশান গভীর শিক্ষার জন্য ব্যবহার করা যাবে না - এসবয়েড" - youtu.be/uF3htLwUHn0?t=2810

— বুড়িউজ ২

Answer 1

মেশিন লার্নিং অ্যালগরিদমগুলি সর্বদা অপ্টিমাইজেশন ব্যবহার করে। আমরা ক্ষয় বা ত্রুটি হ্রাস করি বা কিছু ধরণের স্কোর ফাংশন সর্বাধিক করি। গ্রেডিয়েন্ট বংশদ্ভুত হ'ল হ্যালো ওয়ার্ল্ড "অপ্টিমাইজেশন অ্যালগরিদম সম্ভবত কোনও মেশিন লার্নিং কোর্সে আবৃত। এটি রিগ্রেশন বা শ্রেণিবদ্ধকরণের মডেলগুলির ক্ষেত্রে সুস্পষ্ট, তবে ক্লাস্টারিংয়ের মতো কাজগুলির সাথেও আমরা এমন একটি সমাধান খুঁজছি যা সর্বোত্তমভাবে আমাদের উপাত্তের সাথে খাপ খায় (উদাহরণস্বরূপ কে-মানে স্কোয়ারগুলির মধ্যে-ক্লাস্টারের যোগফলকে কমিয়ে দেয়)। সুতরাং আপনি যদি মেশিন লার্নিং অ্যালগরিদমগুলি কীভাবে কাজ করে তা বুঝতে চান, অপ্টিমাইজেশন সম্পর্কে আরও শিখতে সহায়তা করে। তদুপরি, আপনার যদি হাইপারপ্যারামিটার টিউনিংয়ের মতো জিনিসগুলি করা দরকার হয় তবে আপনি সরাসরি অপ্টিমাইজেশনও ব্যবহার করছেন।

কেউ তর্ক করতে পারেন যে উত্তল অপটিমাইজেশন মেশিন শেখার জন্য আকর্ষণীয় হওয়া উচিত নয় যেহেতু উত্তল ক্রিয়াকলাপগুলি সম্পাদন করার পরিবর্তে , আমরা প্রায়শই নীচের মতো ক্ষতির পৃষ্ঠগুলি সম্মুখীন করি যা উত্তল থেকে অনেক দূরে ।

(উত্স: https://www.cs.umd.edu/~tomg/projects/landscapes/ এবং arXiv: 1712.09913 )

তবুও, অন্যান্য উত্তরে যেমন উল্লেখ করা হয়েছে, উত্তল অপটিমাইজেশন দ্রুত, সহজ এবং কম গণনীয়ভাবে নিবিড়, তাই কোনও সমস্যা "উত্তল" করা প্রায়শই সহজ (এটি উত্তল অপ্টিমাইজেশান বান্ধব করে তোলা), তারপরে নন-উত্তল অপ্টিমাইজেশন ব্যবহার করুন। উদাহরণস্বরূপ, গ্রেডিয়েন্ট বংশোদ্ভূত এবং একই রকম অ্যালগরিদম সাধারণত মেশিন লার্নিংয়ে ব্যবহৃত হয়, বিশেষত নিউরাল নেটওয়ার্কগুলির জন্য, কারণ তারা "কাজ" করে, স্কেল করে এবং বিভিন্ন সফ্টওয়্যারটিতে ব্যাপকভাবে প্রয়োগ করা হয়, তবুও তারা সবচেয়ে ভাল নয় যে আমরা পেতে পারি এবং তাদের ক্ষতিগুলি পেতে পারি , এনআইপিএস 2017 তে আলী রহিমির আলাপ আলোচনা হিসাবে ।

অন্যদিকে, বিবর্তনীয় অ্যালগরিদমগুলির মতো নন-উত্তল অপ্টিমাইজেশন অ্যালগরিদমগুলি এমএল সম্প্রদায়ের মধ্যে আরও এবং বেশি স্বীকৃতি লাভ করেছে বলে মনে হয়, যেমন নিউরোভোলিউশন দ্বারা স্নায়ুতন্ত্রের প্রশিক্ষণগুলি সাম্প্রতিক গবেষণার বিষয় বলে মনে হয় (আরও দেখুন আর্জিভ: 1712.07897 )।

Comments

এই উত্তরটি "উত্তল" সম্বোধন করে না বলে মনে হচ্ছে

— হাইটাও ডু

@ hxd1011 আমি এতে মন্তব্য করেছি।

— টিম

দুর্দান্ত উত্তর! এমএলকে কীভাবে সমালোচনামূলক অপ্টিমাইজেশন করা হয় এবং এমএল কীভাবে গ্রেডিয়েন্ট বংশোদ্ভূত সঙ্গে কাজ করে এমন উত্তল সান্নিধ্য ব্যবহার করে কীভাবে সহজ হয় তা সম্বোধন করে addresses

— চককট্রিল

এটি গ্রহণযোগ্য উত্তর হওয়া উচিত।

— জান কুকাকা

Answer 2

আমার মনে হয় এখানে দুটি প্রশ্ন আছে।

• অধ্যয়ন কেন অপ্টিমাইজেশন
• উত্তল অপ্টিমাইজেশন কেন

আমি মনে করি কেন অপ্টিমাইজেশন সম্পর্কে @ টিমটির একটি ভাল উত্তর রয়েছে। আমি দৃ strongly়ভাবে সম্মত এবং মেশিন লার্নিংয়ে আগ্রহী যে কেউ অবিরত অপ্টিমাইজেশনে দক্ষ হতে পরামর্শ দেব recommend কারণ অপ্টিমাইজেশন প্রক্রিয়া / সময়ের সাথে আরও ভাল সমাধান সন্ধান করা হ'ল কম্পিউটারের শিখার প্রক্রিয়া।

আমরা কেন উত্তল ক্রিয়ায় আগ্রহী সে সম্পর্কে আরও কথা বলতে চাই। কারণটি সহজ: উত্তল অপটিমাইজেশনগুলি "সমাধান করা সহজ" এবং সমাধানের জন্য আমাদের অনেক নির্ভরযোগ্য অ্যালগরিদম রয়েছে।

কিন্তু পৃথিবী উত্তল? নং কেন জড়তা? এই রূপকটি পরীক্ষা করুন

একজন পুলিশ একজন মাতাল লোকটিকে স্ট্রিটলাইটের নীচে কিছু খোঁজ করতে দেখেন এবং মাতালটি কী হারিয়েছে তা জিজ্ঞাসা করে। সে বলেছে যে সে তার চাবিগুলি হারিয়েছে এবং তারা দুজনেই একসাথে স্ট্রিটলাইটের নীচে তাকিয়ে আছে। কয়েক মিনিট পরে পুলিশ জিজ্ঞাসা করে যে সে কি নিশ্চিত যে সে এখানে তাদের হারিয়েছে, এবং মাতাল জবাব দেয়, না, এবং সে পার্কে সেগুলি হারিয়েছে। পুলিশ এখানে জিজ্ঞাসা করছে কেন, এবং মাতাল জবাব দেয়, "এখানেই আলো"।

Comments

তবে রূপকভাবে, এজন্য আপনি একটি টর্চলাইট পান। অন্ধকারে কীগুলি সন্ধান করা অসম্ভব পক্ষে কঠিন, সুতরাং আপনি কীভাবে সমাধান করতে জানেন তা আপনি সমস্যার সাথে মানিয়ে নিয়েছেন। আপনি যদি নন-উত্তল অ্যালগরিদমগুলির সাথে কোনও সমস্যা নিয়ে কাজ করেন এবং 3 মিলিয়ন ডলার ব্যয় করতে পারে এমন একটি সমাধান নিয়ে এসেছেন এবং আমি উত্তল অপটিমাইজেশনের সাথে একই ধরণের সমস্যাটি নিয়ে কাজ করি এবং আমার উত্তরটি গ্রহণ করি এবং নন-উত্তল সমস্যার জন্য 2 টির সমাধান পেতে পারি মিলিয়ন ডলার, আমি একটি ভাল উত্তর খুঁজে পেয়েছি।

— পেশাদাররা

এই উত্তরটি এতগুলি স্তরে ত্রুটিযুক্ত। রাস্তার আলো প্রভাবের সাথে উত্তল বিশ্লেষণের তুলনা করা কেবল ভুল । আমি আপনাকে এই বিষয়টিতে আরও জানার জন্য বয়ড এবং ভ্যান্ডেনবার্গের প্রবর্তক পাঠ্যপুস্তক উত্তল অপ্টিমাইজেশানটি পড়তে পরামর্শ দেব ।

— ডিজিও

Answer 3

সবচেয়ে গুরুত্বপূর্ণ অবলম্বন হ'ল মেশিন লার্নিং এমন সমস্যাগুলির ক্ষেত্রে প্রয়োগ করা হয় যেখানে কোনও অনুকূল সমাধান পাওয়া যায় না। আপনি সবচেয়ে ভাল যা করতে পারেন তা হল একটি ভাল আনুমানিকতা।

বিপরীতে, যখন আপনার একটি অপ্টিমাইজেশান সমস্যা থাকে তখন একটি অনুকূল সমাধান থাকে তবে এটি সাধারণত যুক্তিসঙ্গত সময়ে বা যুক্তিসঙ্গত প্রক্রিয়াকরণ পাওয়ার সাথে খুঁজে পাওয়া যায় না।

আপনি যে সরঞ্জামগুলি এবং অ্যালগরিদম ব্যবহার করেন সেগুলি মূলত পৃথক। সুতরাং আমি যখন বলব যে কোনও অপ্টিমাইজেশন ক্লাস নেওয়ার কোনও তাত্ক্ষণিক সুবিধা নেই, তবে সংশ্লিষ্ট ক্ষেত্রগুলি সম্পর্কে কিছুটা জানা সর্বদা ভাল। যদি আপনি কোনও অপ্টিমাইজেশান সমস্যাটি চিনতে পারেন তবে আপনি জানবেন যে আপনার এটি মেশিন লার্নিং অ্যালগরিদমগুলি দিয়ে নয় বরং পরিবর্তে অপ্টিমাইজেশন অ্যালগরিদম দিয়ে মোকাবেলা করা উচিত। আমি একাই বলতে চাই যে এটি অনেক মূল্যবান।

Comments

হ্যাঁ, মেশিন লার্নিংয়ে আমরা সেরা অনুমানের সন্ধান করছি। তবে আপনি দু'টি বিষয়ই "মৌলিকভাবে পৃথক" বলে ভুল করেছেন। এমএল অ্যালগরিদমগুলি ক্ষতির ফাংশনগুলি হ্রাস করতে এবং ডেটা এবং উদ্দেশ্য হিসাবে অনুকূল পরামিতিগুলি সন্ধান করতে অপ্টিমাইজেশন ব্যবহার করে। যখন আপনি আপনার হাইপারপ্যারামিটারগুলি টিউন করছেন, আপনি সেগুলির সর্বোত্তম সংমিশ্রণের সন্ধান করছেন। প্রতিটি ক্ষেত্রেই আপনি আপনার লক্ষ্য অর্জনের জন্য কোনও কিছুকে সর্বাধিক বা কমিয়ে আনছেন, তাই আপনি একধরণের অপ্টিমাইজেশন ব্যবহার করছেন।

— টিম

@ টিম: সত্য, আমার এটিকে অন্যভাবে বলা উচিত ছিল।

— টবি

আপনি যদি সম্মত হন তবে আপনার সম্ভবত এটি পুনরায় সংশোধন করা উচিত।

— টিম

এই উত্তরটি স্পষ্টতই ভুল। মেশিন লার্নিংয়ের একটি উল্লেখযোগ্য সমস্যা অপ্টিমাইজেশনের সমস্যাগুলিতে সিদ্ধ হয়।

— মনিকা

"অপ্টিমাইজেশান সমস্যায় সর্বোত্তম সমাধান সাধারণত পাওয়া যায় না" দাবিটি ভুল is বিশেষত উত্তল অপ্টিমাইজেশনের প্রসঙ্গে (যা ওপি সম্পর্কে জিজ্ঞাসা করছে), সর্বোত্তম সমাধানটি সহজেই পাওয়া যায় (উদাহরণস্বরূপ ক্ষয়কারী শিক্ষার হার সহ গ্রেডিয়েন্ট বংশোদ্ভূতটি উত্তল ক্রিয়াকলাপের সর্বোত্তমটিতে রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত )। বড় সমস্যাটি হ'ল মেশিন লার্নিংয়ের অনেকগুলি সমস্যা নন-উত্তল ।

— জান কুকাকা

Answer 4

যেমন hxd1011 বলেছে, উত্তল সমস্যার সমাধান করা তাত্ত্বিকভাবে এবং (সাধারণত) অনুশীলনে উভয়ই সহজ। সুতরাং, এমনকি নন-উত্তল সমস্যার জন্য, অনেক অপ্টিমাইজেশন অ্যালগরিদমগুলি "পদক্ষেপ 1" দিয়ে শুরু হয় সমস্যাটি একটি উত্তল একটিতে হ্রাস করুন "(সম্ভবত কিছুক্ষণের মধ্যে লুপের অভ্যন্তরে)।

একইরকম জিনিস ননলাইনার রুটফাইন্ডিংয়ের সাথে ঘটে। সাধারণত সমাধান (উদাহরণস্বরূপ, নিউটনের পদ্ধতি সহ) "পদক্ষেপ 1" যায় a একটি রৈখিক সমস্যা হ্রাস করুন, কারণ আমরা কীভাবে সেগুলি সমাধান করতে জানি "

Answer 5

যদি আপনার আগ্রহগুলি গভীরভাবে শিক্ষার ক্ষেত্রে (উত্তোলন) অপ্টিমাইজেশান প্রয়োগ করে (আপনি ট্রান্সফার লার্নিংয়ের উল্লেখ করেন যা স্নায়ু নেটওয়ার্কগুলির সাথে অনুশীলনে ব্যাপকভাবে ব্যবহৃত হয়), আমি আপনাকে দৃ http়ভাবে HTTP এর অধ্যায় 8 (গভীর স্নায়বিক প্রশিক্ষণের জন্য অনুকূলিতকরণ) পড়ার বিষয়টি বিবেচনা করার জন্য উত্সাহিত করি : //www.deeplearningbook.org/

উত্তল অপ্টিমাইজেশান নিয়ে আলোচনা রয়েছে এবং গভীর নিউরাল নেটওয়ার্ক প্রয়োগ করার সময় কেন এটি এতটা সফল হয়নি। অবশ্যই, সম্ভবত আপনি এই ক্ষেত্রে গবেষণা করতে পারেন যা বর্তমান sensকমত্যকে বদলে দেবে!

Answer 6

যেমনটি আমি জেরোম এইচ.র কাছ থেকে শুনেছি ফ্রিডম্যান পদ্ধতিগুলি মেশিন লার্নিংয়ে বিকশিত হয়েছিল তা আসলে মেশিন লার্নিং সম্প্রদায়ের নিজস্ব নয়।

আমার দৃষ্টিতে মেশিন লার্নিং অন্য ক্ষেত্রের বিভিন্ন পদ্ধতির সংগ্রহের মতো।

স্ট্যাটিস্টিকাল লার্নিংয়ের দৃষ্টিতে রিগ্রেশন এবং শ্রেণিবিন্যাসের জন্য তিনটি প্রধান প্রশ্ন হ'ল:

1. ফাংশন ফ্যামিলি কী যা থেকে আপনি আনুমানিকটি টানেন

2. কীভাবে আপনি কোনও ফাংশন টানেন তা একটি মানদণ্ড

3. সেরা ফাংশন সন্ধান করার জন্য একটি পদ্ধতি কী

---

(1) কিছু গঠনমূলক উপায়ে পরিচালনা করার জন্য - এটি গণিত অপটিমাইজেশন কীভাবে ব্যবহার করতে পারে তা এতটা স্পষ্ট নয়

(২) কিছু গঠনমূলক উপায়ে পরিচালনা করা - এটি সুস্পষ্ট যে লক্ষ্যই লক্ষ্য is এবং গণিত অপ্টিমাইজন এটি এতে সহায়তা করতে পারে।

(3) কিছু গঠনমূলক উপায়ে পরিচালনা করতে - আপনার গাণিতিক অনুকূলিতকরণ প্রয়োজন।

---

গণিত অপ্টিমাইজেশনের বেশ কয়েকটি অংশ রয়েছে:

1. উত্তল অপ্টিমাইজেশন / উত্তল বিশ্লেষণ - গণিতের খুব শীতল অঞ্চল। অ-ডিফারেন্সিয়ালিটি কোনও সমস্যা নয়। এবং উত্তল ক্রিয়াকলাপগুলির 50 টি সাধারণীকরণ রয়েছে যা থেকে প্রয়োগের ক্ষেত্রে আরও দুটি উপযোগী হ'ল কোয়াসিকোনভেক্স এবং লগ-অবতল।

এছাড়াও "স্টোকাস্টিস্টিটি" কে কোনওভাবে মোকাবেলা করার উপায় রয়েছে, এমনকি "স্টোকাস্টিক উত্তল অপটিমাইজেশন কীভাবে সমাধান করতে হয় তা কেউ জানে না"

2. ননকোনভেক্স অপটিমাইজেশন - সাধারণত এর দ্বারা লোকেরা এমন কিছু বোঝায় যা চূড়ান্ত উদ্দেশ্য, তবে বক্রতা পৃথক হতে পারে। এই গ্রহের লোকেরা কীভাবে এটি সুনির্দিষ্টভাবে সমাধান করতে জানেন না। এবং প্রকৃতপক্ষে সমস্ত মেহটডগুলি (1) এ উপার্জন করতে পারে

3. সম্মিলিত অপ্টিমাইজিয়ন - এটি তখন আরও বুনো (২), এখন প্যারামিটারগুলির জন্য যেগুলি আপনি খুঁজে পান এমনকি বিয়োগ অপারেটর প্রয়োগ করতে পারবেন না। একটি উদাহরণ সিদ্ধান্ত গাছগুলির মধ্যে "অঞ্চলগুলি"। সুতরাং এটির সাথে কীভাবে মোকাবিলা করতে হবে তার দুটি উপায় রয়েছে: ক) সমস্যা সমাধান এবং পদ্ধতি ব্যবহার করুন (১) খ) নিষ্ঠুর শক্তি তৈরি করুন। বিশাল সংখ্যক পরামিতিগুলির জন্য কাজ করে না। গ) কিছুটা লোভজনক পদক্ষেপ নিয়ে নিষ্ঠুর শক্তি তৈরি করুন। এটি কিছু যা কার্ট করে।

---

কমপক্ষে আমি মনে করি যে আমি আপনাকে দৃice়প্রত্যয় জানাই যে:

আই) উত্তল অপ্টিমাইজেশন সর্বাধিক অনুকূলিতকরণ সমস্যার জন্য কেন্দ্রীয় জিনিস।

II) "01:15 অনুকূলিতকরণ আসলে এমএল বা এআই এর চেয়ে আরও বড় বিষয়, তবে এটি আসলে আরও বড় বিষয়" " ( https://www.youtube.com/watch?v=uF3htLwUHn0&t=992s )

Comments

এটি উত্তর হিসাবে এই সাইটের মান দ্বারা সামান্য সংক্ষিপ্ত - আপনি কি মনে করেন যে আপনি এটিতে প্রসারিত করতে পারেন? অন্যথায় এটি মন্তব্য হিসাবে সবচেয়ে উপযুক্ত হতে পারে।

— সিলভারফিশ

ঠিক আছে. আমি প্রসারিত করব, তবে বাস্তবে বিভিন্ন ক্ষেত্রে সংযোগ সম্পর্কে একটি নিবন্ধ লেখা সম্ভব write আসলে আমি স্টিফেন পি। বয়ডকে লোকেরা আগের এবং কখন - youtu.be/XV1E-Jnc4SU?t=242 সম্পর্কে ভেবেছিল সে সম্পর্কিত প্রশ্ন সম্পর্কে জিজ্ঞাসা করেছি । তিনি বলেছিলেন যে আজকের এই পৃথিবীটি ভেঙে গেছে।

— বুড়িউজ

@ সিলভারফিশ আমি আপডেট করেছি, এখন এটি একটি বাক্যের পরিবর্তে দীর্ঘ পাঠ্য।

— বুড়িউজ