আমার উপলব্ধি থেকে, জেনেটিক অ্যালগরিদমগুলি বহু-উদ্দেশ্যমূলক অপ্টিমাইজেশানের শক্তিশালী সরঞ্জাম।
তদ্ব্যতীত, নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণ দেওয়া (বিশেষত গভীরগুলি) খুব কঠিন এবং এর অনেকগুলি সমস্যা রয়েছে (নন-কনভেক্স ব্যয় ফাংশনগুলি - স্থানীয় মিনিমা, বিলুপ্ত হওয়া এবং বিস্ফোরক গ্রেডিয়েন্টস ইত্যাদি)।
এছাড়াও আমি হ'ল জিএর সাথে একটি এনএনকে ধারণামূলকভাবে প্রশিক্ষণ দেওয়া সম্ভব। আমি ভাবছিলাম, কেন তারা অনুশীলনে ব্যবহার হচ্ছে না? এটা কি পারফরম্যান্সের বিষয়?
উত্তর:
জেনেটিক অ্যালগরিদম (জিএ) দিয়ে নিউরাল নেটওয়ার্ক (এনএন) প্রশিক্ষণ কেবল সম্ভব নয়, এমন কিছু কুলুঙ্গি ক্ষেত্র রয়েছে যেখানে ঘন ঘন ব্যবহারের জন্য পারফরম্যান্স যথেষ্ট ভাল। এর একটি ভাল উদাহরণ হ'ল নিউগ্রয়েভলিউশন অব অ্যাগমেন্টিং টোপোলজিজ বা NEAT , যা গেমের মতো সাধারণ পরিবেশে নিয়ামক তৈরির ক্ষেত্রে সফল পন্থা।
যদিও আরও সাধারণ ক্ষেত্রে, পদ্ধতির টিউন করার জন্য অনেকগুলি পরামিতি সহ বড়, গভীর নেটওয়ার্কগুলিতে ভাল স্কেল হয় না।
জেনেটিক অ্যালগরিদম এবং সর্বোত্তম পরামিতিগুলির জন্য অন্যান্য বিশ্বব্যাপী অনুসন্ধানগুলি গ্রেডিয়েন্ট-ভিত্তিক অ্যালগরিদমগুলি না এমনভাবে শক্ত। উদাহরণস্বরূপ, আপনি পদক্ষেপ ফাংশন সক্রিয়করণ, বা অন্য কোনও পার্থক্যজনিত অ্যাক্টিভেশন ফাংশন সহ কোনও এনএন প্রশিক্ষণ দিতে পারেন। তাদের অন্য কোথাও দুর্বলতা রয়েছে। এনএনএসের জন্য ব্যবহৃত জিএগুলির ক্ষেত্রে প্রাসঙ্গিক একটি বিষয় হ'ল ওজন পরামিতিগুলি কয়েকটি সংমিশ্রণে বিনিময়যোগ্য তবে অন্যান্য সংমিশ্রণে ভারী সহ-নির্ভরশীল। বিভিন্ন প্যারামিটারের সাথে দুটি সমানভাবে ভাল নিউরাল নেটওয়ার্কগুলি মার্জ করা - যা আপনি জিএতে ক্রস ওভারে করতেন - সাধারণত দুর্বল পারফরম্যান্সের সাথে তৃতীয় নেটওয়ার্কের ফলাফল ঘটবে। NN এর সাফল্য আংশিকভাবে NN এর সংযোগগুলি "বাড়িয়ে" এবং সেগুলি একই ধরণের নিউরাল নেটওয়ার্কগুলির মধ্যে মিলে এই সমস্যাটির সমাধানের উপায় খুঁজে বের করতে পারে।
গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতিগুলি আরও বেশি দক্ষ more সাধারণভাবে এবং কেবল এনএনএসের ডোমেনে নয়, আপনি যদি পরামিতিগুলির সাথে সম্মতভাবে কোনও ফাংশনের গ্রেডিয়েন্ট গণনা করতে পারেন তবে আপনি অন্যান্য অপ্টিমাইজ করার কৌশলগুলির চেয়ে দ্রুততর অনুকূল পরামিতিগুলি খুঁজে পেতে পারেন। একটি সঠিক গ্রেডিয়েন্ট একটি একক মূল্যায়ন থেকে কমপক্ষে একটি ছোট উন্নতির গ্যারান্টি দেয় এবং বেশিরভাগ অন্যান্য অপ্টিমাইজাররা উত্পন্ন এবং পুনরায় চেষ্টা করার দৃষ্টান্তে পড়ে যা এই ধরণের গ্যারান্টি দিতে পারে না। স্থানীয় অপটিমা সন্ধান করার প্রবণতা দুর্বলতা NNs এর ক্ষতির কার্যকারিতাগুলির জন্য একটি বড় বাধা হিসাবে প্রমাণিত হয়নি, এবং মৌলিক গ্রেডিয়েন্ট বংশোদ্ভূত যেমন মোমেন্টাম, আরপিআরপি, অ্যাডাম ইত্যাদির সাহায্যে এক্সটেনশনগুলি ব্যবহার করে কিছুটা সাফল্যের সাথে মোকাবিলা করা হয়েছে ti
একটি বৃহত্তর মাল্টি-লেয়ার নেটওয়ার্কে অনুশীলনে, গ্রেডিয়েন্ট পদ্ধতিগুলি সম্ভবত জিএ সার্চ যেমন নেটওয়ার্ক পরামিতিগুলি অনুসন্ধানের জন্য NEAT এর চেয়ে তত দ্রুততার আদেশ হয়। আপনি এমন কোনও জিএ-প্রশিক্ষিত সিএনএন পাবেন না যা ইমেজনেট, এমনকি এমএনআইএসটি সমাধান করে, যেখানে জিএ নেটওয়ার্ক ওজনবিহীন খুঁজে পেয়েছে। যাইহোক, জিএ বা কমপক্ষে সেগুলির কয়েকটি রূপগুলি 100% উড়িয়ে দেওয়া যায় না। উদাহরণস্বরূপ, এই 2017 ব্লগটি ইমেজ শ্রেণিবদ্ধের বৃহত-স্কেল বিবর্তন সহ সাম্প্রতিক কাগজগুলি পর্যালোচনা করে যা এনএন হাইপারপ্যারামিটারগুলি আবিষ্কার করার জন্য জিএ ব্যবহার করে অন্বেষণ করে যা মেশিন লার্নিংয়ে একটি গুরুত্বপূর্ণ কাজ, এবং গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতি ব্যবহার করে খুব ট্র্যাকটেবল নয়।
আসলে গুগল ব্রেইন ইমেজ শ্রেণিবদ্ধদের জন্য ইতিমধ্যে একই কাজ করেছে
তবুও, তাদের গবেষণা নেটওয়ার্ক প্রশিক্ষণের জন্য ব্যাকপ্রোপেশন ব্যবহার করে তবে তারা একটি ভাল আর্কিটেকচার খুঁজে পেতে জেনেটিক অ্যালগরিদম ব্যবহার করে। আরও একটি বিষয় উল্লেখ করতে হবে: তাদের সেরা মডেলটিতে পৌঁছানোর জন্য - তাদের প্রয়োজন প্রচুর পরিমাণে গণনা শক্তি।
তারা 2017 সালে প্রথম পেপার প্রকাশ করেছে এবং 2018 সালে একটি উন্নত সংস্করণ পেয়েছে । আপনি তাদের ব্লগ-পোস্টে এটি সম্পর্কে পড়তে পারেন
নেটওয়ার্ক আর্কিটেকচার অনুসন্ধানের জন্য অন্য গবেষণা রয়েছে , তবে তারা জেনেটিক অ্যালগরিদমের পরিবর্তে বায়সিয়ান অপ্টিমাইজেশন ব্যবহার করে