আপনি ঠিক বলেছেন যে একটি গভীর এনএন এর মূল ধারণাটি ২০১২ সাল থেকে পরিবর্তিত হয়নি। তবে গভীর এনএন প্রশিক্ষণপ্রাপ্ত পদ্ধতিগুলির ক্ষেত্রে বিভিন্ন ধরণের উন্নতি হয়েছে যা তাদের গুণগতভাবে আরও শক্তিশালী করেছে। এছাড়াও আজ বিভিন্ন ধরণের আর্কিটেকচার উপলব্ধ। আমি ২০১২ সাল থেকে কিছু উন্নয়ন তালিকাভুক্ত করেছি, প্রশিক্ষণের উন্নতি এবং আর্কিটেকচারের উন্নতির দ্বারা দলবদ্ধ করে রেখেছি:
হার্ডওয়্যার : সর্বাধিক সুস্পষ্ট পরিবর্তন মুর আইনের অনন্য অগ্রগতি। আজ আরও বেশি কম্পিউটিং শক্তি উপলব্ধ। ক্লাউড কম্পিউটিং একটি বিশাল শুল্ক কেনার প্রয়োজন ছাড়াই লোকেদের জন্য বৃহত্তর এনএন প্রশিক্ষণ দেওয়াও সহজ করে তোলে।
সফ্টওয়্যার : গভীর শিক্ষার জন্য ওপেন সোর্স সফ্টওয়্যারটি 2012 থেকে সত্যই উন্নত হয়েছে 2012 2012 সালে থায়ানো ছিল, সম্ভবত ক্যাফেও। আমি নিশ্চিত যে আরও কিছু আছে। তবে আজ আমাদের কাছে টেনসরফ্লো, টর্চ, প্যাডেল এবং সিএনটিকেও রয়েছে, এর সবগুলিই বড় প্রযুক্তি সংস্থাগুলি দ্বারা সমর্থিত। এটি হার্ডওয়ার বুলেট পয়েন্টের সাথে ঘনিষ্ঠভাবে সম্পর্কিত কারণ এই প্ল্যাটফর্মগুলির অনেকগুলিই জিপিইউগুলিতে প্রশিক্ষণ সহজ করে দেয়, যা প্রশিক্ষণের সময়কে তীব্রতর করে তোলে eds
অ্যাক্টিভেশন ফাংশন : আরএলইউ অ্যাক্টিভেশন ফাংশনগুলির ব্যবহার আজকাল সম্ভবত আরও বিস্তৃত, যা প্রশিক্ষণ খুব গভীর নেটওয়ার্কগুলিকে সহজ করে তোলে। গবেষণার দিক থেকে, ফাঁস হওয়া আরএলইউ , প্যারামেট্রিক রিলু এবং ম্যাক্সআউট ইউনিট সহ বিভিন্ন ধরণের অ্যাক্টিভেশন ফাংশন অধ্যয়ন করা হচ্ছে ।
অপ্টিমাইজেশন অ্যালগরিদম : আজ প্রায় আরও বেশি অপ্টিমাইজেশন অ্যালগরিদম রয়েছে। অ্যাডগ্রাড এবং অ্যাডাডেলটা যথাক্রমে 2011 এবং 2012 সালে চালু হয়েছিল। তবে আমাদের কাছে এখন অ্যাডাম অপটিমাইজার রয়েছে এবং এটি একটি খুব জনপ্রিয় পছন্দ হয়ে উঠেছে।
ড্রপআউট : বিগত কয়েক বছরে, নিউরাল নেটওয়ার্কগুলিকে প্রশিক্ষণ দেওয়ার সময় ড্রপআউট নিয়মিতকরণের একটি আদর্শ সরঞ্জামে পরিণত হয়েছে। ড্রপআউট হ'ল এনএনএসের জন্য জড়িত করার একটি গণনামূলকভাবে সস্তা ব্যয়। সাধারণভাবে, ডেটাসেটের এলোমেলো নমুনাগুলিতে প্রশিক্ষিত মডেলগুলির একটি সেট পুরো ডেটাসেটে প্রশিক্ষিত একক মডেলকে ছাড়িয়ে যাবে। এনএনগুলির জন্য স্পষ্টভাবে এটি করা কঠিন কারণ তারা প্রশিক্ষণের জন্য এত ব্যয়বহুল। তবে প্রতিটি পদক্ষেপে কেবল এলোমেলোভাবে "অফ" করে একটি অনুরূপ প্রভাব অনুমান করা যায়। এনএন-এর বিভিন্ন সাবগ্রাফ বিভিন্ন ডেটা সেটগুলিতে প্রশিক্ষণ প্রাপ্ত হয় এবং এর মাধ্যমে বিভিন্ন জিনিস শিখতে পারে। জমায়েতের মতো, এটি সামগ্রিক এনএনকে ওভারফিট করার ক্ষেত্রে আরও দৃust় করে তোলে। ড্রপআউট একটি সাধারণ কৌশল যা প্রায় প্রতিটি ক্ষেত্রেই পারফরম্যান্স উন্নত করে বলে মনে হয়, তাই এটি '
ব্যাচের নরমালাইজেশন : এটি কিছু সময়ের জন্য জানা গেছে যে এনএনগুলি নরমালাইজড ডেটাতে সেরা প্রশিক্ষণ দেয় --- অর্থাৎ শূন্যের গড় এবং ইউনিটের বৈকল্পিকতা রয়েছে। খুব গভীর নেটওয়ার্কে, প্রতিটি স্তরের মাধ্যমে ডেটা যাওয়ার সাথে সাথে ইনপুটগুলি রূপান্তরিত হবে এবং সাধারণত এমন একটি বিতরণে প্রবাহিত হবে যাতে এই সুন্দর, স্বাভাবিক সম্পত্তিটির অভাব রয়েছে। এটি এই গভীর স্তরগুলিতে পড়াশোনা আরও কঠিন করে তোলে কারণ এর দৃষ্টিকোণ থেকে এর ইনপুটগুলিতে শূন্যের গড় এবং এককের বৈকল্পিকতা নেই। গড়টি খুব বড় হতে পারে এবং তারতম্যটি খুব ছোট হতে পারে। ব্যাচের সাধারণীকরণ এটিকে ইনপুটগুলিকে শূন্য গড় এবং একক বৈকল্পিকতাটিকে একটি স্তরে রূপান্তরিত করে সম্বোধন করে। এটি অত্যন্ত গভীর এনএন প্রশিক্ষণে অত্যন্ত কার্যকর বলে মনে হচ্ছে।
থিওরি : খুব সম্প্রতি অবধি, ধারণা করা হচ্ছিল যে গভীর এনএনদের প্রশিক্ষণ করা শক্ত কারণ হ'ল অপটিমাইজেশন অ্যালগরিদমগুলি স্থানীয় মিনিমাতে আটকে যায় এবং গ্লোবাল মিনিমা বের করতে এবং খুঁজে পেতে সমস্যা হয়। গত চার বছরে বেশ কয়েকটি গবেষণা হয়েছে যা দেখে মনে হয় যে এই স্বজ্ঞাততাটি ভুল ছিল (উদাহরণস্বরূপ, গুডফেলো এট আল। ২০১৪))। একটি গভীর এনএন এর খুব উচ্চ মাত্রিক পরামিতি স্পেসে, স্থানীয় মিনিমা গ্লোবাল মিনিমার চেয়ে বেশি খারাপ হতে পারে না। সমস্যাটি হ'ল প্রশিক্ষণ দেওয়ার সময় এনএন নিজেকে দীর্ঘ, প্রশস্ত মালভূমিতে খুঁজে পেতে পারে। তদ্ব্যতীত, এই মালভূমি হঠাৎ খাড়া খাড়া হয়ে শেষ হতে পারে। যদি এনএন ছোট পদক্ষেপ নেয়, এটি শিখতে খুব দীর্ঘ সময় লাগে। তবে যদি পদক্ষেপগুলি খুব বড় হয় তবে এটি যখন খাড়াটিতে চলে তখন এটি একটি বিশাল গ্রেডিয়েন্টের সাথে দেখা করে যা পূর্ববর্তী সমস্ত কাজকে পূর্বাবস্থায় ফেলে। (এটি গ্রেডিয়েন্ট ক্লিপিং, 2012-এর পরে আর একটি নতুনত্ব এড়ানো যায়))
রেসিডুয়াল নেটওয়ার্ক : গবেষকরা অবশিষ্ট নেটওয়ার্কগুলি ব্যবহার করে অবিশ্বাস্যভাবে গভীর নেটওয়ার্কগুলি (1000 টিরও বেশি স্তর!) প্রশিক্ষণ দিতে সক্ষম হয়েছেন । এখানে ধারণাটি হ'ল প্রতিটি স্তর কেবল পূর্ববর্তী স্তর থেকে আউটপুটই পায় না, পাশাপাশি মূল ইনপুটটিও গ্রহণ করে। যদি সঠিকভাবে প্রশিক্ষিত হয় তবে এটি প্রতিটি স্তরটিকে পূর্ববর্তী স্তরগুলির থেকে আলাদা কিছু শেখার জন্য উত্সাহ দেয়, যাতে প্রতিটি অতিরিক্ত স্তর তথ্য যুক্ত করে।
প্রশস্ত এবং গভীর নেটওয়ার্ক : প্রশস্ত, অগভীর নেটওয়ার্কগুলিতে তাদের ইনপুট এবং আউটপুটগুলির মধ্যে ম্যাপিংটি কেবল মুখস্ত করার প্রবণতা রয়েছে। গভীর নেটওয়ার্কগুলি আরও উন্নত করে। সাধারণত আপনি ভাল জেনারালাইজেশন চান, তবে কিছু পরিস্থিতি যেমন সুপারিশ সিস্টেম রয়েছে, যেখানে সাধারণীকরণ ছাড়া সহজ মুখস্তকরণও গুরুত্বপূর্ণ। এই ক্ষেত্রে আপনি যখন কোনও সাধারণ জিজ্ঞাসা করেন তখন আপনি ভাল, স্থিতিশীল সমাধানগুলি সরবরাহ করতে চান তবে ব্যবহারকারী খুব নির্দিষ্ট সন্ধান করে যখন খুব নির্দিষ্ট সমাধান দেয়। প্রশস্ত এবং গভীর নেটওয়ার্কগুলি সুন্দরভাবে এই কাজটি সম্পাদন করতে সক্ষম।
নিউরাল টিউরিং মেশিন : traditionalতিহ্যবাহী পুনরাবৃত্ত এনএনগুলির একটি ঘাটতি (তারা আদর্শ আরএনএন হোক বা এলএসটিএম এর মতো আরও পরিশীলিত কিছু হোক) তাদের স্মৃতি কিছুটা "স্বজ্ঞাত"। তারা ভবিষ্যতে উত্পাদিত গোপন স্তর ক্রিয়াকলাপগুলি সংরক্ষণ করে অতীত ইনপুটগুলি স্মরণে রাখার ব্যবস্থা করে। যাইহোক, কখনও কখনও এটি স্পষ্টভাবে কিছু ডেটা সঞ্চয় করা আরও বোধগম্য হয়। (কাগজের টুকরোতে কোনও ফোন নম্বর লিখে রাখার মধ্যে এটির পার্থক্য হতে পারে remember মনে রাখবেন যে সংখ্যাটির প্রায় 7 টি সংখ্যা ছিল এবং সেখানে 3s এর কয়েকটি ছিল এবং সম্ভবত মাঝখানে কোথাও কোনও ড্যাশ ছিল)) নিউরাল টিউরিং মেশিনএই সমস্যাটি সমাধান করার চেষ্টা করার একটি উপায়। ধারণাটি হ'ল নেটওয়ার্ক মেমোরি ব্যাংকে স্পষ্টভাবে নির্দিষ্ট কিছু তথ্য সরবরাহ করতে শিখতে পারে। এটি করা সহজ নয় কারণ ব্যাকপ্রপ অ্যালগরিদমগুলিতে ডিফারেন্টেবল ফাংশন প্রয়োজন, তবে একটি মেমরি ঠিকানায় একটি ডেটাম করা একটি অন্তর্নিহিত পৃথক অপারেশন। ফলস্বরূপ, নিউরাল ট্যুরিং মেশিনগুলি বিভিন্ন মেমরি ঠিকানার বিতরণ করার জন্য কিছুটা ডেটা প্রতিশ্রুতিবদ্ধ করে এটিকে ঘিরে। এই আর্কিটেকচারগুলি এখনও দুর্দান্ত কাজ করছে বলে মনে হয় না, তবে ধারণাটি খুব গুরুত্বপূর্ণ। এর কিছু বৈকল্পিক সম্ভবত ভবিষ্যতে ব্যাপক আকার ধারণ করবে।
জেনারেটর অ্যাডভারসিয়াল নেটওয়ার্ক : জিএএনএস একটি খুব উত্তেজনাপূর্ণ ধারণা যা ইতিমধ্যে ইতিমধ্যে প্রচুর ব্যবহারিক ব্যবহার দেখছে বলে মনে হয়। এখানে ধারণাটি একই সাথে দুটি এনএন প্রশিক্ষণ দেবে: একটি যা অন্তর্নিহিত সম্ভাব্যতা বিতরণ (একটি জেনারেটর) থেকে নমুনা উত্পন্ন করার চেষ্টা করে, এবং একটি যা প্রকৃত ডেটা পয়েন্ট এবং জেনারেটর দ্বারা উত্পন্ন জাল তথ্য পয়েন্টগুলির মধ্যে পার্থক্য করার চেষ্টা করে (একটি বিভেদকারী)। সুতরাং, উদাহরণস্বরূপ, যদি আপনার ডেটাসেটটি শয়নকক্ষগুলির ছবি সংগ্রহ, জেনারেটর শয়নকক্ষগুলির নিজস্ব ছবি তৈরি করার চেষ্টা করবে এবং বৈষম্যকারী যদি শয়নকক্ষগুলির আসল ছবি বা শোবার ঘরের জাল ছবিগুলি দেখছে তবে তা নির্ধারণের চেষ্টা করবে। শেষ পর্যন্ত, আপনার দুটি খুব দরকারী এনএন রয়েছে: একটি যা বেডরুম বা শয়নকক্ষ নয় হিসাবে চিত্রের শ্রেণিবদ্ধকরণে সত্যিই ভাল এবং একটি যা বেডরুমের বাস্তবসম্মত চিত্র তৈরিতে সত্যই ভাল।