নিউরাল নেটওয়ার্ক ডিবাগ করা হচ্ছে


10

আমি স্কিপি.পটিমাইজ.মিনিমাইজ (কনজুগেট গ্রেডিয়েন্ট) অপটিমাইজেশন ফাংশনটি ব্যবহার করে পাইথনে একটি কৃত্রিম নিউরাল নেটওয়ার্ক তৈরি করেছি।

আমি গ্রেডিয়েন্ট চেকিং বাস্তবায়ন করেছি, ডাবল চেক করা ইত্যাদি ইত্যাদি এবং আমি নিশ্চিত যে এটি সঠিকভাবে কাজ করছে।

আমি এটি কয়েকবার চালিয়েছি এবং এটি 'অপটিমাইজেশন সফলভাবে সমাপ্ত হওয়া' এ পৌঁছে গেছে তবে আমি যখন লুকানো স্তরগুলির সংখ্যা বাড়িয়ে তুলি তখন অনুমানের ব্যয় বৃদ্ধি পায় (সমস্ত কিছু একই থাকে) সফলভাবে শেষ হওয়ার পরে।

স্বজ্ঞাতভাবে এটি অনুভূত হয় যে লুকানো স্তরগুলির সংখ্যা বাড়ার সাথে সাথে ব্যয় হ্রাস করা উচিত, কারণ এটি আরও জটিল হাইপোথিসিস তৈরি করতে সক্ষম যা ডেটার আরও ভাল ফিট করতে পারে, তবে এটি এমনটি বলে মনে হয় না।

আমি এখানে কী চলছে তা বুঝতে আগ্রহী হব, বা যদি আমি নিউরাল নেটটি ভুলভাবে প্রয়োগ করেছি?

উত্তর:


9

নিউরাল নেট দিয়ে ভুল হওয়ার অনেকগুলি উপায় রয়েছে যে এটির ডিবাগ করা কঠিন হয়ে পড়ে। এছাড়াও, আপনার স্বজ্ঞাততাগুলি সমাধান করার জন্য, প্রতিটি অতিরিক্ত লুকানো স্তর স্তর শিখাকে আরও শক্ত করে তোলে। যা বলেছিল, এখানে কিছু সম্ভাবনা রয়েছে:

  1. আপনি ওজন ক্ষয় যোগ করেছেন। আরও স্তর যুক্ত করা হলে আরও ওজন যুক্ত হয় যা আপনার নিয়মিতকরণ ব্যয়কে বাড়িয়ে তোলে।
  2. সমস্যাটি যথেষ্ট সহজ যে একটি একক লুকানো স্তর সহ একটি মডেল যথেষ্ট। আরও লুকানো স্তর যুক্ত করা নেটওয়ার্কের পক্ষে শেখা আরও শক্ত করে তোলে (আরও অনুকূলতর সমস্যা)।
  3. অপ্টিমাইজেশন পদ্ধতিটি দুর্দান্ত কাজ করছে না (আমি স্কিপি.পটিমাইজ করতে ক্লিমিন পছন্দ করি)।
  4. আপনি সিগময়েড / তানহ অ্যাক্টিভেশন ফাংশনটি ব্যবহার করছেন। সিগময়েড ফাংশনটি বিলুপ্ত গ্রেডিয়েন্ট সমস্যা সৃষ্টি করে যা আরও বেশি স্তর সহ শক্তিশালী শেখা তোলে। রিলু ফাংশনটি ব্যবহার করে দেখুন।

নিউরাল নেট প্রশিক্ষণ অনেক অনুশীলন, ভাগ্য এবং ধৈর্য লাগে। শুভকামনা।


1
ভাল উত্তর. 2, 3, 4 জটিল উপায়ে ইন্টারঅ্যাক্ট করতে পারে তা বুঝতে পারেন। এএনএন-এর অ্যাক্টিভেশন মানগুলি, এএনএন-এর
ওজনগুলির মাত্রা পরীক্ষা করে

3

একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্কের জন্য লুকানো স্তরের সংখ্যা বাড়ানো আসলে বেশিরভাগ ক্ষেত্রে ফলাফলের উন্নতি করতে পারে না। লুকানো স্তরের আকার পরিবর্তন করা হবে।

এই সত্যটি (যে গোপন স্তরগুলির সংখ্যা খুব কম করে) বাস্তবে historতিহাসিকভাবে বিবেচনা করা হয়েছিল এবং এটি গভীর শিক্ষার ক্ষেত্রে পিছনে অনুপ্রেরণা। গভীর শেখা কার্যকরভাবে মাল্টিলেয়ার নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণের চতুর উপায়গুলি উদাহরণস্বরূপ, বিভিন্ন স্তরকে প্রশিক্ষণ দেওয়ার সময় বৈশিষ্ট্যগুলির সাবসেটগুলি বিচ্ছিন্ন করে।

ইউটিউবে এই বিষয়টিতে ভাল সূচনামূলক ভিডিও


2
গভীর শেখা লুকানো স্তরগুলির সংখ্যা বাড়ানোর বিষয়ে । অন্যথায় এটাকে ফ্যাট লার্নিং বলা হবে :)
এমরে

@ আমর অবশ্যই এর অর্থ ছিল। আমার বিরতিতে অভিশাপ দাও!
এরিক চিয়াং
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.