নিউরাল নেটওয়ার্কে স্তরগুলির সর্বোত্তম সংখ্যা?


13

নিউরাল নেটওয়ার্ক (ফিডফর্ডার, ব্যাক প্রসারণ বা আরএনএন) প্রয়োগ করার সময় কীভাবে স্তরগুলির সর্বোত্তম সংখ্যার সিদ্ধান্ত নেবেন?

উত্তর:


8

Pruningনিউরাল নেটওয়ার্কগুলিতে একটি প্রযুক্তি রয়েছে , যা কেবল একই উদ্দেশ্যে ব্যবহৃত হয়।

ছাঁটাইটি লুকানো স্তরগুলির সংখ্যার উপর করা হয়। প্রক্রিয়া সিদ্ধান্ত গাছ ছাঁটাই প্রক্রিয়া খুব অনুরূপ। ছাঁটাইয়ের প্রক্রিয়াটি নিম্নলিখিতভাবে করা হয়:

  • একটি স্ট্যান্ডার্ড প্রশিক্ষণ অ্যালগরিদম সহ একটি বৃহত, ঘন সংযুক্ত, নেটওয়ার্ক প্রশিক্ষণ
  • ওজনের আপেক্ষিক গুরুত্ব নির্ধারণের জন্য প্রশিক্ষিত নেটওয়ার্ক পরীক্ষা করুন
  • সর্বনিম্ন গুরুত্বপূর্ণ ওজন অপসারণ করুন
  • ছাঁটাই করা নেটওয়ার্কটি পুনরায় প্রশিক্ষণ করুন
  • সন্তুষ্ট না হওয়া পর্যন্ত ২-৪ পদক্ষেপ পুনরাবৃত্তি করুন

তবে নিউরাল নেট ছাঁটাই করার জন্য বেশ কয়েকটি অনুকূলিত পদ্ধতি রয়েছে এবং এটি গবেষণার একটি খুব সক্রিয় ক্ষেত্রও


একটি প্রতিসম পন্থা হল নেটওয়ার্ক আর্কিটেকচারে প্রয়োগ হওয়া সাধারণ "গ্রিড অনুসন্ধান"। ছোট (এত তাড়াতাড়ি) শুরু করুন এবং স্বয়ংক্রিয়ভাবে আরও বড় আর্কিটেকচার চেষ্টা করুন। এগুলি কেবল নিষ্ঠুর শক্তি, যদিও ...
এরিক প্লাটন

গ্রিড অনুসন্ধানের জন্য @ এরিকপ্ল্যাটন +1। হাইপারটুনিং এমএল অ্যালগোসে খুব সহজ Very কিন্তু, এটি গণনার দিক থেকে খুব নিবিড় নয়?
দাওয়ানি 33

1
হ্যাঁ, এটি ব্যয়বহুল। তবুও, যখন আমরা ছোট শুরু করতে পারি, প্রথম পর্যায়ে বেশ দ্রুত যেতে পারে এবং কী কী লক্ষ্য করা যায় তা আরও ভাল ধারণা দিতে পারে।
এরিক প্লাটন

@ এরিকপ্ল্যাটন "গ্রিড অনুসন্ধান" এর নিজস্ব একটি পৃথক উত্তর প্রাপ্য হবে :)
ডওয়ানি 33

আমি এটি সম্পর্কে ভেবেছিলাম, তবে তারপরে দুটি বিকল্প এবং সম্ভবত "সমানভাবে সঠিক" উত্তর থাকবে ... আমি মনে করি পাঠকের পক্ষে উত্তরটি একটি হিসাবে সংকলন করা সবচেয়ে ভাল।
এরিক প্লাটনের

0

হাইপারপ্রেমিটারগুলির ফাংশন হিসাবে ক্ষতির (বা যে কোনও কিছু) অনুকূলকরণের একটি সাধারণ পদ্ধতি হিসাবে আপনি বেয়েসিয়ান হাইপারপ্যারামিটার অপ্টিমাইজেশনের দিকে একবার নজর দিতে পারেন। তবে মনে রাখবেন যে সাধারণভাবে আপনার নেটওয়ার্কটি যত গভীরতর তত ক্ষতির স্তরকে সংখ্যার হিসাবে ক্ষতির অনুকূলকরণ করা খুব মজাদার জিনিস নয়।

গ্রিড অনুসন্ধান এবং কিছুটা সাধারণ জ্ঞান (যেমন অনেক উদাহরণ দেখে শিখেছি) আপনার সেরা বাজি হওয়া উচিত।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.