কিছু সংযোগ সরিয়ে আরও ভাল এএনএন পাওয়া সম্ভব?


11

আমি ভাবছিলাম যে যদি কিছু পরিস্থিতিতে এএনএন এর পক্ষে আরও ভাল পারফরম্যান্স করা সম্ভব হয় তবে উদাহরণস্বরূপ যদি আপনি তাদের সাথে কিছু সংযোগ ছাঁটাই করেন:

দুটি বহুমাত্রিক এএনএন এর এ এবং বি সমান্তরাল (একই ইনপুট এবং আউটপুট নোড) এ এবং বি এর লুকানো স্তরগুলির মধ্যে কয়েকটি "যোগাযোগ" সংযোগ যুক্ত করে একটি এএনএন গঠন করে?

কেউ কী আরও সাধারণীকরণের ফলাফল পেতে পারে?

এটি কি কোনওভাবে অনুশীলনে ব্যবহৃত হয় বা কোনও সর্বদা কেবল বহু-স্তরযুক্ত সম্পূর্ণরূপে সংযুক্ত নেটওয়ার্কগুলি ব্যবহার করে?

উত্তর:


7

হ্যা এটা সম্ভব. কিছু লোক এই সমস্যাটি বিস্তারিতভাবে দেখেছেন। এটি করার একটি পদ্ধতি সম্পর্কে এখানে একটি পুরাতন কাগজ রয়েছে: অনুকূল মস্তিষ্কের ক্ষতি


কেন নোডগুলি বিচ্ছিন্ন করা নিয়মিতকরণের চেয়ে ভাল? আমি ভেবেছিলাম, নিয়মিতকরণের সাথে সংযোগগুলি ছাঁটাই করার দরকার নেই - "অপ্রয়োজনীয়" কেবলমাত্র খুব ছোট ওজন পাবে এবং এটিই।
andreister

@ এন্ড্রিস্টার আমি নিয়মিতকরণের চেয়ে এটি ভাল বলে মনে করি না। আমি মনে করি এটি নিয়মিতকরণের একটি (প্রাথমিক) বিকল্প। এটি একটি অতি পুরানো কাগজ, নব্বইয়ের দশকের মাঝামাঝি সময়ে এমএলে নিয়মিতকরণ মূলধারায় পরিণত হয়েছিল।
carlosdc

7

থাম্বের নিয়ম হিসাবে, ছোট এবং / বা স্পারস নেটওয়ার্কগুলি আরও ভালতর করে তোলে। আপনি কোনও নির্দিষ্ট আকারের ওজনের ক্ষয়কে প্রয়োগ করে আপনার প্রশিক্ষণ অ্যালগরিদমকে একটি নির্দিষ্ট আকারের নেটওয়ার্কের মধ্যে অপ্রয়োজনীয় সংযোগগুলি আগাছা দিতে দিতে পারেন, বা আপনি একটি অ্যালগরিদম প্রয়োগ করতে পারেন যার লক্ষ্য নেটওয়ার্কের আর্কিটেকচার / টোপোলজি নিজেই অপরিহার্য ইনপুট, গোপন নোড বা সংযোগগুলি সরিয়ে দিয়ে।

আরও গবেষণার জন্য ধারণাগুলি এবং সূচনা পয়েন্টগুলির জন্য এই রেফারেন্সগুলি দেখুন বা আর্কিটেকচার ডিজাইন, ছাঁটাই এবং অনুকূলকরণের জন্য বিবর্তনীয় অ্যালগরিদমগুলির ব্যবহারটি দেখুন।

  1. ক্যাসেল্লানো, জি।, ফানেলি, এএম (২০০০) 'নিউরাল-নেটওয়ার্ক মডেল ব্যবহার করে পরিবর্তনশীল নির্বাচন', নিউরকমপুটিং (৩১)
  2. জি সি।, স্যালটিস ডি। (1997) 'ডেটা-চালিত বৃদ্ধি এবং ক্ষয় মাধ্যমে নেটওয়ার্ক সংশ্লেষ', নিউরাল নেটওয়ার্ক ভলিউম। 10, নং 6, পিপি 1133-1141
  3. নরসিমহ পিএল এট আল (২০০৮) 'ফিডফোরওয়ার্ড নেটওয়ার্ক প্রশিক্ষণের জন্য একটি সমন্বিত ক্রমবর্ধমান-ছাঁটাই পদ্ধতি', নিউরোকমপুটিং ()১), পৃষ্ঠা ২31৩১-২৪77
  4. শুস্টার, এ। (২০০৮) 'রোবস্ট আর্টি-সিয়াল নিউরাল নেটওয়ার্ক আর্কিটেকচার', ইন্টারন্যাশনাল জার্নাল অফ কম্পিউটেশনাল ইন্টেলিজেন্স (৪: ২), পৃষ্ঠা 98-104

আমি উত্তরের অংশটি "আর্কিটেকচার ডিজাইন, ছাঁটাই এবং অনুকূলকরণের জন্য বিবর্তনীয় অ্যালগরিদমগুলির ব্যবহারের দিকে নজর দিন" সম্পর্কে আরও শুনতে চাই। আমি এটি সম্পর্কে একটি প্রশ্ন জিজ্ঞাসা করতে পারে!
আর্টেম কাজনাটচিভ

6

বেশিরভাগ ক্ষেত্রে আপনি অযৌক্তিক সংযোগগুলি সরিয়ে ফেললে আপনি আরও ভাল নেটওয়ার্ক পাবেন। নেটওয়ার্ককে ওভারট্রেন করা (ওভারফিট) করা সহজ --- এই ক্ষেত্রে এটি বৈধতা ডেটাসেটের ক্ষেত্রে খারাপ আচরণ করবে।

অপ্রয়োজনীয় সংযোগগুলি ছাঁটাই করা সম্ভবত ওভারট্রেনিং সম্ভাবনা হ্রাস করবে। দয়া করে দেখুন: http://en.wikedia.org/wiki/ ওভারফিটিং


5

হ্যা এটা সম্ভব. আমরা হাইপার-প্যারামিটার হিসাবে গণ্য ইউনিট, লুকানো স্তরগুলির সংখ্যা, গোপন স্তরের প্রতি একত্রিত হওয়া ইত্যাদির মধ্যে সংযোগ বিবেচনা করতে পারি। একাধিক পরীক্ষা-নিরীক্ষা চালিয়ে এই প্যারামিটারগুলির জন্য সর্বোত্তম মান খুঁজে পাওয়া সম্ভব।

উদাহরণ স্বরূপ:

আপনি নিম্নলিখিত হিসাবে আপনার ডেটা সেট বিভক্ত করতে পারেন: প্রশিক্ষণ 60% তথ্য সেট, ক্রস-বৈধতা 20% তথ্য, 20% ডেটা পরীক্ষা,

তারপরে ক্রস-বৈধতা ডেটা সেট ব্যবহার করে প্রশিক্ষণ ডেটা সেট এবং সুরক্ষা পরামিতি ব্যবহার করে আপনার এনএনকে প্রশিক্ষণ দিন।

অবশেষে আপনি আপনার এনএন এর কার্যকারিতা মূল্যায়নের জন্য আপনার পরীক্ষার ডেটা সেট ব্যবহার করতে পারেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.