কাগজ: লেয়ার নরমালাইজেশন, পুনরাবৃত্ত ব্যাচ নরমালাইজেশন (2016) এবং ব্যাচ নরমালাইজড আরএনএন (2015) এর মধ্যে পার্থক্য কী?


30

সুতরাং, সম্প্রতি একটি স্তর সাধারণকরণের কাগজ রয়েছে। এর রয়েছে তা একটি বাস্তবায়ন Keras উপর।

তবে আমার মনে আছে পুনরাবৃত্ত ব্যাচ নরমালাইজেশন (কুইজম্যানস, ২০১)) এবং ব্যাচ নর্মালাইজড রিচারেন্ট নিউরাল নেটওয়ার্কস (লরেন্ট, ২০১৫) শিরোনামে কাগজপত্র রয়েছে । এই তিনজনের মধ্যে পার্থক্য কী?

এই সম্পর্কিত কাজের বিভাগটি আমি বুঝতে পারি না:

ব্যাচের সাধারণকরণ পূর্বে পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে প্রসারিত করা হয়েছে [লরেন্ট এট আল।, ২০১৫, অ্যামোডেই এট আল।, ২০১৫, কুইজম্যানস এবং আল।, ২০১]]। পূর্ববর্তী কাজ [কুইজম্যানস এট আল।, ২০১]] পরামর্শ দেয় যে প্রতিবারের পদক্ষেপের জন্য স্বতন্ত্র স্বাভাবিককরণের পরিসংখ্যান রেখে পুনরাবৃত্ত ব্যাচের সাধারণকরণের সেরা পারফরম্যান্স পাওয়া যায়। লেখকরা দেখান যে পুনরাবৃত্ত ব্যাচ নরমালাইজেশন স্তরটি 0.1 এ লাভ প্যারামিটার শুরু করে মডেলের চূড়ান্ত কার্যকারিতাটিতে উল্লেখযোগ্য পার্থক্য তৈরি করে। আমাদের কাজ ওজন স্বাভাবিককরণের সাথে সম্পর্কিত [সালিমানস এবং কিংমা, ২০১ to]। ওজন স্বাভাবিককরণে, পরিবর্তনের পরিবর্তে, আগত ওজনের L2 আদর্শ একটি নিউরনের সমষ্টিগত ইনপুটগুলিকে স্বাভাবিক করতে ব্যবহৃত হয়। প্রত্যাশিত পরিসংখ্যান ব্যবহার করে ওজন স্বাভাবিককরণ বা ব্যাচের সাধারণকরণ প্রয়োগ করা মূল ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কের আলাদা প্যারামিটারাইজেশনের সমতুল্য। আরএলইউ নেটওয়ার্কে পুনরায় প্যারামিটারাইজেশন প্যাথনরমালাইজড এসজিডি [নীশাবুর এট আল।, ২০১৫] তে অধ্যয়ন করা হয়েছিল। আমাদের প্রস্তাবিত স্তর স্বাভাবিককরণের পদ্ধতিটি তবে মূল স্নায়ুবিক নেটওয়ার্কের পুনরায় প্যারামিটারাইজেশন নয়। স্তরটিকে সাধারণকরণ করা মডেলটিতে অন্য পদ্ধতির তুলনায় বিভিন্ন রকমের ইনভেরিয়েন্স বৈশিষ্ট্য রয়েছে , যা আমরা নিম্নলিখিত বিভাগে অধ্যয়ন করব

উত্তর:


25
  • স্তর স্বাভাবিককরণ ( বা 2016 ): ব্যাচের পরিসংখ্যান ব্যবহার করে না। বর্তমান নমুনার একটি স্তরের মধ্যে সমস্ত ইউনিট থেকে সংগৃহীত পরিসংখ্যান ব্যবহার করে সাধারণকরণ। কনভনেটসের সাথে ভাল কাজ করে না।

  • পুনরাবৃত্ত ব্যাচ নরমালাইজেশন (বিএন) ( কুইজম্যানস, ২০১ ;; এছাড়াও একই সাথে কিয়ানলি লিয়াও এবং টমাসো পোগজিও দ্বারা প্রস্তাবিত , তবে আরএনএন / এলএসটিএম এর পরিবর্তে পুনরাবৃত্ত কনভনেটসে পরীক্ষিত): ব্যাচ সাধারণীকরণ হিসাবে একই। প্রতিটি সময় পদক্ষেপের জন্য বিভিন্ন সাধারণকরণের পরিসংখ্যান ব্যবহার করুন। প্রতিটি সময় পদক্ষেপের জন্য আপনাকে গড় এবং মানক বিচ্যুতির একটি সেট সঞ্চয় করতে হবে।

  • ব্যাচ নরমালাইজড রিচারেন্ট নিউরাল নেটওয়ার্কস ( লরেন্ট, ২০১৫ ): ব্যাচ সাধারণকরণ কেবলমাত্র ইনপুট এবং লুকানো অবস্থার মধ্যে প্রয়োগ করা হয় তবে লুকানো অবস্থার মধ্যে নয়। অর্থাত্ সময়ের সাথে সাথে স্বাভাবিককরণ প্রয়োগ করা হয় না।

  • স্ট্রিমিং নরমালাইজেশন ( লিয়াও এট আল। ২০১ )): এটি বিদ্যমান সাধারণীকরণের সংক্ষিপ্তসার এবং উপরে উল্লিখিত বেশিরভাগ ইস্যুগুলিকে পরাস্ত করে। এটি কনভনেটস, পুনরাবৃত্তি শেখার এবং অনলাইন লার্নিং (অর্থাত্ ছোট মিনি-ব্যাচ বা একবারে একটি নমুনা) এর সাথে ভাল কাজ করে:

  • L2L21Y=এক্স*(W/|W|)এক্সWY=Y* পারফরম্যান্সের জন্য অপরিহার্য বলে মনে হচ্ছে না (ডাউন স্ট্রিমের শেখার স্তরগুলি এটি যেভাবেই শিখতে পারে)।

  • এল2Y=(এক্স/|এক্স|)*(W/|W|)এক্সW

নোট করুন যে জৈবিক দৃষ্টিভঙ্গির মডেল করার জন্য এইচএমএএক্স (রিসেনহুবার 1999) নামে কনভনেটসের একটি শ্রেণিতে 2000 এর দশকে ওজন এবং কোসিন নরমালাইজেশন উভয়ই ব্যাপকভাবে ব্যবহৃত হয়েছিল (নরমালাইজড ডট প্রোডাক্ট)। আপনি তাদের আকর্ষণীয় মনে হতে পারে।

রেফারেন্স: এইচএমএএক্স মডেলের রেফারেন্স

তথ্যসূত্র : কর্টিকাল নেটওয়ার্ক সিমুলেটর রেফারেন্স

রেফ: কোসিন নরমালাইজেশন: নিউরাল নেটওয়ার্কগুলিতে ডট প্রোডাক্টের পরিবর্তে কোসিন সাদৃশ্য ব্যবহার করা , লুও চুঞ্জি, ঝান জিয়াফেং, ওয়াং লেই, ইয়াং কিয়াং

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.