সুতরাং, সম্প্রতি একটি স্তর সাধারণকরণের কাগজ রয়েছে। এর রয়েছে তা একটি বাস্তবায়ন Keras উপর।
তবে আমার মনে আছে পুনরাবৃত্ত ব্যাচ নরমালাইজেশন (কুইজম্যানস, ২০১)) এবং ব্যাচ নর্মালাইজড রিচারেন্ট নিউরাল নেটওয়ার্কস (লরেন্ট, ২০১৫) শিরোনামে কাগজপত্র রয়েছে । এই তিনজনের মধ্যে পার্থক্য কী?
এই সম্পর্কিত কাজের বিভাগটি আমি বুঝতে পারি না:
ব্যাচের সাধারণকরণ পূর্বে পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে প্রসারিত করা হয়েছে [লরেন্ট এট আল।, ২০১৫, অ্যামোডেই এট আল।, ২০১৫, কুইজম্যানস এবং আল।, ২০১]]। পূর্ববর্তী কাজ [কুইজম্যানস এট আল।, ২০১]] পরামর্শ দেয় যে প্রতিবারের পদক্ষেপের জন্য স্বতন্ত্র স্বাভাবিককরণের পরিসংখ্যান রেখে পুনরাবৃত্ত ব্যাচের সাধারণকরণের সেরা পারফরম্যান্স পাওয়া যায়। লেখকরা দেখান যে পুনরাবৃত্ত ব্যাচ নরমালাইজেশন স্তরটি 0.1 এ লাভ প্যারামিটার শুরু করে মডেলের চূড়ান্ত কার্যকারিতাটিতে উল্লেখযোগ্য পার্থক্য তৈরি করে। আমাদের কাজ ওজন স্বাভাবিককরণের সাথে সম্পর্কিত [সালিমানস এবং কিংমা, ২০১ to]। ওজন স্বাভাবিককরণে, পরিবর্তনের পরিবর্তে, আগত ওজনের L2 আদর্শ একটি নিউরনের সমষ্টিগত ইনপুটগুলিকে স্বাভাবিক করতে ব্যবহৃত হয়। প্রত্যাশিত পরিসংখ্যান ব্যবহার করে ওজন স্বাভাবিককরণ বা ব্যাচের সাধারণকরণ প্রয়োগ করা মূল ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কের আলাদা প্যারামিটারাইজেশনের সমতুল্য। আরএলইউ নেটওয়ার্কে পুনরায় প্যারামিটারাইজেশন প্যাথনরমালাইজড এসজিডি [নীশাবুর এট আল।, ২০১৫] তে অধ্যয়ন করা হয়েছিল। আমাদের প্রস্তাবিত স্তর স্বাভাবিককরণের পদ্ধতিটি তবে মূল স্নায়ুবিক নেটওয়ার্কের পুনরায় প্যারামিটারাইজেশন নয়। স্তরটিকে সাধারণকরণ করা মডেলটিতে অন্য পদ্ধতির তুলনায় বিভিন্ন রকমের ইনভেরিয়েন্স বৈশিষ্ট্য রয়েছে , যা আমরা নিম্নলিখিত বিভাগে অধ্যয়ন করব