পক্ষপাত কীভাবে আরম্ভ এবং নিয়মিত করা উচিত?

Question

আমি কার্নেল ইনিশিয়ালাইজেশন সম্পর্কে বেশ কয়েকটি কাগজ পড়েছি এবং অনেকগুলি কাগজে উল্লেখ করা হয়েছে যে তারা কার্নেলের L2 নিয়মিতকরণ ব্যবহার করে (প্রায়শই )।$\lambda = 0.0001$

ধ্রুব শূন্যের সাথে পক্ষপাতিত্ব শুরু করা এবং এটি নিয়মিত না করা ছাড়া কি কেউ আলাদা কিছু করে?

কার্নেল প্রারম্ভিককরণের কাগজপত্র

• মিশকিন ও মাতাস: আপনার যা দরকার তা হ'ল একটি ভাল উদ্যোগ
• জাভিয়ের গ্লোরোট এবং যোশুয়া বেনজিও: গভীর ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্কগুলির প্রশিক্ষণের অসুবিধা বোঝা
• তিনি এট আল: ডেলভিং ডিপ ইন রেকটিফায়ার: ইমেজনেট শ্রেণিবিন্যাসে মানব-স্তরের পারফরম্যান্সকে ছাড়িয়ে

Answer 1

স্ট্যানফোর্ড সিএস 231 এন নোটস থেকে ( http://cs231n.github.io/neural-networks-2/ ):

পক্ষপাতদুটি সূচনা করা হচ্ছে। অসামান্যতা ব্রেকিং ওজনে ছোট ছোট এলোমেলো সংখ্যার দ্বারা সরবরাহ করা হওয়ায়, শূন্য হওয়ার জন্য বায়াসগুলি আরম্ভ করা সম্ভব এবং সাধারণ। রিলু অ-লিনিয়ারিটির জন্য কিছু লোক সকল ধরণের পক্ষপাতের জন্য 0.01 এর মতো ছোট ধ্রুবক মান ব্যবহার করতে পছন্দ করে কারণ এটি নিশ্চিত করে যে সমস্ত আরএলইউ ইউনিট শুরুতে আগুন দেয় এবং তাই কিছু গ্রেডিয়েন্ট প্রাপ্ত এবং প্রচার করে। তবে এটি সুস্পষ্ট নয় যে এটি একটি ধারাবাহিক উন্নতি সরবরাহ করে (বাস্তবে কিছু ফলাফল মনে করে যে এটি আরও খারাপ কাজ করে) এবং এটি কেবল 0 পক্ষপাতিত্ব সূচনা ব্যবহার করা বেশি সাধারণ।

এলএসটিএমগুলিতে 1 টির জন্য পক্ষপাতদুষ্ট করা সাধারণ - উদাহরণস্বরূপ দেখুন http://www.jmlr.org/proceedings/papers/v37/jozefowicz15.pdf ।