ব্যাচের আদর্শে কেন শেখার স্কেল এবং শিফ্ট থাকে?

Question

আমি যতদূর বুঝতে পেরেছি, ব্যাচের আদর্শটি সমস্ত ইনপুট বৈশিষ্ট্যগুলিকে একটি এককের সাধারণ বিতরণে একটি স্তরকে স্বাভাবিক করে , । বর্তমান মিনি-ব্যাচের জন্য তাদের মানগুলি পরিমাপ করে গড় এবং প্রকরণটি অনুমান করা হয়।$\mathcal{N}(\mu=0,\sigma=1)$$\mu, \sigma^2$

সাধারণীকরণের পরে ইনপুটগুলি স্কেলার মানগুলি দ্বারা স্কেল করে স্থানান্তরিত করা হয়:

$$\hat{x}_i' = \gamma \hat{x}_i + \beta$$

(আমি এখানে ভুল হলে আমাকে সংশোধন করুন - এখান থেকে আমি কিছুটা অনিশ্চিত হওয়া শুরু করি))

$\gamma$ এবং স্কেলারের মান এবং প্রতিটি ব্যাচ-নিয়মিত স্তরের জন্য একটি করে জোড়া থাকে। তারা ব্যাকপ্রপ এবং এসজিডি ব্যবহার করে ওজন সহ শিখেছে।$\beta$

আমার প্রশ্ন হ'ল এই প্যারামিটারগুলি কি অপ্রয়োজনীয় নয় কারণ ইনপুটগুলি কোনওভাবেই স্তরটির ওজন দ্বারা মাপানো যায় এবং স্থানান্তরিত করা যায়। অন্য কথায়, যদি

$$y = W \hat{x}' + b$$

এবং

$$\hat{x}' = \gamma \hat{x} + \beta$$

তারপর

$$y = W' \hat{x} + b'$$

যেখানে এবং ।$W' = W\gamma$$b'=W\beta + b$

সুতরাং নেটওয়ার্কটি এগুলি যুক্ত করার বিন্দুটি কী ইতিমধ্যে স্কেল এবং শিফ্ট শেখার জন্য সক্ষম? নাকি আমি পুরোপুরি ভুল বোঝাবুঝি করছি?

Answer 1

ডিপ লার্নিং বইয়ের একটি নিখুঁত উত্তর রয়েছে , বিভাগ 8.7.1 :

কোনও ইউনিটের গড় এবং মানক বিচ্যুতিকে সাধারণকরণের ফলে সেই ইউনিটটি থাকা নিউরাল নেটওয়ার্কের ভাবগত শক্তি হ্রাস করা যায়। নেটওয়ার্কটির অভিব্যক্তিপূর্ণ শক্তি বজায় রাখার জন্য, লুকানো ইউনিট ক্রিয়াকলাপের ব্যাচের প্রতিস্থাপন করা সাধারণ HH + simply এর পরিবর্তে সাধারন এইচ পরিবর্তে সাধারণ হয় The এবং ভেরিয়েবলগুলি para এবং β প্যারামিটারগুলি শিখেছে যা নতুন ভেরিয়েবলটির কোনও মানে রাখতে দেয় এবং আদর্শ চ্যুতি. প্রথম নজরে, এটি অকেজো বলে মনে হতে পারে - কেন আমরা 0 টির মান নির্ধারণ করেছি এবং তারপরে এমন একটি পরামিতি প্রবর্তন করেছি যা এটি কোনও স্বেচ্ছাসেবকের মান to এ সেট করতে দেয়?

উত্তরটি হ'ল নতুন প্যারামিট্রাইজেশন পুরানো প্যারামিট্রাইজেশন হিসাবে ইনপুটটির একই কার্যকারিতাটি উপস্থাপন করতে পারে তবে নতুন প্যারামিট্রাইজেশনটিতে বিভিন্ন শিক্ষার গতি রয়েছে। পুরাতন প্যারামিট্রাইজেশনে, এইচ এর মধ্যস্থতা নীচে H এর স্তরগুলির মধ্যে প্যারামিটারগুলির মধ্যে একটি জটিল মিথস্ক্রিয়া দ্বারা নির্ধারিত হয়েছিল the নতুন প্যারামিট্রাইজেশন গ্রেডিয়েন্ট বংশোদ্ভূত সঙ্গে শিখতে অনেক সহজ।