গভীর শিক্ষার এই টিউটোরিয়াল অনুসারে , ওজন ক্ষয় (নিয়মিতকরণ) সাধারণত বায়াস শর্তাবলী প্রয়োগ করা হয় না কেন বি?
এর পিছনে তাত্পর্য (অন্তর্দৃষ্টি) কী?
উত্তর:
ওভারফিটিংয়ের জন্য সাধারণত ইনপুট ডেটার ছোট পরিবর্তনগুলির জন্য মডেলটির আউটপুট সংবেদনশীল হতে হয় (অর্থাত্ টার্গেটের মানগুলিকে হ্রাস করতে, লাগানো ফাংশনে আপনার অনেকগুলি বক্রতা প্রয়োজন)। বায়াস প্যারামিটারগুলি মডেলের বক্ররেখাতে অবদান রাখে না, তাই এগুলি নিয়মিত করার ক্ষেত্রে সাধারণত খুব কমই থাকে।
এল 2 (বা এল 1) এর পিছনে অনুপ্রেরণা হ'ল ওজনকে সীমাবদ্ধ করে, নেটওয়ার্ককে সীমাবদ্ধ করে, আপনার বেশি মানা হওয়ার সম্ভাবনা কম। বায়াসগুলি স্থির করা (যেহেতু b = 1) এইভাবে নিউরন ইন্টারসেপ্টের মতো কাজ করে, যা উচ্চতর নমনীয়তা বোধ করে তা বুদ্ধিমান হওয়ার কারণে পক্ষপাতদুজনের ওজনকে সীমাবদ্ধ করা কিছুটা বোধগম্য নয়।
আমি যোগ হবে পক্ষপাত শব্দটি প্রায়ই একটি গড় সঙ্গে সক্রিয়া করা হয় 1এর বদলে 0, তাই আমরা একটি উপায় এটা নিয়মিত করার অতিদূরে মত একটি ধ্রুবক রয়েছে যার মান থেকে দূরে পেতে চাইতে পারেন 1করছেন যেমন 1/2*(bias-1)^2বদলে 1/2*(bias)^2।
হতে পারে যে পক্ষপাতদুদের -1গড় বিয়োগ দ্বারা অংশ প্রতিস্থাপন সাহায্য করতে পারে, একটি প্রতি স্তর স্তর বা সামগ্রিক এক হতে পারে। তবুও এটি কেবল একটি অনুমান যা আমি করছি (গড় বিয়োগ সম্পর্কে)।
এটি সমস্ত সক্রিয়করণ ফাংশনের উপরও নির্ভর করে। উদাহরণস্বরূপ: উচ্চতর ধ্রুবক অফসেটগুলিতে বায়াসগুলি নিয়মিত করা হলে সিগময়েডগুলি গ্রেডিয়েন্টগুলি অদৃশ্য হওয়ার জন্য এখানে খারাপ হতে পারে।
টিউটোরিয়ালটিতে বলা হয়েছে "পক্ষপাত ইউনিটগুলিতে ওজন ক্ষয়ের প্রয়োগ সাধারণত চূড়ান্ত নেটওয়ার্কের সাথে কেবলমাত্র একটি সামান্য পার্থক্য করে", সুতরাং যদি এটি সহায়তা না করে তবে আপনি একটি হাইপারপাটারমিটার দূর করতে এটি করা বন্ধ করতে পারেন। আপনি যদি মনে করেন অফসেটটি নিয়মিত করা আপনার সেটআপে সহায়তা করবে, তবে এটি ক্রস-বৈধ করুন; চেষ্টা করার কোনও ক্ষতি নেই