আমি লক্ষ্য করেছি যে ক্যারাসে ওজন_গ্রেগালাইজার আর উপলব্ধ নেই এবং তার জায়গায়, সেখানে ক্রিয়াকলাপ এবং কার্নেল নিয়ামক রয়েছে। আমি জানতে চাই:
উত্তর:
ক্রিয়াকলাপ নিয়ন্ত্রক নেটের আউটপুটটির একটি ফাংশন হিসাবে কাজ করে এবং বেশিরভাগ ক্ষেত্রে লুকানো ইউনিটগুলিকে নিয়মিত করতে ব্যবহৃত হয়, যখন নাম হিসাবে ওজন_গ্রেজারাইজার ওজনে কাজ করে, তাদের ক্ষয় করে তোলে। মূলত আপনি আউটপুট ( activity_regularizer) বা ওজন ( weight_regularizer) এর ফাংশন হিসাবে নিয়মিতকরণ ক্ষতি প্রকাশ করতে পারেন ।
নতুন স্থান kernel_regularizerপরিবর্তন করে weight_regularizer- যদিও এটি ডকুমেন্টেশন থেকে খুব পরিষ্কার নয়।
এর সংজ্ঞা থেকে kernel_regularizer:
কার্নেল_গ্রিজারিয়ার: নিয়মিতকরণ কার্যটি
kernelওয়েট ম্যাট্রিক্সে প্রয়োগ করা হয় (নিয়ন্ত্রক দেখুন)।
এবং activity_regularizer:
ক্রিয়াকলাপ_সামগ্রীকরক: স্তর আউটপুটে নিয়মিতকরণ ফাংশন প্রয়োগ করা হয় (এর "অ্যাক্টিভেশন")। (নিয়মিত দেখুন)।
গুরুত্বপূর্ণ সম্পাদনা : সেখানে একটি বাগ লক্ষ্য করুন activity_regularizer ছিল শুধুমাত্র Keras সংস্করণ 2.1.4 সংশোধন (Tensorflow ব্যাকএন্ড সঙ্গে অন্তত)। প্রকৃতপক্ষে, পুরানো সংস্করণগুলিতে, ক্রিয়াকলাপ নিয়মিতকরণ ফাংশন আউটপুটটিতে প্রয়োগ করার পরিবর্তে স্তরটির ইনপুটটিতে প্রয়োগ করা হয় (স্তরটির আসল ক্রিয়াকলাপগুলি, যেমন উদ্দেশ্য হিসাবে)। সুতরাং সাবধান হন যদি আপনি কেরাসের একটি পুরানো সংস্করণ ব্যবহার করেন (২.১.৪ এর আগে), কার্যকলাপ নিয়মিতকরণ সম্ভবত উদ্দেশ্য হিসাবে কাজ না করে।
আপনি গিটহাবের প্রতিশ্রুতি দেখতে পাচ্ছেন
এই উত্তরটি কিছুটা দেরিতে হলেও ভবিষ্যতের পাঠকদের জন্য এটি কার্যকর। সুতরাং, প্রয়োজনীয়তা হ'ল আবিষ্কারের মা they যখন এটি প্রয়োজন তখন আমি এটি কেবল বুঝতে পারি।
উপরের উত্তরটি উভয়ই ওজনকে প্রভাবিত করে এমন পার্থক্যের কারণটি সত্যই বর্ণনা করে না, তাই ওজনগুলি নিজেরাই বা স্তরের আউটপুটকে শাস্তি দেওয়ার মধ্যে পার্থক্য কী?
উত্তরটি এখানে: আমি এমন একটি মামলার মুখোমুখি হয়েছি যেখানে নেট-ওজন ছোট এবং সুন্দর, [-0.3] থেকে [+0.3] এর মধ্যে রয়েছে।
সুতরাং, আমি সত্যিই তাদের শাস্তি দিতে পারি না, তাদের সাথে কোনও ভুল নেই। একটি কার্নেল নিয়ন্ত্রক অকেজো। যাইহোক, স্তরটির আউটপুট 100 এর দশকে বিশাল is
মনে রাখবেন যে স্তরটিতে ইনপুটটিও ছোট, সর্বদা একের চেয়ে কম। তবে এই ছোট মানগুলি ওজনের সাথে এমনভাবে যোগাযোগ করে যা এই বিশাল আউটপুটগুলি উত্পাদন করে। এখানে আমি বুঝতে পেরেছি যে আমার যা প্রয়োজন তা হ'ল কর্নাল নিয়ন্ত্রকের পরিবর্তে একটি ক্রিয়াকলাপ নিয়ন্ত্রক। এটির সাহায্যে আমি সেই বৃহত আউটপুটগুলির জন্য স্তরটিকে শাস্তি দিচ্ছি, ওজনগুলি নিজেরাই কম হয় কিনা সেদিকে আমি খেয়াল রাখি না, আমি কেবল এটিকে এ জাতীয় অবস্থাতে পৌঁছাতে বাধা দিতে চাই কারণ এটি আমার সিগময়েড অ্যাক্টিভেশনকে সন্তুষ্ট করে এবং অদৃশ্য হওয়ার মতো আরও অনেক সমস্যার সৃষ্টি করে গ্রেডিয়েন্ট এবং স্থবিরতা।
kernel_regularizerপ্রতিস্থাপন সম্পর্কে সম্পূর্ণ নিশ্চিতweight_regularizer?