আমি ওভার-ফিটিং নিয়ন্ত্রণের জন্য একটি পদ্ধতির হিসাবে নিয়মিতকরণ সম্পর্কে শিখেছি, এবং আমি এই ধারণাটি আমি একসাথে রেখেছি এমন ব্যাকপ্রোপেশন এবং মাল্টিলেয়ার পারসেপ্ট্রনের (এমএলপি) একটি সাধারণ প্রয়োগের সাথে অন্তর্ভুক্ত করতে চাই ।
বর্তমানে অতিরিক্ত-ফিটিং এড়াতে, আমি ক্রস-বৈধতা দিয়েছি এবং বৈধতা সেটটিতে এখন পর্যন্ত সর্বোত্তম স্কোর সহ নেটওয়ার্কটি রাখি। এটি ঠিক আছে, তবে নিয়মিতকরণ যুক্ত করার ফলে নিয়মিতকরণ অ্যালগরিদম এবং পরামিতিগুলির সঠিক পছন্দে আমার উপকৃত হবে আমার নেটওয়ার্ককে একটি নন-ওভারফিট মডেলকে আরও নিয়মিতভাবে রূপান্তরিত করে তুলবে।
আপডেটের মেয়াদে আমার কাছে থাকা সূত্রটি (কোর্সেরা এমএল কোর্স থেকে) ব্যাচের আপডেট হিসাবে বলা হয়েছে যেমন প্রতিটি ওজনের জন্য ত্রুটি প্রচার থেকে পুরো প্রশিক্ষণের জন্য প্রযোজ্য ডেল্টা সংমিশ্রনের পরে, সমন্বয়ের lambda * current_weightপূর্বেও একটি সমন্বয় যুক্ত করা হয় বেল্টের শেষে ডেল্টা বিয়োগ করা হয়, যেখানে lambdaনিয়মিতকরণ পরামিতি ter
আমার ব্যাকপ্র্যাগেশন বাস্তবায়ন প্রতি আইটেম ওজন আপডেট ব্যবহার করে। আমি উদ্বিগ্ন যে আমি কেবল ব্যাচের পদ্ধতির অনুলিপি করতে পারি না, যদিও এটি আমার কাছে স্বজ্ঞাতভাবে ঠিক আছে। আইটেম প্রতি একটি ছোট নিয়মিত পদ এছাড়াও কাজ করে?
উদাহরণস্বরূপ lambda * current_weight / Nযেখানে এন প্রশিক্ষণের আকার সেট - প্রথম নজরে এটি যুক্তিযুক্ত বলে মনে হয়। যদিও আমি এই বিষয়ে কিছুই খুঁজে পাইনি এবং আমি অবাক হয়েছি যে এটি কারণ হ'ল নিয়মিতকরণ প্রতি আইটেম আপডেটের পাশাপাশি কাজ করে না, বা এমনকি কোনও আলাদা নাম বা পরিবর্তিত সূত্রে চলে।