আমি সেন্টিমেন্টের পূর্বাভাসের জন্য ১৫০০ টি টুইটকে মডেলিং করছি একটি একক স্তর এলএসটিএম দিয়ে 128 টি লুকানো ইউনিট সহ 80 ডাইমেনড সহ ওয়ার্ড 2vec- এর মতো উপস্থাপনা ব্যবহার করে। আমি 1 যুগের পরে একটি বংশদ্ভুত নির্ভুলতা (এলোমেলো = 20% সহ 38%) পেয়েছি। প্রশিক্ষণের যথার্থতা আরোহণের সূচনা হওয়ার সাথে সাথে আরও প্রশিক্ষণ বৈধতার নির্ভুলতা হ্রাস শুরু করে - ওভারফিটিংয়ের একটি স্পষ্ট লক্ষণ।
তাই আমি নিয়মিতকরণ করার উপায়গুলি নিয়ে ভাবছি। আমি গোপন ইউনিটগুলির সংখ্যা হ্রাস না করার পছন্দ করব (128 ইতিমধ্যে কিছুটা কম বলে মনে হচ্ছে)। আমি বর্তমানে সম্ভাব্যতা 50% সহ ড্রপআউট ব্যবহার করি তবে এটি সম্ভবত বাড়ানো যেতে পারে। অপ্টিমাইজারটি হ'ল কেরাসের জন্য পূর্বনির্ধারিত প্যারামিটারগুলির সাথে অ্যাডাম ( http://keras.io/optimizer/#adam )।
আমার ডেটাসেটে এই মডেলটির জন্য ওভারফিটিং হ্রাস করার কয়েকটি কার্যকর উপায় কী?