আমি প্রায় ২-৩ মিলিয়ন নিবন্ধ নিয়ে একটি বড় এলএসটিএম নেটওয়ার্ক প্রশিক্ষণ দিতে চলেছি এবং মেমোরি ত্রুটিগুলির সাথে লড়াই করছি (আমি এডাব্লুএস ইসি 2 জি 2 এক্স 2 লার্জ ব্যবহার করি)।
আমি খুঁজে পেয়েছি যে একটি সমাধান হ'ল হ্রাস করা batch_size। তবে, আমি নিশ্চিত নই যে এই পরামিতিটি কেবল মেমরি দক্ষতার সমস্যাগুলির সাথে সম্পর্কিত কিনা বা এটি আমার ফলাফলগুলিতে প্রভাব ফেলবে কিনা। প্রকৃতপক্ষে, আমি আরও লক্ষ্য করেছি যে batch_sizeউদাহরণগুলিতে ব্যবহৃত হয় সাধারণত দুটি শক্তি হিসাবে ব্যবহৃত হয়, যা আমি বুঝতে পারি না।
আমার নেটওয়ার্ক প্রশিক্ষণ নিতে আরও বেশি সময় নেয় কিনা তা আমি আপত্তি করি না তবে আমি জানতে চাই যে batch_sizeভবিষ্যদ্বাণীগুলির গুণমান হ্রাস পাবে কিনা।
ধন্যবাদ।
এই প্রশ্নটি কেরাসের জন্য নির্দিষ্ট নয়। আমি মনে করি যে সাধারণ কনসেসসটি হ'ল ছোট নমুনা আকারগুলি ধীরে ধীরে রূপান্তরিত হয় তবে স্থানীয় মিনিমাতে আটকা পড়ার ঝুঁকি কম
—
অ্যালেক্স
আমি এমন কেসগুলি দেখেছি যেখানে অনেক বড় ব্যাচের আকার একই সংখ্যক প্রশিক্ষণ যুগের সাথেও অভিব্যক্তি রোধ করতে পারে।
—
কার্টিস হোয়াইট