এই সময়ে, স্টোকাস্টিক গ্রেডিয়েন্ট ভিত্তিক পদ্ধতিগুলি প্রায়শই গভীর শিক্ষার জন্য পছন্দের অ্যালগরিদম। এর অর্থ এটি ব্যাচ হিসাবে আসে, গ্রেডিয়েন্টগুলি গণনা করা হয় এবং প্যারামিটারগুলি আপডেট হয়। এর অর্থ প্রতিটি ব্যাচ নির্বাচিত হওয়ায় আপনি ডেটা থেকে লোকসানের পরিমাণও গণনা করতে পারবেন। এই কাঠামোর অধীনে, ক্ষতির হিসাব কীভাবে করা যায় তার দুটি উপায় রয়েছে যা আমি ভাবতে পারি যা ট্রেনিং ত্রুটি বৈধতা ত্রুটির চেয়ে বেশি। নীচে, আমি দেখিয়েছি যে কেরাস প্রকৃতপক্ষে এই উপায়ে ইন-নমুনা ত্রুটিগুলি গণনা করতে দেখায়।
১) প্রশিক্ষণের ত্রুটি সমগ্র যুগের তুলনায় গড় হয়, বরং সমস্ত যুগের একসাথে, তবে বৈধতা ত্রুটিটি কেবল যুগের শেষে হয়। নোট করুন যে বৈধতা ত্রুটির পুরোপুরি আপডেট হওয়ার সুবিধা রয়েছে, যখন প্রশিক্ষণ ত্রুটিতে কম আপডেটের সাথে ত্রুটির গণনা অন্তর্ভুক্ত রয়েছে। অবশ্যই, অ্যাসিম্পোটোটিকভাবে এই প্রভাবটি সাধারণত অদৃশ্য হয়ে যায়।
২) ব্যাচ আপডেট হওয়ার আগে প্রশিক্ষণের ত্রুটি গণনা করা হয়। স্টোকাস্টিক গ্রেডিয়েন্ট ভিত্তিক পদ্ধতিতে গ্রেডিয়েন্টের কিছু শব্দ রয়েছে। যখন কেউ একটি পাহাড়ে আরোহণ করছেন, এমন একটি উচ্চ সম্ভাবনা রয়েছে যে সমস্ত প্রশিক্ষণের নমুনার তুলনায় বিশ্বব্যাপী লোকসান হ্রাস পাচ্ছে। যাইহোক, যখন কেউ খুব মোডে বন্ধ পায়, আপডেট দিক নমুনা থেকে সম্মান সঙ্গে নেতিবাচক হতে হবে মধ্যে আপনার ব্যাচ। তবে যেহেতু আমরা একটি মোড ঘুরে বেড়াচ্ছি, এর অর্থ হল গড় হিসাবে আমাদের অবশ্যই একটি দিক বাছাই করতে হবে যা নমুনাগুলি প্রকাশের ক্ষেত্রে ইতিবাচক outব্যাচের। এখন, যদি আমরা প্রদত্ত ব্যাচের নমুনাগুলির প্রতি সম্মানের সাথে আপডেট করতে চলেছি, তার অর্থ তারা সম্ভাব্য অনেক ব্যাচের আপডেটগুলি যেগুলি তারা অন্তর্ভুক্ত ছিল না, দ্বারা আপডেটের আগে তাদের ক্ষতি গণনা করে আশেপাশে ঠেলে দেওয়া হয়েছে, এটি যখন স্টোকাস্টিক পদ্ধতিগুলি আপনার ডেটাসেটের অন্যান্য নমুনার পক্ষে সবচেয়ে বেশি প্যারামিটারকে ঠেলে দিয়েছে, এইভাবে প্রত্যাশিত ক্ষতির ফলে আমাদের একটি ছোট wardর্ধ্বমুখী পক্ষপাত দেওয়া হবে।
লক্ষ করুন যে অ্যাসিপোটোটিকভাবে (1) এর প্রভাব চলে যায়, (2) না! নীচে আমি দেখাই যে কেরাস (1) এবং (2) উভয়ই করতে দেখা যায়।
(1) দেখানো হচ্ছে যে মেট্রিকগুলি প্রতিটি ব্যাচের উপরে একসাথে একবারে না হয়ে গড়ের তুলনায় গড় হয়। নমুনা যথার্থতা বনাম Val_accuracy খুব প্রথম পর্বের দিকে Val_accuracy উপকারের মধ্যে বিশাল পার্থক্যটি লক্ষ্য করুন। কারণ কিছু নমুনা ত্রুটি খুব কম ব্যাচের আপডেটের সাথে গণনা করা হয়েছে।
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = 100,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 8s 176us/sample
- loss: 0.2320 - accuracy: 0.9216
- val_loss: 0.1581 - val_accuracy: 0.9636
Epoch 2/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1487 - accuracy: 0.9662
- val_loss: 0.1545 - val_accuracy: 0.9677
Epoch 3/3
46580/46580 [==============================] - 8s 165us/sample
- loss: 0.1471 - accuracy: 0.9687
- val_loss: 0.1424 - val_accuracy: 0.9699
<tensorflow.python.keras.callbacks.History object at 0x17070d080>
(২) প্রতিটি ব্যাচের আপডেটের আগে ত্রুটি দেখানো গণনা করা হয় । নোট করুন যে, প্রথম যুগের জন্য, যখন আমরা ব্যবহার করি batch_size = nRows(অর্থাত্, একটি ব্যাচের সমস্ত ডেটা), তখন ইন-স্যাম্পল ত্রুটিটি প্রথম যুগের জন্য প্রায় 0.5 (র্যান্ডম অনুমান), তবুও বৈধতা ত্রুটি 0.82। সুতরাং, ব্যাচ আপডেটের আগে ইন-স্যাম্পল ত্রুটিটি গণনা করা হয়েছিল , যখন ব্যাচ আপডেটের পরে বৈধতা ত্রুটি গণনা করা হয়েছিল ।
>>> model.fit(Xtrn, Xtrn, epochs = 3, batch_size = nRows,
... validation_data = (Xtst, Xtst))
Train on 46580 samples, validate on 1000 samples
Epoch 1/3
46580/46580 [==============================] - 9s 201us/sample
- loss: 0.7126 - accuracy: 0.5088
- val_loss: 0.5779 - val_accuracy: 0.8191
Epoch 2/3
46580/46580 [==============================] - 6s 136us/sample
- loss: 0.5770 - accuracy: 0.8211
- val_loss: 0.4940 - val_accuracy: 0.8249
Epoch 3/3
46580/46580 [==============================] - 6s 120us/sample
- loss: 0.4921 - accuracy: 0.8268
- val_loss: 0.4502 - val_accuracy: 0.8249