প্রশিক্ষণের ক্ষতি আবারও নিচে চলে যায়। কি হচ্ছে?

Question

আমার প্রশিক্ষণের ক্ষতি হ্রাস পায় এবং তারপরে আবারও চলে যান। এটা খুব অদ্ভুত। ক্রস-বৈধতা হ্রাস প্রশিক্ষণ ক্ষতি ট্র্যাক। কি হচ্ছে?

আমার দুটি নীচে স্ট্যাকড এলএসটিএমএস রয়েছে (কেরাসে):

model = Sequential()
model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices))))
model.add(Dropout(0.2))
model.add(LSTM(512, return_sequences=False))
model.add(Dropout(0.2))
model.add(Dense(len(nd.categories)))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adadelta')

আমি এটি 100 টি যুগের জন্য প্রশিক্ষণ দিচ্ছি:

model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2)

127803 নমুনায় ট্রেন, 31951 নমুনায় বৈধকরণ

এবং ক্ষতির মতো দেখতে এটি হ'ল:

Comments

আপনার পড়াশোনা 25 তম যুগের পরে বড় হতে পারে। এটিকে আরও ছোট করে সেট আপ করার চেষ্টা করুন এবং নিজের ক্ষতিটি আবার যাচাই করুন

— itdxer

কিন্তু কীভাবে অতিরিক্ত প্রশিক্ষণ প্রশিক্ষণের ডেটা ক্ষতি আরও বড় করতে পারে?

— patapouf_ai

দুঃখিত, আমি শেখার হার বলতে চাইছি।

— itdxer

আপনাকে ধন্যবাদ। আমি মনে করি আপনি যা বলেছেন তা অবশ্যই সঠিক পথে থাকা উচিত। আমি "অ্যাডাডেল্টা" এর পরিবর্তে "অ্যাডাম" ব্যবহার করার চেষ্টা করেছি এবং এটি সমস্যার সমাধান করেছে, যদিও আমি অনুমান করছি যে "অ্যাডাল্টা" এর শিক্ষার হার হ্রাস করা সম্ভবত কাজ করতে পারত। আপনি যদি একটি পূর্ণ উত্তর লিখতে চান তবে আমি তা গ্রহণ করব।

— patapouf_ai

Answer 1

আপনার শিক্ষার হার 25 তম যুগের পরে বড় হতে পারে। এই সমস্যাটি সনাক্ত করা সহজ। আপনার শেখার হারের জন্য আপনাকে কেবল একটি ছোট মান সেট আপ করতে হবে। যদি আপনার শিক্ষার হার সম্পর্কিত NN এর তুলনায় সমস্যাটি যদি ত্রুটিতে পৌঁছায় তবে এটি কিছু সময়ের পরে আবার উঠে যাবে। মূল কথাটি হ'ল কিছু সময় ত্রুটির হার কম হবে।

আপনি যদি এই আচরণটি পর্যবেক্ষণ করেন তবে আপনি দুটি সহজ সমাধান ব্যবহার করতে পারেন। প্রথমটি একটি সাদামাটা। খুব ছোট পদক্ষেপ সেট আপ করুন এবং এটি প্রশিক্ষণ দিন। দ্বিতীয়টি হ'ল একচেটিয়াভাবে আপনার শিক্ষার হার হ্রাস করা। এখানে একটি সহজ সূত্র:

$$\alpha(t + 1) = \frac{\alpha(0)}{1 + \frac{t}{m}}$$

যেখানে আপনার শেখার হার, হ'ল আপনার পুনরাবৃত্তি সংখ্যা এবং একটি সহগ যা শিক্ষার হার হ্রাসের গতি চিহ্নিত করে। এর মানে আপনার ধাপ দুই একটি গুণক দ্বারা কমান হবে যখন সমান ।$a$$t$$m$$t$$m$

Comments

ওপি যেমন কেরাস ব্যবহার করছিল, সামান্য আরও পরিশীলিত শিক্ষার হার আপডেট করার জন্য অন্য বিকল্পটি হ'ল রিডুসএলআরএনপ্ল্যাটোর মতো কলব্যাক ব্যবহার করা হবে , যা প্রদত্ত সংখ্যার জন্য বৈধতা হ্রাসের উন্নতি না হলে একবারের শিক্ষার হার হ্রাস করে।

— n1k31t4