টেনসরফ্লো সিআইএফএআর -10 শ্রেণিবদ্ধকরণ সম্পর্কে একটি উদাহরণ টিউটোরিয়াল রয়েছে । টিউটোরিয়ালে ব্যাচ জুড়ে গড় ক্রস এনট্রপি ক্ষতি হ্রাস করা হয়।
def loss(logits, labels):
"""Add L2Loss to all the trainable variables.
Add summary for for "Loss" and "Loss/avg".
Args:
logits: Logits from inference().
labels: Labels from distorted_inputs or inputs(). 1-D tensor
of shape [batch_size]
Returns:
Loss tensor of type float.
"""
# Calculate the average cross entropy loss across the batch.
labels = tf.cast(labels, tf.int64)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
logits, labels, name='cross_entropy_per_example')
cross_entropy_mean = tf.reduce_mean(cross_entropy, name='cross_entropy')
tf.add_to_collection('losses', cross_entropy_mean)
# The total loss is defined as the cross entropy loss plus all of the weight
# decay terms (L2 loss).
return tf.add_n(tf.get_collection('losses'), name='total_loss')
দেখুন cifar10.py , লাইন 267।
এর পরিবর্তে এটি ব্যাচ জুড়ে যোগফলকে হ্রাস করে না কেন? এটা কি কোন পার্থক্য তৈরি করছে? আমি বুঝতে পারি না এটি কীভাবে ব্যাকপ্রপ গণনায় প্রভাব ফেলবে।
যথাযথ পরিমাণ / গড় সম্পর্কিত নয়, তবে লোকসান পছন্দটি একটি অ্যাপ্লিকেশন ডিজাইনের পছন্দ। উদাহরণস্বরূপ, আপনি যদি সঠিকভাবে গড়ের সাথে ভাল থাকেন তবে গড়কে অনুকূলিত করুন। আপনি যদি অ্যাপ্লিকেশনটি সবচেয়ে খারাপ পরিস্থিতির জন্য সংবেদনশীল হন (যেমন, স্বয়ংচালিত ক্র্যাশ), আপনার সর্বোচ্চ মানটি অনুকূলিত করা উচিত।
—
অ্যালেক্স ক্রেইমার