টেনসরফ্লোতে গ্রেডিয়েন্ট ক্লিপিং কীভাবে প্রয়োগ করবেন?

Question 1

আমি জানতে চাই যে আরএনএন-তে এই গ্রেডিয়েন্টে গ্রেডিয়েন্ট ক্লিপিং কীভাবে প্রয়োগ করতে হবে যেখানে গ্রেডিয়েন্ট বিস্ফোরণের সম্ভাবনা রয়েছে।

tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)

এটি এমন উদাহরণ যা ব্যবহার করা যেতে পারে তবে আমি কোথায় এটি পরিচয় করিয়ে দেব? আরএনএন এর ডিফ মধ্যে

    lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0)
    # Split data because rnn cell needs a list of inputs for the RNN inner loop
    _X = tf.split(0, n_steps, _X) # n_steps
tf.clip_by_value(_X, -1, 1, name=None)

তবে এটি টেন্সর _ এক্স এর ইনপুট এবং ক্লিপটি কী কী ক্লিপ করা হবে তা নয় বলে কোনও অর্থ হয় না?

এর জন্য আমাকে কী আমার নিজস্ব অপটিমাইজার সংজ্ঞায়িত করতে হবে বা এর চেয়ে সহজ বিকল্প আছে?

Question 2

গ্রেডিয়েন্ট ক্লিপিং গ্রেডিয়েন্টগুলি গণনা করার পরে ঘটতে হবে, তবে মডেলটির পরামিতিগুলি আপডেট করার জন্য সেগুলি প্রয়োগ করার আগে। আপনার উদাহরণে, এই দুটি জিনিসই AdamOptimizer.minimize()পদ্ধতি দ্বারা পরিচালিত হয় ।

আপনার গ্রেডিয়েন্টগুলি ক্লিপ করার জন্য আপনাকে টেনসরফ্লো এর এপিআই ডকুমেন্টেশনে এই বিভাগে বর্ণিত হিসাবে স্পষ্টভাবে গণনা, ক্লিপ এবং সেগুলি প্রয়োগ করতে হবে । বিশেষত আপনাকে minimize()নীচের মতো কিছু সহ পদ্ধতিতে কলটির বিকল্প করতে হবে :

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(cost)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)

Question 3

যা জনপ্রিয় বলে মনে হচ্ছে তা সত্ত্বেও, আপনি সম্ভবত পুরো বিশ্বব্যাপী তার বৈশ্বিক আদর্শ অনুসারে ক্লিপ করতে চান:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimize = optimizer.apply_gradients(zip(gradients, variables))

প্রতিটি গ্রেডিয়েন্ট ম্যাট্রিক্স পৃথকভাবে তাদের আপেক্ষিক স্কেল পরিবর্তন করে তবে এটি সম্ভব:

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients = [
    None if gradient is None else tf.clip_by_norm(gradient, 5.0)
    for gradient in gradients]
optimize = optimizer.apply_gradients(zip(gradients, variables))

টেনসরফ্লো 2-তে, একটি টেপ গ্রেডিয়েন্টগুলি গণনা করে, কেরাস থেকে অপ্টিমাইজার আসে, এবং আমাদের আপডেট অপশন সংরক্ষণ করার দরকার নেই কারণ এটি একটি সেশনে পাস না করে স্বয়ংক্রিয়ভাবে চলে:

optimizer = tf.keras.optimizers.Adam(1e-3)
# ...
with tf.GradientTape() as tape:
  loss = ...
variables = ...
gradients = tape.gradient(loss, variables)
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimizer.apply_gradients(zip(gradients, variables))

Question 4

ডকুমেন্টেশনে এটি যথাযথভাবে ব্যাখ্যা করা হয়েছে। :

কলিং মিনিমাইজ () গ্রেডিয়েন্টগুলি গণনা করা এবং ভেরিয়েবলগুলিতে প্রয়োগ করার উভয়ের যত্ন নেয়। আপনি যদি গ্রেডিয়েন্টগুলি প্রয়োগ করার আগে তাদের প্রক্রিয়া করতে চান তবে পরিবর্তে তিনটি ধাপে অপ্টিমাইজারটি ব্যবহার করতে পারেন:

কম্পিউট_ গ্রেডিয়েন্টস () দিয়ে গ্রেডিয়েন্টগুলি গণনা করুন।

আপনার ইচ্ছামতো গ্রেডিয়েন্টগুলি প্রক্রিয়া করুন।

প্রয়োগ_ গ্রেডিয়েন্টস () সহ প্রক্রিয়াজাত গ্রেডিয়েন্টগুলি প্রয়োগ করুন।

এবং তারা প্রদত্ত উদাহরণে তারা এই 3 টি পদক্ষেপ ব্যবহার করে:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

MyCapperআপনার গ্রেডিয়েন্টটি ক্যাপ করে এমন কোনও ফাংশন এখানে । দরকারী ফাংশনগুলির তালিকা (ব্যতীত tf.clip_by_value()) এখানে রয়েছে ।

Question 5

যারা গ্রেডিয়েন্ট ক্লিপিং (আদর্শ অনুসারে) ধারণাটি বুঝতে চান তাদের জন্য:

যখনই গ্রেডিয়েন্ট আদর্শটি একটি নির্দিষ্ট প্রান্তিকের চেয়ে বেশি হয়, আমরা গ্রেডিয়েন্ট আদর্শটি ক্লিপ করি যাতে এটি প্রান্তিকের মধ্যে থাকে। এই প্রান্তিক সময় কখনও কখনও সেট করা হয় 5।

গ্রেডিয়েন্টটি g এবং সর্বোচ্চ_নরম_ত্রেস্টલ્ડটি j হতে দিন ।

এখন, যদি || ছ || > জে , আমরা কি:

g = ( জে * জি ) / || ছ ||

এটি বাস্তবায়ন হয় tf.clip_by_norm

Question 6

আইএমও সেরা সমাধানটি আপনার অপটিমাইজারকে টিএফ এর অনুমানক ডেকরেটারের সাথে মোড়ক করছে tf.contrib.estimator.clip_gradients_by_norm:

original_optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
optimizer = tf.contrib.estimator.clip_gradients_by_norm(original_optimizer, clip_norm=5.0)
train_op = optimizer.minimize(loss)

এইভাবে আপনাকে কেবল একবার এটি সংজ্ঞায়িত করতে হবে এবং প্রতিটি গ্রেডিয়েন্ট গণনার পরে চালানো হবে না।

ডকুমেন্টেশন: https://www.tensorflow.org/api_docs/python/tf/contrib/estimator/ ক্লিপ_ গ্রেডিয়েন্টস_বাই_নর্ম

Question 7

গ্রেডিয়েন্ট ক্লিপিং মূলত বিস্ফোরিত হওয়া বা গ্রেডিয়েন্টগুলি নিখোঁজ হওয়ার ক্ষেত্রে সহায়তা করে ay আপনার ক্ষতি খুব বেশি, যার ফলে ন্যানের মান হতে পারে এমন নেটওয়ার্কের মধ্য দিয়ে ক্ষতিকারক গ্রেডিয়েন্টগুলি প্রবাহিত হবে। এটিকে কাটিয়ে উঠতে আমরা একটি নির্দিষ্ট পরিসরের মধ্যে গ্রেডিয়েন্টগুলি ক্লিপ করি (শর্ত অনুযায়ী কোনও -1 থেকে 1 বা কোনও ব্যাপ্তি)।

clipped_value=tf.clip_by_value(grad, -range, +range), var) for grad, var in grads_and_vars

যেখানে গ্রেড _ এবং_ভারগুলি গ্রেডিয়েন্টের জোড়া (যা আপনি tf.compute_gradient এর মাধ্যমে গণনা করেন) এবং তাদের ভেরিয়েবলগুলি এগুলিতে প্রয়োগ করা হবে।

ক্লিপিংয়ের পরে আমরা কেবলমাত্র একটি অপ্টিমাইজার ব্যবহার করে এর মান প্রয়োগ করি। optimizer.apply_gradients(clipped_value)

Question 8

এটি tf.keras জন্য সহজ!

optimizer = tf.keras.optimizers.Adam(clipvalue=1.0)

এই অপ্টিমাইজারটি সমস্ত গ্রেডিয়েন্টকে মানগুলির মধ্যে ক্লিপ করবে [-1.0, 1.0]।

দস্তাবেজগুলি দেখুন ।