Keras Embeddingলেয়ার কোনো ম্যাট্রিক্স গুণ কিন্তু এটি শুধুমাত্র করণ নয়:
1. (ভোকাবুলারি_ সাইজ) এক্স (এম্বেডিং_ডাইমেনশন) মাত্রার একটি ওজন ম্যাট্রিক্স তৈরি করে
২. এই ওজন ম্যাট্রিক্সকে সূচক করে
কোনও শ্রেণি কী করে তা বোঝার জন্য উত্স কোডটি একবার ব্যবহার করা সর্বদা দরকারী। এই ক্ষেত্রে, আমরা কটাক্ষপাত থাকবে class এমবেডিং যা বেস স্তর থেকে উত্তরাধিকারী classনামক লেয়ার ।
(1) - (ভোকাবুলারি_ সাইজ) এক্স (এম্বেডিং_ডাইমেনশন) মাত্রার একটি ওজন ম্যাট্রিক্স তৈরি করা :
এটি এম্বেডিংয়েরbuild ক্রিয়াকলাপে ঘটছে :
def build(self, input_shape):
self.embeddings = self.add_weight(
shape=(self.input_dim, self.output_dim),
initializer=self.embeddings_initializer,
name='embeddings',
regularizer=self.embeddings_regularizer,
constraint=self.embeddings_constraint,
dtype=self.dtype)
self.built = True
আপনার যদি বেস ক্লাসের স্তরটির দিকে নজর থাকে তবে আপনি দেখতে পাবেন যে add_weightউপরের ফাংশনটি কেবল প্রশিক্ষণযোগ্য ওজনের একটি ম্যাট্রিক্স তৈরি করে (এই ক্ষেত্রে (শব্দভান্ডার_ আকার) x (এম্বেডিং_ডাইমেনশন) মাত্রাগুলি):
def add_weight(self,
name,
shape,
dtype=None,
initializer=None,
regularizer=None,
trainable=True,
constraint=None):
"""Adds a weight variable to the layer.
# Arguments
name: String, the name for the weight variable.
shape: The shape tuple of the weight.
dtype: The dtype of the weight.
initializer: An Initializer instance (callable).
regularizer: An optional Regularizer instance.
trainable: A boolean, whether the weight should
be trained via backprop or not (assuming
that the layer itself is also trainable).
constraint: An optional Constraint instance.
# Returns
The created weight variable.
"""
initializer = initializers.get(initializer)
if dtype is None:
dtype = K.floatx()
weight = K.variable(initializer(shape),
dtype=dtype,
name=name,
constraint=constraint)
if regularizer is not None:
with K.name_scope('weight_regularizer'):
self.add_loss(regularizer(weight))
if trainable:
self._trainable_weights.append(weight)
else:
self._non_trainable_weights.append(weight)
return weight
(2) - এই ওজন ম্যাট্রিক্স সূচীকরণ
এটি এম্বেডিংয়েরcall ক্রিয়াকলাপে ঘটছে :
def call(self, inputs):
if K.dtype(inputs) != 'int32':
inputs = K.cast(inputs, 'int32')
out = K.gather(self.embeddings, inputs)
return out
এই ফাংশন আউটপুট ফেরৎ Embeddingস্তর যার K.gather(self.embeddings, inputs)। Tf.keras.backend.gather ঠিক কী করে তা হ'ল ওয়েট ম্যাট্রিক্সকে self.embeddings( buildউপরে ফাংশনটি দেখুন ) inputsযা ধনাত্মক পূর্ণসংখ্যার তালিকা হওয়া উচিত according
উদাহরণস্বরূপ এই তালিকাগুলি পুনরুদ্ধার করা যেতে পারে যদি আপনি আপনার পাঠ্য / শব্দের ইনপুটগুলি কেরাসের ওয়ান_ হট ফাংশনে পাস করেন যা কোনও পাঠ্যকে মাপের শব্দের সূচকগুলির তালিকাতে এনকোড করে (এটি কোনও গরম এনকোডিং নয় - আরও তথ্যের জন্য এই উদাহরণটি দেখুন: https://machinelearningmastery.com/use-word-e এম্বেডিং-layers- ডিপি- বিসর্জন-keras/ )।
সুতরাং, সব। কোনও ম্যাট্রিক্স গুণ নেই।
বিপরীতভাবে, স্তর শুধুমাত্র দরকারী কারণ ঠিক একটি ম্যাট্রিক্স গুণ করণ এড়াতে হয় এবং অত: পর কিছু গণনীয় সম্পদের উপর economizes।Keras Embedding
অন্যথায়, আপনি ট্রেনযোগ্য ওজন ( (শব্দভাণ্ডার_ আকার) x (এম্বেডিং_ডাইমেনশন) মাত্রাগুলি) এর একটি ম্যাট্রিক্স পেতে কেবল একটি Keras ঘন স্তর (আপনার ইনপুট ডেটা এনকোড করার পরে) ব্যবহার করতে পারেন এবং তারপরে আউটপুট পেতে কেবল গুণটি করতে পারবেন যা হুবহু হবে স্তর আউটপুট সঙ্গে একই ।Embedding