টেনসরফ্লোতে প্রাক-প্রশিক্ষিত শব্দ এম্বেডিং (ওয়ার্ড 2 ওয়েভ বা গ্লোভ) ব্যবহার করে

Question 1

আমি সম্প্রতি সমঝোতা পাঠ্য শ্রেণিবিন্যাসের জন্য একটি আকর্ষণীয় বাস্তবায়ন পর্যালোচনা করেছি । তবে আমি পর্যালোচিত সমস্ত টেনসরফ্লো কোডগুলি নীচের মতো এলোমেলো ভেক্টরগুলি এলোমেলোভাবে (প্রাক প্রশিক্ষণপ্রাপ্ত নয়) ব্যবহার করে:

with tf.device('/cpu:0'), tf.name_scope("embedding"):
    W = tf.Variable(
        tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),
        name="W")
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x)
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1)

কেউ কীভাবে ওয়ার্ড 2vec বা গ্লোভের প্রাক-প্রশিক্ষিত শব্দ এম্বেডিংয়ের পরিবর্তে এলোমেলো ব্যবহারের ফলাফলগুলি ব্যবহার করতে জানেন?

Question 2

কয়েকটি উপায় রয়েছে যে আপনি টেনসরফ্লোতে প্রাক-প্রশিক্ষিত এম্বেডিং ব্যবহার করতে পারেন। ধরা যাক যে আপনার কাছে সারি এবং কলামগুলির embeddingসাথে ডাকা একটি NumPy অ্যারেতে এমবেডিং রয়েছে এবং আপনি একটি কল ব্যবহার করতে পারবেন এমন একটি টেনসর তৈরি করতে চান ।vocab_sizeembedding_dimWtf.nn.embedding_lookup()

কেবলমাত্র তৈরি Wহিসেবে tf.constant()যে সময় লাগে embeddingএর মান হিসাবে:
```
W = tf.constant(embedding, name="W")
```
এটি সবচেয়ে সহজ পদ্ধিতি, তবে এটি মেমরি দক্ষ নয় কারণ একটিটির মান tf.constant()একাধিকবার মেমরিতে সঞ্চয় করা হয়। যেহেতু embeddingখুব বড় হতে পারে তাই খেলনা উদাহরণের জন্য আপনার কেবল এই পদ্ধতির ব্যবহার করা উচিত।
Wএকটি হিসাবে তৈরি করুন tf.Variableএবং এটির মাধ্যমে নামপ্য অ্যারে থেকে সূচনা করুন tf.placeholder():
```
W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]),
                trainable=False, name="W")

embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim])
embedding_init = W.assign(embedding_placeholder)

# ...
sess = tf.Session()

sess.run(embedding_init, feed_dict={embedding_placeholder: embedding})
```
এটি embeddingগ্রাফের একটি অনুলিপি সংরক্ষণ করা এড়াতে পারে তবে ম্যাট্রিক্সের দুটি অনুলিপি একবারে মেমরিতে রাখার জন্য পর্যাপ্ত মেমরির প্রয়োজন নেই (একটি নুমপি অ্যারের জন্য এবং একটি tf.Variable) for নোট করুন যে আমি ধরে নিয়েছি যে প্রশিক্ষণের সময় আপনি এম্বেডিং ম্যাট্রিক্স ধ্রুবক রাখতে চান, তাই Wএটি তৈরি করা হয়েছে trainable=False।
যদি এম্বেডিংটি অন্য টেনসরফ্লো মডেলের অংশ হিসাবে প্রশিক্ষিত হয় তবে আপনি tf.train.Saverঅন্য মডেলের চেকপয়েন্ট ফাইল থেকে মানটি লোড করতে একটি ব্যবহার করতে পারেন । এর অর্থ এই যে এমবেডিং ম্যাট্রিক্স পুরোপুরি পাইথনকে বাইপাস করতে পারে। Wবিকল্প 2 হিসাবে তৈরি করুন , তারপরে নিম্নলিখিতটি করুন:
```
W = tf.Variable(...)

embedding_saver = tf.train.Saver({"name_of_variable_in_other_model": W})

# ...
sess = tf.Session()
embedding_saver.restore(sess, "checkpoint_filename.ckpt")
```

Question 3

আমি এম্বেডিং লোড এবং ভাগ করতে এই পদ্ধতিটি ব্যবহার করি।

W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False)

Question 4

@ মিরির উত্তর সঠিক নয় কারণ এটি প্রতিটি নেটওয়ার্ক চালিত এম্বেডিং ওজনের ওভাররাইটিংকে প্ররোচিত করে, তাই আপনি যদি আপনার নেটওয়ার্কটি প্রশিক্ষণের জন্য একটি মিনিব্যাচ পদ্ধতির অনুসরণ করছেন তবে আপনি এমবেডিংয়ের ওজনগুলি ওভাররাইট করছেন। সুতরাং, আমার দৃষ্টিতে প্রাক-প্রশিক্ষিত এম্বেডিংয়ের সঠিক উপায় হ'ল:

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))

Question 5

2.0 সামঞ্জস্যপূর্ণ উত্তর : অনেকগুলি প্রাক-প্রশিক্ষিত এম্বেডিং রয়েছে, যা গুগল দ্বারা বিকাশিত এবং সেগুলি ওপেন সোর্স করা হয়েছে।

এর মধ্যে কয়েকটি Universal Sentence Encoder (USE), ELMO, BERTহ'ল ইত্যাদি and এবং আপনার কোডগুলিতে সেগুলি পুনরায় ব্যবহার করা খুব সহজ।

পুনরায় ব্যবহার করার জন্য কোড Pre-Trained Embedding, Universal Sentence Encoderনিম্নে দেখানো হল:

  !pip install "tensorflow_hub>=0.6.0"
  !pip install "tensorflow>=2.0.0"

  import tensorflow as tf
  import tensorflow_hub as hub

  module_url = "https://tfhub.dev/google/universal-sentence-encoder/4"
  embed = hub.KerasLayer(module_url)
  embeddings = embed(["A long sentence.", "single-word",
                      "http://example.com"])
  print(embeddings.shape)  #(3,128)

আরও তথ্যের জন্য প্রাক প্রশিক্ষিত এম্বেডিংগুলি গুগলের দ্বারা বিকাশিত এবং উন্মুক্ত উত্সযুক্ত, টিএফ হাব লিংকটি দেখুন ।

Question 6

টেনসরফ্লো ভার্সন 2 সহ এটি এম্বেডিং স্তরটি ব্যবহার করা বেশ সহজ

X=tf.keras.layers.Embedding(input_dim=vocab_size,
                            output_dim=300,
                            input_length=Length_of_input_sequences,
                            embeddings_initializer=matrix_of_pretrained_weights
                            )(ur_inp)

Question 7

আমি এম্বেডিংয়ের সমস্যার মুখোমুখি হয়েছিলাম, তাই আমি ডেটাসেট সহ বিশদ টিউটোরিয়াল লিখেছিলাম। এখানে আমি যা চেষ্টা করেছি তা যুক্ত করতে চাই আপনি এই পদ্ধতিটিও দেখতে পারেন,

import tensorflow as tf

tf.reset_default_graph()

input_x=tf.placeholder(tf.int32,shape=[None,None])

#you have to edit shape according to your embedding size


Word_embedding = tf.get_variable(name="W", shape=[400000,100], initializer=tf.constant_initializer(np.array(word_embedding)), trainable=False)
embedding_loopup= tf.nn.embedding_lookup(Word_embedding,input_x)

with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        for ii in final_:
            print(sess.run(embedding_loopup,feed_dict={input_x:[ii]}))

এখানে বিশদ টিউটোরিয়াল আইপিথনের উদাহরণ কাজ করছে আপনি যদি স্ক্র্যাচ থেকে বুঝতে চান তবে একবার দেখুন।