ট্রান্সফর্মার মডেলটিতে অবস্থানগত এনকোডিং কী?

Question

আমি এমএল এ নতুন এবং এটি আমার এখানে প্রথম প্রশ্ন, তাই দুঃখিত যদি আমার প্রশ্নটি মূর্খ হয়।

আমি কাগজটি পড়ার এবং বোঝার চেষ্টা করছি আপনার দৃষ্টি আকর্ষণ করা দরকার এবং এটিতে একটি চিত্র রয়েছে:

অবস্থানগত এনকোডিং কী তা আমি জানি না । কিছু ইউটিউব ভিডিও শুনে আমি জানতে পেরেছি যে এটি একটি শব্দের অর্থ এবং অবস্থান উভয়ই এম্বেডিং এবং এর সাথে কিছু করার আছে$sin(x)$ অথবা $cos(x)$

তবে আমি বুঝতে পারি না এটি আসলে কী এবং এটি ঠিক কীভাবে করছে। তাই আমি এখানে কিছু সাহায্যের জন্য আছি। আগাম ধন্যবাদ.

Answer 1

উদাহরণস্বরূপ, শব্দের জন্য $w$ অবস্থান $pos \in [0, L-1]$ ইনপুট ক্রম $\boldsymbol{w}=(w_0,\cdots, w_{L-1})$, 4-মাত্রিক এমবেডিং সহ $e_{w}$, এবং $d_{model}=4$, অপারেশন হবে

$$\begin{align*}e_{w}' &= e_{w} + \left[sin\left(\frac{pos}{10000^{0}}\right), cos\left(\frac{pos}{10000^{0}}\right),sin\left(\frac{pos}{10000^{2/4}}\right),cos\left(\frac{pos}{10000^{2/4}}\right)\right]\\ &=e_{w} + \left[sin\left(pos\right), cos\left(pos\right),sin\left(\frac{pos}{100}\right),cos\left(\frac{pos}{100}\right)\right]\\ \end{align*}$$

যেখানে অবস্থানগত এনকোডিংয়ের সূত্রটি নীচে রয়েছে

$$\text{PE}(pos,2i)=sin\left(\frac{pos}{10000^{2i/d_{model}}}\right),$$ $$\text{PE}(pos,2i+1)=cos\left(\frac{pos}{10000^{2i/d_{model}}}\right).$$ সঙ্গে $d_{model}=512$ (সুতরাং $i \in [0, 255]$) মূল কাগজে।

প্রস্তাবিত আর্কিটেকচারে ওয়ার্ড অর্ডার (1 ম শব্দ, 2 য় শব্দ, ..) এর কোনও ধারণা না থাকায় এই কৌশলটি ব্যবহৃত হয় । ইনপুট সিকোয়েন্সের সমস্ত শব্দ কোনও বিশেষ অর্ডার বা অবস্থান (সাধারণ আরএনএন বা কনভনেট আর্কিটেকচারের বিপরীতে) ছাড়াই নেটওয়ার্ককে খাওয়ানো হয়, সুতরাং, শব্দগুলি কীভাবে অর্ডার করা হয়েছে তা মডেলটির কোনও ধারণা নেই। ফলস্বরূপ, প্রতিটি শব্দ-এম্বেডিংয়ে শব্দের ক্রমকে অন্তর্ভুক্ত করতে একটি অবস্থান-নির্ভর সংকেত যুক্ত করা হয়। পরীক্ষাগুলির উপর ভিত্তি করে, এই সংযোজন কেবল এম্বেডিং তথ্যকে ধ্বংস করা এড়িয়ে যায় না তবে গুরুত্বপূর্ণ অবস্থান সম্পর্কিত তথ্যও যোগ করে। আরএনএন-এর ক্ষেত্রে আমরা শব্দগুলি ক্রমানুসারে আরএনএনকে খাওয়াই, অর্থাৎ$n$-পরি শব্দটি ধাপে খাওয়ানো হয় $n$, যা শৃঙ্খলায় মডেলকে সহায়তা করে।

জে আলমমার এই নিবন্ধটি দুর্দান্ত ভিজ্যুয়ালাইজেশন সহ কাগজটি ব্যাখ্যা করে। দুর্ভাগ্যক্রমে, অবস্থানগত এনকোডিংয়ের জন্য এর উদাহরণটি এই মুহূর্তে ভুল (এটি ব্যবহার করে)$sin$ এমবেডিং মাত্রা এবং প্রথমার্ধের জন্য $cos$ দ্বিতীয়ার্ধের পরিবর্তে, ব্যবহারের পরিবর্তে $sin$ এমনকি সূচকের জন্য এবং $cos$ বিজোড় সূচকগুলির জন্য)।

Comments

আপনার এই চমৎকার নিবন্ধটি স্থিতিীয় এমবেডিংয়ের জন্য

— যোহান ওবাদিয়া

Answer 2

পজিশনাল এনকোডিং একটি শব্দের মূল্যবোধ এবং একটি বাক্যে এর অবস্থানের পুনঃপ্রতিনিধিত্ব (প্রদত্ত যে শেষে বা মাঝখানে যে শুরুর দিকে নয়)

তবে আপনাকে বিবেচনায় রাখতে হবে যে বাক্যগুলি যে কোনও দৈর্ঘ্যের হতে পারে, সুতরাং "X" শব্দটি বাক্যটির তৃতীয় হয় 'বিভিন্ন দৈর্ঘ্যের বাক্য থাকলে তা বোঝা যায় না: 3-বাক্য বাক্যে 3 য় সম্পূর্ণরূপে একটি 20-শব্দ বাক্য মধ্যে তৃতীয় থেকে পৃথক।

অবস্থানগত এনকোডার যা করে তা হ'ল চক্রীয় প্রকৃতির সহায়তা পাওয়া $sin(x)$ এবং $cos(x)$ একটি বাক্যে একটি শব্দের অবস্থানের তথ্য ফিরিয়ে আনার জন্য কাজ করে।

Comments

ধন্যবাদ. এই অবস্থানিক এনকোডারটি কীভাবে এটি এর সাথে করে তা আপনি কী ব্যাখ্যা করতে পারেন$sin$ এবং $cos$?

— পেইম্যান

Answer 3

অন্যান্য উত্তরের সাথে যোগ করতে, ওপেনএআইএফের রেফারেশন বাস্তবায়ন প্রাকৃতিক লগ-স্পেসে এটি গণনা করে (নির্ভুলতার উন্নতি করতে, আমি মনে করি they তারা বেস 2 এ লগইন করতে পারত কিনা তা নিশ্চিত নয়)) তারা এনকোডিং নিয়ে আসে নি। এখানে ফোর-ফর লুপ হিসাবে সিটিতে পুনর্লিখন করা PE লুক টেবিল প্রজন্মটি রয়েছে:

int d_model = 512, max_len = 5000;
double pe[max_len][d_model];

for (int i = 0; i < max_len; i++) {
   for (int k = 0; k < d_model; k = k + 2) {
      double div_term = exp(k * -log(10000.0) / d_model);
      pe[i][k] = sin(i * div_term);
      pe[i][k + 1] = cos(i * div_term);
   }
}