হ্যাঁ, জিএনএস পাঠ্যের জন্য ব্যবহার করা যেতে পারে। তবে জিএনএস কীভাবে কাজ করে এবং কীভাবে সাধারণত নিউরাল নেটওয়ার্কগুলি দ্বারা টেক্সট উত্পন্ন হয় তার সংমিশ্রণে একটি সমস্যা রয়েছে:
- জেনার্স জেনারেটর এবং ডিসক্রিমিনেটর রচনার মাধ্যমে গ্রেডিয়েন্টগুলি প্রচার করে কাজ করে।
- টোকেন স্পেসের উপর চূড়ান্ত সফটম্যাক্স স্তর থাকার মাধ্যমে পাঠ্যটি সাধারণত উত্পন্ন হয়, এটি হ'ল নেটওয়ার্কের আউটপুট সাধারণত প্রতিটি টোকেন তৈরির সম্ভাবনা (যেমন একটি স্বতন্ত্র স্টোকাস্টিক ইউনিট)।
এই 2 টি জিনিস তাদের নিজের সাথে ভালভাবে কাজ করে না, কারণ আপনি পৃথক স্টোকাস্টিক ইউনিটের মাধ্যমে গ্রেডিয়েন্টগুলি প্রচার করতে পারবেন না। এটির মোকাবেলায় 2 টি প্রধান পন্থা রয়েছে: রেইনফোর্স অ্যালগরিদম এবং গুম্বেল-সফটম্যাক্স পুনঃনির্মাণ ( কংক্রিট বিতরণ নামেও পরিচিত )। অ্যাকাউন্টটি বিবেচনা করুন যে REINFORCE উচ্চতর বৈকল্পিক হিসাবে পরিচিত তাই আপনার ভাল গ্রেডিয়েন্ট অনুমানের জন্য প্রচুর পরিমাণে ডেটা প্রয়োজন।
পাঠ্য জিএএনগুলির জন্য পুনরায় সংস্থার উদাহরণ হিসাবে আপনি সেকগ্রান নিবন্ধটি পরীক্ষা করতে পারেন । গুম্বেল-সফটম্যাক্সের একটি উদাহরণ আপনি এই নিবন্ধটি পরীক্ষা করতে পারেন ।
আর একটি সম্পূর্ণ ভিন্ন বিকল্পের জেনারেটরের আউটপুট হিসাবে একটি পৃথক স্টোকাস্টিক ইউনিট না থাকা (যেমন এম্বেড থাকা স্থানে ডিগ্রিবাদীভাবে টোকেন জেনারেট করা), সুতরাং তাদের মাধ্যমে ব্যাকপ্রপ্যাটিংয়ের আসল সমস্যাটি দূর করে।