পাঠ্যগুলির জন্যও জিএএনএস (জেনারেটর অ্যাডভারসিয়াল নেটওয়ার্ক) সম্ভব?


14

জিএনএস - জেনারেটর অ্যাডভারসিয়াল নেটওয়ার্কগুলি - কেবল চিত্রগুলির জন্য ভাল, বা পাঠ্যের জন্যও ব্যবহার করা যেতে পারে?

পছন্দ করুন, সারাংশ থেকে অর্থবহ পাঠ্য উত্পন্ন করতে কোনও নেটওয়ার্ককে প্রশিক্ষণ দিন।

ইউপিডি - জিএএন আবিষ্কারক ইয়ান গুডফেলো থেকে উদ্ধৃতি।

জ্যানগুলি এনএলপিতে প্রয়োগ করা হয়নি কারণ GAN গুলি কেবল আসল-মূল্যবান ডেটার জন্যই সংজ্ঞায়িত। ( 2016 ) উত্স

এটি মৌলিকভাবে ত্রুটিযুক্ত ধারণা নয়। নিম্নলিখিত অন্তত এক ... কি সম্ভব হওয়া উচিত (2017) সোর্স


2
আপনি যে উদ্ধৃতিটি উদ্ধৃত করেছেন তা ২০১ 2016 সালের জানুয়ারী, তাই খুব বেশি তারিখের নয়। একই বিষয় সম্পর্কে ইয়ান গুডফেলো দ্বারা এখানে আরও সাম্প্রতিক উত্তর (ডিসেম্বর 2016) দেওয়া হয়েছে, যেখানে তিনি পাঠ্য সহ জিএএনএস ব্যবহারের কয়েকটি পদ্ধতির উল্লেখ করেছেন।
এনসিএসাস

উত্তর:


17

হ্যাঁ, জিএনএস পাঠ্যের জন্য ব্যবহার করা যেতে পারে। তবে জিএনএস কীভাবে কাজ করে এবং কীভাবে সাধারণত নিউরাল নেটওয়ার্কগুলি দ্বারা টেক্সট উত্পন্ন হয় তার সংমিশ্রণে একটি সমস্যা রয়েছে:

  • জেনার্স জেনারেটর এবং ডিসক্রিমিনেটর রচনার মাধ্যমে গ্রেডিয়েন্টগুলি প্রচার করে কাজ করে।
  • টোকেন স্পেসের উপর চূড়ান্ত সফটম্যাক্স স্তর থাকার মাধ্যমে পাঠ্যটি সাধারণত উত্পন্ন হয়, এটি হ'ল নেটওয়ার্কের আউটপুট সাধারণত প্রতিটি টোকেন তৈরির সম্ভাবনা (যেমন একটি স্বতন্ত্র স্টোকাস্টিক ইউনিট)।

এই 2 টি জিনিস তাদের নিজের সাথে ভালভাবে কাজ করে না, কারণ আপনি পৃথক স্টোকাস্টিক ইউনিটের মাধ্যমে গ্রেডিয়েন্টগুলি প্রচার করতে পারবেন না। এটির মোকাবেলায় 2 টি প্রধান পন্থা রয়েছে: রেইনফোর্স অ্যালগরিদম এবং গুম্বেল-সফটম্যাক্স পুনঃনির্মাণ ( কংক্রিট বিতরণ নামেও পরিচিত )। অ্যাকাউন্টটি বিবেচনা করুন যে REINFORCE উচ্চতর বৈকল্পিক হিসাবে পরিচিত তাই আপনার ভাল গ্রেডিয়েন্ট অনুমানের জন্য প্রচুর পরিমাণে ডেটা প্রয়োজন।

পাঠ্য জিএএনগুলির জন্য পুনরায় সংস্থার উদাহরণ হিসাবে আপনি সেকগ্রান নিবন্ধটি পরীক্ষা করতে পারেন । গুম্বেল-সফটম্যাক্সের একটি উদাহরণ আপনি এই নিবন্ধটি পরীক্ষা করতে পারেন ।

আর একটি সম্পূর্ণ ভিন্ন বিকল্পের জেনারেটরের আউটপুট হিসাবে একটি পৃথক স্টোকাস্টিক ইউনিট না থাকা (যেমন এম্বেড থাকা স্থানে ডিগ্রিবাদীভাবে টোকেন জেনারেট করা), সুতরাং তাদের মাধ্যমে ব্যাকপ্রপ্যাটিংয়ের আসল সমস্যাটি দূর করে।


3

এই বিষয়ে আরও সুনির্দিষ্ট গবেষণা রয়েছে:

প্রশিক্ষিত জেনারেটর ব্যাকরণ এবং যুক্তির নির্দিষ্ট স্তরের সাথে বাক্য তৈরি করতে সক্ষম।

জুয়েরং জিয়াও, "জেনারেটাল অ্যাডভারসিয়াল ট্রেনিং ব্যবহার করে পাঠ্য জেনারেশন"

এই প্রশ্নটির সাথে এটি জড়িত: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-ste वैज्ञानिक- problem


1
দেখে মনে হচ্ছে এই প্রশ্নটি মুছে ফেলা হয়েছে, আপনি দয়া করে বিশদ ভাষাগুলি সরবরাহ
শক্তি

0

হ্যাঁ, জ্যানগুলি এখন পৃথক ডেটার জন্যও ব্যবহার করা যায়। ওয়াসারস্টেইন জিএএনএস (ডাব্লুজিএএন) যখন অস্তিত্ব নিয়ে এসেছিল তখন এই স্বজ্ঞানের প্রথম উদাহরণটি দেখা গেল came ইয়ান গুডফেলো এনআইপিএস ২০১ Conference সম্মেলনে এই সমস্যাটির জন্য একটি রিইনফোর্সমেন্ট লার্নিং পদ্ধতির উদ্দেশ্যেও সম্বোধন করেছিলেন, এছাড়াও এই নিবন্ধটি বিচ্ছিন্ন তথ্যের ক্ষেত্রে জিএএন-তে অগ্রগতি নিয়ে আলোচনা করেছে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.