ওপি আরসিপিন্টোর পরামর্শে আমি "গ্রাভ এট আল এর কাজের উপর ভিত্তি করে প্রায় অর্ধ ডজন কাগজপত্র যা ক্যালিবারের ফলাফল নিয়েছে" এবং কয়েকটি লিঙ্ক সরবরাহ করবে তা দেখার বিষয়ে একটি মন্তব্য রূপান্তরিত করেছি। মনে রাখবেন যে এটি কেবল গুগল ডিপমাইন্ড নয়, এনটিএম সম্পর্কিত প্রশ্নটির উত্তর দেয়, এছাড়াও আমি এখনও মেশিন লার্নিংয়ের দড়িটি শিখছি, সুতরাং এই কাগজপত্রগুলির কিছু উপাদান আমার মাথার উপরে রয়েছে; আমি গ্রাভস এট আল এর মূল কাগজ {1] তে বেশিরভাগ উপাদান উপলব্ধি করতে পেরেছি এবং যদিও পরীক্ষার জন্য হোমগ্রাউন এনটিএম কোড পাওয়ার খুব কাছাকাছি। আমি অন্তত কয়েক মাস ধরে নিম্নলিখিত কাগজপত্রগুলি স্কিম করেছিলাম; তারা এনটিএম স্টাডিকে কঠোর বৈজ্ঞানিক উপায়ে প্রতিলিপি দেয় না, তবে তাদের পরীক্ষামূলক ফলাফলের বেশিরভাগই কমপক্ষে স্পর্শকাতরভাবে মূলটিকে সমর্থন করে:
• ইন এই কাগজ , অ্যাড্রেসিং Gulcehere, এট NTM একটি বৈকল্পিক সংস্করণ। গ্রাভস এবং আল এর পরীক্ষাগুলি যথাযথভাবে প্রতিলিপি করার চেষ্টা করবেন না, তবে ডিপমাইন্ড দলের মতো এটি একটি সাধারণ পুনরাবৃত্ত এলএসটিএম-এর চেয়ে মূল এনটিএম এবং বিভিন্ন রূপের জন্য উল্লেখযোগ্যভাবে আরও ভাল ফলাফল প্রদর্শন করে। তারা এন-গ্রাম গ্রেভ এট আল এর চেয়ে ফেসবুক প্রশ্নোত্তর ডেটাসেটের 10,000 প্রশিক্ষণের নমুনা ব্যবহার করে। তাদের কাগজে চালিত হয়েছে, সুতরাং এটি কঠোরতম অর্থে প্রতিরূপ নয়। তবে তারা মূল এনটিএম এর একটি সংস্করণ এবং বেশ কয়েকটি বৈকল্পিক আপ এবং চলমান পরিচালনা করতে সক্ষম হয়েছিল এবং একই সাথে পারফরম্যান্স উন্নতির একই পরিমাণ রেকর্ড করেছে। 2
N মূল এনটিএমের বিপরীতে, এই গবেষণাটি শক্তিবৃদ্ধি শেখার একটি সংস্করণ পরীক্ষা করেছে যা পার্থক্যযোগ্য নয়; এই কারণেই হয়তো নিয়ন্ত্রক সামনের দিকে এগিয়ে যাওয়ার মধ্যে সীমাবদ্ধ না রাখলে তারা পুনরাবৃত্তি-অনুলিপির মতো বেশ কয়েকটি প্রোগ্রামিং-জাতীয় স্বাদ সমাধান করতে অক্ষম ছিল। তবুও তাদের ফলাফল এনটিএমগুলির ধারণাকে সমর্থন দেওয়ার পক্ষে যথেষ্ট ভাল ছিল। তাদের কাগজের আরও সাম্প্রতিক সংশোধন দৃশ্যত উপলভ্য, যা আমি এখনও পড়তে পারি না, তাই সম্ভবত তাদের বৈকল্পিকগুলির কিছু সমস্যা সমাধান করা হয়েছে। 3
L এলএসটিএম এর মতো সাধারণ স্নায়বিক জালগুলির বিরুদ্ধে এনটিএমের মূল গন্ধ পরীক্ষা করার পরিবর্তে, এই কাগজটি এটি আরও বেশ কয়েকটি উন্নত এনটিএম মেমরি স্ট্রাকচারের বিরুদ্ধে দাঁড় করিয়েছে। গ্রাভস এট, একই ধরণের প্রোগ্রামিং-জাতীয় কাজের জন্য তারা ভাল ফলাফল পেয়েছিল। পরীক্ষিত, তবে আমার মনে হয় না যে তারা একই ডেটাसेट ব্যবহার করছিল (তারা যে স্টাডিটি চালাচ্ছিল ঠিক কীভাবে তাদের গবেষণায় লেখা হয়েছে তা বলা শক্ত)। 4
• পি। এই অধ্যয়নের 8 টি , একটি এনটিএম ওমনিগ্লোট চরিত্রের স্বীকৃতি ডেটাসেটের জন্য বেশ কয়েকটি এলএসটিএম, ফিড-ফরোয়ার্ড এবং নিকটতম-প্রতিবেশী ভিত্তিক স্কিমগুলিকে পরিষ্কারভাবে সাফল্য দেয়। লেখক দ্বারা রান্না করা বাহ্যিক স্মৃতিতে বিকল্প পদ্ধতির স্পষ্টভাবে এটিকে মারধর করে তবে এটি এখনও স্পষ্টতই ভাল সম্পাদন করে। লেখকরা গুগলে একটি প্রতিদ্বন্দ্বী দলের অন্তর্ভুক্ত বলে মনে হচ্ছে, যাতে অনুলিপি মূল্যায়ন করার সময় এটি কোনও সমস্যা হতে পারে। 5
• পি। 2 এই লেখক অনুলিপি কার্যগুলির পরীক্ষায় "খুব বড় সিকোয়েন্সগুলিতে" আরও সাধারণীকরণের কথা বলেছিলেন, তারা জেনেটিক NEAT অ্যালগরিদমের সাথে বিবর্তিত হয়েছিল, যা ডায়নামিকভাবে টোপোলজিকে বৃদ্ধি করে। 6
আমার ধারণা, এনটিএমগুলি মোটামুটি নতুন তাই এখনও মূল গবেষণার অনুলিপি তৈরি করার মতো খুব বেশি সময় হয়নি I গ্রীষ্মের সময় আমি মুষ্টিমেয় কিছু কাগজপত্রগুলি পরীক্ষামূলক ফলাফলগুলিকে সমর্থন বলে মনে হয়; আমি এখনও এমন কোনও প্রতিবেদন দেখতে পাইনি যা দুর্দান্ত পারফরম্যান্স ব্যতিরেকে। অবশ্যই আমার একটি প্রাপ্যতা পক্ষপাত আছে, যেহেতু আমি কেবলমাত্র পিডিএফগুলিই পড়ি যা আমি সহজেই একটি অযত্নে অনুসন্ধান করতে পারি ইন্টারনেট অনুসন্ধানে। সেই ছোট্ট নমুনা থেকে মনে হয় বেশিরভাগ ফলো-আপ গবেষণা ধারণাটির প্রসারকে কেন্দ্র করে তৈরি করা হয়েছে, প্রতিলিপি নয়, যা প্রতিরূপতার ডেটার অভাবকে ব্যাখ্যা করবে। আমি আশা করি এটি সাহায্য করবে.
1 কবর, অ্যালেক্স; ওয়েইন, গ্রেগ এবং ড্যানিয়েলকা, আইভো, ২০১৪, "নিউরাল ট্যুরিং মেশিনস", ডিসেম্বর 10, 2014 প্রকাশিত।
2 গুলচেরে, ক্যাগলার; চন্দর, সরথ; চয়ে, কিংশুন এবং বেঞ্জিও, 2016, যোশুয়া, 30 জুন, ২০১ published প্রকাশিত "নরম এবং কঠোর সম্বোধনের স্কিম সহ গতিশীল নিউরাল টুরিং মেশিন"।
3 জারেম্বা, ওয়াজিয়াচ এবং স্যুটস্কেয়ার, ইলিয়া, 2015, 4 মে 2015, প্রকাশিত "রিইনফোর্সমেন্ট লার্নিং নিউরাল ট্যুরিং মেশিনস"।
4 ঝাং; ওয়েই; ইউ, ইয়াং এবং চাউ, বোভেন, ২০১৫, 25 অক্টোবর, 2015 প্রকাশিত "নিউরাল ট্যুরিং মেশিনগুলির জন্য স্ট্রাকচার্ড মেমরি"।
5 সান্টোরো, অ্যাডাম; বার্টুনভ, সের্গেই; বটভিনিক, ম্যাথিউ; উইয়ার্সট্রা, ডান এবং লিলিক্রাপ, টিমোথি, ২০১,, ১৯ মে, ২০১ published প্রকাশিত "মেমরি-অগমেন্টেড নিউরাল নেটওয়ার্কস সহ ওয়ান-শট লার্নিং"।
6 বল গ্রাভ, রাসমাস; জ্যাকবসেন, এমিল জুউল এবং সেবাস্তিয়ান রিসি, তারিখটি অজানা, "বিবর্তিত নিউরাল ট্যুরিং মেশিনস।" কোনও প্রকাশক তালিকাভুক্ত নয়
(সম্ভবত) বাদে সবগুলিই বোল গ্রাভ এট আল। কর্নেল ইউনিভার্সিটি লাইব্রেরি arXiv.org সংগ্রহস্থলে প্রকাশিত হয়েছিল: ইথাকা, নিউ ইয়র্ক।