আমি ভাবছি কোন পরিস্থিতিতে এলএসটিএম স্ট্যাক করা সুবিধাজনক?
উত্তর:
থেকে একাধিক LSTMs সারিবদ্ধ সুবিধার কি কি? (আমি কেবল উত্তরটি সেখানে আপডেট করব):
{1} থেকে:
গভীর আর্কিটেকচার দ্বারা অতিরিক্ত শক্তি কী অর্জন করা হয়েছে তা তাত্ত্বিকভাবে পরিষ্কার নয়, তবে অভিজ্ঞতার সাথে দেখা গেছে যে গভীর আরএনএনগুলি কিছু কাজের ক্ষেত্রে অগভীর চেয়ে আরও ভাল কাজ করে। বিশেষত, স্যুটসেকার এট আল (২০১৪) রিপোর্ট করেছেন যে একটি এনকোডার-ডিকোডার ফ্রেমওয়ার্কে একটি 4-স্তর গভীর আর্কিটেকচার ভাল মেশিন-অনুবাদ কর্মক্ষমতা অর্জনে গুরুত্বপূর্ণ। ইরশয় এবং কার্ডি (২০১৪) বেশ কয়েকটি স্তর সহ এক স্তরের বিআই-আরএনএন থেকে একটি স্থাপত্যে সরিয়ে নেওয়া উন্নত ফলাফলের প্রতিবেদনও করেছে। অন্যান্য অনেকগুলি কাজের স্তরযুক্ত আরএনএন আর্কিটেকচার ব্যবহার করে ফলাফলের প্রতিবেদন করে তবে স্পষ্টভাবে 1-স্তর আরএনএনগুলির সাথে তুলনা করবেন না।
তথ্যসূত্র:
- {1} গোল্ডবার্গ, যোয়াভ। "প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য নিউরাল নেটওয়ার্ক মডেলগুলির একটি প্রাইমার।" জে আর্টিফ Intell। Res। (JAIR) 57 (2016): 345-420। https://scholar.google.com/scholar?cluster=3704132192758179278&hl=en&as_sdt=0,5 ; http://u.cs.biu.ac.il/~yogo/nnlp.pdf
একটি পরিস্থিতি যেখানে এলএসটিএম স্ট্যাক করা সুবিধাজনক তা হ'ল আমরা যখন আমাদের সময়-সিরিজের ডেটাগুলির শ্রেণিবিন্যাসিক উপস্থাপনা শিখতে চাই। স্ট্যাকড এলএসটিএমগুলিতে, প্রতিটি এলএসটিএম স্তর ভেক্টরগুলির একটি ক্রম আউটপুট দেয় যা পরবর্তী এলএসটিএম স্তরের ইনপুট হিসাবে ব্যবহৃত হবে। লুকানো স্তরগুলির এই শ্রেণিবিন্যাসটি বিভিন্ন সময়গুলিতে তথ্য ক্যাপচার করে আমাদের সময়-সিরিজ ডেটার আরও জটিল উপস্থাপনা সক্ষম করে।
উদাহরণস্বরূপ, স্ট্যাকড এলএসটিএমগুলি সময়-সিরিজের শ্রেণিবিন্যাসের যথাযথতা উন্নতির জন্য ব্যবহার করা যেতে পারে যেমন কার্যকলাপের পূর্বাভাস, যার মধ্যে হার্ট-রেট, ধাপ-গণনা, জিপিএস এবং অন্যান্য সংকেত ব্যবহার করা যেতে পারে যেমন হাঁটাচলা, দৌড়ানো, বাইক চালানো, সিঁড়ি আরোহণ বা বিশ্রাম। ইইজি ডেটা ব্যবহার করে স্ট্যাকড এলএসটিএম সহ সময়-সিরিজের শ্রেণিবদ্ধকরণের উদাহরণের জন্য নিম্নলিখিত আইপথন নোটবুকটি একবার দেখুন ।
সিক্যুয়েন্স মডেলটির অনুক্রমে: এনকোডার নেটওয়ার্কের কাজটি হল আমাদের Seq2Seq মডেলের ইনপুট অনুক্রমটি পড়া এবং সিকোয়েন্সের জন্য একটি নির্দিষ্ট-মাত্রিক প্রসঙ্গ ভেক্টর সি তৈরি করা। এটি করতে, এনকোডারটি একবারে ইনপুট টোকেনগুলি পড়তে পুনরাবৃত্ত নিউরাল নেটওয়ার্ক সেল - সাধারণত একটি এলএসটিএম ব্যবহার করবে। কক্ষের চূড়ান্ত লুকানো অবস্থা সি হয়ে যাবে তবে, কারণ একক স্থির আকারের ভেক্টরের (বিশেষত অনুবাদ যেমন কঠিন কাজের জন্য) একটি স্বেচ্ছাসেবী দৈর্ঘ্যের ক্রম সংকুচিত করা এত কঠিন, এনকোডারটিতে সাধারণত সজ্জিত এলএসটিএম থাকে : LSTM "স্তর" এর একটি সিরিজ যেখানে প্রতিটি স্তরের আউটপুটগুলি পরবর্তী স্তরের ইনপুট অনুক্রম হয়। চূড়ান্ত স্তরের এলএসটিএম লুকানো অবস্থা কনটেক্সট ভেক্টর হিসাবে ব্যবহৃত হবে।