একাধিক এলএসটিএম স্ট্যাক করার সুবিধা কী কী?

Question

সুবিধাগুলি কী কী, কেন একটি গভীর নেটওয়ার্কে একাধিক এলএসটিএম ব্যবহার করা হবে? আমি একটি ইনপুট হিসাবে ইনপুটগুলির ক্রমটি উপস্থাপন করতে একটি LSTM ব্যবহার করছি। সুতরাং একবার আমি যে একক উপস্থাপনা - কেন আমি আবার এটি মাধ্যমে পাস হবে?

আমি এটি জিজ্ঞাসা করছি কারণ আমি প্রাকৃতিক ভাষার প্রজন্মের প্রোগ্রামে এটি দেখেছি।

Comments

আপনি কি আসলেই LSTM গুলি আড়ম্বরের মতো পাশাপাশি স্ট্যাকড (সময়ের ধাপে) বোঝাতে চেয়েছিলেন বা আপনার উল্লম্বভাবে স্ট্যাকড (প্রতিটি সময় পদক্ষেপের জন্য একাধিক LSTM কোষ) বোঝানো হয়েছে?

— wabbit

Answer 1

আমি মনে করি আপনি উল্লম্বভাবে সজ্জিত এলএসটিএম স্তরগুলি উল্লেখ করছেন (অনুভূমিক অক্ষগুলি সময় অক্ষ হিসাবে ধরে নিচ্ছেন)।

সেক্ষেত্রে এলএসটিএম স্ট্যাকিংয়ের মূল কারণটি বৃহত্তর মডেলের জটিলতার জন্য অনুমতি দেওয়া। একটি সরল ফিডফোরওয়ার্ড নেট এর ক্ষেত্রে আমরা কিছু মেশিন লার্নিংয়ের কাজে ব্যবহার করার জন্য ইনপুট ডেটার একটি শ্রেণিবিন্যাসিক বৈশিষ্ট্য উপস্থাপন তৈরি করতে স্তরগুলি স্ট্যাক করি। একই স্ট্যাকড এলএসটিএম এর জন্য প্রযোজ্য।

প্রতিটি সময়ে পুনরাবৃত্ত ইনপুট ছাড়াও একটি এলএসটিএম পদক্ষেপ নিন। যদি ইনপুটটি ইতিমধ্যে কোনও এলএসটিএম স্তর (বা ফিডফোরওয়ার্ড স্তর) থেকে ফলাফল হয় তবে বর্তমান এলএসটিএম বর্তমান ইনপুটটির আরও জটিল বৈশিষ্ট্য উপস্থাপনা তৈরি করতে পারে।

বৈশিষ্ট্য ইনপুট এবং এলএসটিএম স্তরের মধ্যে ফিডফোরওয়ার্ড স্তর থাকা এবং অন্য একটি এলএসটিএম স্তর থাকার মধ্যে পার্থক্য হ'ল ফিড ফরোয়ার্ড স্তরটি (সম্পূর্ণ সংযুক্ত স্তরটি বলুন) তার আগের সময়ের ধাপ থেকে প্রতিক্রিয়া গ্রহণ করে না এবং এইভাবে নির্দিষ্ট হিসাবে অ্যাকাউন্ট করতে পারে না নিদর্শন। স্থিরভাবে একটি এলএসটিএম থাকা (যেমন স্ট্যাকড এলএসটিএম উপস্থাপনা ব্যবহার করে) প্রতিটি স্তরে আরও জটিল ইনপুট নিদর্শনগুলি বর্ণনা করা যেতে পারে

Comments

একটি স্তরের মধ্যে এলএসটিএম কোষগুলি ইতিমধ্যে সম্পূর্ণরূপে, পুনরাবৃত্তভাবে একে অপরের সাথে সংযুক্ত থাকে (একটি স্তরের আউটপুটগুলিতে একই স্তরের সমস্ত ইনপুটগুলির সাথে সংযোগ থাকে)। অতএব, পৃথক কক্ষগুলি ইতিমধ্যে অন্যান্য কক্ষের আউটপুটগুলির শীর্ষগুলিতে সমস্ত বৈশিষ্ট্য এক স্তরের মধ্যে একত্র করতে পারে। কেন আপনি একাধিক স্তর আরও জটিল নিদর্শনগুলির ফলে ব্যাখ্যা করতে পারেন, দয়া করে?

— দানিজার

Answer 2

{1} থেকে:

গভীর আর্কিটেকচার দ্বারা প্রাপ্ত অতিরিক্ত শক্তি কী তা তাত্ত্বিকভাবে পরিষ্কার নয় তবে এটি অভিজ্ঞতার সাথে পর্যবেক্ষণ করা হয়েছে যে গভীর আরএনএনগুলি কিছু কাজের ক্ষেত্রে অগভীর চেয়ে ভাল কাজ করে work বিশেষত, স্যুটসেকার এট আল (২০১৪) রিপোর্ট করেছেন যে একটি এনকোডার-ডিকোডার ফ্রেমওয়ার্কে একটি 4-স্তর গভীর আর্কিটেকচার ভাল মেশিন-অনুবাদ কর্মক্ষমতা অর্জনে গুরুত্বপূর্ণ। ইরশয় এবং কার্ডি (২০১৪) বেশ কয়েকটি স্তর সহ এক-স্তর বিআই-আরএনএন থেকে একটি স্থাপত্যে সরিয়ে নেওয়া উন্নত ফলাফলের প্রতিবেদনও করেছে। অন্যান্য অনেকগুলি কাজের স্তরযুক্ত আরএনএন আর্কিটেকচার ব্যবহার করে ফলাফলের প্রতিবেদন করে তবে স্পষ্টভাবে 1-স্তর আরএনএনগুলির সাথে তুলনা করবেন না।

অবগতির জন্য:

• ডেটা সায়েন্স স্ট্যাক এক্সচেঞ্জে একই প্রশ্ন: এলএসটিএম স্ট্যাকিংয়ের সুবিধা?
• কেউ কি এলএসটিএম এবং জিআরইউ সেলগুলি একসাথে স্ট্যাক করছে এবং কেন?

---

তথ্যসূত্র:

• {1} গোল্ডবার্গ, যোয়াভ। "প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য নিউরাল নেটওয়ার্ক মডেলগুলির একটি প্রাইমার" জে আর্টিফ Intell। Res। (JAIR) 57 (2016): 345-420। https://scholar.google.com/scholar?cluster=3704132192758179278&hl=en&as_sdt=0,5 ; http://u.cs.biu.ac.il/~yogo/nnlp.pdf

Answer 3

সিকোয়েন্স শ্রেণিবদ্ধকরণের জন্য এলএসটিএমের সাথে ঘুরে বেড়ানো থেকে এটি সিএনএন-তে মডেল সক্ষমতা বাড়ানোর মতোই প্রভাব ফেলেছিল (যদি আপনি তাদের সাথে পরিচিত হন)। সুতরাং আপনি অবশ্যই লাভগুলি পাবেন বিশেষত যদি আপনি নিজের ডেটাটিকে ফিট করে থাকেন।

অবশ্যই ডাবল এজ হিসাবে আপনি আরও ফিট করতে পারেন এবং আরও খারাপ পারফরম্যান্স পেতে পারেন। আমার ক্ষেত্রে আমি 1 এলএসটিএম থেকে 2 স্ট্যাকে গিয়েছিলাম এবং তাত্ক্ষণিকভাবে তাত্ক্ষণিক উন্নতি পেয়েছি।