একটি এলএসটিএম মডেলের পরামিতিগুলির সংখ্যা

Question

একটি একক স্ট্যাকড এলএসটিএম এর কতটি পরামিতি রয়েছে? প্যারামিটারের সংখ্যা প্রয়োজনীয় প্রশিক্ষণের উদাহরণগুলির সংখ্যার উপর কম চাপ দেয় এবং প্রশিক্ষণের সময়কেও প্রভাবিত করে। সুতরাং প্যারামিটারের সংখ্যা জানার জন্য এলএসটিএম ব্যবহার করে প্রশিক্ষণের মডেলগুলি কার্যকর।

Answer 1

এলএসটিএমের দুটি ম্যাট্রিকের একটি সেট রয়েছে: প্রতিটি (3) গেটের জন্য ইউ এবং ডব্লিউ। ডায়াগ্রামে (।) ইনপুট এবং আউটপুট সহ এই ম্যাট্রিকগুলির গুণকে নির্দেশ করে ।$x$$h$

• U এর মাত্রা$n \times m$
• ডাব্লু এর মাত্রা$n \times n$
• তিনটি গেটের প্রত্যেকটির জন্য এই ম্যাট্রিকের আলাদা সেট রয়েছে (যেমন গেটের জন্য যাওয়া etc. ইত্যাদি)$U_{forget}$
• সেল স্টেট এস আপডেট করার জন্য এই ম্যাট্রিকের আরও একটি সেট রয়েছে
• উল্লিখিত ম্যাট্রিকগুলির উপরে, আপনাকে পক্ষপাতগুলি গণনা করতে হবে (ছবিতে নয়)

সুতরাং মোট # পরামিতি =$4(nm+n^{2} + n)$

Comments

একটি গভীর শিক্ষণ প্রকল্পের জন্য হার্ডওয়্যার প্রয়োজনীয়তা এবং প্রকল্প পরিকল্পনার অনুমানের বিষয়ে ব্যবহারিক সিদ্ধান্ত নেওয়ার সময় আমি নিজেই এই প্রশ্নের মুখোমুখি হয়েছি। পিএস: আমি খ্যাতি অর্জনের জন্য আমার নিজের প্রশ্নের উত্তর দিইনি। আমার উত্তরটি সম্প্রদায় থেকে সঠিক কিনা তা জানতে চাই ।

— wabbit

আপনি পক্ষপাতিত্ব ইউনিট উপেক্ষা করেছেন। নীচে অ্যাডাম ওউদাদের উত্তর দেখুন।

— অরুণ

বায়াসস নেই। আমি উত্তর সম্পাদনা করেছি।

— ইসকাচাতর

Answer 2

পূর্ববর্তী উত্তরগুলি অনুসরণ করে, এলএসটিএমের পরামিতিগুলির সংখ্যা, আকারের ইনপুট ভেক্টরগুলি গ্রহণ করবে এবং আকার এর আউটপুট ভেক্টরগুলি দেবে :$m$$n$

$$4(nm+n^2)$$

তবে আপনার এলএসটিএম-তে পক্ষপাতী ভেক্টর অন্তর্ভুক্ত রয়েছে ( উদাহরণস্বরূপ এটি কেরাসে ডিফল্ট ), সংখ্যাটি হয়ে যায়:

$$4(nm+n^2 + n)$$

Comments

এটিই একমাত্র সম্পূর্ণ উত্তর। অন্য প্রতিটি উত্তর পক্ষপাত নিউরনের ক্ষেত্রে উপেক্ষা করার বিষয়বস্তু প্রদর্শিত হয়।

— মনিকা 14 ই

যদি আপনার ইনপুট মি = 25 মাত্রা এবং যদি n = 100 ইউনিট, তারপর প্যারাম সংখ্যা = 4 * (100 * 25 + 100 ** 2+ 100) = 50400. সঙ্গে একটি LSTM স্তর ব্যবহার একটি কংক্রিট উদাহরণ দিতে,

— অরুন

ধরুন আমি টাইমস্টেপ ডেটা ব্যবহার করছি, আমার নীচের বোঝাপড়াটি কি সঠিক? n = 100: মানে আমার প্রতিটি নমুনায় 100 টি টাইমস্টেপ থাকবে (উদাহরণস্বরূপ) তাই আমার 100 ইউনিট দরকার। প্রতি = টাইমস্টেপে এম = 25 গড়, আমার 25 টি বৈশিষ্ট্য রয়েছে যেমন [ওজন, উচ্চতা, বয়স ...]।

— জেসন জাং

@ জেসনজ্যাং টাইমস্টেপের সংখ্যা প্রাসঙ্গিক নয়, কারণ একই এলএসটিএম সেল আপনার ইনপুট ভেক্টরগুলিতে (প্রতিটি টাইমস্টেপের জন্য একটি ভেক্টর) পুনরাবৃত্তভাবে প্রয়োগ করা হবে। আরুনকে "ইউনিট" বলা হয় প্রতিটি আউটপুট ভেক্টরের আকারও, টাইমস্টেপের সংখ্যা নয়।

— অ্যাডাম ওউদাদ

Answer 3

মতে এই :

এলএসটিএম সেল কাঠামো

LSTM সমীকরণ

অ-রৈখিকতা উপকরণ

ইনপুট যদি x_t আকার এন × 1, এবং আছে ঘ মেমরির কোষ, তারপর প্রতিটি আকার ওয়াট * এবং ইউ * হয় ঘ × এন , এবং ঘ × ঘ রেস্প। ডাব্লু এর আকার তখন 4 ডি d (এন + ডি) হবে । নোট DD মেমরির কোষের প্রতিটি এক নিজস্ব ওজন আছে যা ওয়াট * এবং ইউ * , এবং যে শুধুমাত্র সময় মেমরির সেল মান অন্যান্য LSTM ইউনিট সাথে ভাগ করা হয়েছে সঙ্গে পণ্য সময় হয় ইউ * ।

অরুণ মাল্যকে দুর্দান্ত উপস্থাপনার জন্য ধন্যবাদ।