এলএসটিএম ইউনিট বনাম কোষগুলি বোঝা

Question

আমি কিছু সময়ের জন্য এলএসটিএম পড়ছি। আমি একটি উচ্চ স্তরে বুঝতে পারি যে কীভাবে সবকিছু কাজ করে। যাইহোক, Tensorflow আমি ব্যবহার তাদের বাস্তবায়ন করতে যাচ্ছে লক্ষ্য করেছি যে BasicLSTMCell একটি প্রয়োজন একক সংখ্যা (অর্থাত num_units) প্যারামিটার।

থেকে এই LSTMs খুব পুঙ্খানুপুঙ্খ ব্যাখ্যা, আমি জড়ো করেছি যে একটি একক LSTM ইউনিট নিম্নলিখিত এক

যা আসলে একটি জিআরইউ ইউনিট।

আমি যে পরামিতি অনুমান num_unitsএর BasicLSTMCellএগুলির মধ্যে কতগুলি আমরা একটি স্তর একে অপরের সাথে হুক আপ করতে চান উল্লেখ করা হয়।

এটি প্রশ্ন ছেড়ে দেয় - এই প্রসঙ্গে একটি "সেল" কী? একটি "সেল" একটি সাধারণ ফিড-ফরোয়ার্ড নিউরাল নেটওয়ার্কের একটি স্তরের সমতুল্য?

Comments

আমি এখনও বিভ্রান্ত হয়ে পড়েছি, আমি colah.github.io/posts/2015-08- ব্যাখ্যা -LSTMs পড়ছিলাম এবং আমি এটি ভালভাবে বুঝতে পারি। এই নিবন্ধের ক্ষেত্রে সেল শব্দটি কীভাবে প্রযোজ্য? দেখে মনে হচ্ছে নিবন্ধের একটি এলএসটিএম সেল টেেন্সরফ্রোমের মতো ভেক্টর, তাই না?

— পিনোচিও

Answer 1

num_units$h_t$

এছাড়াও, https://github.com/tensor ফ্লোস / স্পেনফ্লো / ব্লব / মাস্টার / স্পেনফ্লো / জি 3 ডক / অ্যাপি_ডোকস / প্যাথন / ফাংশন_এন্ড_ক্ল্যাশস / এসআরডি 9 / tf.nn.rnn_सेल.RNNCell.md থেকে :

এই প্যাকেজের কোষের সংজ্ঞা সাহিত্যে ব্যবহৃত সংজ্ঞা থেকে পৃথক। সাহিত্যে, সেলটি একটি একক স্কেলার আউটপুট সহ কোনও বস্তুকে বোঝায়। এই প্যাকেজের সংজ্ঞাটি এই জাতীয় ইউনিটের অনুভূমিক অ্যারে বোঝায়।

"এলএসটিএম স্তর" সম্ভবত আরও স্পষ্ট, উদাহরণ :

def lstm_layer(tparams, state_below, options, prefix='lstm', mask=None):
    nsteps = state_below.shape[0]
    if state_below.ndim == 3:
        n_samples = state_below.shape[1]
    else:
        n_samples = 1

    assert mask is not None
    […]

Comments

আমি দেখছি, সুতরাং একটি "ঘর" num_unitআন্তঃসংযুক্ত এলএসটিএম কোষগুলির একটি আকারের অনুভূমিক অ্যারে। ইন্দ্রিয় তোলে। তাহলে কি তাহলে কোনও স্ট্যান্ডার্ড ফিড-ফরোয়ার্ড নেটওয়ার্কের কোনও লুকানো স্তরের সাথে সাদৃশ্য হবে?

* এলএসটিএম রাষ্ট্রের ইউনিট

@rec এটি সঠিক

— ফ্রাঙ্ক ডারনকোর্ট

@ সাইকোরাক্স উদাহরণস্বরূপ, যদি নিউরাল নেটওয়ার্কের ইনপুটটি 10 ​​সময় পদক্ষেপ সহ টাইমসারিজ হয় তবে অনুভূমিক মাত্রায় 10 টি উপাদান থাকে।

— ফ্রাঙ্ক ডারননকোর্ট

আমি এখনও বিভ্রান্ত হয়ে পড়েছি, আমি colah.github.io/posts/2015-08- ব্যাখ্যা -LSTMs পড়ছিলাম এবং আমি এটি ভালভাবে বুঝতে পারি। এই নিবন্ধের ক্ষেত্রে সেল শব্দটি কীভাবে প্রযোজ্য? দেখে মনে হচ্ছে নিবন্ধের একটি এলএসটিএম সেল টেেন্সরফ্রোমের মতো ভেক্টর, তাই না?

— পিনোচিও

Answer 2

বেশিরভাগ এলএসটিএম / আরএনএন ডায়াগ্রামগুলি কেবল গোপন কক্ষগুলি দেখায় তবে কখনই সেগুলির একক হয় না। সুতরাং, বিভ্রান্তি। প্রতিটি লুকানো স্তরের গোপন কোষগুলি রয়েছে, যতগুলি সময় পদক্ষেপের সংখ্যা। এবং আরও, প্রতিটি লুকানো ঘর নীচের চিত্রের মতো একাধিক লুকানো ইউনিট নিয়ে গঠিত। অতএব, আরএনএন-এ একটি লুকানো স্তর ম্যাট্রিক্সের মাত্রা হ'ল (সময়ের পদক্ষেপের সংখ্যা, লুকানো ইউনিটের সংখ্যা)।

Answer 3

যদিও আমি এই উত্তরে যে উত্তরটি দিয়েছিলাম বিষয়টি প্রায় একই রকম , আমি এই সমস্যাটি চিত্রিত করতে চাই, যা গ্রাফিকের মধ্যে, সেক 2 সেক মডেলে (@ ফ্র্যাঙ্ক ডারননকোর্টের জবাবের জন্য ধন্যবাদ) আজ আমাকে কিছুটা বিভ্রান্ত করেছে। এই সাধারণ এনকোডার চিত্রটিতে:

$h_i$

Comments

আমি num_units = nএই চিত্রটিতে বিশ্বাস করি

— নোটিলাস

Answer 4

আমার মতে, সেল মানে নোড যেমন লুকানো ঘর যা লুকানো নোডও বলা হয়, মাল্টিলেয়ার এলএসটিএম মডেলের জন্য, সেল সংখ্যাটি টাইমস্টেপস * নাম_লেয়ার দ্বারা গণনা করা যেতে পারে, এবং সংখ্যা_উইনটি সময়_ পদক্ষেপের সমান

Answer 5

কেরাসের সেই ইউনিটগুলি আউটপুট স্পেসের মাত্রা, যা নেটওয়ার্কটি পুনরাবৃত্ত হওয়ার বিলম্ব (টাইম_স্টেপ) এর দৈর্ঘ্যের সমান।

keras.layers.LSTM(units, activation='tanh', ....)

https://keras.io/layers/recurrent/