প্রশ্ন ট্যাগ «lstm»

এলএসটিএম উদ্ভাবিত গ্রেডিয়েন্ট সমস্যা এড়াতে বিশেষত উদ্ভাবিত হয়েছিল। এটি কনস্ট্যান্ট ত্রুটি ক্যারোসেল (সিইসি) দিয়ে করার কথা রয়েছে, যা নীচের চিত্রটিতে ( গ্রিফ এট আল। থেকে ) ঘরের চারপাশের লুপের সাথে মিল রয়েছে । (সূত্র: ডিপলাইনিং ৪ জ.আর.আর ) এবং আমি বুঝতে পারি যে অংশটি একটি পরিচয় ফাংশনের ধরণের হিসাবে দেখা …

35 neural-networks  lstm 

আমি কিছু সময়ের জন্য এলএসটিএম পড়ছি। আমি একটি উচ্চ স্তরে বুঝতে পারি যে কীভাবে সবকিছু কাজ করে। যাইহোক, Tensorflow আমি ব্যবহার তাদের বাস্তবায়ন করতে যাচ্ছে লক্ষ্য করেছি যে BasicLSTMCell একটি প্রয়োজন একক সংখ্যা (অর্থাত num_units) প্যারামিটার। থেকে এই LSTMs খুব পুঙ্খানুপুঙ্খ ব্যাখ্যা, আমি জড়ো করেছি যে একটি একক LSTM ইউনিট …

32 neural-networks  terminology  lstm  rnn  tensorflow 

আমার প্রশিক্ষণের ক্ষতি হ্রাস পায় এবং তারপরে আবারও চলে যান। এটা খুব অদ্ভুত। ক্রস-বৈধতা হ্রাস প্রশিক্ষণ ক্ষতি ট্র্যাক। কি হচ্ছে? আমার দুটি নীচে স্ট্যাকড এলএসটিএমএস রয়েছে (কেরাসে): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') আমি এটি 100 টি যুগের জন্য প্রশিক্ষণ দিচ্ছি: …

26 machine-learning  neural-networks  loss-functions  lstm 

সুবিধাগুলি কী কী, কেন একটি গভীর নেটওয়ার্কে একাধিক এলএসটিএম ব্যবহার করা হবে? আমি একটি ইনপুট হিসাবে ইনপুটগুলির ক্রমটি উপস্থাপন করতে একটি LSTM ব্যবহার করছি। সুতরাং একবার আমি যে একক উপস্থাপনা - কেন আমি আবার এটি মাধ্যমে পাস হবে? আমি এটি জিজ্ঞাসা করছি কারণ আমি প্রাকৃতিক ভাষার প্রজন্মের প্রোগ্রামে এটি দেখেছি।

25 classification  neural-networks  deep-learning  lstm  rnn 

মনোযোগ ব্যবস্থা গত কয়েক বছরে বিভিন্ন ডিপ লার্নিং পেপারগুলিতে ব্যবহৃত হয়েছে। ওপেন এআইয়ের গবেষণার প্রধান ইলিয়া সুটসেকভার তাদের উত্সাহের সাথে তাদের প্রশংসা করেছেন: https ://towardsdatasজ্ঞ.com/the-fall-of-rnn-lstm-2d1594c74ce0 পারডিউ বিশ্ববিদ্যালয়ের ইউজিনিও কুলুরসিলো দাবি করেছেন যে আরএনএন এবং এলএসটিএমগুলি খাঁটি মনোযোগ-ভিত্তিক নিউরাল নেটওয়ার্কের পক্ষে ছেড়ে দেওয়া উচিত: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 এটি অতিরঞ্জিত বলে মনে হচ্ছে, তবে …

23 time-series  deep-learning  lstm  rnn  attention 

আমি "ক্রম শ্রেণিবিন্যাসের জন্য স্ট্যাকড এলএসটিএম" (নীচের কোডটি দেখুন) নামক কেরাস ডকুমেন্টেশনে বর্ণিত উদাহরণটি ব্যবহার করার চেষ্টা করছি input_shapeএবং আমার ডেটা প্রসঙ্গে প্যারামিটারটি বের করতে পারছি না । আমার ইনপুট হিসাবে সর্বাধিক দৈর্ঘ্যের 31 টি প্যাডযুক্ত ক্রমের সাথে পূর্ণসংখ্যায় এনকোড হওয়া 25 টি সম্ভাব্য অক্ষরের ক্রমগুলির একটি ম্যাট্রিক্স রয়েছে a …

20 lstm  keras  shape  dimensions 

সময় সিরিজের ডেটাতে প্রয়োগ করার জন্য আমি বিভিন্ন পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) আর্কিটেকচারগুলি বোঝার চেষ্টা করছি এবং আরএনএন বর্ণনা করার সময় ঘন ঘন ব্যবহৃত হওয়া বিভিন্ন নামের সাথে আমি কিছুটা বিভ্রান্ত হয়ে পড়ছি। দীর্ঘ স্বল্পমেয়াদী মেমরি (এলএসটিএম) এবং গেটেড পুনরাবৃত্ত ইউনিট (জিআরইউ) এর কাঠামোটি কি মূলত একটি প্রতিক্রিয়া লুপ সহ …

20 neural-networks  lstm  rnn 

আমি এলএসটিএমগুলির সাথে পরীক্ষার জন্য থিয়ানো ব্যবহার করছি, এবং ভাবছিলাম যে এলটিএসটিএম এর জন্য কোন অপ্টিমাইজেশন পদ্ধতি (এসজিডি, অ্যাডগ্রাড, অ্যাডাডেলটা, আরএমএসপ্রপ, অ্যাডাম ইত্যাদি) সবচেয়ে ভাল কাজ করে? এই বিষয়ে কোন গবেষণা কাগজপত্র আছে? এছাড়াও, আমি কী ধরণের প্রয়োগের জন্য এলএসটিএম ব্যবহার করছি তার উপরে কি উত্তর নির্ভর করে? যদি তা …

20 machine-learning  neural-networks  optimization  lstm 

আমি সম্প্রতি এলএসটিএমগুলিতে আগ্রহী হয়েছি এবং ওজন সময়ের সাথে ভাগ করে নেওয়া জেনে অবাক হয়েছি। আমি জানি যে আপনি যদি সময়ের সাথে ওজন ভাগ করে নেন তবে আপনার ইনপুট সময়ের সিকোয়েন্সগুলি একটি চলক দৈর্ঘ্য হতে পারে। ভাগ করা ওজন সহ আপনার প্রশিক্ষণের জন্য অনেক কম পরামিতি রয়েছে। আমার বোধগম্যতা থেকে, …

20 machine-learning  lstm  rnn 

আমার খুব সাধারণ সমস্যা আছে তবে আমি এটি সমাধান করার জন্য কোনও সঠিক সরঞ্জাম খুঁজে পাচ্ছি না। আমার একই দৈর্ঘ্যের ভেক্টরগুলির কিছু ক্রম রয়েছে। এখন আমি এই সিকোয়েন্সগুলির ট্রেনের নমুনায় এলএসটিএম আরএনএনকে প্রশিক্ষণ দিতে চাই এবং তারপরে এটি বেশ কয়েকটি প্রাইমিং ভেক্টরের উপর ভিত্তি করে দৈর্ঘ্যের এর ভেক্টরগুলির নতুন সিক্যুয়েন্সটির …

19 neural-networks  python  lstm 

আমি LSTM স্নায়ুর নেটওয়ার্ক নিম্নলিখিত ব্লগের মাধ্যমে যাচ্ছি: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ এলএসটিএমগুলির বিভিন্ন কনফিগারেশনের জন্য লেখক ইনপুট ভেক্টর এক্সকে [নমুনা, সময়ের ধাপ, বৈশিষ্ট্য] হিসাবে পুনরায় আকার দিন। লেখক লিখেছেন প্রকৃতপক্ষে, বর্ণগুলির ক্রমগুলি পৃথক বৈশিষ্ট্যগুলির এক সময়ের পদক্ষেপের পরিবর্তে কোনও বৈশিষ্ট্যের সময়ের পদক্ষেপ। আমরা নেটওয়ার্ককে আরও প্রসঙ্গ দিয়েছি, তবে এটি প্রত্যাশার মতো আরও …

17 neural-networks  lstm  rnn  tensorflow  tensor 

আমি টাইমসরিজ ডেটা মডেলিংয়ের জন্য একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) এর একটি এলএসটিএম ( দীর্ঘ স্বল্পমেয়াদী মেমরি ) সংস্করণটি ব্যবহার করতে চাইছি। তথ্যের ক্রম দৈর্ঘ্য বাড়ার সাথে সাথে নেটওয়ার্কের জটিলতা বৃদ্ধি পায়। অতএব আমি কৌতূহলী যে কোন যথাযথ দৈর্ঘ্য কোনও ভাল নির্ভুলতার সাথে মডেল করা সম্ভব হবে? আমি অত্যাধুনিক পদ্ধতির …

15 neural-networks  deep-learning  lstm 

আমি ফোনমে ক্লাসিফিকেশনে গ্র্যাভস ২০০৫ এর কাগজের মাধ্যমে সিকোয়েন্স লেবেলিংয়ের জন্য আরএনএনগুলির উচ্চ-স্তরের অ্যাপ্লিকেশনটি বোঝার চেষ্টা করছি । সমস্যার সংক্ষিপ্তসার হিসাবে: আমাদের কাছে একক বাক্যগুলির (ইনপুট) অডিও ফাইল এবং (আউটপুট) বিশেষজ্ঞের লেবেলযুক্ত শুরুর সময়, স্টপ টাইম এবং পৃথক ফোনমেসগুলির জন্য লেবেল (কিছু "বিশেষ" ফোনমাস যেমন নীরবতা, যেমন প্রতিটি অডিও ফাইলের …

15 lstm  rnn 

আমি সেন্টিমেন্টের পূর্বাভাসের জন্য ১৫০০ টি টুইটকে মডেলিং করছি একটি একক স্তর এলএসটিএম দিয়ে 128 টি লুকানো ইউনিট সহ 80 ডাইমেনড সহ ওয়ার্ড 2vec- এর মতো উপস্থাপনা ব্যবহার করে। আমি 1 যুগের পরে একটি বংশদ্ভুত নির্ভুলতা (এলোমেলো = 20% সহ 38%) পেয়েছি। প্রশিক্ষণের যথার্থতা আরোহণের সূচনা হওয়ার সাথে সাথে আরও …

13 deep-learning  regularization  overfitting  lstm 

পাঠ্যের শ্রেণিবদ্ধকরণের জন্য আমি একটি lstm এবং ফিড-ফরোয়ার্ড নেটওয়ার্ক ব্যবহার করছি। আমি পাঠ্যটিকে এক-গরম ভেক্টরগুলিতে রূপান্তর করি এবং প্রতিটিকে lstm এ ফিড করি যাতে আমি এটির একক উপস্থাপনা হিসাবে সংক্ষিপ্ত করতে পারি। তারপরে আমি এটি অন্য নেটওয়ার্কে ফিড করব। তবে আমি কীভাবে প্রশিক্ষণ দেব? আমি কেবল পাঠ্যটিকে শ্রেণিবদ্ধ করতে চাই …

13 classification  neural-networks  deep-learning  lstm