কোনও আরএনএন মডেল করার জন্য সম্ভাব্য সিকোয়েন্স দৈর্ঘ্য কত?

Question

আমি টাইমসরিজ ডেটা মডেলিংয়ের জন্য একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (আরএনএন) এর একটি এলএসটিএম ( দীর্ঘ স্বল্পমেয়াদী মেমরি ) সংস্করণটি ব্যবহার করতে চাইছি। তথ্যের ক্রম দৈর্ঘ্য বাড়ার সাথে সাথে নেটওয়ার্কের জটিলতা বৃদ্ধি পায়। অতএব আমি কৌতূহলী যে কোন যথাযথ দৈর্ঘ্য কোনও ভাল নির্ভুলতার সাথে মডেল করা সম্ভব হবে?

আমি অত্যাধুনিক পদ্ধতির বাস্তবায়ন করতে কোনও অসুবিধা ছাড়াই LSTM এর তুলনামূলক সহজ সংস্করণটি ব্যবহার করতে চাই। আমার টাইমসারিতে প্রতিটি পর্যবেক্ষণে সম্ভবত 4 সংখ্যার ভেরিয়েবল এবং পর্যবেক্ষণের সংখ্যা 100.000 থেকে 1.000.000 এর কাছাকাছি হবে।

Answer 1

এটি সম্পূর্ণরূপে আপনার ডেটার প্রকৃতি এবং অভ্যন্তরীণ সম্পর্কের উপর নির্ভর করে, থাম্বের কোনও নিয়ম নেই। যাইহোক, আপনার কাছে প্রচুর পরিমাণে ডেটা রয়েছে বলে একটি 2-স্তর LSTM সময় সিরিজের সমস্যা / বেঞ্চমার্কগুলির একটি বৃহত আকারের মডেল করতে পারে।

তদ্ব্যতীত, আপনি পুরো সিরিজে ব্যাকপ্রোপগেট-সময়-সময় না তবে সাধারণত (২০০-৩০০) শেষ ধাপে যান। অনুকূল মানটি সন্ধান করতে আপনি গ্রিড অনুসন্ধান বা বায়সিয়ান অপ্টিমাইজেশন ব্যবহার করে ক্রস-বৈধকরণ করতে পারেন। তদ্ব্যতীত, আপনি এখানে প্যারামিটারগুলি দেখতে পারেন: https://github.com/wojzaremba/lstm/blob/master/main.lua ।

সুতরাং, ক্রম দৈর্ঘ্যটি আপনার মডেল প্রশিক্ষণকে সত্যই প্রভাবিত করে না তবে এটি আরও প্রশিক্ষণের উদাহরণ থাকার মতো, আপনি এটি পূর্ববর্তী স্থিতি পুনরায় সেট করার পরিবর্তে রাখবেন।

Comments

বলুন যে আমার অনুভূতি বিশ্লেষণ করা দরকার, যা একাধিকবার এক দৃষ্টিভঙ্গি ( করপ্যাথি . github.io/2015/05/21/rnn-e تاثیرতা দেখুন )। এই প্রেরণের প্রতিটি খুব দীর্ঘ (> 200 শব্দ)। আমি যদি কেবল স্বাভাবিক 35 টি পদক্ষেপের সময় ব্যাকপ্রপাগেট করি তবে তা কী সমস্যা হবে না? যেহেতু এটি তত্ত্বাবধানে পড়াশোনা করা হয়েছে আমি অনুমান করি যে এটি বাইনারি শ্রেণিবদ্ধকরণ লক্ষ্যকে "হিট" করলেই এটি ব্যাকপ্রোপেট করতে পারে y। এভাবে কীভাবে আরপিএন বিপিটিটির জন্য নির্বাচিত 35 টি পদক্ষেপের আগে কোনও কিছুর উপর ভিত্তি করে ওজন সামঞ্জস্য করবে?

— পীর

ঠিক আছে, পরের প্রশিক্ষণ পদক্ষেপে একই ওজনগুলি পুনরায় ব্যবহার করা হওয়ায় এটি কোনও সমস্যা হবে না। তদ্ব্যতীত, আপনি যদি পদক্ষেপ 36 এ সোর্স কোড দেখতে পান (বলুন) আরম্ভের ভেক্টরটি শূন্যের নয়, তবে ধাপ 35 এর রাজ্য So

— ইন্নিস Assael

কেবল পরিষ্কার করার জন্য: বিপিটিটি কি একক বাক্যে একাধিকবার বা একাধিকবার চালিত হয়? যদি এটি একবারে চালানো হয়, তবে বাক্যটির প্রথম প্রথম দুটি শব্দকে প্রভাবিত করে এমন নিদর্শনগুলি কেবল লুকানো অবস্থায় প্রভাবিত করবে, তাই না? মানে .. গ্রেডিয়েন্টগুলি কখনই ইনপুটটির সেই অংশের সাথে গণনা করা হবে না।

— পীর

আমি আলাদা প্রশ্ন আমি আশা করি যে আপনি এ :) দেখবে হিসাবে এই জিজ্ঞাসা করেছি stats.stackexchange.com/questions/167482/...

— পীর

"প্রদত্ত যে আপনার কাছে প্রচুর পরিমাণে ডেটা রয়েছে একটি 2-স্তরের LSTM যে কোনও সময় সিরিজের মডেল করতে পারে" " প্রমাণ কোথায়?

— nbro