সময় সিরিজের পূর্বাভাসের জন্য গভীর শিক্ষণ ব্যবহার করা

Question

আমি গভীর শিক্ষার ক্ষেত্রে নতুন এবং আমার জন্য প্রথম পদক্ষেপটি ছিল ডিপ্ল্রাইনিং.নেট সাইট থেকে আকর্ষণীয় নিবন্ধগুলি পড়া। গভীর শিক্ষার বিষয়ে গবেষণাপত্রগুলিতে, হিন্টন এবং অন্যান্যরা বেশিরভাগ ক্ষেত্রে এটি চিত্রের সমস্যায় প্রয়োগ করার বিষয়ে কথা বলেন। কেউ কি আমাকে উত্তর দেওয়ার চেষ্টা করতে পারে এটি কী সময় সিরিজের মানগুলি (আর্থিক, ইন্টারনেট ট্র্যাফিক, ...) পূর্বাভাস দেওয়ার সমস্যায় প্রয়োগ করা যেতে পারে এবং যদি সম্ভব হয় তবে আমার কী গুরুত্বপূর্ণ বিষয়গুলি ফোকাস করা উচিত?

Comments

পূর্বাভাসের জন্য গভীর শিক্ষার জন্য কোনও ম্যাটলব কোড উদাহরণ রয়েছে?

— ব্যবহারকারী3209559

না, আমি ডিপলাইনিং.নাট এবং পাইলার 2 লাইব্রেরি থেকে কোডটি ব্যবহার করছি যা আমি সংশোধন করেছি। এই পৃষ্ঠায় মাতলাব কোড উদাহরণগুলি সন্ধান করার চেষ্টা করুন এবং পূর্বাভাসের জন্য প্রয়োজনীয় পরিবর্তনগুলি করার চেষ্টা করুন।

— বেদরান

Answer 1

সিক্যুয়াল ডেটাগুলির জন্য গভীর শেখার পদ্ধতিগুলি মানিয়ে নেওয়ার বিষয়ে কিছু কাজ হয়েছে। এই কাজের অনেকগুলি "মডিউলগুলি" বিকাশের দিকে মনোনিবেশ করেছে যা একটি স্নায়ুবিহীন নেটওয়ার্ক গঠনের জন্য সীমাবদ্ধ বল্টজম্যান মেশিন (আরবিএম) বা অটোরকোডারগুলিকে স্ট্যাকিংয়ের সাথে সাদৃশ্যপূর্ণভাবে স্ট্যাক করা যেতে পারে। আমি নীচে কয়েকটি হাইলাইট করব:

• শর্তসাপেক্ষে আরবিএমস : সম্ভবত সময় সিরিজের জন্য গভীর শিক্ষার সবচেয়ে সফল অ্যাপ্লিকেশনগুলির মধ্যে একটি। টেলর একটি আরবিএমের মতো মডেল বিকাশ করে যা দৃশ্যমান ইউনিটগুলির মধ্যে অস্থায়ী মিথস্ক্রিয়া যুক্ত করে এবং এটি মডেলিং মোশন ক্যাপচার ডেটার সাথে প্রয়োগ করে। মূলত আপনি লিনিয়ার ডায়নামিকাল সিস্টেমের মতো কিছু দিয়ে লুকিয়ে থাকা ইউনিটগুলিতে কিছু অ-লিনিয়ারিটি যুক্ত করেন।
• টেম্পোরাল আরবিএমস : তাঁর থিসিসে (বিভাগ 3) ইউনিটগুলির মধ্যে সাময়িক মিথস্ক্রিয়া সম্পন্ন মডেলগুলির মতো বেশ কয়েকটি আরবিএম বিকাশ করে। তিনি এসজিডির সাথে প্রশিক্ষণ পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি মার্টেনসের হেসিয়ান-মুক্ত অ্যালগরিদমের মতো আরও জটিল পদ্ধতির চেয়ে ভাল বা আরও ভাল পারফরম্যান্স প্রদর্শন করে এমন কিছু আকর্ষণীয় ফলাফল উপস্থাপন করেন যা ভাল আরম্ভ এবং গতির জন্য কিছুটা পরিবর্তিত সমীকরণ ব্যবহার করে।
• রিকার্সিভ অটোনকোডারগুলি : অবশেষে আমি পার্সিংয়ের জন্য পুনরাবৃত্ত অটোএনকোডার ব্যবহার করার বিষয়ে রিচার্ড সোকারের কাজটি উল্লেখ করব। যদিও এটি সময়ের সিরিজ নয়, এটি অবশ্যই সম্পর্কিত।

Comments

গভীর / বৈশিষ্ট্য শেখার সম্প্রদায়ের চারপাশে এমন একটি ধারণাও ভাসমান যা আপনি পুনরাবৃত্ত নেটওয়ার্ককে দেখতে পারেন (প্রায়শই অনুক্রমিক ডেটা প্রয়োগ করা হয়) একটি গভীর নেটওয়ার্ক হিসাবে "তার পাশে", যেখানে সমস্ত স্তরগুলি একই ওজন ম্যাট্রিক্স ভাগ করে দেয়।

— lmjohns3

গভীর শিক্ষণ ব্যবহারের জন্য গণনার ক্ষমতার প্রয়োজনীয়তা সম্পর্কে কী বলা যায়? পাইথন বা মতলব কী গভীর শিক্ষার শিল্প-শক্তি সমস্যা সমাধানের জন্য উপযুক্ত?

— ব্যবহারকারী 3269

পাইাইলারন 2 সিএনডিএ সমর্থন সহ জিপিইউগুলিতে এক্সিকিউশন সক্ষম করে এমন থিয়ানো লাইব্রেরি ব্যবহার করে।

— বেদরান

Answer 2

হ্যাঁ, সময় সিরিজের পূর্বাভাসের জন্য গভীর শিক্ষার প্রয়োগ করা যেতে পারে। বাস্তবে, এটি ইতিমধ্যে অনেকবার করা হয়েছে, উদাহরণস্বরূপ:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

এটি আসলে কোনও "বিশেষ ক্ষেত্রে" নয়, গভীর শেখা বেশিরভাগ প্রিপ্রোসেসিং পদ্ধতি সম্পর্কে (জেনারেটরি মডেলের উপর ভিত্তি করে), সুতরাং যখন আপনি "ট্র্যাডিশনাল অর্থে" গভীর শেখার সময় আপনি ঠিক সেই একই বিষয়গুলিতে মনোনিবেশ করতে হয় যা আপনি " গভীর শিখন না করে সময় সিরিজের পূর্বাভাসগুলি সম্পাদন করার সময় হাত এবং একই জিনিসগুলিতে আপনি মনোযোগ দিন।

Answer 3

পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি এক ধরণের ডিপ লার্নিং (ডিএল) হিসাবে বিবেচিত হয়। আমি মনে করি তারা (1 ডি) সিকোয়েন্স-টু-সিকোয়েন্স শেখার জন্য সবচেয়ে জনপ্রিয় ডিএল সরঞ্জাম। এগুলি বর্তমানে নিউরাল মেশিন ট্রান্সলেশন (এনএমটি) পদ্ধতির ভিত্তিতে রয়েছে (লিসা (ইউডিএম), গুগলে অগ্রণী 2014) এবং সম্ভবত আমি দু'জনকে স্মরণ করছি না)।

Answer 4

অ্যালেক্স গ্রাভের পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলির সাথে জেনারেটিং সিকোয়েন্সগুলি পাঠ্য পূর্বাভাস দেওয়ার জন্য এবং হস্তাক্ষর সংশ্লেষণ করতে পুনরাবৃত্ত নেটওয়ার্ক এবং দীর্ঘ স্বল্পমেয়াদী মেমরি কোষ ব্যবহার করে।

আন্ড্রেজ কার্পাথি স্ক্র্যাচ থেকে চরিত্রের স্তর সিক্যুয়েন্স তৈরির বিষয়ে একটি ব্লগ লিখেছেন । তিনি তার টিউটোরিয়ালে আরএনএন ব্যবহার করেন।

আরও উদাহরণের জন্য, আপনার দিকে নজর দেওয়া উচিত- হোক্রেইটার, এস, এবং শ্মিধুবার, জে (1997)। দীর্ঘ স্বল্পমেয়াদী স্মৃতি। নিউরাল গণনা, 9 (8), 1735-1780।

Answer 5

সম্ভবত এটি সাহায্য করবে:

• আই সুসকিভার, ও। ভিনিয়ালস এবং কিউভি ভি লে, "নিউরাল নেটওয়ার্কগুলির সাথে সিকোয়েন্সে সিকোয়েন্স টু সিকোয়েন্স," অ্যাডভান্সস ইন নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমস, 2014, পৃষ্ঠা 3104–3112।

যদি এই কাগজ বা অনুচ্ছেদে বাক্যগুলির মতো ডেটাতে আপনার সঠিক সময় উইন্ডোটির সংজ্ঞা রয়েছে তবে আপনি এলএসটিএম ব্যবহার করে ভাল থাকবেন, তবে আমি কীভাবে সময় উইন্ডোটি সুস্পষ্ট নয় এবং আরও প্রসঙ্গের সাথে সচেতন তা কীভাবে সন্ধান করব তা নিশ্চিত নই। এর জন্য একটি উদাহরণ হতে পারে আপনি যে লগ ডেটা দেখছেন তার সাথে সম্পর্কিত এবং এটি সুস্পষ্ট কিছু নয়।

Comments

আপনি কি বলতে পারেন কাগজে কোনটি সহায়ক? এটি আকর্ষণীয় স্টাফ

— শ্যাডট্যালকার

আমি মনে করি আপনি এখানে অন্য কিছু কাগজপত্র পেতে পারেন: cs.stanford.edu/people/ang/?page_id=414

— এম.রিজ

ধন্যবাদ তবে এটাই আমি বোঝাতে চাইনি সাধারণত এখানে আমরা জিজ্ঞাসা করি যে লোকেদের কীভাবে কাগজপত্রগুলি লিঙ্ক করা হয় তা উত্তরের সাথে প্রাসঙ্গিক। এটি প্রত্যেকের পক্ষে সহায়ক, যার কাছে কাগজটি সন্ধান এবং পড়ার সময় নাও থাকতে পারে এবং বিশেষত লাইব্রেরি ডাটাবেসের সাবস্ক্রিপশনবিহীন লোকদের যারা অতীতে বেতন পাচ্ছেন না

— শ্যাডটলকার