সাইন ওয়েভের পূর্বাভাস দেওয়ার ক্ষেত্রে আমি কীভাবে আমার নিউরাল নেটওয়ার্ককে আরও উন্নত করতে পারি?

Question

এখানে, একবার দেখুন: আপনি প্রশিক্ষণ ডেটা কোথায় শেষ হবে তা দেখতে পারবেন। প্রশিক্ষণ ডেটা যায় থেকে 1 ।$-1$$1$

আমি কেরাস এবং তান অ্যাক্টিভেশন সহ 1-100-100-2 ঘন নেটওয়ার্ক ব্যবহার করেছি। আমি ফলাফলটি দুটি মান, পি এবং কিউ হিসাবে পি / কিউ হিসাবে গণনা করি। এইভাবে আমি 1 টির চেয়ে কম মান ব্যবহার করে যে কোনও আকারের সংখ্যা অর্জন করতে পারি।

দয়া করে মনে রাখবেন আমি এই ক্ষেত্রে এখনও একটি শিক্ষানবিস, তাই আমার উপর সহজ যান।

Comments

স্পষ্ট করার জন্য, আপনার প্রশিক্ষণের ডেটা প্রায় -1.5 থেকে +1.5 অবধি, তাই নেটওয়ার্কটি সঠিকভাবে এটি শিখেছে? সুতরাং আপনার প্রশ্নটি প্রশিক্ষণের ডেটার সীমার বাইরে অদৃশ্য সংখ্যাগুলিতে ফলাফলকে বহির্মুখী করার বিষয়ে?

— নিল স্লেটার

আপনি ফুরিয়ারকে সবকিছু রূপান্তর করতে এবং ফ্রিকোয়েন্সি ডোমেনে কাজ করার চেষ্টা করতে পারেন।

— নিক

ভবিষ্যতের পর্যালোচকদের কাছে: কেন এটি বন্ধের জন্য পতাকাঙ্কিত করা হচ্ছে তা আমি জানি না। এটি আমার কাছে পুরোপুরি পরিষ্কার বলে মনে হচ্ছে: এটি নিউরাল নেটওয়ার্কগুলির সাথে পর্যায়ক্রমিক ডেটা মডেলিংয়ের কৌশলগুলি সম্পর্কে।

— সাইকোরাক্স মনিকা

আমি মনে করি এটি মেশিন লার্নিংয়ের ডোমেনের মধ্যে একটি শিক্ষানবিসের জন্য একটি যুক্তিসঙ্গত প্রশ্ন, যা আমাদের এখানে সামঞ্জস্য করা উচিত। আমি এটি বন্ধ করব না

— আকসাকাল

আমি জানি না এটি সাহায্য করবে কিনা তবে বাক্সের বাইরে একটি ভ্যানিলা এনএন কেবল একটি বহুবর্ষীয় কার্যগুলি শিখতে সক্ষম হবে। অনুশীলনে এটি সূক্ষ্ম যেহেতু আপনি নির্ধারিত বিরতিতে নির্বিচারে বহুত্ববাদী করতে পারেন। তবে এর অর্থ হ'ল আপনি কখনই কোনও সাইন ওয়েভ শিখতে পারবেন না যা অন্তরালের শেষ প্রান্তে প্রসারিত। অন্যান্য উত্তরগুলি নীচের দিকে ইঙ্গিত করেছে এমন কৌশলটি সমস্যাটিকে এমন একটিতে রূপান্তর করা যা সেভাবে সমাধান করা যায়। ফুরিয়ার ট্রান্সফর্মের পরামর্শ দেওয়াটাই এটি করে এবং সেই ক্ষেত্রে একটি সাইন ওয়েভ শেখা কেবল একটি ধ্রুবক শিখতে হয়।

— ইউকো

Answer 1

আপনি একটি ফিড-ফরোয়ার্ড নেটওয়ার্ক ব্যবহার করছেন; অন্যান্য উত্তরগুলি সঠিক যে এফএফএনএন প্রশিক্ষণের ডেটার সীমা ছাড়িয়ে এক্সট্রোপোলশনে দুর্দান্ত নয়।

তবে, যেহেতু ডেটাগুলির একটি পর্যায়ক্রমিক গুণমান রয়েছে, তাই কোনও এলএসটিএম দিয়ে মডেলিংয়ের ক্ষেত্রে সমস্যাটি হতে পারে। এলএসটিএম বিভিন্ন ধরণের নিউরাল সেল সেল যা সিকোয়েন্সগুলিতে চালিত হয় এবং তারা এর আগে "দেখেছি" তার সম্পর্কে একটি "মেমরি" থাকে। এই বিমূর্ত বই অধ্যায় প্রস্তাব দেওয়া একটি LSTM পদ্ধতির একটি হল যোগ্যতাসম্পন্ন পর্যাবৃত্ত সমস্যা সাফল্য।

$(x_i, \sin(x_i))$$x_{i+1} \dots x_{i+n}$$n$$i$

(জিমনেজ-গুয়ারেরোস, ম্যাগডিল এবং গোমেজ-গিল, পিলার এবং ফোনসেকা-দেলগাদো, রিগোবার্তো এবং রামিরেজ-কর্টেস, ম্যানুয়েল এবং অ্যালারকন-অ্যাকিনো, ভিসেন্টে, "এলএসটিএম নিউরাল নেটওয়ার্ক ব্যবহার করে একটি সাইন ফাংশনের দীর্ঘমেয়াদী ভবিষ্যদ্বাণী" ) হাইব্রিড ইন্টেলিজেন্ট সিস্টেমগুলির অনুপ্রেরণামূলক নকশা )

Comments

সিকোয়েন্সটি এখানে কী মডেল করা হচ্ছে? সময় পদক্ষেপ কি? এটি আমার কাছে একটি সাধারণ বাঁকানো-ফিটিংয়ের মতো দেখাচ্ছে like

— ডেভিড জে হ্যারিস

@ ডেভিডজে.হরিস আমি আমার উত্তর আপডেট করেছি।

— সাইকোরাক্স মনিকাকে

$1/(2\pi)$

উদাহরণস্বরূপ, তারা কীভাবে বাজারের পূর্বাভাস দেয়?

— মার্কাস অ্যাপেল

না, আপনি বাজারের পূর্বাভাসগুলি এভাবে করেন না। আপনি কীভাবে অর্থ উপার্জনের জন্য এটি করেন তা অন্তত নয়।

— আকসকল

Answer 2

আপনি যদি যা করতে চান তা যদি এই জাতীয় সাধারণ পর্যায়ক্রমিক ক্রিয়াগুলি শিখতে হয় তবে আপনি গাউসিয়ান প্রক্রিয়াগুলি ব্যবহার করে দেখতে পারেন। জিপিগুলি আপনাকে আপনার ডোমেন জ্ঞানকে কিছুটা কার্যকর কোভারিয়েন্স ফাংশন নির্দিষ্ট করে প্রয়োগ করার অনুমতি দেয়; এই উদাহরণে, যেহেতু আপনি জানেন যে ডেটা পর্যায়ক্রমিক, আপনি একটি পর্যায়ক্রমিক কার্নেল চয়ন করতে পারেন, তখন মডেল এই কাঠামোটিকে বহির্ভূত করবে You আপনি ছবিতে একটি উদাহরণ দেখতে পারেন; এখানে, আমি জোয়ার উচ্চতার ডেটা ফিট করার চেষ্টা করছি, তাই আমি জানি যে এটির পর্যায়ক্রমিক কাঠামো রয়েছে। যেহেতু আমি পর্যায়ক্রমিক কাঠামো ব্যবহার করছি, মডেল এই সাময়িক সময়কালকে (কম বেশি) সঠিকভাবে এক্সপোলেট করে। ওএফসি যদি আপনি নিউরাল নেটওয়ার্কগুলি সম্পর্কে জানার চেষ্টা করছেন তবে এটি সত্যিই প্রাসঙ্গিক নয়, তবে এটি হ্যান্ড-ইঞ্জিনিয়ারিং বৈশিষ্ট্যের চেয়ে কিছুটা সুন্দর পদ্ধতি হতে পারে। ঘটনাক্রমে, নিউরাল নেটওয়ার্ক এবং জিপি এর তত্ত্বের সাথে ঘনিষ্ঠভাবে জড়িত,

জিপিগুলি সর্বদা কার্যকর হয় না কারণ নিউরাল নেটগুলির বিপরীতে, তারা বড় ডেটাসেট এবং গভীর নেটওয়ার্কগুলিতে স্কেল করা শক্ত তবে আপনি যদি এই জাতীয় স্বল্প মাত্রায় সমস্যায় আগ্রহী হন তবে তারা সম্ভবত দ্রুত এবং আরও নির্ভরযোগ্য হবে।

(ছবিতে, কালো বিন্দুগুলি ডেটা প্রশিক্ষণ দিচ্ছে এবং লালগুলি লক্ষ্যগুলি; আপনি দেখতে পাচ্ছেন যে এটি ঠিক সঠিকভাবে না পাওয়া সত্ত্বেও, মডেলটি প্রায় পর্যায়ক্রমিকতা শিখেছে The রঙিন ব্যান্ডগুলি মডেলের আত্মবিশ্বাসের অন্তর ভবিষ্যদ্বাণী)

Comments

এই প্লটটি সুন্দর।

— সাইকোরাক্স মনিকাকে

Answer 3

নিউরাল নেটওয়ার্কগুলি সহ - মেশিন লার্নিং অ্যালগরিদমগুলি স্বেচ্ছাসেবী কার্যগুলি আনুমানিক শিখতে পারে তবে কেবলমাত্র এমন বিরতিতে যেখানে প্রশিক্ষণের ডেটার যথেষ্ট ঘনত্ব রয়েছে।

পরিসংখ্যান-ভিত্তিক মেশিন লার্নিং অ্যালগরিদমগুলি যখন আন্তঃবিবর্তন সম্পাদন করে তখন সবচেয়ে ভাল কাজ করে - প্রশিক্ষণের উদাহরণগুলির নিকটে বা এর মধ্যে থাকা মানগুলির পূর্বাভাস দেয়।

আপনার প্রশিক্ষণের ডেটার বাইরে, আপনি এক্সট্রোপোলেশন আশা করছেন। তবে তা অর্জনের সহজ উপায় নেই। নিউরাল নেটওয়ার্ক কখনই বিশ্লেষণাত্মকভাবে কোনও ফাংশন শিখে না, কেবলমাত্র পরিসংখ্যানের মাধ্যমে - এটি প্রায় সমস্ত তদারকি করা এমএল কৌশলগুলির ক্ষেত্রে সত্য। আরও উন্নত অ্যালগরিদমগুলি যথাযথ উদাহরণ (এবং মডেলের নিখরচায় প্যারামিটার) প্রদত্ত একটি নির্বাচিত ফাংশনটির কাছে নির্বিচারে কাছাকাছি যেতে পারে, তবে কেবল সরবরাহিত প্রশিক্ষণের ডেটার পরিসীমাতেই এটি করবে।

আপনার প্রশিক্ষণ ডেটার সীমার বাইরে নেটওয়ার্ক (বা অন্যান্য এমএল) কীভাবে আচরণ করে এটি ব্যবহৃত অ্যাক্টিভেশন ফাংশন সহ তার আর্কিটেকচারের উপর নির্ভর করবে।

$\sin$$\text{sin}(x), \text{sin}(2x+\pi/4)$$\sin$

Comments

"একটি নিউরাল নেটওয়ার্ক কখনই বিশ্লেষণাত্মকভাবে কোনও ফাংশন শিখে না, কেবলমাত্র পরিসংখ্যানের মাধ্যমে।" - বাস্তবে ব্যবহৃত এমন যে কোনও কিছুই সম্পর্কে প্রায় একই কথা বলা যেতে পারে, যেমন এফএফটি বিশ্লেষণাত্মকভাবেও শেখে না। আপনি স্যাম্পলিং হার এবং সময়কালকে অনন্ততায় বাড়িয়ে আনতে পারবেন এবং অসীম সত্যিকারের ফাংশনটির কাছাকাছি যেতে পারেন তবে এনএন এর ক্ষেত্রেও এটি সত্য।

— আকসকল

@ আকসাকাল: হ্যাঁ এটা সত্য। তবে আমি বলতে চাইনি যে "সমস্ত এমএল অ্যালগরিদম কখনও বিশ্লেষণাত্মকভাবে ফাংশন শিখতে পারে না।" কারণ কেউ সন্দেহ নেই যে কিছু বায়েশিয়ান বিশ্লেষণাত্মক শিক্ষানবিশ বা জেনেটিক প্রোগ্রামিং ইত্যাদির পাল্টা উদাহরণ নিয়ে আসবে। আমি এটিকে আরও সাধারণ করার জন্য এটি সম্পাদনা করার চেষ্টা করব

— নীল স্লেটার

Answer 4

কিছু ক্ষেত্রে, @ নীল স্ল্যাটারের পর্যায়ক্রমিক ক্রিয়াকলাপের সাথে আপনার বৈশিষ্ট্যগুলিকে রুপান্তরিত করার প্রস্তাবিত পদ্ধতির খুব ভাল কাজ হবে এবং এটি সেরা সমাধান হতে পারে। এখানে অসুবিধাটি হ'ল আপনার নিজের হাতে সময়কাল / তরঙ্গদৈর্ঘ্য চয়ন করতে হবে ( এই প্রশ্নটি দেখুন )।

আপনি যদি পর্যায়ক্রমটিকে আরও গভীরভাবে নেটওয়ার্কে এম্বেড করতে চান তবে সবচেয়ে সহজ উপায় হ'ল পাপ / কোসকে আপনার এক্টিভেশন ফাংশন হিসাবে এক বা একাধিক স্তরে ব্যবহার করা। এই কাগজ কাগজটিতে পর্যায়ক্রমিক অ্যাক্টিভেশন ফাংশনগুলি মোকাবেলার জন্য সম্ভাব্য সমস্যা এবং কৌশলগুলি নিয়ে আলোচনা করা হয়েছে।

বিকল্পভাবে, এই কাগজটি একটি পৃথক পদ্ধতি গ্রহণ করে, যেখানে নেটওয়ার্কের ওজন পর্যায়ক্রমিক ফাংশনের উপর নির্ভর করে। কাগজগুলি পাপ / কোসের পরিবর্তে স্প্লাইজগুলি ব্যবহার করার পরামর্শ দেয় কারণ সেগুলি আরও নমনীয়। এটি গত বছর আমার পছন্দের একটি নিবন্ধ ছিল, সুতরাং আপনি যদি তার পদ্ধতির ব্যবহার না করেন তবে এটি পড়ার পক্ষে (বা কমপক্ষে ভিডিওটি দেখার জন্য) মূল্যবান।

Answer 5

আপনি একটি ভুল পদ্ধতির গ্রহণ করেছেন, সমস্যা সমাধানের জন্য এই পদ্ধতির সাথে কিছুই করা যায় না।

সমস্যাটি সমাধান করার বিভিন্ন উপায় রয়েছে। আমি ফিচার ইঞ্জিনিয়ারিংয়ের মাধ্যমে সর্বাধিক সুস্পষ্ট পরামর্শ দেব। রৈখিক বৈশিষ্ট্য হিসাবে প্লাগিংয়ের পরিবর্তে এটিকে মডিউলাস টি = 1 এর অবশিষ্ট হিসাবে রাখুন। উদাহরণস্বরূপ, t = 0.2, 1.2 এবং 2.2 সমস্ত বৈশিষ্ট্য t1 = 0.1 ইত্যাদি হয়ে যাবে যতক্ষণ T তরঙ্গ সময়ের চেয়ে বড় হয়, এটি কার্যকর হবে। এই জিনিসটি আপনার জালে প্লাগ করুন এবং দেখুন এটি কীভাবে কাজ করে।

বৈশিষ্ট্য প্রকৌশল আন্ডাররেটেড হয়। এআই / এমএলে এই প্রবণতা রয়েছে যেখানে বিক্রয় পুরুষরা দাবি করে যে আপনি আপনার সমস্ত ইনপুট নেটগুলিতে ফেলে দেন এবং কোনওভাবে এটি কীভাবে করা যায় তা নির্ধারণ করে দেবে। অবশ্যই, এটি যেমন আপনি নিজের উদাহরণে দেখেছেন, তা কিন্তু এটি সহজেই ভেঙে যায়। এটি এমন একটি দুর্দান্ত উদাহরণ যা দেখায় যে কিছু সাধারণ ক্ষেত্রে এমনকি ভাল বৈশিষ্ট্যগুলি তৈরি করা কতটা গুরুত্বপূর্ণ।

এছাড়াও, আমি আশা করি আপনি বুঝতে পেরেছেন যে এটি বৈশিষ্ট্য ইঞ্জিনিয়ারিংয়ের এক কুরুচিপূর্ণ উদাহরণ। এটি কেবল আপনি এটি দিয়ে কী করতে পারেন তার একটি ধারণা দেওয়ার জন্য।