সময় সিরিজ বিশ্লেষণের জন্য পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ব্যবহারের সঠিক উপায়

পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি তাদের "মেমোরি" স্তর রয়েছে এই বিষয়টি দ্বারা "নিয়মিত" আলাদা হয়। এই স্তরটির কারণে, বারবার এনএন'র সময় সিরিজ মডেলিংয়ে দরকারী বলে মনে করা হচ্ছে। তবে, আমি নিশ্চিত না যে এগুলি কীভাবে ব্যবহার করব আমি সঠিকভাবে বুঝতে পেরেছি।

ধরা যাক আমার নিম্নলিখিত টাইম সিরিজ রয়েছে (বাম থেকে ডানে): [0, 1, 2, 3, 4, 5, 6, 7]আমার লক্ষ্যটি iপয়েন্টগুলি ব্যবহার করে i-1এবং i-2একটি ইনপুট হিসাবে (প্রতিটিটির জন্য i>2) - -পয়েন্টটি পূর্বাভাস দেওয়া । একটি "নিয়মিত" তে, পুনরাবৃত্তি হওয়া এএনএন আমি নীচে ডেটা প্রক্রিয়া করব:

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5

আমি তখন দুটি ইনপুট এবং একটি আউটপুট নোড দিয়ে নেট তৈরি করব এবং উপরের ডেটা দিয়ে প্রশিক্ষণ দেব।

পুনরুক্ত নেটওয়ার্কগুলির ক্ষেত্রে কীভাবে এই প্রক্রিয়াটি পরিবর্তন করার প্রয়োজন হয় (যদি তা হয় তবে)

time-series machine-learning neural-networks

— বরিস গোরালিক
সূত্র

আপনি কীভাবে আরএনএন (যেমন এলএসটিএম) এর জন্য ডেটা স্ট্রাকচার করবেন তা খুঁজে পেয়েছেন? ধন্যবাদ

— mik1904

উত্তর:

আপনি যা বর্ণনা করছেন তা আসলে একটি "স্লাইডিং টাইম উইন্ডো" পদ্ধতির এবং পুনরাবৃত্ত নেটওয়ার্কগুলির থেকে পৃথক। আপনি এই কৌশলটি যে কোনও রিগ্রেশন অ্যালগরিদমের সাথে ব্যবহার করতে পারেন। এই পদ্ধতির একটি বিশাল সীমাবদ্ধতা রয়েছে: ইনপুটগুলির ইভেন্টগুলি কেবলমাত্র অন্যান্য ইনপুট / আউটপুটগুলির সাথে সম্পর্কিত হতে পারে যা বেশিরভাগ সময়ে টাইমস্টেপগুলি পৃথক করে রাখে, যেখানে টি উইন্ডোর আকার নয়।

যেমন আপনি একটি মার্কভ চেইন অফ অর্ডার টি সম্পর্কে ভাবতে পারেন। আরএনএনগুলি তাত্ত্বিকভাবে এ থেকে ভোগেন না, তবে অনুশীলনে শেখা কঠিন।

কোনও ফিডফওয়ার্ড নেটওয়ার্কের বিপরীতে কোনও আরএনএন চিত্রিত করা ভাল। (খুব) সাধারণ ফিডফোরওয়ার্ড নেটওয়ার্ক বিবেচনা করুন যেখানে আউটপুট, ওজন ম্যাট্রিক্স এবং ইনপুট। $y = Wx$ $y$ $W$ $x$

এখন, আমরা একটি পুনরাবৃত্তি নেটওয়ার্ক ব্যবহার করি। এখন আমাদের ইনপুটগুলির ক্রম রয়েছে, সুতরাং আমরা ইনপুটগুলিকে আইথ ইনপুটটির জন্য by দ্বারা চিহ্নিত করব । সংশ্লিষ্ট ith আউটপুট তারপর মাধ্যমে গণনা করা হয় । $x^{i}$ $y^{i} = Wx^i + W_ry^{i-1}$

সুতরাং, আমাদের আরেকটি ওজন ম্যাট্রিক্স যা পূর্ববর্তী ধাপে আউটপুটকে বর্তমান আউটপুটে অন্তর্ভুক্ত করে। $W_r$

এটি অবশ্যই একটি সাধারণ স্থাপত্য। সর্বাধিক সাধারণ হ'ল একটি আর্কিটেকচার যেখানে আপনার কাছে একটি গোপন স্তর রয়েছে যা ঘন ঘন নিজের সাথে সংযুক্ত থাকে। যাক timestep আমি লুকানো স্তর বোঝান। সূত্রগুলি হ'ল: $h^i$

h^{0} = 0

$h^0 = 0$

h^{i} = σ (W_{1} x^{i} + W_{r} h^{i - 1})

$h^i = \sigma(W_1x^i + W_rh^{i-1})$

y^{i} = W_{2} h^{i}

$y^i = W_2h^i$

যেখানে হ'ল সিগময়েডের মতো উপযুক্ত নন-লিনিয়ারিটি / ট্রান্সফার ফাংশন। এবং ইনপুট এবং লুকানো এবং লুকানো এবং আউটপুট স্তরের মধ্যে সংযোগকারী ওজন। পৌনঃপুনিক ওজন প্রতিনিধিত্ব করে। $\sigma$ $W_1$ $W_2$ $W_r$

এখানে কাঠামোর একটি চিত্র রয়েছে:

পরিকল্পিত

— bayerj
সূত্র

কালম্যান ফিল্টারগুলির সাথে পুনরাবৃত্ত নেটওয়ার্কগুলির সাথে কিছু মিল খুঁজে পেয়ে আমার ভুল? আমি এটি দেখছি কারণ পূর্ববর্তী আউটপুটটি বর্তমান আউটপুটকে প্রভাবিত করে। পুনরুক্ত নেটওয়ার্কগুলির ব্যবহারিক সুবিধা কী?

— ভাস

আপনি এই অর্থে লিখছেন যে উভয়ই রাষ্ট্রের স্থানের মডেল। তবে, এখানে প্রচুর পার্থক্য রয়েছে: কেএফগুলি সম্পূর্ণরূপে সম্ভাব্য, এই অর্থে যে লুকানো রাজ্যগুলির যথাযথ সম্ভাব্য অর্থ রয়েছে। অন্যদিকে আরএনএনগুলি নির্বিচারবাদী এবং কেবল ফলাফলগুলি বৈষম্যমূলক উপায়ে কোনও বিতরণের মডেল হিসাবে ব্যবহার করা যেতে পারে। এছাড়াও, কেএফগুলি সাধারণত ইএম দিয়ে অনুমান করা হয়, আর আরএনএনগুলি গ্রেডিয়েন্ট ভিত্তিক পদ্ধতিগুলির সাথে অনুমান করা হয়। আপনি যদি আরও বিশদ চান, নির্দ্বিধায় একটি প্রশ্ন পোস্ট করুন এবং আমাকে লিঙ্কটি প্রেরণ করুন, তবে মন্তব্যগুলি এর জন্য খুব সীমাবদ্ধ।

— বায়ারজ

না, স্লাইডিং টাইম উইন্ডো নেটগুলির আউটপুট নিয়ে ভান করে না, কেবল ইনপুটটিতে।

— বৈয়ারজ

@ বেয়ারজ দুর্দান্ত তথ্য, তবে আপনি মনে করেন না যে আপনি প্রশ্নের উত্তর দিয়েছেন। আরএনএনগুলির জন্য স্লাইডিং টাইম উইন্ডোতে নয় কীভাবে আপনি ইনপুট আউটপুট ভেক্টরকে কাঠামো তৈরি করবেন? আপনি কি ওপির ডেটাসেটের সাথে কয়েকটি দম্পতি নমুনা সরবরাহ করতে পারেন?

— লেভিটিকন

এটি আরএনএনগুলির একটি খুব তথ্যমূলক বিবরণ তবে আমি ওপি-র প্রশ্নের উত্তর খুঁজে নিতে ব্যর্থ হই: বার বার সংলগ্ন নেটওয়ার্কগুলির ক্ষেত্রে একজনকে কীভাবে [প্রশিক্ষণ] পরিবর্তন করতে হবে?

— wensnseeflae

আপনি ইনপুট ডেটার জন্য টাইম সিরিজের বেশ কয়েকটি রূপান্তর ব্যবহার করে কেবল বিবেচনা করতে পারেন। একটি উদাহরণের জন্য, ইনপুটগুলি হ'ল:

অতি সাম্প্রতিক ব্যবধান মান (7)
পরবর্তী সাম্প্রতিক ব্যবধান মান (6)
অতি সাম্প্রতিক এবং পরবর্তী সাম্প্রতিক সময়ের মধ্যে ব-দ্বীপ (7-6 = 1)
তৃতীয় অতি সাম্প্রতিক ব্যবধান মান (5)
দ্বিতীয় এবং তৃতীয় অতি সাম্প্রতিক (6-5 = 1) এর মধ্যে ব-দ্বীপ
শেষ তিনটি ব্যবধানের গড় ((7 + 6 + 5) / 3 = 6)

সুতরাং, যদি আপনার প্রচলিত নিউরাল নেটওয়ার্কের ইনপুটগুলি এই ছয় টুকরো রূপান্তরিত ডেটা হত তবে সাধারণ ব্যাকপ্রোপেশন অ্যালগরিদমের পক্ষে প্যাটার্নটি শেখা কোনও কঠিন কাজ হবে না। তবে আপনাকে এমন রূপান্তরগুলির কোড করতে হবে যা কাঁচা ডেটা নেয় এবং উপরের 6 ইনপুটগুলিতে আপনার নিউরাল নেটওয়ার্কে পরিণত করে।

— rossdavidh
সূত্র

আপনি যদিও এতে ডোমেনের প্রচুর জ্ঞান রেখেছেন। আপনি যদি নিজেকে সময় সিরিজের ধরণটি স্বীকৃতি না দেন তবে কী করবেন? এরপরে আপনি কীভাবে এমন একটি মডেল তৈরি করতে পারেন যা বিশেষত যদি অতীতে অতীতের পিছনে অসীম ইনপুটগুলির উপর নির্ভর করে?

— বায়ার্জ

অসীম অবশ্যই কৌশলযুক্ত হবে। তবে, আপনি যদি এই ডোমেনটির সাথে প্রাসঙ্গিক নয় এমন ডেটার ট্রান্সফর্মগুলি স্থাপন করেন তবে লার্নিং অ্যালগরিদম সহজেই এটি নির্ধারণ করতে এবং তদনুসারে ওজনগুলি সামঞ্জস্য করতে সক্ষম হবে, সুতরাং যতক্ষণ না আপনি রূপান্তর করেন ততক্ষণ এটি কোনও বড় সমস্যা নয় not প্রাসঙ্গিক যে তথ্য। সুতরাং, বিভিন্ন বিভিন্ন রূপান্তর উপলভ্য হওয়া আপনার সাফল্যের বৈচিত্র্যকে উন্নত করে।

— রসদবিধি 13

0

$0$

1

$1$

[- 0.1, 0.1]

$[-0.1, 0.1]$

1

$1$

0

$0$

1

$1$

আমি এটি বলতে চাই না যে আপনার কখনও পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ব্যবহার করা উচিত নয়; পুরোপুরি বিপরীত. তবে, যদি টাস্কটি (প্রশ্নে বর্ণিত) যদি (আই -1) এবং (আই -2) পয়েন্টগুলি থেকে আইথের পূর্বাভাস দেওয়া হয় তবে আপনি সেই জ্ঞানটি কাজে লাগিয়ে দ্রুত আরও ভাল ফলাফল পেতে পারেন। আমার অর্থ এই নয় যে আরএনএন কোনও ভাল ধারণা নয়, তবে আপনার প্রশিক্ষণ প্রক্রিয়াটি গতিতে বাড়ানোর জন্য যে কোনও ডোমেইন জ্ঞান ব্যবহার করা ঠিক হবে (এবং কোনও স্থানীয় ন্যূনতম মধ্যে ধরা পড়ার সম্ভাবনা হ্রাস করা ইত্যাদি) ।

— রসদবিধি

আর একটি সম্ভাবনা হিস্টোরিকাল কনস্টিটিভ নিউরাল নেটওয়ার্কস (এইচসিএনএন) । এই আর্কিটেকচারটি উপরে বর্ণিত সেটআপের জন্য আরও উপযুক্ত হতে পারে কারণ তারা ইনপুট- এবং আউটপুট-ভেরিয়েবলগুলির মধ্যে প্রায়শই নির্বিচারে পার্থক্য দূর করে এবং পরিবর্তে সমস্ত পর্যবেক্ষণযোগ্যদের সাথে প্রশিক্ষণের মাধ্যমে পুরো সিস্টেমের সম্পূর্ণ অন্তর্নিহিত গতি প্রতিরূপ করার চেষ্টা করে।

আমি যখন সিমেন্সের জন্য কাজ করছিলাম তখন আমি স্প্রিঞ্জার ভার্লাগের একটি বইতে এই স্থাপত্যের একটি প্রবন্ধ প্রকাশ করেছি: জিম্মারম্যান, গ্রোথম্যান, টিয়েজ, ভন জাউনে-ডায়্রিচ: মার্কেট মডেলিং, পূর্বাভাস এবং ঝুঁকি বিশ্লেষণ Histতিহাসিক ধারাবাহিক নিউরাল নেটওয়ার্কগুলির সাথে

এখানে দৃষ্টান্ত সম্পর্কে একটি ধারণা দেওয়ার জন্য একটি সংক্ষিপ্ত অংশ:

এই নিবন্ধে, আমরা একটি নতুন ধরণের পুনরাবৃত্তি এনএন উপস্থাপন করি, যাকে historicalতিহাসিক ধারাবাহিক নিউরাল নেটওয়ার্ক (এইচসিএনএন) বলা হয়। এইচসিএনএনগুলি একাধিক সময়ের স্কেলগুলিতে উচ্চ-ইন্টারেক্টিভ অ-লিনিয়ার ডায়নামিকাল সিস্টেমগুলির মডেলিংয়ের অনুমতি দেয়। এইচসিএনএনগুলি ইনপুট এবং আউটপুটগুলির মধ্যে কোনও পার্থক্য আঁকবে না, তবে মডেল পর্যবেক্ষণগুলি একটি বৃহত রাষ্ট্রীয় স্থানের গতিশীলতায় এম্বেড করা আছে।

[...]

আরএনএন একটি অ-লিনিয়ার রিগ্রেশন পদ্ধতির সাহায্যে একটি উন্মুক্ত গতিশীল সিস্টেমের মডেল এবং পূর্বাভাস করতে ব্যবহৃত হয়। অনেক বাস্তব-বিশ্বের প্রযুক্তিগত এবং অর্থনৈতিক অ্যাপ্লিকেশন অবশ্যই বড় ব্যবস্থাগুলির প্রসঙ্গে দেখা উচিত যেখানে বিভিন্ন (অ-রৈখিক) গতিশীলতা সময়ের সাথে একে অপরের সাথে যোগাযোগ করে। কোনও মডেলটির জন্য প্রস্তাবিত, এর অর্থ হ'ল আমরা ইনপুট এবং আউটপুটগুলির মধ্যে পার্থক্য করি না তবে পর্যবেক্ষণযোগ্যদের সম্পর্কে কথা বলি। বৃহত সিস্টেমগুলির আংশিক পর্যবেক্ষণের কারণে, পর্যবেক্ষণের গতিশীলতা ব্যাখ্যা করতে সক্ষম হওয়ার জন্য আমাদের গোপন রাজ্যগুলির প্রয়োজন। মডেল দ্বারা পর্যবেক্ষণযোগ্য ও লুকানো ভেরিয়েবলগুলি একইভাবে আচরণ করা উচিত। পর্যবেক্ষণযোগ্য শব্দটি ইনপুট এবং আউটপুট ভেরিয়েবলগুলিকে আলিঙ্গন করে (যেমন $Y_τ := (y_τ, u_τ)$ )। যদি আমরা এমন একটি মডেল বাস্তবায়ন করতে সক্ষম হয়ে যাই যেখানে পর্যবেক্ষণযোগ্য সকলের গতিশীলতা বর্ণনা করা যায়, তবে আমরা উন্মুক্ত সিস্টেমটি বন্ধ করার অবস্থানে থাকব।

... এবং উপসংহার থেকে:

বৃহত্তর পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে লুকানো এবং পর্যবেক্ষিত ভেরিয়েবলগুলির যৌথ মডেলিং পরিকল্পনা এবং ঝুঁকি ব্যবস্থাপনার জন্য নতুন সম্ভাবনা সরবরাহ করে। এইচসিএনএন ভিত্তিক নকশা করা পদ্ধতি ভবিষ্যতের সম্ভাব্যতা বিতরণের পূর্বাভাসের জন্য বিকল্প পদ্ধতির প্রস্তাব দেয়। এইচসিএনএনগুলি অতীতে পর্যবেক্ষণযোগ্যদের গতিশীলতার একটি নিখুঁত বিবরণ দেয়। যাইহোক, বিশ্বের আংশিক পর্যবেক্ষণের ফলে গোপন ভেরিয়েবলগুলির একটি অনন্য-পুনর্নির্মাণের ফলাফল হয় এবং এইভাবে, ভবিষ্যতের বিভিন্ন পরিস্থিতিতে। যেহেতু গতিশীলের আসল বিকাশ অজানা এবং সমস্ত পাথের একই সম্ভাবনা রয়েছে, তাই মিলকের গড়কে সর্বোত্তম পূর্বাভাস হিসাবে বিবেচনা করা যেতে পারে, যেখানে বিতরণের ব্যান্ডউইদথ বাজার ঝুঁকি বর্ণনা করে describes আজ, সংগ্রহের সিদ্ধান্ত গ্রহণের সময়কে অনুকূলকরণের জন্য আমরা শক্তি এবং মূল্যবান ধাতুর দামের পূর্বাভাস দিতে এইচসিএনএন পূর্বাভাস ব্যবহার করি। কাজ বর্তমানে অগ্রগতিতে মিলিতকরণের বৈশিষ্ট্য বিশ্লেষণ এবং ব্যবহারিক ঝুঁকি ব্যবস্থাপনায় এবং market n আর্থিক বাজার অ্যাপ্লিকেশনগুলিতে এই ধারণাগুলি বাস্তবায়নের বিষয়ে উদ্বেগ প্রকাশ করে।

কাগজের অংশগুলি প্রকাশ্যে দেখা যায়: এখানে

— vonjd
সূত্র

আপনার কাছে ডাউনলোড এবং পরীক্ষার জন্য কি কোনও বাস্তবায়ন উপলব্ধ?

— জুলিয়েন এল

@ জুলিয়েনএল: দুর্ভাগ্যক্রমে নয় কারণ এটি সিমেন্সের মালিকানার কাজ ছিল।

— ভনজড

খুব খারাপ, এটি আশাব্যঞ্জক লাগছিল।

— জুলিয়েন এল

@ জুলিয়েনল: আমি আপনাকে আমার সহ-লেখক জর্জের সাথে যোগাযোগ করতে উত্সাহিত করছি। তাঁর ইমেলটি কাগজের প্রথম পৃষ্ঠায় রয়েছে (উপরের লিঙ্কটি দেখুন)।

— ভনজড