একসাথে অনেক টাইমস সিরিজ পরিচালনা করবেন কীভাবে?

Question

আমার 25 টি পিরিয়ডের জন্য বেশ কয়েকটি পণ্য (1200 পণ্য) এর চাহিদা সহ একটি ডেটা সেট রয়েছে এবং পরবর্তী সময়কালে প্রতিটি পণ্যটির চাহিদা আমার পূর্বাভাস করতে হবে। প্রথমে, আমি আরিমা ব্যবহার করতে এবং প্রতিটি পণ্যের জন্য একটি মডেল প্রশিক্ষণ দিতে চেয়েছিলাম, তবে পণ্যের সংখ্যা এবং (পি, ডি, কিউ) পরামিতিগুলির সুরকরণের কারণে এটি সময় সাপেক্ষ এবং এটি ব্যবহারিক নয়। পূর্ববর্তী দাবিগুলি স্বতন্ত্র ভেরিয়েবল (অটোরেগ্রেসিভ) যেখানে এমন কোনও রিগ্রেশন ব্যবহার করার পরামর্শ দেওয়া হয়?

আমি কি জানতে পারি যে 1200 টি পণ্যের চাহিদা পূর্বাভাসের জন্য একটি একক মডেলকে প্রশিক্ষণের কোনও পদ্ধতি আছে কিনা? আমি পাইথনের কোনও লাইব্রেরির পরামর্শ দিতে পারলে আমি কৃতজ্ঞ হব কারণ আমি পাইথন ব্যবহার করছি।

Comments

আমি সচেতন উচ্চ-মাত্রিক টাইম সিরিজ বিশ্লেষণের জন্য সবচেয়ে উন্নত প্যাকেজটি bigtimeআরে রয়েছে R সম্ভবত আপনি এটি ব্যবহার করতে সক্ষম হতে পাইথন থেকে আর কল করতে পারেন।

— রিচার্ড হার্ডি

Answer 1

সাধারণত যখন আপনার একাধিক টাইম-সিরিজ থাকে আপনি সেগুলি একসাথে মডেল করার জন্য কোনও ধরণের ভেক্টর-ভিত্তিক মডেল ব্যবহার করবেন। এই উদ্দেশ্যে আরিমা মডেলের প্রাকৃতিক বর্ধন হ'ল ভারিমা (ভেক্টর আরিমা) মডেল। আপনার $1200$ টাইম-সিরিজ রয়েছে এর অর্থ হল যে আপনাকে মডেলটিতে ক্রস-সম্পর্ক সম্পর্কিত শর্তাদি সম্পর্কে কিছু ভারী প্যারাম্যাট্রিক বিধিনিষেধ নির্দিষ্ট করতে হবে, যেহেতু আপনি প্রতিটি যুগের সময়-সিরিজের ভেরিয়েবলের জন্য বিনামূল্যে প্যারামিটারগুলির সাথে ডিল করতে পারবেন না।

আমি কিছু সাধারণ ভেক্টর-ভিত্তিক মডেল (উদাহরণস্বরূপ, ভিএআর, ভিএমএ, ভার্মা) কম ডিগ্রি সহ এবং ক্রস-পারস্পরিক সম্পর্কের জন্য কিছু সাধারণ পরামিতি বিধিনিষেধ দিয়ে শুরু করার পরামর্শ দেব। আপনি যদি এমন কোনও যুক্তিসঙ্গত মডেল সন্ধান করতে পারেন যা অন্তত এক ডিগ্রির পিছনে আন্তঃসম্পর্ককে অন্তর্ভুক্ত করে এবং সেখান থেকে চলে যায় go এই অনুশীলনের জন্য ভেক্টর-ভিত্তিক টাইম-সিরিজ মডেলগুলি পড়তে হবে। MTSপ্যাকেজ এবং bigtimepacakage মধ্যে R, বহুচলকীয় সময়-সিরিজ সঙ্গে তার আচরণ জন্য কিছু বৈশিষ্ট্য যোগ করা হয়েছে, তাই এটি এই প্যাকেজের সাথে familiarizing নিজেকে মূল্য হবে।

Comments

আমি সচেতন উচ্চ-মাত্রিক টাইম সিরিজ বিশ্লেষণের জন্য সর্বাধিক উন্নত প্যাকেজটি হল bigtimeআর. যতদূর আমি জানি MTS, এটি বাস্তব কাজের সরঞ্জামের চেয়ে পাঠ্যপুস্তকের উদাহরণগুলির বেশি প্রদর্শন। কয়েকটি মাল্টিভারিয়েট উদাহরণ কেবল গণ্যমান্যের বোঝা চেপে যাওয়ার আগে ত্রিমাত্রিক সিরিজ পরিচালনা করতে পারে।

— রিচার্ড হার্ডি

@ রিচার্ড হার্ডি: ধন্যবাদ --- এটি অন্তর্ভুক্ত করার জন্য আমি আমার উত্তর সম্পাদনা করেছি।

— মনিকা

এটির পক্ষে যাওয়ার একটি ভাল উপায় হ'ল বায়েশিয়ান ভিএআর, বা বিশেষত বৃহত বায়সিয়ান ভিএআর মডেলটি বিবেচনা করা।

— গ্রিম ওয়ালশ

Answer 2

বেন যেমন উল্লেখ করেছেন, একাধিক সময় সিরিজের পাঠ্য বইয়ের পদ্ধতিগুলি হ'ল ভিআর এবং ভার্মা মডেল। বাস্তবে যদিও, আমি এগুলি প্রায়শই চাহিদা পূর্বাভাসের প্রসঙ্গে ব্যবহার করতে দেখিনি।

আমার দল বর্তমানে যা ব্যবহার করে তা সহ আরও অনেক সাধারণ বিষয়বস্তুর পূর্বাভাস ( এখানেও দেখুন )। যখনই আমাদের অনুরূপ সময় সিরিজের গোষ্ঠী থাকে তখন হায়ারার্কিকাল পূর্বাভাস ব্যবহার করা হয়: অনুরূপ বা সম্পর্কিত পণ্যগুলির গোষ্ঠীর জন্য বিক্রয় ইতিহাস, ভৌগলিক অঞ্চলে শ্রেণিবদ্ধ শহরগুলির জন্য ট্যুরিস্ট ডেটা ইত্যাদি ...

ধারণাটি হ'ল আপনার বিভিন্ন পণ্যগুলির একটি শ্রেণিবিন্যাসের তালিকা তৈরি করা এবং তারপরে বেস স্তরে (অর্থাত্ প্রতিটি পৃথক সময় সিরিজের জন্য) এবং আপনার পণ্য স্তরক্রম দ্বারা সংজ্ঞায়িত সামগ্রিক স্তরে (সংযুক্ত গ্রাফিক দেখুন) উভয়ই পূর্বাভাস দেওয়া উচিত। তারপরে আপনি ব্যবসায়ের উদ্দেশ্য এবং পছন্দসই পূর্বাভাস লক্ষ্যমাত্রার উপর নির্ভর করে বিভিন্ন স্তরে (টপ ডাউন, বাটন আপ, অনুকূল পুনর্মিলন ইত্যাদি ব্যবহার করে) পূর্বাভাসের সাথে পুনঃসংযোগ স্থাপন করুন। মনে রাখবেন যে আপনি এক্ষেত্রে একটি বড় মাল্টিভারিয়েট মডেল ফিট করবেন না, তবে আপনার শ্রেণিবদ্ধের বিভিন্ন নোডে একাধিক মডেল, যা আপনার নির্বাচিত পুনর্মিলন পদ্ধতিটি ব্যবহার করে পুনরায় মিলিত হবে।

এই পদ্ধতির সুবিধাটি হ'ল একই জাতীয় সময় ধারাবাহিকগুলি একসাথে গোষ্ঠীভুক্ত করার মাধ্যমে, আপনি নিদর্শনগুলি খুঁজে পাওয়ার জন্য তাদের মধ্যে পারস্পরিক সম্পর্কের এবং সাদৃশ্যগুলির (যেমন একটি .তুগত পরিবর্তনগুলি) একক সময় সিরিজের সাথে সন্ধান করা কঠিন হতে পারে difficult যেহেতু আপনি প্রচুর পরিমাণ পূর্বাভাস তৈরি করছেন যা ম্যানুয়ালি টিউন করা অসম্ভব তাই আপনাকে আপনার সময় সিরিজের পূর্বাভাস পদ্ধতিটি স্বয়ংক্রিয় করতে হবে তবে এটি খুব বেশি কঠিন নয় - বিশদগুলির জন্য এখানে দেখুন ।

আরও উন্নত, তবে একইরকম মনোভাবের সাথে অ্যামাজন এবং উবারের দ্বারা পদ্ধতির ব্যবহার করা হয়েছে, যেখানে একটি বড় আরএনএন / এলএসটিএম নিউরাল নেটওয়ার্ক একসাথে সমস্ত সিরিজের প্রশিক্ষণপ্রাপ্ত। এটি হায়ারারিকিকাল পূর্বাভাসের সাথে চেতনার অনুরূপ, কারণ এটি সম্পর্কিত সময় সিরিজের মিল এবং পারস্পরিক সম্পর্ক থেকে নিদর্শনগুলিও শেখার চেষ্টা করে। এটি শ্রেণিবদ্ধ পূর্বাভাসের থেকে পৃথক কারণ এটি সময় সিরিজের মধ্যেই সম্পর্কগুলি শেখার চেষ্টা করে, যদিও এই সম্পর্ক পূর্বাভাস দেওয়ার আগেই পূর্ব নির্ধারিত এবং স্থির থাকে। এক্ষেত্রে আপনাকে আর স্বয়ংক্রিয় পূর্বাভাস উত্পন্ন করার সাথে আর মোকাবিলা করতে হবে না, যেহেতু আপনি কেবল একটি মাত্র মডেল টিউন করছেন, তবে যেহেতু মডেলটি খুব জটিল একটি, তাই টিউনিংয়ের পদ্ধতিটি এখন আর এআইসি / বিআইসি ন্যূনতমকরণের কাজ নয় এবং আপনার প্রয়োজন আরও উন্নত হাইপার-প্যারামিটার টিউনিং পদ্ধতি দেখতে,

এই প্রতিক্রিয়াটি দেখুন (এবং মন্তব্যগুলি) অতিরিক্ত বিবরণের জন্য।

পাইথন প্যাকেজগুলির জন্য, পাইএএফ উপলব্ধ তবে খুব জনপ্রিয় নয়। বেশিরভাগ লোক এইচটিএস প্যাকেজ আরে ব্যবহার করে , যার জন্য আরও অনেক সম্প্রদায় সমর্থন রয়েছে। এলএসটিএম ভিত্তিক পদ্ধতির জন্য অ্যামাজনের ডিপিএআর এবং এমকিউআরএনএন মডেল রয়েছে যা আপনাকে প্রদেয় পরিষেবার একটি অংশ। কেরাস ব্যবহার করে চাহিদা পূর্বাভাসের জন্য বেশ কিছু লোক এলএসটিএম প্রয়োগ করেছে, আপনি সেগুলি সন্ধান করতে পারেন।

Comments

একপাশে হিসাবে। আউটবক্স সরম্যাক্স মডেলগুলি ব্যবহার করে শিশুদের ভবিষ্যদ্বাণী এইড করার জন্য একটি সম্ভাব্য ড্রাইভিং সিরিজ হিসাবে গ্রুপ মোট ব্যবহার করার সময় আপনি যে ধরণের শ্রেণিবিন্যাসের মডেলিং উল্লেখ করেছেন তা প্রয়োগ করে। সন্তানের পূর্বাভাসের অনিশ্চয়তা হ'ল পিতা-মাতার মধ্যে অনিশ্চয়তার একটি সংশ্লেষক ক্রিয়াকলাপ যখন উভয় ক্ষেত্রেই ভবিষ্যতের ডালের সম্ভাবনা একত্রিত করে .. অন্য কেউ এই পদ্ধতি ব্যবহার করে দেখে আনন্দিত।

— আইরিশস্ট্যাট

অ্যামাজন সম্প্রতি গ্লুনটিএস ফ্রেমওয়ার্কের অধীনে ডিপএর অ্যালগরিদম খোলা হয়েছে যা এমএক্সনেট কাঠামোকে উপকৃত করে, যদিও আমি ডকুমেন্টেশনটিতে এই মুহুর্তে কিছুটা অভাব অনুভব করি। aws.amazon.com

— ব্লগস /

Answer 3

ভর-ফিটিং প্যাকেজগুলির ক্ষেত্রে যে সমস্যাগুলির পরামর্শ দেওয়া হয়েছে তা হ'ল তারা সুপ্ত নির্বিচারের কাঠামোর সাথে যেমন ডাল, স্তর / পদক্ষেপের শিফট, মৌসুমী ডাল এবং সময়ের প্রবণতা বা https: // অনুযায়ী ব্যবহারকারী-প্রস্তাবিত কার্যকারিতা কার্যকরভাবে মোকাবেলা করতে ব্যর্থ হয়েছে is autobox.com/pdfs/SARMAX.pdf

অতিরিক্ত হিসাবে গণনা সময় একটি গুরুতর জটিলতা হতে পারে। অটবক্সের (যা আমি বিকাশ করতে সাহায্য করেছি) একটি অত্যন্ত পরিশীলিত মডেল বিল্ডিং পর্ব রয়েছে যা মডেলগুলি সংরক্ষণাগারভুক্ত করে এবং খুব দ্রুত পূর্বাভাসের বিকল্প যা সাম্প্রতিককালের জন্য নতুন পূর্বাভাসকে সামঞ্জস্য করার আগে পূর্বাভাসের সময়টিকে কঠোর মডেল বিকাশের সময়ের একটি ছোট ভগ্নাংশে হ্রাস করে পুনরায় ব্যবহার করে মডেলটি বিকাশ ও সংরক্ষণের পরে ডেটা পর্যবেক্ষণ করা হয়েছে। মূল্য এবং আবহাওয়া বিবেচনায় নেওয়া প্রায় 50+ আইটেমের জন্য এটি আনহিউসার-বুশের 600,000 স্টোর পূর্বাভাস প্রকল্পের জন্য প্রয়োগ করা হয়েছিল।

মডেলগুলি রোলিং ফ্যাশনে আপডেট করা যেতে পারে, প্রয়োজন অনুযায়ী পূর্ববর্তী মডেলগুলি প্রতিস্থাপন করে।

প্যারাম্যাট্রিক বিধিনিষেধের দরকার নেই বা ভিআর এবং ভারিমার মতো কার্যকারক ভেরিয়েবলগুলির একসাথে প্রভাব বাদ দেওয়ার সময় কেবলমাত্র সমস্ত সিরিজের একটি লা আরিমা নির্ভর করে।

মডেলগুলি প্রতিটি প্যারামিটারগুলির সাথে 1 সেট পরামিতি সহ কেবল 1 টি মডেল রাখার প্রয়োজন নেই এবং পৃথক সিরিজের সাথে উপযুক্ত / অনুকূল তৈরি করা উচিত।

দুর্ভাগ্যক্রমে পাইথনের কোনও সমাধান এখনও পাওয়া যায় নি তবে আশা চিরন্তন।

Comments

আকর্ষণীয় মনে হচ্ছে। কেবল একটি ছোট বাচ্চা: এমনকি ভিএআরের মতো সাধারণ কিছুতেও প্রতিটি সিরিজের নিজস্ব সমীকরণ পাওয়া যায়, সুতরাং 1 টি পরামিতিগুলির সাথে 1 টি মডেল থাকা প্রয়োজন কোনও উদ্বেগের বিষয় নয়। যদি আপনি একই সিরিজের জন্য বেশ কয়েকটি মডেল প্রস্তাব না করেন যা পূর্বাভাসের সংমিশ্রণের দিক থেকে ভাল ধারণা হতে পারে।

— রিচার্ড হার্ডি

উদ্দেশ্য: "সমস্ত 1200 পণ্যগুলির চাহিদা পূর্বাভাসের জন্য একটি একক মডেলকে প্রশিক্ষণ দেওয়ার জন্য?" আমি আক্ষরিকভাবে 1 টি সমীকরণ হিসাবে 1 টি সমীকরণ হিসাবে স্থির / গ্লোবাল প্যারামিটারগুলির সমস্ত 1200 সময়ের সিরিজ থেকে অনুমান করা "সেট করেছি" সম্ভবত আমি এটি ওভার-পঠন করেছি

— আইরিশস্ট্যাট

বা সম্ভবত আমি ভুল পেয়েছি।

— রিচার্ড হার্ডি

Answer 4

1200 পণ্য আপনার সমস্যার মাত্রিকতার প্রধান চালক। এখন আপনার কেবল 25 পিরিয়ড রয়েছে। এটি খুব অল্প ডেটা, কোনও ধরণের কম্বল পারস্পরিক সম্পর্ক বিশ্লেষণ করতে অপর্যাপ্ত। অন্য কথায় ডাইমেনশিয়ালটি হ্রাস না করে সমস্ত পণ্যগুলির একসাথে পূর্বাভাসের জন্য আপনার কাছে ডেটা নেই। এটি প্রায় সমস্ত ভার্মা এবং অন্যান্য দুর্দান্ত তাত্ত্বিক মডেলগুলি মুছে ফেলে। এই মডেলগুলির সহগের সাথে কাজ করা অসম্ভব, তাদের অনুমান করার মতো অনেকগুলি রয়েছে।

একটি সহজ পারস্পরিক সম্পর্ক বিশ্লেষণ বিবেচনা করুন। আপনার (1200x1200 + 1200) / সমবায় / পারস্পরিক সম্পর্কের ম্যাট্রিক্সের 2 কোষের প্রয়োজন হবে। আপনার কাছে কেবল 25 ডেটা পয়েন্ট রয়েছে। ম্যাট্রিক্স বিস্তৃত ডিগ্রি থেকে পর্যাপ্ত র‌্যাঙ্কের হবে। আপনি কি করতে যাচ্ছেন? বিস্তৃতভাবে আপনার কাছে দুটি সহজ পদ্ধতি রয়েছে: পৃথক পূর্বাভাস এবং ফ্যাক্টর মডেল।

প্রথম পদ্ধতির সুস্পষ্ট: আপনি প্রতিটি পণ্য স্বাধীনভাবে চালান। তারতম্য হ'ল কিছু বৈশিষ্ট্য, যেমন সেক্টর যেমন "মেনস ক্লোজিং" দ্বারা তাদেরকে গ্রুপ করা।

দ্বিতীয় পদ্ধতির হিসাবে পণ্য চাহিদা প্রতিনিধিত্ব করা হয় $d_i=\sum_jF_{j}\beta_{ji}+e_i$, কোথায় $F_j$একটি ফ্যাক্টর। কারণগুলি কি কি? এগুলি জিডিপি বৃদ্ধির হারের মতো বহিরাগত কারণ হতে পারে। বা এগুলি বহিরাগত কারণ হতে পারে, যেমন আপনি পিসিএ বিশ্লেষণের মাধ্যমে পেয়েছেন।

যদি এটি একটি বহির্মুখী ফ্যাক্টর হয়, তবে স্বতন্ত্রভাবে আপনাকে এই উপাদানগুলির উপর সিরিজটি পুনরায় চাপিয়ে বিটা অর্জন করতে হবে। পিসিএর জন্য, আপনি একটি শক্তিশালী পিসিএ করতে পারেন এবং তাদের ওজন নিয়ে প্রথম কয়েকটি উপাদান পেতে পারেন যা আপনি বেটাস।

এরপরে, আপনি বিষয়গুলি বিশ্লেষণ করুন এবং উত্পাদন করার জন্য একটি পূর্বাভাস মডেল তৈরি করুন $\hat F_j$এবং পণ্যের চাহিদার পূর্বাভাস পেতে তাদের আবার আপনার মডেলটিতে প্লাগ করুন। আপনি প্রতিটি ফ্যাক্টরের জন্য টাইম সিরিজ মডেল চালাতে পারেন, এমনকি কোনও ভেক্টর মডেল যেমন ভার্মা যেমন বিভিন্ন কারণের জন্য। এখন, যে সমস্যার মাত্রিকতা হ্রাস পেয়েছে, আপনার কাছে সময় সিরিজের পূর্বাভাস তৈরি করতে পর্যাপ্ত ডেটা থাকতে পারে।

Comments

আমি আপনার পয়েন্টটি প্রায় 25 টি পিরিয়ড দেখতে পাচ্ছি খুব স্বল্প সময়ের সিরিজের জন্য, তবে সেগুলি যদি মাসিক মান হয়? তারপরে ওপিতে দুই বছরের মাসিক ডেটা রয়েছে, যা কিছু seasonতুতে ক্যাপচার করার জন্য যথেষ্ট, বা কমপক্ষে সরল সূচকীয় স্মুথিং ব্যবহার করার জন্য, না?

— স্ক্যান্ডার এইচ।

@ স্ক্যান্ডারএইচ।, 25 পয়েন্টগুলি একটি সিরিজ চালাতে যথেষ্ট হতে পারে (অর্থাত্ প্রতিটি সিরিজ তাদের নিজস্ব) বা সমষ্টিগত। আমার বক্তব্যটি এটি একটি সিস্টেম হিসাবে চালানোর পক্ষে যথেষ্ট নয়।

— আকসকল

অথবা এগুলি বহিরাগত কারণ হতে পারে, যেমন আপনি পিসিএ বিশ্লেষণের মাধ্যমে পেয়েছেন। অন্তঃসত্ত্বা সম্ভবত ?

— রিচার্ড হার্ডি

Answer 5

আপনি মেঘ-ভিত্তিক সমাধানগুলিতে আগ্রহী কিনা তা আমি নিশ্চিত নই, তবে অ্যামাজন একটি আলগোরিদিম তৈরি করেছে যেগুলি তারা ডাব্লুএস সেজমেকারের মাধ্যমে "ডিপিএআর" উপলব্ধ হিসাবে কল করে, যেমনটি এখানে দেখা গেছে ।

এই অ্যালগরিদম বিশেষভাবে স্থির এবং গতিশীল বৈশিষ্ট্য সহ পূর্বাভাস তৈরি করতে একাধিক ইনপুট টাইম সিরিজ থেকে শিখতে সক্ষম হয়; উপরের লিঙ্কযুক্ত পৃষ্ঠা থেকে এই সংক্ষিপ্তসার হিসাবে দেখা গেছে:

ডিএপিএআর অ্যালগরিদমের প্রশিক্ষণ ইনপুট হ'ল এক বা, পছন্দসই, আরও লক্ষ্য সময় সিরিজ যা একই প্রক্রিয়া বা অনুরূপ প্রক্রিয়া দ্বারা উত্পাদিত হয়েছিল। এই ইনপুট ডেটাসেটের ভিত্তিতে, অ্যালগরিদম এমন একটি মডেল প্রশিক্ষণ দেয় যা এই প্রক্রিয়া / প্রক্রিয়াগুলির একটি সান্নিধ্য শিখায় এবং লক্ষ্য সময়ের সিরিজটি কীভাবে বিকশিত হয় তা ভবিষ্যদ্বাণী করতে এটি ব্যবহার করে। প্রতিটি টার্গেট টাইম সিরিজ optionচ্ছিকভাবে বিড়াল ক্ষেত্রের দ্বারা সরবরাহিত স্ট্যাটিক (সময়-স্বতন্ত্র) শ্রেণিবদ্ধ বৈশিষ্ট্য এবং ডায়নামিক_ফিট ক্ষেত্র দ্বারা সরবরাহিত গতিশীল (সময়-নির্ভর) সময় সিরিজের ভেক্টরের সাথে যুক্ত হতে পারে।

দুর্ভাগ্যক্রমে, আমি যতদূর বলতে পারি, তারা এই অ্যালগরিদমটি অফলাইন / স্ব-হোস্টেড ব্যবহারের জন্য উপলব্ধ করে না।