পূর্ববর্তী টাইম সিরিজের ডেটার ভিত্তিতে আমি কীভাবে ট্র্যাফিকের পূর্বাভাস দিতে পারি?

Question

যদি আমার কাছে খুচরা দোকান থাকে এবং প্রতি মিনিটে আমার দোকানে কত লোক প্রবেশ করে এবং সেই ডেটাটির টাইমস্ট্যাম্প মাপার উপায় থাকে তবে আমি কীভাবে ভবিষ্যতের পায়ে ট্র্যাফিকের পূর্বাভাস দিতে পারি?

আমি মেশিন লার্নিং অ্যালগরিদমগুলিতে সন্ধান করেছি, তবে কোনটি ব্যবহার করব তা নিশ্চিত নই। আমার পরীক্ষার তথ্যগুলিতে, কেএনএন (যেমন আমি বোধগম্য পরামিতি এবং দূরত্বের ক্রিয়াটি বলে মনে করি) এর সাথে আমি চেষ্টা করেছি এমন অন্যান্য জিনিসের তুলনায় বছরের পর বছর প্রবণতা আরও সঠিক।

এটি প্রায়শই মনে হয় এটি আর্থিক মডেলিংয়ের মতো হতে পারে, যেখানে আপনি সময় সিরিজের ডেটা ব্যবহার করেন। কোন ধারনা?

Comments

হতে পারে এই সাদা রঙের কাগজটি কার্যকর হতে পারে। knime.org/files/knime_bigdata_energy_Timeseries_ whitepaper.pdf এটি মৌসুমতা সহ মডেলিং সময় সিরিজ সম্পর্কে। - রোজারিয়া

— রোজারিয়া

Answer 1

কেএনএন এর মতো মডেলগুলির সমস্যা হ'ল তারা মৌসুমতাকে বিবেচনায় রাখেন না (ট্রেন্ডে সময়ের উপর নির্ভরশীল বিভিন্নতা)। এগুলি বিবেচনায় নেওয়ার জন্য আপনার সময় সিরিজ বিশ্লেষণ ব্যবহার করা উচিত।

আপনার মতো গণনা সম্পর্কিত ডেটার জন্য আপনি সাধারণীকরণিত লিনিয়ার অটো-রিগ্রসিভ মুভিং এভারেজ মডেল (GLARMA) ব্যবহার করতে পারেন। ভাগ্যক্রমে, একটি আর প্যাকেজ রয়েছে যা সেগুলি প্রয়োগ করে ( গ্লারমা )।

চিত্র টুল পিছনে তত্ত্ব একটি ভাল সম্পদ।

Comments

পূর্বাভাস এবং সময় সিরিজ বিশ্লেষণের জন্য আর একটি খুব দরকারী প্যাকেজ প্রফেসর রব জে হ্যান্ডম্যানের পূর্বাভাস ।

— Def_Os

আপনি কি জানেন যে এটি ইতিমধ্যে অন্য কোনও ভাষায় প্রয়োগ করা হয়েছে? আমি আর এর সাথে হুবহু প্রো না, আমি কমপক্ষে অবশ্যই কাগজটি পড়ব।

— ব্যবহারকারী 1132959

আমি কারও সাথে পরিচিত নই। আপনি যদি পাইথনটি ব্যবহার করতে চান, তবে পাইথনের বাকী প্রোগ্রামিংয়ের বেশিরভাগ সময় করার সময় আপনি গ্লার্মা ফাংশনটি কল করতে আরপিপি 2 প্যাকেজটি ব্যবহার করতে পারেন । বেশিরভাগ অন্যান্য ভাষায়ও এ জাতীয় সংযোগ রয়েছে।

— ক্রিস্টোফার লাউডেন

Answer 2

আমি মনে করি উপরে ক্রিস্টোফারের উত্তরগুলি সম্পূর্ণ বুদ্ধিমান। একটি বিকল্প পদ্ধতির (বা সম্ভবত তিনি প্রদত্ত পরামর্শ ছাড়াও), আমি কী ঘটছে তার মোটামুটি ধারণা পেতে চেষ্টা করার জন্য কেবল তথ্যটি কিছুটা কল্পনা করেই শুরু করতে পারি।

আপনি যদি ইতিমধ্যে এটি না করে থাকেন তবে আপনি কোনও তারিখের মাস এবং সপ্তাহের দিনটিকে বৈশিষ্ট্য হিসাবে যুক্ত করার চেষ্টা করতে পারেন - আপনি যদি কেএনএন দিয়ে স্টিকিং শেষ করেন, এটি মডেলটিকে seasonতুসত্তা বাছাই করতে সহায়তা করবে।

এটি চালিয়ে যাওয়ার ভিন্ন উপায় হিসাবে, আপনি সত্যিই, সত্যিকারের মৌলিক মডেল (ওএলএসের মতো) দিয়ে শুরু করার বিষয়টি বিবেচনা করতে পারেন .. এগুলি প্রায়শই যুক্তিসঙ্গত ভবিষ্যদ্বাণী তৈরিতে অনেক দীর্ঘ পথ অতিক্রম করে।

অবশেষে, আমরা আপনার ডেটা সম্পর্কে যত বেশি জানি, আমাদের পক্ষে পরামর্শ উত্পন্ন করতে সহায়তা করা তত সহজ হবে - আপনি কোন সময় ফ্রেমটি পর্যবেক্ষণ করছেন? আপনি বর্তমানে ব্যবহার করছেন এমন বৈশিষ্ট্যগুলি কী কী? প্রভৃতি

আশাকরি এটা সাহায্য করবে --

Comments

হ্যাঁ, ভিজ্যুয়ালাইজেশন কোনও বিশ্লেষণের জন্য প্রথম পদক্ষেপ।

— ক্রিস্টোফার লাউডেন

আমি বৈশিষ্ট্য হিসাবে মাস, মাসের দিন, সপ্তাহের দিন এবং বছর যুক্ত করেছি। এমনকি আমি সাম্প্রতিক কমে যাওয়া "সাম্প্রতিকতা" মানটি চেষ্টা করেছিলাম। আমি মনে করি না যে আমি ওএলএস চেষ্টা করেছি। আমি এমন একটি সময় ফ্রেম পর্যবেক্ষণ করছি যা কয়েক সপ্তাহ থেকে একাধিক বছর পর্যন্ত যে কোনও জায়গায় হতে পারে। যতদূর এটা ভিজ্যুয়ালাইজিং যায়, আমি এটি করার চেষ্টা করেছি। সমস্যাটি হ'ল আমরা চাই যে সফ্টওয়্যারটি বিভিন্ন গ্রাহকের জন্য মানুষের হস্তক্ষেপ ছাড়াই স্বয়ংক্রিয়ভাবে পূর্বাভাস দিতে সক্ষম হবে।

— ব্যবহারকারী 1132959

Answer 3

আপনি নিউরাল নেটওয়ার্ক চেষ্টা করতে পারেন। আপনি এখানে এবং এখানে টাইম সিরিজে এনএন প্রয়োগ করার জন্য 2 দুর্দান্ত ব্যাখ্যা খুঁজে পেতে পারেন ।

মনে রাখবেন যে এটি সর্বোত্তম অনুশীলন:

• ইনপুট ডেটাটিকে ডিসসোনালাইজ / ডিটেন্ড করে (যাতে এনএন theতুটি শিখতে না পারে)।
• ইনপুট ডেটা পুনরায় বিক্রয় / সাধারণ করুন।

কি আপনি খুঁজছেন একটি রিগ্রেশন সমস্যা হওয়ায়, অ্যাক্টিভেশন ফাংশন হওয়া উচিত linearএবং sigmoidবা tanhএবং আপনি কমান লক্ষ্য রাখি sum-of-squares error(এর বৃহদায়ন বিরোধী হিসাবে negative log-likelihoodএকটি শ্রেণীবিভাগ সমস্যা)।

Comments

আমি বিকল্প হিসাবে নিউরাল নেটওয়ার্কগুলিতে সন্ধান করছিলাম তবে আমি কী ধরণের পরামিতি ব্যবহার করব তা জানতাম না। আমি তাদের একটি শট দিতে হবে।

— ব্যবহারকারী 1132959

সিগময়েড এবং তানহ ভাল আছেন, অরৈখিকতা আরও জটিল ইন্টারঅ্যাকশন শিখতে চেয়েছিল এবং

— ওজনগুলি

Answer 4

@ ক্রিসটফার লাউডেন উপরে উল্লিখিত হিসাবে, সময়-সিরিজ বিশ্লেষণ এই ধরণের জিনিস জন্য সবচেয়ে উপযুক্ত। তবে, আপনি যদি আরও বেশি traditionalতিহ্যবাহী "মেশিন লার্নিং অ্যাপ্রোচ" করতে চান, অতীতে যা কিছু করেছি তা হ'ল বৈশিষ্ট্য হিসাবে আপনার ডেটাটিকে সময়ের ওভারল্যাপিং উইন্ডোগুলিতে ব্লক করা হয়, তবে পরবর্তী দিনগুলি (বা সপ্তাহগুলি পূর্বাভাস দেওয়ার জন্য এটি ব্যবহার করুন) ) ট্রাফিক।

আপনার বৈশিষ্ট্য ম্যাট্রিক্স কিছু হবে:

t1 | t2 | ... | tN
t2 | t3 | ... | tN+1
t3 | t4 | ... | tN+2
...
tW | tW+1 | ... |tN+W

tIদিনে ট্রাফিক কোথায় I? আপনি যে বৈশিষ্ট্যটির পূর্বাভাস করবেন তা হ'ল শেষ কলামের পরের দিন ট্র্যাফিক। সংক্ষেপে, পরের দিনের ট্র্যাফিকের পূর্বাভাস দেওয়ার জন্য ট্র্যাফিকের একটি উইন্ডো ব্যবহার করুন।

যে কোনও এমএল মডেল এর জন্য কাজ করবে।

সম্পাদন করা

প্রশ্নের জবাবে, "আপনি কীভাবে এই বৈশিষ্ট্যটির ম্যাট্রিক্স ব্যবহার করেন সে সম্পর্কে আপনি বিশদ বর্ণনা করতে পারেন":

বৈশিষ্ট্যটির ম্যাট্রিক্সের সময়কালের জন্য বিগত ট্র্যাফিককে চিহ্নিত করার মান রয়েছে (উদাহরণস্বরূপ, ১ সপ্তাহের বেশি সময় ধরে ট্রাফিক) এবং আমরা ভবিষ্যতে কিছু নির্দিষ্ট সময়ের জন্য ট্র্যাফিকের পূর্বাভাস দিতে এটি ব্যবহার করি। আমরা আমাদের historicতিহাসিক ডেটা নিই এবং historicতিহাসিক ট্র্যাফিকের একটি বৈশিষ্ট্য ম্যাট্রিক্স তৈরি করি এবং ভবিষ্যতে কোনও সময় ট্র্যাফিকের সাথে এটি লেবেল করি (উদাহরণস্বরূপ বৈশিষ্ট্যের উইন্ডোর 2 দিন পরে)। কিছু ধরণের রিগ্রেশন মেশিন লার্নিং মডেল ব্যবহার করে আমরা historicতিহাসিক ট্র্যাফিক ডেটা নিতে পারি এবং এমন একটি মডেল তৈরি করে দেখতে পারি যা আমাদের historicতিহাসিক ডেটা সেটে ট্র্যাফিক কীভাবে স্থানান্তরিত হয়েছিল তা অনুমান করতে পারে। অনুমান যে ভবিষ্যতের ট্র্যাফিক অতীতের ট্র্যাফিকের সাথে সাদৃশ্যপূর্ণ।

Comments

আপনি কীভাবে এই বৈশিষ্ট্যটির ম্যাট্রিক্স ব্যবহার করবেন তা বিশদভাবে বলতে পারেন? আপনি কি দিন জুড়ে ট্র্যাফিক পরিবর্তনের উপর ভিত্তি করে শেখার চেষ্টা করছেন?

— ব্যবহারকারী 1132959

আশা করি আরও স্পষ্টতা দেওয়ার জন্য আমি প্রতিক্রিয়াটি সম্পাদনা করেছি।

— গ্যালামাইন

Answer 5

ভাল, প্রথমত, আমি এমনকি গভীর জ্ঞান না থাকলে মেশিন লার্নিংয়ের মতো জিনিসগুলি ব্যবহার করব না। এই সময়ের সিরিজটি যদি আমি করতাম সরলবাদী জিনিসগুলি হ'ল:

1. আপনার ব্যস্ততম, গড় এবং নিম্ন পাদদেশের ট্র্যাফিক কতবার তা বোঝার জন্য বর্গ কোয়েরি লিখুন।
2. তারপরে পুরো সময়ের সিরিজটি ভিজ্যুয়ালাইজ করার চেষ্টা করুন এবং আপনি নিদর্শনগুলি বেছে নেওয়ার জন্য বেসিক প্যাটার্ন মেলানো অ্যালগরিদম ব্যবহার করতে পারেন।

এই দুটি জিনিস আপনাকে আপনার ডেটা সেটটি কী বলছে তা বুঝতে সহায়তা করবে। তারপরে, এটি হাতে রেখে, আপনি সম্ভবত মেশিন লার্নিং অ্যালগরিদমগুলি ব্যবহার করার জন্য আরও ভাল অবস্থায় থাকতে পারেন।

এছাড়াও, আমি বর্তমানে সময় সিরিজে কিছু তৈরিতে কাজ করছি এবং সময় সিরিজ বিশ্লেষণ ব্যবহার আপনাকে মেশিন শেখার চেয়ে অনেক বেশি সহায়তা করবে। উদাহরণস্বরূপ, প্যাটার্ন স্বীকৃতি অ্যালগরিদম রয়েছে যা আপনি প্রতিদিনের ডেটা ব্যবহার করে নিদর্শনগুলি প্রদর্শন করতে পারেন এবং কোনও প্যাটার্ন ধরতে 3 থেকে 6 মাস পর্যন্ত ডেটা ব্যবহার করেন।

Answer 6

আমি ধরে নিলাম, নিউরাল নেটওয়ার্ক বা সমতুল্য হিসাবে ব্যবহার করার বিরুদ্ধে পরামর্শ দেব, স্টোরের সাথে আপনার অভিজ্ঞতার ভিত্তিতে আপনি এত ভাল আগেই পেয়েছেন (অর্থাত্ সম্ভবত প্রতিদিন / মরসুমের প্রবণতা এবং কিছুটা মসৃণতা রয়েছে) এবং আমি তুলনামূলকভাবে অল্প পরিমাণে ডেটা কল্পনা করি। আইএমও এর চেয়ে আরও ভাল বিকল্প হ'ল গাউসিয়ান প্রক্রিয়া বা এসভিএমের মতো কার্নেল পদ্ধতিতে যাওয়া।

Answer 7

এই থ্রেডটিকে প্রাণবন্ত করে তোলা, কারণ এটি এখানে অনুরূপ প্রশ্নে অবতরণকারীদের পক্ষে দরকারী।

ফেসবুক সম্প্রতি প্রকাশিত হয়েছে এবং নবী https://facebookincubator.github.io/prophet/ নামে তাদের অভ্যন্তরীণ পূর্বাভাস সরঞ্জামগুলির একটি উন্মুক্ত উত্সাহিত করেছে

এটি আর অ্যান্ড পাইথন প্যাকেজ উভয়ই হিসাবে উপলব্ধ এবং এটি সামান্য মেশিন লার্নিং ব্যাকগ্রাউন্ডযুক্ত ব্যক্তির জন্য একটি আকর্ষণীয় সমাধান হিসাবে প্রমাণিত। তবে কিছু অতিরিক্ত এমএল জ্ঞান উত্পাদিত মডেলগুলিকে সুর ও অনুকূলিতকরণ করতে দেয়।

আমি নবীকে প্রথম পদক্ষেপ হিসাবে চেষ্টা করার পরামর্শ দিচ্ছি। এই সমাধানটির দ্রুত জয় হ'ল মডেল বিল্ডিং এবং পরীক্ষার স্বাচ্ছন্দ্য এবং গতি: আপনি আক্ষরিক অর্থে কয়েক মিনিটের মধ্যে একটি বংশদ্ভুত প্রজেকশন পেতে পারেন। সময় সিরিজে এটি খুব ভাল আচরণ করে, "প্রাকৃতিকভাবে" হাতের উপাত্তের seasonতু ধরা দেয়।

ফণা অধীনে, এটি একটি সাধারণীকরণযোগ্য মডেল (জিএএম) এর অনুরূপ - উত্সর্গীকৃত কাগজের আরও বিশদ: https://facebookincubator.github.io/prophet/static/prophet_paper_20170113.pdf