আউটলিয়ারদের সমন্বিত এমন একটি সময়ের সিরিজের মডেল কীভাবে ফিট করবেন fit

Question

আমি আরআইএমএতে ফর্ম ব্যবহার করে আরিমা (5,1,2) মডেলটি লাগিয়েছি auto.arima()এবং অর্ডার দিয়ে আমরা বলতে পারি এটি পূর্বাভাসের পক্ষে সেরা মডেল নয়। যদি ডেটা সিরিজে আউটলিয়ারদের উপস্থিত থাকে তবে এই জাতীয় ডেটাতে কোনও মডেল ফিট করার পদ্ধতিটি কী?

Comments

কী পয়েন্টগুলি বিদেশী বলে আপনার কোনও ডেটা / তত্ত্ব আছে? আপনি সহজেই ধরে নিতে পারবেন না যে "দূরে" পয়েন্টগুলি বিদেশী, তবে আপনি যদি জানেন যে কোনও নির্দিষ্ট তারিখে বিশেষ কিছু ঘটেছিল এবং সেই ইভেন্টটি আপনার ডেটাকে প্রভাবিত করে, আপনি সেই তারিখের জন্য আপনার মডেলটিতে একটি সূচক পরিবর্তনশীল যুক্ত করতে পারেন। নীচে আইরিশস্ট্যাট এর মন্তব্য দেখুন।

— ওয়েইন

যদি সেই সময়কালে 1 বা 2 সপ্তাহে বিশেষ কিছু ঘটে থাকে এবং এটি মডেলটিতে প্রভাব ফেলে তবে মডেলটি ভুল হতে পারে। যেহেতু seasonতু পরিবর্তনের মতো অন্য কোনও কারণ নেই, তাই আমি ধরে নিয়েছি যে বাইরের লোকরা মডেলটির জন্য প্রভাবিত করে।

— অ্যান্থনি

Answer 1

মাইকেল চেরনিক আপনাকে সঠিক দিকে নির্দেশ করেছেন। এই জ্ঞানের দেহে যোগ হওয়া হিসাবে আমি রুয়ে সায়েয়ের কাজের দিকেও নজর দেব। আরও এখানে দেখুন ।

আপনি আজকের স্বয়ংক্রিয় কম্পিউটার অ্যালগরিদমের বিরুদ্ধে প্রতিযোগিতা করতে পারবেন না। আপনি যে সময় সিরিজটি বিবেচনা করেননি এবং প্রায়শই কোনও কাগজ বা বইতে নথিভুক্ত করেননি এমন সময় সিরিজের কাছে যাওয়ার জন্য তারা অনেকগুলি উপায় দেখেন। যখন কেউ একটি এনোভা কীভাবে করবেন জিজ্ঞাসা করেন, তখন বিভিন্ন অ্যালগরিদমের সাথে তুলনা করার সময় একটি সুনির্দিষ্ট উত্তর আশা করা যায়। যখন কেউ প্রশ্ন জিজ্ঞাসা করে যে আমি কীভাবে প্যাটার্ন স্বীকৃতি দেব, হুরিস্টিকস জড়িত হওয়ায় অনেক উত্তর সম্ভব। আপনার প্রশ্নে হিউরিস্টিক্স ব্যবহার জড়িত।

একটি আরিমা মডেল ফিট করার সর্বোত্তম উপায়, যদি ডেটাতে আউটলিয়াররা উপস্থিত থাকে তবে প্রকৃতির সম্ভাব্য রাজ্যগুলির মূল্যায়ন করা এবং কোনও নির্দিষ্ট ডেটা সেটের জন্য অনুকূল হিসাবে বিবেচিত এমন পদ্ধতির নির্বাচন করা। প্রকৃতির একটি সম্ভাব্য অবস্থা হ'ল আরিমা প্রক্রিয়াটি ব্যাখ্যাযোগ্য পরিবর্তনের প্রাথমিক উত্স। এক্ষেত্রে এসিএফ / প্যাকফ ফাংশনের মাধ্যমে আরিমা প্রক্রিয়াটি "স্থায়ীভাবে চিহ্নিত" করা সম্ভব হবে এবং তারপরে সম্ভাব্য বিদেশিদের জন্য অবশিষ্টাংশগুলি পরীক্ষা করবো। আউটলিয়াররা ডাল হতে পারে, অর্থাত্, এক-সময়ের ইভেন্টগুলি বা মৌসুমী ডাল যা কিছু ফ্রিকোয়েন্সি (যেমন, মাসিক ডেটার জন্য 12) নিয়মানুগ আউটলিয়ারদের দ্বারা প্রমাণিত হয়। তৃতীয় প্রকারের আউটলেটর যেখানে ডালের সমাহারিত সেট থাকে, প্রত্যেকেরই একই চিহ্ন এবং প্রস্থ থাকে, এটিকে স্টেপ বা লেভেল শিফট বলে। অস্থায়ী আরিমা প্রক্রিয়াটি থেকে অবশিষ্টাংশগুলি পরীক্ষা করার পরে কেউ একটি অস্থায়ীভাবে একটি অস্থায়ী সংযুক্ত মডেল তৈরি করতে অনুপ্রেরণামূলকভাবে চিহ্নিত ডিটারমিনিস্টিক কাঠামো যুক্ত করতে পারেন। বা যদি প্রকরণের প্রাথমিক উত্স 4 প্রকারের বা "আউটলিয়ার "গুলির মধ্যে একটি হয় তবে এটিকে আরবিও (প্রথম) সনাক্ত করে এবং তারপরে স্ট্রাকাস্টিক (এআরআইএমএ) কাঠামো সনাক্ত করতে এই" রিগ্রেশন মডেল "থেকে অবশিষ্টাংশ ব্যবহার করে আরও ভাল পরিবেশিত হবে would । এখন এই দুটি বিকল্প কৌশলটি কিছুটা জটিল হয়ে ওঠে যখন কারও মধ্যে একটি "সমস্যা" থাকে যেখানে সময়ের সাথে সাথে আরিমা প্যারামিটারগুলি পরিবর্তন হয় বা বেশ কয়েকটি সম্ভাব্য কারণগুলির কারণে সময়ের সাথে সাথে ত্রুটির প্রকরণ পরিবর্তিত হয়, সম্ভবত ওজনযুক্ত ন্যূনতম স্কোয়ারগুলির প্রয়োজন হয় বা একটি পাওয়ার ট্রান্সফর্ম হয়? লগস / পারস্পরিক ক্ষতি ইত্যাদির মতো আরেকটি জটিলতা / সুযোগ হ'ল কীভাবে এবং কখন মেমরি, কার্যকারিতা এবং বুদ্ধিমানভাবে চিহ্নিত ডামি সিরিজকে সমন্বিত করে সংবিহীন ইন্টিগ্রেটেড মডেল গঠনের জন্য ব্যবহারকারী-প্রস্তাবিত পূর্বাভাসকারী সিরিজের অবদান গঠন করবেন। এই ফর্মটির সূচক সিরিজের সাহায্যে ট্রেন্ডিং সিরিজটি সেরা মডেল করা হলে এই সমস্যাটি আরও তীব্র হয়$0,0,0,0,1,2,3,4,...$, বা $1,2,3,4,5,...n$ এবং লেভেল শিফট সিরিজের সংমিশ্রণগুলি $0,0,0,0,0,0,1,1,1,1,1$। আপনি আর এ জাতীয় পদ্ধতিতে চেষ্টা করতে এবং লিখতে চাইতে পারেন, তবে জীবন খুব কম। আমি আসলে আপনার সমস্যাটি সমাধান করতে পেরে খুশি হব এবং পদ্ধতিটি কীভাবে কাজ করে তা এই ক্ষেত্রে প্রদর্শন করতে দয়া করে ডেটা পোস্ট করুন বা বিক্রয় করুন@autobox.com এ প্রেরণ করুন

---

1/1/2007 থেকে বৈদেশিক মুদ্রার হার / 18 = 765 মানগুলির জন্য ডেটা / প্রতিদিনের তথ্য / বিশ্লেষণের পরে অতিরিক্ত মন্তব্য

তথ্য একটি acf ছিল:

ফর্মের একটি আরমা মডেল সনাক্ত করার পরে $(1,1,0)(0,0,0)$এবং বেশিরভাগ বিদেশি এসিএফ মানগুলি যেহেতু অবশিষ্টগুলির এসিফ এলোমেলোতা নির্দেশ করে। অটোবক্স বেশ কয়েকজন বহিরাগতকে সনাক্ত করেছে:

চূড়ান্ত মডেল:

একটি লা TSAY যেখানে বৈকল্পিক স্থিতিশীলতা বৃদ্ধির প্রয়োজনীয়তা অন্তর্ভুক্ত ছিল যেখানে অবশিষ্টাংশগুলিতে পরিবর্তিত পরিবর্তনগুলি চিহ্নিত এবং সংযুক্ত করা হয়েছিল। আপনার অটোমেটিক রান নিয়ে আপনার যে সমস্যাটি হয়েছিল তা হ'ল অ্যাকাউন্টেন্টের মতো আপনি যে পদ্ধতিটি ব্যবহার করছেন তা হ'ল হস্তক্ষেপ সনাক্তকরণ (ওরফে, আউটিলার ডিটেকশন) এর মাধ্যমে ডেটাটিকে চ্যালেঞ্জ করার চেয়ে ডেটা বিশ্বাস করে। আমি এখানে একটি সম্পূর্ণ বিশ্লেষণ পোস্ট করেছি ।

Comments

@ আইরিশ স্ট্যাট: ভবিষ্যতে, আপনি কি বিন্যাস বিকল্পগুলি ব্যবহার করতে পারেন? (লিঙ্কগুলি সন্নিবেশ করার জন্য সঠিক কীটি সিটিআরএল-এল, সিটিআরএল-সি নয়)।

— ব্যবহারকারী 60

@ ব্যবহারকারী 603 আমি কেবল অ্যাড গ্রাফ বিকল্পটি ব্যবহার করছি। আপনি ctrl-l বা cntrl-c বলতে কী বোঝেন তা আমি জানি না। সম্ভবত আপনি আমাকে সহায়তা করতে পারেন, অনুগ্রহ করে আমার সাথে ডেভ / @ / অটোবক্স.কম এ যোগাযোগ করুন এবং সম্ভবত আপনি এই মাধ্যমে আমাকে হাঁটা / কথা বলতে পারেন।

— আইরিশস্ট্যাট

@ আইরিশ স্ট্যাট: এখানে একবার দেখুন ।

— ইউজার 603

@ ইউজার 603 ঠিক আছে তবে আমি এখনও জানি না যে আপনি সিটিআরএল এবং সিএনটিআরএল বলতে কী বোঝাতে চাইছেন। আমি যেখানে চিত্রটি সন্নিবেশ করতে সক্ষম হয়েছি সেখানে আমি চিত্র স্থানান্তর ব্যবহার করছিলাম। আমি যদি cntrl-g টাইপ করি তবে আমি কেবল একটি ফাঁকা পপ-আপ স্ক্রিন পাই।

— আইরিশস্ট্যাট

@ আইরিশস্ট্যাট: এটি ঠিক আছে - লিঙ্কটির পদ্ধতিটি সিটিআরএল-এল এর চেয়েও দুর্দান্ত :) পিএস: আমার উদ্দেশ্যটি ছিল আপনার উত্তরগুলি / মন্তব্যগুলিকে আরও আকর্ষণীয় করে তুলতে, কসমেটিকভাবে, এই দীর্ঘ লিঙ্কগুলি লুকিয়ে রেখে পাঠ্যের প্রবাহকে কাটাতে সহায়তা করা। লিঙ্কটি আপনাকে কীভাবে অর্জন করতে হবে তা ব্যাখ্যা করে।

— ব্যবহারকারী 60

Answer 2

আরে (এখনও) অরিমা ফাংশনটির জন্য শক্তিশালী প্রতিরূপ ব্যবহার করার জন্য প্রস্তুত নেই ; একটি উপস্থিত হওয়া উচিত, এটি এখানে তালিকাভুক্ত করা হবে । হতে পারে একটি বিকল্প হ'ল সেই পর্যবেক্ষণগুলি হ'ল-ওজনযুক্ত যা সাধারণ সরল অবিচ্ছিন্ন আউটলেট সনাক্তকরণের নিয়মের সাথে সম্পর্কিত, তবে আমি ভারী এআরএমএ রিগ্রেশন চালাতে প্যাকেজগুলি ব্যবহার করতে প্রস্তুত দেখছি না। আর একটি সম্ভাব্য বিকল্প হ'ল বাইরের মূল বিষয়গুলি উইনসরাইজ করা:

#parameters
para     <- list(ar=c(0.6,-0.48), ma=c(-0.22,0.24))
#original series
y1 <- y0 <- arima.sim(n=100, para, sd=sqrt(0.1796)) 
#outliers
out      <- sample(1:100, 20)               
#contaminated series
y1[out]  <- rnorm(20, 10, 1)                
plot( y1, type="l")
lines(y0, col="red")

#winsorized series
y2      <- rep(NA, length(y1))
a1      <- (y1-median(y1)) / mad(y1)
a2      <- which(abs(a1)>3)
y2[-a2] <- y1[-a2]
for(i in 2:length(y2)){
   if(is.na(y2[i])){ y2[i] <- y2[i-1] }
}       

Comments

নিয়ম ভিত্তিক পদ্ধতিটি এই সিরিজের বুয়ের জন্য প্রায় 42 বছর ধরে টাইম সিরিজডেটা দেখে কাজ করে যা সাধারণভাবে কাজ করতে পারে না। একটি স্বয়ংক্রিয়-প্রজেক্টিভ প্রক্রিয়া রয়েছে এমন একটি সাধারণ সিরিজটি বিবেচনা করুন উদাহরণস্বরূপ, ১, 1,9,1,9 যেখানে 7th ম মানটি ব্যতিক্রমী বা সাধারণভাবে এমন একটি সিরিজ রয়েছে যা কিছু অজানা ফর্মের শক্তিশালী অটোপ্রজেক্টিক কাঠামো বা একটি সিরিজ যেখানে 1,2,1,1,1,2,1,1,1 রয়েছে, 2,1,20,1,2,1,2,1,1,1,2,1,2,2,19,2,1,1,2,1,2,1,1,2,2, 2,21 একটি মাসিক সিরিজ যেখানে ডাল নেই তবে বিউটিতে একটি অনির্দিষ্ট SEASONAL DUMMY রয়েছে। বিএডি হিসাবে 12,24 এবং 36 সনাক্ত করা স্নানের জল দিয়ে বাচ্চাকে বাইরে ফেলে দিবে।

— আইরিশস্ট্যাট

আপনি যা বলছেন সবই সত্য অর্থাত্ আপনি ব্যান্ড-সহায়তা সরবরাহ করছিলেন যা ক্ষতটিতে সহায়তা করবে যদি 1) সিরিজটি স্থির ছিল যা অন্যান্য বিষয়গুলির মধ্যে ধরে নেওয়া হয় কোনও স্তরের স্থানান্তর নয়, কোনও প্রবণতা এবং কোন আরিমা কাঠামো নেই; এবং 2) সিরিজটি অ-মৌসুমী হতে হবে বা এর আগে ডি-মৌসুমী করা হয়েছিল; । এটি আমার অভিজ্ঞতা যে এমন অনুমানগুলি খুব কমই যদি হয় এবং ব্যবহারকারীরা আপনার সতর্কতা অবহেলা করে তবে তারা "অসম্পূর্ণতা" রয়েছে এমন টাইম সিরিজ নিয়ে কুস্তি করার চেষ্টা করে। এখানে আমার মন্তব্যগুলি বিতর্কিত নয় বরং আলোকিত করার উদ্দেশ্যে (কারও কাছে!)

— আইরিশস্ট্যাট

@ আইরিশস্ট্যাট ওপি তার প্রশ্ন আপডেট করেছে এবং জানিয়েছে যে কোনও seasonতু নেই।

— ব্যবহারকারী 60

তুমি কি ক্রিস্টোফ?

— আইরিশস্ট্যাট

Answer 3

শক্তিশালী সময় সিরিজের মডেলগুলিতে একটি বিশাল সাহিত্য রয়েছে। মার্টিন এবং ইয়োহাই প্রধান অবদানকারীদের মধ্যে রয়েছেন। তাদের কাজ 1980 এর দশকে ফিরে যায়। আমি নিজেই টাইম সিরিজে আউটলিয়ারগুলি সনাক্ত করার জন্য কিছু কাজ করেছি, তবে টাইম সিরিজে আউটলিয়ার বা ভারী-লেজযুক্ত রেসিডুয়ালিদের উপস্থিতিতে আউটলিয়ার এবং পরামিতি নির্ধারণের ক্ষেত্রে মার্টিন সত্যিই অনেক অবদানকারীদের একজন

• এখানে 100 টিরও বেশি রেফারেন্সের একটি তালিকা সহ এই বিষয়ের একটি জরিপ নিবন্ধের লিঙ্ক । এমনকি এটিতে আমার 1982 জাসার কাগজ অন্তর্ভুক্ত রয়েছে।
• এখানে 2000 পিএইচডি থিসিস (পিডিএফ) রয়েছে যা শক্তিশালী সময় সিরিজের বিশ্লেষণের তত্ত্ব, পদ্ধতি এবং প্রয়োগগুলি অন্তর্ভুক্ত করে এবং একটি দুর্দান্ত গ্রন্থপঞ্জি অন্তর্ভুক্ত করে।
• সফ্টওয়্যারটির একটি লিঙ্ক এখানে কিছু শক্ত সময় সিরিজের সরঞ্জাম অন্তর্ভুক্ত রয়েছে।

Comments

শক্তিশালী পূর্বাভাসের জন্য ব্যবহৃত সফ্টওয়্যারটি কী? এটি কি অবিচ্ছিন্ন সিরিজের জন্য উপযুক্ত?

— অ্যান্টনি

@ অ্যান্টনি এটি খুব ভাল প্রশ্ন। আমি কোনও দৃ time় সময় সিরিজের মডেলিং করিনি। ডিগ মার্টিন ইনসাইটফুল (তাদের বেশ কয়েকটি নাম ছনেজ) নামে একটি সংস্থা প্রতিষ্ঠা করেছিলেন যা স্প্লাসকে বাজারজাত করেছিল। আমি নিশ্চিত যে তিনি এসপ্লাস সফ্টওয়্যারটিতে মজবুত মেথিডগুলি অন্তর্ভুক্ত করেছিলেন। আর এখন সম্ভবত একটি সংস্করণ রয়েছে I আমি এটি যাচাই করব। এখানে এসপ্লাসের ইতিহাস সহ একটি উইকিপিডিয়া নিবন্ধ রয়েছে। en.wikipedia.org/wiki/S-PLUS

— মাইকেল আর Chernick

@ অ্যান্টনি এখানে রব হ্যান্ডম্যান দ্বারা প্রদত্ত একটি উত্স যা সময় সিরিজের বিশ্লেষণে আর-তে উপলব্ধ। এটিতে সিআরএন-এ রয়েছে এবং এটি দৃ filter় ফিল্টারিং সহ বিভিন্ন ধরণের পদ্ধতিতে অন্তর্ভুক্ত রয়েছে। cran.r-project.org/web/views/TimeSeries.html

— মাইকেল আর চেরনিক

Answer 4

ইতিহাসের পূর্বাভাস দেওয়া বা বিশ্লেষণ করা কি আপনার মডেলের উদ্দেশ্য? যদি এটি পূর্বাভাসের জন্য না হয়, এবং আপনি জানেন যে এগুলি আউটলিয়ার্স, তবে কেবল ডামি ভেরিয়েবল যুক্ত করুন, যা সেই তারিখগুলিতে 1 এবং অন্যান্য তারিখে 0 হয়। এইভাবে ডামি সহগগুলি আউটলিয়ারদের যত্ন নেবে এবং আপনি মডেলের অন্যান্য সহগগুলি ব্যাখ্যা করতে সক্ষম হবেন।

যদি এটি পূর্বাভাসের জন্য হয় তবে আপনাকে নিজেকে দুটি প্রশ্ন জিজ্ঞাসা করতে হবে: এই আউটলিয়াররা আবার কি ঘটবে? তারা যদি, আমি তাদের জন্য অ্যাকাউন্ট করতে হবে?

উদাহরণস্বরূপ, ধরা যাক লেহম্যান ভাইরা নেমে গেলে আপনার ডেটা সিরিজের বিদেশি রয়েছে have এটি এমন একটি ইভেন্ট যা আপনার ভবিষ্যদ্বাণী করার কোনও উপায় নেই, স্পষ্টতই, তবুও আপনি কেবল এটিকে উপেক্ষা করতে পারবেন না কারণ ভবিষ্যতে এই জাতীয় কিছু ঘটতে বাধ্য। আপনি যদি বহিরাগতদের জন্য ডামি নিক্ষেপ করেন, তবে আপনি কার্যকরভাবে ত্রুটি বৈকল্পিকতা থেকে এই ইভেন্টের অনিশ্চয়তা মুছে ফেলুন। আপনার পূর্বাভাস লেজ ঝুঁকি হ্রাস করবে - একটি ভাল জিনিস না, সম্ভবত, ঝুঁকি ব্যবস্থাপনার জন্য। যাইহোক, আপনি যদি বিক্রয়টির বেসলাইন পূর্বাভাস তৈরি করতে চান তবে ডামিটি কাজ করবে, কারণ আপনি লেজের প্রতি আগ্রহী নন, আপনি সম্ভবত বেশিরভাগ পরিস্থিতিতেই আগ্রহী - সুতরাং আপনাকে অনাকাঙ্ক্ষিত ইভেন্টের জন্য অ্যাকাউন্টিং করতে হবে না এই উদ্দেশ্য।

সুতরাং, আপনার মডেলটির উদ্দেশ্য আপনি বিদেশীদের সাথে যেভাবে আচরণ করেন তার প্রভাব ফেলে।