গড় পরম আকারযুক্ত ত্রুটির ব্যাখ্যা (এমএএসই)

Question

মিইন পরম স্কেলড ত্রুটি (এমএএসই) হ'ল কোহেলার অ্যান্ড হেন্ডম্যান (2006) প্রস্তাবিত পূর্বাভাস নির্ভুলতার একটি পরিমাপ ।

$$MASE=\frac{MAE}{MAE_{in-sample, \, naive}}$$

যেখানে প্রকৃত পূর্বাভাস দ্বারা উত্পাদিত গড় পরম ত্রুটি; যখন একটি নিরীহ পূর্বাভাস দ্বারা উত্পাদিত গড় নিখুঁত ত্রুটি (উদাহরণস্বরূপ ইন-স্যাম্পল ডেটাতে গণনা করা, একটি সংহত সময় সিরিজের জন্য কোনও পরিবর্তন-পূর্বাভাস ।এম একটি ই আমি এন - গুলি একটি মি পি ঠ ই $MAE$
আমি(1$MAE_{in-sample, \, naive}$$I(1)$

( সুনির্দিষ্ট সংজ্ঞা এবং সূত্রের জন্য কোহেলার এবং হ্যান্ডম্যান (2006) কাগজটি দেখুন))

$MASE>1$ বোঝায় যে প্রকৃত পূর্বাভাস নমুনায় যেমন নিখুঁত পূর্বাভাসের চেয়ে নিখুঁত ত্রুটি হিসাবে পরিসংখ্যানের চেয়ে খারাপ নমুনার চেয়েও খারাপ কাজ করে। সুতরাং যদি এর অর্থ যদি নিখুঁত ত্রুটি হয় তবে পূর্বাভাসের যথাযথতার প্রাসঙ্গিক পরিমাপ (যা হাতের সমস্যার উপর নির্ভর করে), ম্যাসেজ> 1$MASE>1$ পরামর্শ দেয় যে আসল পূর্বাভাসটি একটি নির্দোষ পূর্বাভাসের পক্ষে বাতিল করা উচিত যদি আমরা নমুনা ছাড়িয়ে থাকা ডেটা আশা করি স্যাম্পল ডেটাগুলির মতো হ'ল (কারণ আমরা কেবল জানি যে নমুনায় না থেকে একটি নির্দোষ পূর্বাভাস কতটা ভালভাবে সঞ্চালিত হয়েছিল)।

প্রশ্ন:

$MASE=1.38$এই হ্যান্ডসাইট ব্লগ পোস্টে প্রস্তাবিত পূর্বাভাস প্রতিযোগিতায় ম্যাসেজ = 1.38 একটি মানদণ্ড হিসাবে ব্যবহৃত হয়েছিল । একটি সুস্পষ্ট $MASE=1$ ?

অবশ্যই, এই প্রশ্নটি নির্দিষ্ট পূর্বাভাস প্রতিযোগিতার জন্য সুনির্দিষ্ট নয়। আরও সাধারণ প্রসঙ্গে এটি বোঝার জন্য আমি কিছু সহায়তা চাই।

আমার ধারণা:

কেবলমাত্র বুদ্ধিমান ব্যাখ্যাটি আমি দেখতে পাচ্ছি যে একটি নিষ্পাপ পূর্বাভাসটি নমুনার তুলনায় নমুনার চেয়ে বেশ খারাপ কাজ করবে বলে আশা করা হয়েছিল, যেমন কাঠামোগত পরিবর্তনের কারণে। তারপরে $MASE<1$ অর্জন করা খুব চ্যালেঞ্জ হতে পারে।

তথ্যসূত্র:

• হ্যান্ডম্যান, রব জে।, এবং অ্যান বি কোহলার। " পূর্বাভাস সঠিকতা পরিমাপ করে আরেকটি চেহারা। " পূর্বাভাস ইন্টারন্যাশনাল জার্নাল 22.4 (2006): 679-688।
• হাইলাইটসাইট ব্লগ পোস্ট ।

Comments

তার ব্লগ পোস্টে রব নোট করেছেন যেখানে এই মানদণ্ডটি এসেছে: "অ্যাথেন্সোপ্লোস এট আল (2010)-এ বর্ণিত এই তথ্যগুলির বিশ্লেষণে এই থ্রেশহোল্ডগুলি সেরা পারফরম্যান্স পদ্ধতি।" আপনি কি অ্যাথানোসোপল্লোস কাগজটি দেখেছেন?

— এস। কোলাসা - মনিকা

আমি "আপনার অনুমান" দ্বারা কিছুটা বিস্মিত হয়েছি: কাঠামোগত পরিবর্তনের অর্থ হ'ল পরিশীলিত পূর্বাভাসটি অবশ্যই আংশিক অপ্রাসঙ্গিক অতীতের তথ্যের উপর ভিত্তি করে তৈরি হবে indeed তবে কাঠামোগত বিরতি কীভাবে "পরিবর্তন না" এর পূর্বাভাসকে প্রভাব ফেলবে তা নির্ভর করে বিরতির উপর। উদাহরণস্বরূপ, যদি আমরা ড্রিফ্টের সাথে একটি এলোমেলো হাঁটার দিকে তাকিয়ে থাকি, এবং কাঠামোগত বিরতির অর্থ দাঁড়ায় যে ড্রিফট, ধ্রুবক শব্দটি সবেমাত্র নীচে নেমে আসে , তবে "নো-চেঞ্জ" পূর্বাভাস বিরতির পরে তার চেয়ে ভাল সম্পাদন করবে।

— অ্যালেকোস পাপাদোপল্লোস

@ অ্যালোকোসপ্যাপাডোপ্লোস: আপনি ঠিক বলেছেন। তবে, আমি বোঝাতে চেয়েছি যে -নমুনা ডেটা প্রয়োজনীয় হিসাবে ইন-স্যাম্পল-ডেটা থেকে বেশ আলাদা, তবে আশা করার জন্য পর্যাপ্ত শর্ত নয় । সম্ভবত আমি নিজেকে সঠিকভাবে প্রকাশ করিনি। $MASE>>1$

— রিচার্ড হার্ডি

@ স্টেফানকোলাসা: আমি কাগজটি দিয়ে স্কিম করেছিলাম এবং এর পক্ষে ভালো কোনও ব্যাখ্যা পাই না। সম্ভবত আমার এটি আরও মনোযোগ সহকারে পড়া উচিত। তবে আমার প্রশ্নগুলি এর চেয়ে বেশি সাধারণ হওয়ার উদ্দেশ্যে। আমি এই উদাহরণে বিশেষভাবে আগ্রহী নই, আমি কেবল এটি একটি উদাহরণ হিসাবে উপস্থাপন করেছি। আমি স্বজ্ঞা প্রার্থনা করছি । $MASE$

— রিচার্ড হার্ডি

সম্পর্কিত: stats.stackexchange.com/questions/124955/…

— এস। কোলাসা - মনিকা পুনর্নির্মাণ

Answer 1

ইন লিঙ্ক ব্লগ পোস্ট , রব Hyndman একটি পর্যটন পূর্বাভাস প্রতিযোগিতার এন্ট্রি জন্য কল। মূলত, ব্লগ পোস্টটি প্রাসঙ্গিক আইজেএফ নিবন্ধের দিকে দৃষ্টি আকর্ষণ করার জন্য কাজ করে , এটির একটি নিরীক্ষিত সংস্করণ যা ব্লগ পোস্টে লিঙ্কযুক্ত।

আপনি যে মানদণ্ডগুলি উল্লেখ করেছেন - মাসিকের জন্য 1.38, ত্রৈমাসিকের জন্য 1.43 এবং বার্ষিক ডেটার জন্য 2.28 - আপাতদৃষ্টিতে নিম্নলিখিত হিসাবে উপস্থিত হয়েছিল। লেখক ( এঁরা সকলেই বিশেষজ্ঞ পূর্বাভাসক এবং আইআইএফ -তে খুব সক্রিয় - এখানে কোনও সাপের তেল বিক্রয়কর্মী) মানসম্পন্ন পূর্বাভাস অ্যালগরিদম বা পূর্বাভাস সফ্টওয়্যার প্রয়োগ করতে যথেষ্ট সক্ষম এবং তারা সম্ভবত এআরআইএমএ জমা দেওয়ার ক্ষেত্রে আগ্রহী নয়। সুতরাং তারা গিয়ে তাদের ডেটাতে কিছু মানক পদ্ধতি প্রয়োগ করেছিল। আইজেএফ-তে কোনও কাগজের জন্য আমন্ত্রিত হওয়ার জন্য বিজয়ী জমা দেওয়ার জন্য , তারা ম্যাসেজ দ্বারা পরিমাপকৃত, এই মানকগুলির সর্বোত্তম পদ্ধতিতে উন্নতি করতে বলেছে।

সুতরাং আপনার প্রশ্নটি মূলত এটিকে ফুটিয়ে তোলে:

প্রদত্ত যে 1 এর একটি এমএসই একটি পূর্বাভাসের সাথে সামঞ্জস্যপূর্ণ যা নমুনা ছাড়াই ভাল (এমএডি দ্বারা) নিখরচায় এলোমেলো ওয়াক পূর্বাভাস হিসাবে নমুনা হয়, কেন আরিমার মতো আদর্শ পূর্বাভাসের পদ্ধতিগুলি মাসিক ডেটার জন্য 1.38 এ উন্নত করতে পারে না?

এখানে, 1.38 ম্যাসেজটি অবিচ্ছিন্ন সংস্করণে টেবিল 4 থেকে আসে। এটি আরিমা থেকে আগত পূর্বাভাসের 1-24 মাসেরও বেশি গড় এএসই। অন্যান্য মানক পদ্ধতি যেমন ফোরকাস্টপ্রো, ইটিএস ইত্যাদি আরও খারাপ সম্পাদন করে।

এবং এখানে, উত্তর হার্ড পায় । ডেটা বিবেচনা না করে পূর্বাভাসের নির্ভুলতার বিচার করা সর্বদা খুব সমস্যাযুক্ত। একটি বিশেষ সম্ভাবনা যা আমি এই বিশেষ ক্ষেত্রে ভাবতে পারি প্রবণতাগুলি ত্বরান্বিত করতে পারে। মনে করুন আপনি পূর্বাভাস দেওয়ার চেষ্টা করেছেন$\exp(t)$মানক পদ্ধতি সহ। এগুলির কোনওটিই ত্বরণী প্রবণতা ক্যাপচার করবে না (এবং এটি সাধারণত একটি ভাল জিনিস - যদি আপনার পূর্বাভাসটি অ্যালগরিদম প্রায়শই একটি ত্বকপ্রবণতার মডেল করে থাকে তবে আপনি সম্ভবত আপনার চিহ্নকে ছাড়িয়ে যাবেন), এবং তারা একটি ম্যাসেজ পাবেন যা ১ এর উপরে Other যেমনটি আপনি বলেছেন, বিভিন্ন কাঠামোগত বিরতি থাকুন, যেমন, লেভেল শিফট বা এসএআরএস বা 9/11 এর মতো বাহ্যিক প্রভাবগুলি, যা অ-কার্যকারক বেঞ্চমার্ক মডেলগুলির দ্বারা ক্যাপচার করা হবে না, তবে যা উত্সর্গীকৃত পর্যটন পূর্বাভাস পদ্ধতি দ্বারা মডেল করা যেতে পারে (যদিও ব্যবহার করে হোল্ডআউট নমুনায় ভবিষ্যতের কারণগুলি এক ধরণের প্রতারণা)।

সুতরাং আমি বলব যে আপনি সম্ভবত এই তথ্যটি নিজেরাই দেখছেন বলে প্রচুর পরিমাণে বলতে পারবেন না। এগুলি কেগল এ উপলব্ধ। আপনার সেরা বাজি সম্ভবত এই 518 সিরিজটি নেবে, গত 24 মাস ধরে আরিমা সিরিজটি ফিট করবে, এমএএসইগুলি গণনা করবে, দশ বা কুড়িটি ম্যাসেজ-সবচেয়ে খারাপের পূর্বাভাস সিরিজটি খনন করবে, কফিটির একটি বড় পাত্র পাবে, এই সিরিজটি দেখুন এবং চেষ্টা করুন এটি কি এটি যা আরিমা মডেলগুলিকে তাদের পূর্বাভাস দেওয়ার ক্ষেত্রে এত খারাপ করে।

সম্পাদনা: আরেকটি বিষয় যা সত্যের পরে প্রকাশিত হয় তবে আমাকে দেখতে পাঁচ দিন সময় নেয় - মনে রাখবেন যে ম্যাসের ডোনমিনেটরটি নমুনা এলোমেলো হাঁটার পূর্বাভাসের এক ধাপ এগিয়ে , অন্যদিকে 1-4- এর গড় গড় পূর্বাভাসের পদক্ষেপ । এটি খুব আশ্চর্যজনক নয় যে বর্ধমান দিগন্তের সাথে পূর্বাভাসের অবনতি ঘটে, সুতরাং এটি 1.38 এর কোনও ম্যাসেজের জন্য অন্য কারণ হতে পারে। নোট করুন যে মৌসুমীয় নাইভের পূর্বাভাসটিও মানদণ্ডে অন্তর্ভুক্ত ছিল এবং এর চেয়েও উচ্চতর MASE ছিল।

Comments

দুর্দান্ত উত্তর! মূল কাগজের সংক্ষিপ্ত সংক্ষিপ্তসার জন্য ধন্যবাদ (এটি নিরবিচ্ছিন্ন সকলের জন্য সহায়ক শর্টকাট হিসাবে পরিবেশন করবে)। দেখে মনে হচ্ছে আপনার উত্তরটির মূল ধারণাটি আমার অনুমানের সাথে বিরোধ নয় (বরং এটি প্রসারিত করেছে); নমুনার বাইরে বিশেষ কিছু রয়েছে যা নমুনাভিত্তিক নিষ্পাপ পূর্বাভাস ত্রুটিটিকে কম করে দেখায়।

— রিচার্ড হার্ডি

Answer 2

কোনও উত্তর নয়, "এই সিরিজগুলি দেখার জন্য" স্টিফান কোলাসার আহ্বানের অনুসরণের একটি চক্রান্ত।
কাগল ট্যুরিজম 1 এর 518 বার্ষিক সময় সিরিজ রয়েছে, যার জন্য আমরা শেষ 4 টি মানগুলি পূর্বাভাস দিতে চাই:

$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$

স্পষ্টতই, খুব সংক্ষিপ্ত সিরিজ - 12 11 7 7 7 ... শীর্ষ সারিতে - ভবিষ্যদ্বাণী করা কঠিন: অবাক হওয়ার কিছু নেই।
(অ্যাথানাসোপ্লোস, হ্যান্ডম্যান, গান এবং উ, দ্য ট্যুরিজম ফোরকাস্টিং প্রতিযোগিতা (২০১১, ২৩ পি) ৫১৮ বার্ষিক সিরিজের ১১২ টি ব্যবহার করেছে, তবে কোনটি আমি দেখতে পাচ্ছি না))

২০১০ সালের পর থেকে টাইম সিরিজের আরও নতুন সংগ্রহ রয়েছে, যা দেখার মতো হতে পারে?

Comments

ধন্যবাদ! আপনার শেষ প্রশ্নের উত্তর আমি জানি না।

— রিচার্ড হার্ডি

@ এডিস: আপনার প্রশ্নটি সবেমাত্র দেখেছেন - আপনি ওপেনডেটা.এসইতে ডেটা চাইতে চাইতে পারেন ।

— এস। কোলাসা - মনিকা