গড় নিখুঁত শতাংশের ত্রুটি (এমএপিই) এর ত্রুটিগুলি কী কী?

Question

মিন পরম শতকরা ত্রুটি ( mape ), একটি সাধারণ নির্ভুলতা বা সময় সিরিজ বা অন্যান্য ভবিষ্যৎবাণী জন্য ত্রুটি পরিমাপ

$$\text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%,$$

যেখানে এবং সম্পর্কিত পূর্বাভাস বা পূর্বাভাস।$A_t$$F_t$

এমএপিই একটি শতাংশ, তাই আমরা সহজেই এটি সিরিজের মধ্যে তুলনা করতে পারি এবং লোকেরা সহজেই শতাংশ বুঝতে এবং ব্যাখ্যা করতে পারে।

যাইহোক, আমি শুনছি যে এমএপিই এর অপূর্ণতা রয়েছে। আমি ভাল এই অপূর্ণতা বুঝতে তাই আমি কিনা MAPE বা MSE (মত কিছু বিকল্প ব্যবহার করতে সম্পর্কে একটি ওয়াকিবহাল সিদ্ধান্ত গ্রহণ করতে পারেন চাই mse ), মায়ে ( মায়ে ) অথবা মেজের ঘরে জন্ম ( মেজের ঘরে জন্ম )।

Answer 1

এমএপিই এর স্বল্পতা

• এমএপিই, শতাংশ হিসাবে, কেবলমাত্র সেই মূল্যবোধগুলির জন্যই বোধগম্য হয় যেখানে বিভাগ এবং অনুপাতগুলি বোঝায়। উদাহরণস্বরূপ, তাপমাত্রার শতকরা শতাংশ গণনা করা কোনও অর্থবোধ করে না, তাই কোনও তাপমাত্রার পূর্বাভাসের যথার্থতা গণনা করার জন্য আপনাকে এমএপিই ব্যবহার করা উচিত নয়।

• যদি কেবল একটি একক প্রকৃত হয় শূন্য, $A_t=0$ , তবে আপনি এমএপিই গণনাতে শূন্য দ্বারা ভাগ করবেন, যা অপরিজ্ঞাত।

  এটি প্রমাণিত হয়েছে যে কিছু পূর্বাভাস সফ্টওয়্যার তবুও শূন্য অ্যাকচুয়াল ( হুভার, 2006 ) এর সাথে পিরিয়ডগুলি ফেলে কেবল এই জাতীয় সিরিজের জন্য একটি ম্যাপের প্রতিবেদন করে । বলে, এই হল বলাই বাহুল্য না কিন্তু একটি পূর্বাভাস - একটি ভাল ধারণা, যেমন যে বোঝা আমরা যা পূর্বাভাস যদি প্রকৃত শূন্য ছিল এ সব পরোয়া করি না $F_t=100$ এবং এক $F_t=1000$ খুব থাকতে পারে বিভিন্ন জড়িত। সুতরাং আপনার সফ্টওয়্যারটি কি করে তা পরীক্ষা করে দেখুন।

  যদি কেবল কয়েকটি জিরো দেখা দেয় তবে আপনি একটি ভারী ম্যাপ ( কোলাসা ও স্কটজ, 2007 ) ব্যবহার করতে পারেন , যা তবুও এর নিজস্ব সমস্যা রয়েছে। এটি ম্যাপের প্রতিসাম্য ক্ষেত্রেও প্রযোজ্য ( গুডউইন এবং লটন, 1999 )।

• 100% এর বেশি ম্যাপগুলি ঘটতে পারে। আপনি যদি নির্ভুলতার সাথে কাজ করতে পছন্দ করেন, যা কিছু লোক 100% -MAPE হিসাবে সংজ্ঞায়িত করে, তবে এটি নেতিবাচক নির্ভুলতার দিকে পরিচালিত করতে পারে, যা লোকদের বুঝতে খুব কঠিন সময় বুঝতে পারে। ( না, শূন্যের নির্ভুলতা কেটে নেওয়া ভাল ধারণা নয় ))

• আমাদের যদি পূর্বাভাসের জন্য কঠোরভাবে ইতিবাচক ডেটা থাকে (এবং উপরের প্রতি, ম্যাপটি অন্যথায় কোনও অর্থ দেয় না), তবে আমরা কখনই শূন্যের নীচে পূর্বাভাস দেব না। দুর্ভাগ্যক্রমে ম্যাপটি বনভূমির তুলনায় বনভূমির তুলনায় আলাদাভাবে আচরণ করে: একটি আন্ডারফ্রাস্টকাস্ট কখনই 100% এর বেশি অবদান রাখে না (যেমন, যদি $F_t=0$ এবং $A_t=1$ ) তবে ওভারফ্রাস্টকাস্টের অবদান সীমাহীন (যেমন, যদি$F_t=5$ এবং$A_t=1$ )। এর অর্থ এই যে এমএপই পক্ষপাতদুষ্ট পক্ষপাতহীন পূর্বাভাসের চেয়ে কম হতে পারে। এটি হ্রাস করার ফলে পূর্বাভাসগুলি কম হতে পারে।

বিশেষত শেষ বুলেট পয়েন্টটি আরও কিছুটা চিন্তার যোগ্য। এই জন্য, আমাদের একটি পদক্ষেপ পিছনে নেওয়া প্রয়োজন।

শুরু করার জন্য, নোট করুন যে আমরা ভবিষ্যতের ফলাফল পুরোপুরি জানি না, এবং আমরা কখনই করব না। সুতরাং ভবিষ্যতের ফলাফল সম্ভাবনা বন্টন অনুসরণ করে। আমাদের তথাকথিত পয়েন্ট পূর্বাভাস $F_t$ সংক্ষেপ কি আমরা ভবিষ্যতে বন্টন (অর্থাত, সম্পর্কে জানতে আমাদের প্রচেষ্টা ভবিষ্যদ্বাণীপূর্ণ বন্টন সময়ে) $t$ একটি একক সংখ্যা ব্যবহার করে। তারপরে ম্যাপটি হ'ল $t=1, \dots, n$ সময়ে ভবিষ্যতের বিতরণগুলির যেমন একক-সংখ্যা-সংক্ষেপগুলির পুরো ক্রমটির একটি মান পরিমাপ ।

এখানে সমস্যাটি হ'ল লোকেরা খুব কমই স্পষ্টভাবে বলতে পারে ভবিষ্যতের বিতরণের জন্য একটি ভাল সংখ্যার সংক্ষিপ্তসার কী।

$F_t$$F_t$

সমস্যাটি এখানে: এমএপিই হ্রাস করা সাধারণত আমাদের এই প্রত্যাশাকে আউটপুট করতে উত্সাহিত করবে না , তবে বেশ আলাদা এক-সংখ্যার-সারসংক্ষেপ ( ম্যাককেঞ্জি, ২০১১ , কোলাসা, ২০২০ )। এটি দুটি ভিন্ন কারণে ঘটে।

• অসমমিত ভবিষ্যতের বিতরণ। ধরা যাক আমাদের আসল ভবিষ্যতের বিতরণ কোনও স্টেশনিয়র অনুসরণ করে$(\mu=1,\sigma^2=1)$

  

  অনুভূমিক রেখাগুলি সর্বোত্তম বিন্দু পূর্বাভাস দেয়, যেখানে "তত্পরতা" বিভিন্ন ত্রুটি ব্যবস্থার জন্য প্রত্যাশিত ত্রুটি হ্রাস হিসাবে সংজ্ঞায়িত করা হয়।

  • ড্যাশড লাইন এ $F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • বিন্দু লাইন এ $F_t=\exp\mu\approx 2.7$
  • এ ড্যাশ ডটেড লাইন$F_t=\exp(\mu-\sigma^2)=1.0$$\beta=-1$

  আমরা দেখতে পেলাম যে ভবিষ্যতের বিতরণের অসমত্ব, একসাথে এমএপিই পৃথকভাবে অতিরিক্ত-ও ভূগর্ভস্থ দণ্ডগুলিকে দণ্ডিত করে, এ থেকে বোঝা যায় যে এমএপিই হ্রাস করা ভারী পক্ষপাতদুষ্ট পূর্বাভাসের দিকে পরিচালিত করবে । ( গামা ক্ষেত্রে অনুকূল পয়েন্ট পূর্বাভাসের গণনা এখানে is )

• বৈচিত্রের একটি উচ্চ সহগের সাথে প্রতিসম বিতরণ। অনুমান করি যে$A_t$$t$

  

  এক্ষেত্রে:

  • $F_t=3.5$

  • কোন পূর্বাভাস $3\leq F_t\leq 4$

  • $F_t=2$

  আমরা আবার দেখছি কীভাবে এমএপিই হ্রাস করা একটি পক্ষপাতদুষ্ট পূর্বাভাসের দিকে পরিচালিত করতে পারে, কারণ ডিফারেনশিয়াল জরিমানার কারণে এটি অতিরিক্ত- এবং ভূগর্ভস্থ আবহাওয়ার ক্ষেত্রে প্রযোজ্য। এই ক্ষেত্রে, সমস্যাটি একটি অসম্পূর্ণ বিতরণ থেকে আসে না, তবে আমাদের ডেটা উত্পন্ন প্রক্রিয়াটির প্রকরণের উচ্চতর সহগ থেকে আসে।

  এটি প্রকৃতপক্ষে একটি সাধারণ চিত্র যা আপনি লোককে ম্যাপের ত্রুটিগুলি সম্পর্কে শেখানোর জন্য ব্যবহার করতে পারেন - কেবলমাত্র আপনার উপস্থিতদের কয়েকটা ডাইস সরবরাহ করুন এবং সেগুলি রোল করুন। দেখুন Kolassa & মার্টিন (2011) আরও তথ্যের জন্য।

সম্পর্কিত ক্রসভ্যালিটেড প্রশ্ন

• এমএসই এবং এমএপিইয়ের মধ্যে পার্থক্য
• ম্যাপকে অনুকূলিত করার সর্বোত্তম উপায়
• প্রতিসাম্যকে হ্রাস করা মানে নিখুঁত শতাংশের ত্রুটি (SMAPE)
• রিগ্রেশন মডেলগুলিতে ম্যাপ বনাম আর-স্কোয়ার
• পূর্বাভাস ত্রুটির একটি নির্দিষ্ট পরিমাপ (যেমন এমএডি) অন্য (যেমন এমএসই) এর বিপরীতে কেন ব্যবহার করবেন?

আর কোড

লগন্যাল উদাহরণ:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

পাশা ঘূর্ণায়মান উদাহরণ:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

তথ্যসূত্র

জিনেটিং, টি । পয়েন্ট পূর্বাভাসের জন্য মেকিং এবং মূল্যায়ন ।আমেরিকান স্ট্যাটিস্টিকাল অ্যাসোসিয়েশন জার্নাল , 2011, 106, 746-762

গুডউইন, পি। ও লটন, আর মিমের প্রতিসাম্য সমন্বয়ের জন্য আর ।পূর্বাভাসের আন্তর্জাতিক জার্নাল , 1999, 15, 405-408

হুভার, জে। পূর্বাভাসের যথাযথতা পরিমাপ: আজকের পূর্বাভাস ইঞ্জিনগুলিতে ছাড় এবং চাহিদা-পরিকল্পনা সফ্টওয়্যার । দূরদর্শিতা: প্রয়োগিত পূর্বাভাসের আন্তর্জাতিক জার্নাল , 2006, 4, 32-35

কোলাসা, এস কেন "সেরা" পয়েন্টের পূর্বাভাস ত্রুটি বা নির্ভুলতার পরিমাপের উপর নির্ভর করে (এম 4 পূর্বাভাস প্রতিযোগিতায় আমন্ত্রিত ভাষ্য)। পূর্বাভাসের আন্তর্জাতিক জার্নাল , 2020, 36 (1), 208-211

কোলাসা, এস। ও মার্টিন, আর। শতাংশের ত্রুটিগুলি আপনার দিনকে নষ্ট করতে পারে (এবং ডাইস শোগুলি কীভাবে রোলিং করছে) । দূরদর্শিতা: ফলিত পূর্বাভাসের আন্তর্জাতিক জার্নাল, ২০১১, ২৩, ২১-২৯

কোলাসা, এস। ও স্কটজ, ডব্লু। এমএপিইর তুলনায় এমএডি / গড় অনুপাতের সুবিধা । দূরদর্শিতা: প্রয়োগিত পূর্বাভাসের আন্তর্জাতিক জার্নাল , 2007, 6, 40-43

ম্যাকেনজি, জে। অর্থ নিখুঁত শতাংশ ত্রুটি এবং অর্থনৈতিক পূর্বাভাসে পক্ষপাতিত্ব । অর্থনীতি পত্র , 2011, 113, 259-262

Comments

দুর্দান্ত প্রশ্নোত্তর। আমি যোগ হবে সব এই বৈশিষ্ট্যের মান দুটি বড় অন্তর্নিহিত অনুমানের আছে - সিরিজ IID ও নিশ্চল। যদি অনুমানের ক্ষেত্রে ঘন ঘন এই অনুমানগুলির একটি বা উভয়ই পূরণ না হয় তবে তাদের বৈধতা প্রশ্নবিদ্ধ।

— মাইক হান্টার

আমি এর বেশিরভাগের সাথে একমত, তবে, যতক্ষণ না তারা যথাযথ পরিমাণে (যেমন, কেলভিন স্কেল) থাকে ততক্ষণ তাপমাত্রার অনুপাতগুলি মোকাবেলা করা বৈধ হবে না?

— মনিকা

@ বেন: সেক্ষেত্রে আমরা শূন্য দ্বারা ভাগ করব না। যাইহোক, অসমতি এখনও সামান্য সমস্যা is যদি আপনার পূর্বাভাসটি 293 কে হয় এবং আসলটি 288 কে হয় তবে আপনার 1.73% এর APE রয়েছে, এবং যদি পূর্বাভাসটি 288 কে হয় তবে আসল 293 কে হয়, এপিই 1.71% হয়, সুতরাং দ্বিতীয় পূর্বাভাসটি আরও ভাল দেখায়, যদিও উভয়ই 5K দ্বারা বন্ধ রয়েছে । (প্রয়োজনীয় হিসাবে সি বা এফ অনুবাদ করুন।) মূলত, একই নিখুঁত ত্রুটিগুলি কম প্রকৃত ব্যক্তির জন্য আরও দৃ strongly়তরভাবে দন্ডিত হয়। এছাড়াও, তাপমাত্রার জন্য শতাংশ ত্রুটির ব্যাখ্যা সহজ নয়।

— এস। কোলাসা - মনিকা

@ বেইন পরম তাপমাত্রার শতাংশ বৈধ, তবে তাপমাত্রার পার্থক্যগুলি বোঝা সহজ - কমপক্ষে, যখন আমরা প্রতিদিনের পরিসরে তাপমাত্রা মোকাবেলা করি; স্টার কোর তাপমাত্রার পূর্বাভাস দেওয়ার সময় এটি অন্য উপায় হতে পারে।

— পেরে