স্পেটিও-টেম্পোরাল পূর্বাভাস ত্রুটির অনুসন্ধান বিশ্লেষণ

13

ডেটা: আমি বায়ু শক্তি উত্পাদন পূর্বাভাস ত্রুটির একটি স্প্যাটিও-টেম্পোরাল ক্ষেত্রের স্টোকাস্টিক বৈশিষ্ট্য বিশ্লেষণে সম্প্রতি কাজ করেছি। সাধারণভাবে, এটি একটি প্রক্রিয়া হিসাবে বলা যেতে পারে time সময়মতো দু'বার ইনডেক্স করা হয় ( এবং ) এবং একবার স্পেসে ( ) সামনের সময়ের সংখ্যার হিসাবে (চারপাশের কিছু সমান) , নিয়মিত নমুনাযুক্ত), হচ্ছে "পূর্বাভাসের সময়গুলি" (যেমন বারের পূর্বাভাসটি জারি করা হয়, আমার ক্ষেত্রে প্রায় 30000, নিয়মিত নমুনা দেওয়া হয়) এবং

{(ϵ_{t + h | t}^{p})}_{t = 1 \dots, T; h = 1, \dots, H, p = p_{1}, \dots, p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$ স্থানিক অবস্থানের একটি সংখ্যা হচ্ছে (গ্রিডড নয়, আমার ক্ষেত্রে প্রায় 300) যেহেতু এটি একটি আবহাওয়া সম্পর্কিত প্রক্রিয়া, তাই আমার কাছে প্রচুর আবহাওয়ার পূর্বাভাস, বিশ্লেষণ, আবহাওয়া সম্পর্কিত পরিমাপ রয়েছে যা ব্যবহার করা যায়।

প্রশ্ন: এটির সূক্ষ্ম মডেলিংয়ের প্রস্তাব দেওয়ার জন্য প্রক্রিয়াটির আন্তঃনির্ভরতা কাঠামোর (যা রৈখিক নাও হতে পারে) প্রকৃতি বুঝতে আপনি এই ধরণের ডেটাতে যে অনুসন্ধানী বিশ্লেষণ করবেন তা কি আমাকে বর্ণনা করতে পারবেন?

— রবিন গিরার্ড
সূত্র

এটি একটি খুব আকর্ষণীয় প্রশ্ন. অন্তত বেনামে থাকা ডেটার উপসেটটি দিয়ে খেলা কি সম্ভব? এবং পূর্বাভাস কীভাবে উত্পন্ন হয়েছিল, কোন ধরণের মডেল ব্যবহার করা হয়েছিল?

— এমপিক্টাস

1

@ এমপিক্টাস ধন্যবাদ, আপনি এটি সিদ্ধান্ত নিতে পারেন যে এটি একটি উপযুক্ত এআর মডেলিং (প্রতিটি বায়ু ফার্মের জন্য একটি) দিয়ে তৈরি করা হয়েছে, এটি সমস্যাটিকে খুব বেশি পরিবর্তন করবে না। দুঃখিত, এই ডেটাগুলির সাথে অনেক বেশি গোপনীয়তা সম্পর্কিত সমস্যা রয়েছে, আপনাকে কোনও কিছুই সরবরাহ করতে পারে না, এমনকি

— বেনামেও রাখা যায় না

6

আমার কাছে মনে হয় আপনার কাছে পূর্বাভাস ত্রুটির পক্ষপাতিত্বের উভয় পক্ষের (যেমন পদ্ধতিগতভাবে অতিরিক্ত-/ / অবমূল্যায়নের প্রবণতা [প্রথম মুহূর্ত]) এবং তাদের বৈকল্পিকতা [দ্বিতীয় মুহূর্ত] এর স্থান-কাল এবং আবহাওয়া সংক্রান্ত প্রভাবগুলির উপর নির্ভরতা মডেল করার জন্য আপনার কাছে পর্যাপ্ত তথ্য রয়েছে।

পক্ষপাতদোষ অনুসন্ধানের জন্য, আমি কেবল প্রচুর স্ক্যাটারপ্লট, হিটম্যাপস বা হেক্সবিন প্লট করতাম। পরিবর্তনশীলতার অনুসন্ধানের জন্য, আমি কেবলমাত্র মূল ত্রুটিগুলি বর্গক্ষেত্র করব এবং তারপরে আবার প্রচুর স্ক্যাটারপ্লট, হিটম্যাপস বা হেক্সবিন প্লট করব। আপনার কাছে প্রচুর পক্ষপাত থাকলে অবশ্যই এটি সম্পূর্ণরূপে অপ্রতিরোধ্য নয়, তবে এটি এখনও কোভারিয়েট-প্রভাবিত হিটারোস্কেস্টাস্টিটির নমুনাগুলি দেখতে সহায়তা করতে পারে।

আমার সহযোগীরা একটি দুর্দান্ত টেকেরপোর্ট করেছিলেন যা এই ধরণের মডেলগুলির জন্য উপযুক্ত (একটি উচ্চতর মুহুর্তের মডেলিংয়ের প্রয়োজন হয়, যদি প্রয়োজন হয় তবে) এর উপর ভিত্তি করে একটি ভাল- Rবাস্তবায়ন গাম্বুস্টএলএসএসও রয়েছে mboost: মায়ার, আন্দ্রেস; ফেনস্কে, নোরা; হোফনার, বেঞ্জামিন; ননিব, টমাস এবং শ্মিড, ম্যাথিয়াস (২০১০): উচ্চ-মাত্রিক তথ্যের জন্য গ্যামলএস - বৃদ্ধির উপর ভিত্তি করে একটি নমনীয় পদ্ধতি approach । ধরে নিই যে প্রচুর র‍্যাম সহ আপনার মেশিনে অ্যাক্সেস রয়েছে (আপনার ডেটাসেটগুলি বিআইজি বলে মনে হচ্ছে), আপনি সমস্ত ধরণের সেমিপারমেট্রিক প্রভাবগুলি নির্ধারণ করতে পারেন (যেমন স্থানিক প্রভাবগুলির জন্য মসৃণ পৃষ্ঠ अनुमानক বা এবং এর জয়েন্ট এফেক্ট) $t$ $h$ , বিভিন্ন মুহুর্তের জন্য টেম্পোর-স্থানীয় প্রভাবগুলি বা আবহাওয়া সংক্রান্ত প্রভাবগুলির মসৃণ মিথস্ক্রিয়া ইত্যাদির জন্য টেনসর পণ্য স্প্লাইস করে এবং পার্সিমোনিয়াস এবং ব্যাখ্যামূলক মডেল পাওয়ার জন্য একই সময়ে শব্দ নির্বাচন করে। আশা করা যায় যে এই মডেলটির শর্তাবলী পূর্বাভাস ত্রুটির স্পটিও-টেম্পোরাল অটোকোররিলেশন কাঠামোর জন্য যথেষ্ট পরিমাণে যথেষ্ট, তবে আপনার সম্ভবত অটোকরাইলেশনের জন্য এই মডেলগুলির অবশিষ্টাংশগুলি পরীক্ষা করা উচিত (অর্থাত্ কিছু ভেরোগ্রাম এবং এসিএফগুলি দেখুন)।

— fabians
সূত্র

+1 ধন্যবাদ ফ্যাবিয়ানরা, আপনি পুরোপুরি ঠিক বলেছেন, সমস্যাটি এমন নয় যে আমার কাছে পর্যাপ্ত ডেটা নেই। মনে রাখবেন যে আমার প্রশ্নটি বিশেষত আন্তঃনির্ভরতা কাঠামো সম্পর্কে। স্ক্যাটারপ্লটস, হিটম্যাপস এবং হেক্সবিন প্লট যদি ভাল উদ্দেশ্যে ব্যবহার করা হয় তবে তা ভাল সরঞ্জাম। আমি মনে করি জেনারেল অ্যাডিটিভ মডেলটি খুব শক্তিশালী হতে পারে সেখানে ব্রিলিংয়ের একটি বিস্ময়কর কাগজ রয়েছে যাতে জিএএম কীভাবে ব্যবহার করা যায় সে সম্পর্কে ভাল ইঙ্গিত সরবরাহ করা হয়।

— রবিন জিরাার্ড

5

আমরা (একজন সহকর্মী এবং আমি) অবশেষে one এর উপরে একটি কাগজ লিখেছিলাম। সংক্ষিপ্ত জিনিসগুলির জন্য আমরা ডেনমার্ক এবং ভবিষ্যতের সময়ের পাশাপাশি ত্রুটিগুলির প্রচারের (স্পেসিও-টেম্পোরাল) পরিসংখ্যানগত সংক্ষিপ্তকরণের পরিসংখ্যান ও সংক্ষিপ্তসার দেওয়ার জন্য দুটি সমাধান প্রস্তাব করেছি।

প্রথমটির মধ্যে আমরা সমস্ত জোড় বায়ু খামারগুলির মধ্যে এবং সামনের জুটির জন্য সমস্ত যুগের মধ্যে পারস্পরিক সম্পর্ককে গণনা করি (এটি 4 ভেরিয়েবলগুলির একটি ফাংশন)। যখন একটি জুড়ি স্থির হয়, আমরা দেখিয়েছি যে পারস্পরিক সম্পর্ক ফাংশনটির স্থানীয় ম্যাক্সিমার সাথে সামনের সময়গুলি দেখুন, আমরা বলেছিলাম এটি প্রচার! প্রদত্ত জোড়া বায়ু খামারের সাথে সম্পর্কিত টেম্পোরাল স্কেল এই স্থানীয় সর্বাধিক প্রাপ্তির জন্য টেম্পোরাল লেগ দ্বারা দেওয়া হয়। প্লটিং, সমস্ত জোড় বায়ু ফার্মের সাথে স্থানীয় সম্পর্কের স্থানীয় ম্যাক্সিমার, টেম্পোরাল ল্যাগ যা এটি পেতে দেয় এবং স্থানিক ভেক্টর যা বায়ু খামারে যোগদান করে চিত্র 1 এর ডান দিক দেয়।

চিত্র 1

এটি বিশ্বব্যাপী প্রচার ভেক্টর গণনার জন্য ব্যবহার করা যেতে পারে অর্থাৎ জোড়গুলির মধ্যে কিছু প্রসারিত গতিতে স্থানিক গড়ের গড়। এর কিছু অংশ চিত্র 1 এর বাম দিকে দেখানো হয়েছে, এবং অনুমান করুন যে ডেনামার্কের পশ্চিম পূর্ব কী ত্রুটিগুলি ছড়িয়ে দিয়েছে (ঠিক আছে যে এটি কোনও বিস্ময়কর ছিল না :))। প্রচার ও বাতাসের (গতি, দিক) দিকের সম্পর্ককে দেখানোর জন্য আমরা শর্তসাপেক্ষে বিভিন্ন আবহাওয়া সংক্রান্ত পরিস্থিতিতে এটি বিশ্লেষণ করেছি।

দ্বিতীয়টি প্রথমটি অরথোগোনাল (একটি দৃশ্যে :))। প্রতিটি সময়ের জন্য আমরা ধ্রুবক প্রসারণ গতি সঙ্গে একটি স্পেশীয়-সময়গত (স্থান এবং চেহারা এগিয়ে বার সহ) plannar তরঙ্গ মডেল লাগানো। এটি পূর্বাভাস টাইম একটি প্রচারের গতি দেয় (এবং প্ল্যানার তরঙ্গ মডেল দ্বারা প্রাপ্ত ফিটের গুণমান পরিমাপ করে )। তারপরে আপনি সেই গতিগুলির পরিসংখ্যান গণনা করতে পারেন, পরিকল্পনাকারী ওয়েভ ফিট ভাল হওয়ার সাথে সাথে কেসগুলিতে সীমাবদ্ধ থাকে। চিত্র 2 এ দেখা যায়। $t$ $t$ $R^2$

চিত্র ২

দ্বিতীয় ক্ষেত্রে, আমরা লক্ষ্য করেছি যে অস্থায়ী গড় প্রচারের গতিতে প্রথম ক্ষেত্রে স্থানিক গড়ের সাথে একইরকম চৌম্বক রয়েছে। আপনি যদি এই কাজটি আরও গুরুত্বের সাথে দেখতে চান তবে কাগজটি এখানে রয়েছে ।

— রবিন গিরার্ড
সূত্র

+1 ভাগ করে নেওয়ার জন্য ধন্যবাদ। (দুঃখিত, আমি যখন প্রশ্নটি মূলত প্রকাশ পেয়েছিলাম তখনই মিস করেছি)) আপনি কি সামনের সময়ের জন্য ক্রস-ভেরোগ্রামগুলি প্লট করার বিষয়টি বিবেচনা করেছেন? সর্বাধিক কার্যকর এগুলি হ'ল traditionalতিহ্যবাহী স্মুটেড দিকনির্দেশক ভেরোগ্রাম মেঘ নয়; পরিবর্তে, ভ্যারোগ্রাম মেঘ ঘনত্বের দ্বি-মাত্রিক প্লট ব্যবহার করুন। এর পরে আপনি গঠন করা যেতে পারে ক্রস variograms ঐ সময়গত সম্পর্ক অন্বেষণ করতে। আপনার প্রচারের ফলাফলগুলি স্বয়ংক্রিয়ভাবে এই জাতীয় বিশ্লেষণ থেকে বেরিয়ে আসা উচিত।

— whuber

@ শুভ মন্তব্যটির জন্য ধন্যবাদ, আমি খুব কমই বিশ্বাস করি যে আপনি এই সাইটে 2 বা 3 এর বেশি প্রশ্ন মিস করেছেন :)। ভেরোগ্রামের সাথে আপনার ধারণাটি সংযুক্ত বলে মনে হচ্ছে (আমি ভেরোগ্রাম ব্যবহারের খুব বেশি ব্যবহার করি না, আমি প্রায়শই বিশ্বাস করি যে ভেরোগ্রামের সাহায্যে যা কিছু তৈরি করা যায় তার সমবায়গুলির সাথে ব্যবহারিক সমতুল্যতা রয়েছে ...), আমি এটি সম্পর্কে চিন্তা করব।

— রবিন গিরার্ড

আপনি ঠিক বলেছেন যে অনেক অ্যাপ্লিকেশনে সমবায়ুগুলি ভেরোগ্রামের সমতুল্য। যাইহোক, ভেরোগ্রাম ক্লাউড ভিজ্যুয়াল এবং ধারণাগত পরিপূরক উভয়ই সরবরাহ করে যা নিখুঁতভাবে কোভারিয়েন্স ফাংশনগুলির সাথে কাজ করা প্রস্তাবিত বলে মনে হয় না - এটি কিছুটা কেবল পারস্পরিক সম্পর্কের পরিবর্তে স্ক্যাটারপ্লটগুলি দেখার মতো: আপনি কখনও কখনও এমন নিদর্শন দেখতে পারেন যা সংখ্যাগুলি পরিষ্কারভাবে প্রকাশ করে না ।

— হোবার