স্বতঃসিদ্ধকরণ এবং নিউরাল নেটওয়ার্কগুলির জন্য মতলব ব্যবহার করার সময় টাইম সিরিজের ডেটাতে ফাঁক / NaN গুলি কীভাবে মোকাবেলা করবেন?

Question

আমার পরিমাপের একটি সময় সিরিজ রয়েছে (হাইটস-ওয়ান ডাইমেনশনাল সিরিজ)। পর্যবেক্ষণের সময়কালে পরিমাপ প্রক্রিয়াটি কিছু সময়ের জন্য নিচে নেমে গিয়েছিল। সুতরাং ফলস্বরূপ ডেটা NaNs সহ একটি ভেক্টর যেখানে ডেটার ফাঁক ছিল। ম্যাটল্যাব ব্যবহার করে, স্বতঃসংশ্লিষ্টকরণ ( autocorr) গণনা করার সময় এবং নিউরাল নেটওয়ার্ক ( nnstart) প্রয়োগ করার সময় এটি আমার সমস্যার সৃষ্টি করে ।

এই গ্যাপগুলি / এনএএনগুলি কীভাবে মোকাবেলা করা উচিত? আমি কি কেবল ভেক্টর থেকে এগুলি সরাতে পারি? বা তাদের প্রবেশটি একটি বিভক্ত মানের সাথে প্রতিস্থাপন করবেন? (যদি তাই হয় তবে ম্যাটল্যাবে কীভাবে)

Answer 1

আমি ডেটা একেবারে স্পর্শ করব না। NaN- এর সাথে স্বতঃসংশ্লিষ্টতার জন্য এটি ব্যবহার করুন:

http://www.mathworks.com/matlabcentral/fileexchange/43840-autocorrelation-and-partial-autocorrelation-with-nans/content/nanautocorr.m

"ডেটা স্পর্শ করবেন না" এর অর্থ কোনও ডেটা বা টাইম-স্টেপ সরিয়ে না নেওয়া বা 0 বা এর সাথে প্রতিস্থাপন করা নয়, এটি নির্দিষ্ট-সময়ের ব্যবধান লিনিয়ার নির্ভরতা সম্পর্কে তথ্যকে আপস করবে। আমি শূন্যস্থানগুলিতে মানগুলির অনুকরণও এড়াতে পারি, আপনি যদি "নমুনা" স্বতঃসংশোধনে আগ্রহী হন, তবে সর্বোত্তম সিমুলেশন কৌশলও তথ্যের উপর ভিত্তি করে স্বতঃসংশ্লিষ্টতা সম্পর্কে আরও কোনও তথ্য যুক্ত করবে না। আমি আংশিকভাবে ম্যাটলব (উপরের লিঙ্কটি) পুনরায় সংশোধন করেছি এবং এনএএনদের সাথে ডিল করার জন্য আংশিক স্বতঃসংশোধন ফাংশন: এনএনএস সহ কোনও ডেটা দম্পতি গণনা থেকে বাদ দেওয়া হয়েছে। এটি প্রতিটি ল্যাগের জন্য করা হয়। এটা আমার জন্য কাজ করেছে। কোন পরামর্শ ভালভাবে গৃহীত হয়।

Comments

স্বাগতম @ ফ্যাবিও: আপনি কি "ডেটা স্পর্শ করবেন না" দিয়ে যা বোঝাতে চেয়েছেন তার আরও ব্যাখ্যা দিতে পারেন? আপনি কিছু না সরানোর মানে? আপনি লিঙ্ক করা সামগ্রীটি চালু করতে এবং এটি কেন ওপিকে সহায়তা করে তা ব্যাখ্যা করতেও সহায়তা করবে।

— মোমো

হ্যালো মোমো, মন্তব্যের জন্য ধন্যবাদ। "ডেটা স্পর্শ করবেন না" এর অর্থ কোনও ডেটা বা টাইম-স্টেপ সরিয়ে না নেওয়া বা 0 বা এর সাথে প্রতিস্থাপন করা নয়, এটি নির্দিষ্ট-সময়ের ব্যবধান লিনিয়ার নির্ভরতা সম্পর্কে তথ্যকে আপস করবে। আমি আংশিকভাবে ম্যাটলব (উপরের লিঙ্কটি) পুনরায় সংশোধন করেছি এবং এনএএনদের সাথে ডিল করার জন্য আংশিক স্বতঃসংশোধন ফাংশন: এনএনএস সহ কোনও ডেটা দম্পতি গণনা থেকে বাদ দেওয়া হয়েছে। এটি প্রতিটি ল্যাগের জন্য করা হয়। এটা আমার জন্য কাজ করেছে। কোন পরামর্শ ভালভাবে গৃহীত হয়।

— ফ্যাবিও

Answer 2

কিছু অ্যালগরিদম রয়েছে যা অনুপস্থিত মানগুলির জন্য অনাক্রম্য, সুতরাং পছন্দসই সমাধানটি তাদের সন্ধান করা (উদাহরণস্বরূপ acfস্বতঃসংশোধনের জন্য আর এর )।

সাধারণভাবে, যাওয়ার উপায়টি হ'ল নিখোঁজ পর্যবেক্ষণগুলির সাহায্যে কেবল ডেটা ফেলে দেওয়া (খুব কষ্টদায়ক হতে পারে) অথবা কেবল তাদের মানগুলি বোঝানো যায় - প্রতিবেশীদের অর্থ মসৃণ সিরিজ এবং ছোট ফাঁকগুলির জন্য যথেষ্ট হতে পারে, তবে অবশ্যই আছে স্প্লিংস, এলোমেলো / সর্বাধিক ঘন ঘন মানগুলি, মডেলগুলি থেকে প্রত্যাবর্তন ইত্যাদি ব্যবহার করে আরও শক্তিশালী পদ্ধতির আধিক্য

Comments

অনুপস্থিত মান সহ অ্যাক্টটি স্বাভাবিক উপায়ে গণনা করা হয়, তবে অনুপস্থিত মানগুলিকে যোগফলগুলিতে 'এড়িয়ে যায়' (অর্থাত, প্রদত্ত লেগের জন্য এসিএফ সূত্রটি একটি যোগফলের মতো দেখায়, সেই প্রতিটি পরিমাণে অনুপস্থিত মানগুলি পারে এড়িয়ে যান)। এটি মূল ডেটা থেকে অনুপস্থিত মানগুলি মুছে ফেলার মতো নয়। মতলব সমস্যা হ'ল এটি NaN এড়িয়ে যায় না, এবং গণনায় এটি অন্তর্ভুক্ত করে সবকিছুকে NaN এ পরিণত করে।

— জিরো

Answer 3

দরকারী আরিমা কাঠামো এবং যে কোনও স্থানীয় সময়ের ট্রেন্ডস এবং / অথবা স্তরের শিফ্টগুলি শোষণ করে নিখোঁজ ভেলগুলি গণ্য করতে হস্তক্ষেপ সনাক্তকরণ ব্যবহার করুন।

Answer 4

এখানে 2 টি সমস্যা আছে। প্রথমটি মাতলাবে আপনার স্বতঃসংশোধনের উত্তরের জন্য একটি অর্থপূর্ণ সংখ্যাসূচক কাঠামো সরবরাহ করছে। এটি হওয়ার জন্য, আপনাকে আপনার ডেটা ভেক্টরগুলির টাইম-সিরিজ-অংশটি প্রসারিত এবং / বা প্যাচ করতে হবে ... সমস্যার এই 'ডেটা অখণ্ডতা' উপাদানটি সবচেয়ে মৌলিক।

দ্বিতীয়ত, আপনাকে কীভাবে আপনার ভেক্টরের 'মান' উপাদানটি পরিচালনা করতে হবে তা সিদ্ধান্ত নেওয়া দরকার ... এটি নির্দিষ্ট অ্যাপ্লিকেশনটির একটি বৃহত পরিমাণের উপর নির্ভর করে যা অনুমান করা যায় তা সর্বোত্তম, (উদাহরণস্বরূপ, ছোট, হারিয়ে যাওয়া সময়-স্ট্যাম্পগুলি এবং সংশ্লিষ্ট এনএএন) অথবা নুলসটি প্রতিবেশীদের কাছ থেকে নিরাপদে বিভক্ত হতে পারে ... বৃহত্তর ফাঁকায় শূন্যের মান নির্ধারণ করা সম্ভবত নিরাপদ ... বা উপরে প্রস্তাবিত হিসাবে গণ্ডগোল - স্পষ্টত এটি অর্থবহ হওয়ার জন্য, ফাঁকগুলি আবার তুলনামূলকভাবে ছোট হওয়া উচিত)) ।