ফাঁক এবং বিভিন্ন টাইম বেসগুলির সাথে দুটি সময় সিরিজ কীভাবে সম্পর্কযুক্ত?

Question

আমি স্ট্যাক ওভারফ্লোতে এই প্রশ্নটি জিজ্ঞাসা করেছি এবং এটি এখানে জিজ্ঞাসা করার জন্য সুপারিশ করা হয়েছিল।

---

আমার কাছে দুটি টাইম সিরিজ থ্রিডি অ্যাকসিলোমিটার ডেটা রয়েছে যা বিভিন্ন সময় বেইস (বিভিন্ন সময়ে ঘড়িগুলি শুরু হয়েছিল, নমুনার সময় কিছুটা হালকা হামাগুড়ি দিয়ে) পাশাপাশি বিভিন্ন আকারের অনেক ফাঁক রয়েছে (লেখার সাথে পৃথক হওয়ার সাথে সম্পর্কিত বিলম্বের কারণে) ফ্ল্যাশ ডিভাইস)।

আমি যে অ্যাক্সিলোমিটারগুলি ব্যবহার করছি তা হ'ল সস্তা জিসিডিসি এক্স 250-2 । আমি তাদের সর্বোচ্চ লাভে অ্যাক্সিলোমিটারগুলি চালাচ্ছি, সুতরাং ডেটাতে একটি উল্লেখযোগ্য শব্দদণ্ড রয়েছে।

প্রতিটি সময়সূচিতে প্রায় 2 মিলিয়ন ডেটা পয়েন্ট থাকে (এক ঘণ্টার মধ্যে 512 নমুনা / সেকেন্ডে) এবং এতে প্রায় 500 টি ইভেন্টের আগ্রহ থাকে, যেখানে একটি সাধারণ ইভেন্ট 100-150 নমুনা (প্রতিটি 200-300 এমএস) বিস্তৃত হয়। ফ্ল্যাশ লেখার সময় এই ঘটনাগুলির অনেকগুলি ডেটা বিভ্রাটের দ্বারা প্রভাবিত হয়।

সুতরাং, তথ্যটি প্রাচীন নয়, এমনকি খুব সুন্দরও নয় isn't তবে আমার চোখের বলের পরিদর্শনটি দেখায় এটি স্পষ্টভাবে আমার আগ্রহী তথ্য ধারণ করে ((প্রয়োজনে প্লট পোস্ট করতে পারি))

অ্যাক্সিলোমিটারগুলি একই রকম পরিবেশে রয়েছে তবে কেবলমাত্র মাঝারিভাবে মিলিত হয়েছে, যার অর্থ প্রতিটি অ্যাক্সিলোমিটারের সাথে কোন ইভেন্টগুলি মেলে তা আমি চোখ দিয়ে বলতে পারি, তবে আমি এখন পর্যন্ত সফ্টওয়্যারটিতে এমনভাবে ব্যর্থ হয়েছি। শারীরিক সীমাবদ্ধতার কারণে, ডিভাইসগুলি বিভিন্ন ধরণের দিকেও মাউন্ট করা হয়, যেখানে অক্ষগুলি মেলে না, তবে তারা আমি যেমন তৈরি করতে পারতাম তত orthogonal এর কাছাকাছি। সুতরাং, উদাহরণস্বরূপ, 3-অক্ষের অ্যাকসিলোমিটারগুলির জন্য এন্ড বি, + এক্স-এর মানচিত্র-দ্বারা (আপ-ডাউন), + এজে মানচিত্র-বিএক্স (বাম-ডান), এবং + আই-এর মানচিত্র-বিজেড (সম্মুখ-ব্যাক) ।

আমার প্রাথমিক লক্ষ্যটি হ'ল উল্লম্ব অক্ষের শক ইভেন্টগুলি সম্পর্কিত, যদিও আমি অবশেষে ক) একটিটি স্বয়ংক্রিয়ভাবে অক্ষ ম্যাপিংটি আবিষ্কার করতে চাই, খ) ম্যাপড এসেসের সাথে সম্পর্কিত ক্রিয়াকলাপ, এবং গ) দুটি অ্যাকসিলোমিটারের মধ্যে আচরণের পার্থক্যগুলি বের করতে (যেমন মোচড়ানোর মতো) বা নমনীয়)।

টাইম সিরিজের ডেটাগুলির প্রকৃতি পাইথনের numpy.correlate () ব্যবহারের অযোগ্য করে তোলে। আমি আর এর চিড়িয়াখানা প্যাকেজটিও দেখেছি, তবে এটির কোনও অগ্রগতি নেই। আমি সাহায্যের জন্য সংকেত বিশ্লেষণের বিভিন্ন ক্ষেত্রে সন্ধান করেছি, কিন্তু আমি কোনও অগ্রগতি করি নি।

আমি কী করতে পারি তার জন্য কারও কাছে কোনও ধারণা আছে বা আমার কী গবেষণা করতে হবে?

28 ফেব্রুয়ারী 2011 আপডেট করুন: এখানে কিছু প্লট যুক্ত হয়েছে যা তথ্যের উদাহরণ দেখিয়েছে।

Comments

@ BobC, হতে পারে যে কোনও মডারেটর আপনার পোস্টটি এই সাইটে স্থানান্তরিত করতে পারে। এটি সবচেয়ে যুক্তিসঙ্গত হবে। আপনার প্রযুক্তিগত প্রশ্ন হিসাবে, সবার আগে, আপনি কি সম্পর্কটি করতে FFT ব্যবহার করছেন? এটি অর্ধ-শালীন কম্পিউটারে 2 মিলিয়ন ডেটা পয়েন্টের জন্য সম্ভব হবে। আপনার সংকেত-থেকে-শোনার অনুপাতটি যুক্তিসঙ্গতভাবে উচ্চ দেখায়, তাই আপনার ব্যবসায়ের উচিত। একটি দ্রুত এবং নোংরা কাটটি হ'ল সর্বশেষ উপলব্ধ নমুনা বা শূন্য সহ নিখোঁজ তথ্য পূরণ করা fill স্যাম্পলিং-ব্যবধানের পার্থক্যগুলির ক্রাইপটি মোকাবেলা করতে আপনার ডেটার সবচেয়ে চ্যালেঞ্জিং "বৈশিষ্ট্য" হতে পারে।

— কার্ডিনাল

@ কার্ডিনাল: আমি ফলস্বরূপ আবর্জনা পেতে কেবল একটি এফএফটি চেষ্টা করেছি। ডেটাতে সহজেই দৃশ্যমান 'আকর্ষণীয়' বৈশিষ্ট্যগুলি এফএফটি-তে শব্দ থেকে পৃথক করা যায়। যাইহোক, আমি কেবলমাত্র সম্পূর্ণ ডেটা সেটে এফএফটি করেছি: সম্ভবত একটি চলন্ত উইন্ডো এফএফটি আরও ভাল ফলাফল প্রদান করবে, তবে আমি এখনও এটি প্রয়োগ করার জন্য একটি কম্পিউটেশনাল দক্ষ উপায় খুঁজে পাইনি। আমি সন্দেহ করি যে একটি ওয়েভলেট রূপান্তর সাহায্য করতে পারে তবে আমি এটির সাথে অপরিচিত (তবে ধীরে ধীরে এটি সম্পর্কে শিখছি)।

— ববসি

@ BobC, আমি যা বোঝাতে চেয়েছি তা কি আপনি পারস্পরিক সম্পর্ক গণনার জন্য এফএফটি-ভিত্তিক বাস্তবায়ন বিবেচনা করেছেন? সরাসরি সংবর্তন হয় , কিন্তু একটি FFT-ভিত্তিক রূপায়ণ এই কমে যাবে হে ( ঢ লগ ইন করুন এন ) , এটা সম্ভবপর করে। নিজেই এফএফটি দেখার জন্য, 2 মিলিয়ন ডেটা পয়েন্ট সহ, আপনার ফ্রিকোয়েন্সি রেজোলিউশনটি খুব বেশি হবে। যে কোনও স্যাম্পলিং ক্রাইপ এবং অন্যান্য জিনিসগুলি প্রতি ফ্রিকোয়েন্সি ভিত্তিতে সিগন্যালটি ধুতে বাধ্য। কিন্তু, গোলমাল থেকে সংকেত আনতে আপনার অনেকগুলি বিনের উপরে একত্রিত করতে সক্ষম হওয়া উচিত। ওয়েলচ পদ্ধতির মতো কিছু বা সম্ভবত একটি কাস্টম উইন্ডোটিং কৌশল। $O(n^2)$$O(n \log n)$

— কার্ডিনাল

@ বিউবিসি, আমার মাথার উপরের অংশটি দেখে মনে হচ্ছে কোনও ওভারল্যাপ-এন্ড-অ্যাড বা ওভারল্যাপ এবং সেভ অ্যালগরিদমকে স্লাইডিং-উইন্ডো এফএফটি করার জন্য ব্যবহার করা যেতে পারে। উইন্ডোর মধ্যে নমুনাগুলি সরিয়ে ফেলা কেবলমাত্র একটি ফেজ শিফটের সমান, তাই আপনাকে যা করতে হবে কেবলমাত্র সেই নমুনাগুলির জন্য ক্ষতিপূরণ প্রদান করা হবে যা বাম প্রান্তটি "পড়ে" এবং ডান প্রান্তে "আসা" রয়েছে।

— কার্ডিনাল

হাই, আমি একই প্রশ্ন। আমার 2 টি টাইম সিরিজ রয়েছে, প্রত্যেকটির ম্যাট্রিক্স দ্বারা প্রতিনিধিত্ব করা হয় যার প্রথম কলামটি মানগুলির সাথে মিলিত হয় এবং দ্বিতীয় স্তম্ভটি সময়ের পার্থক্যের সাথে মিলিত হয় (পূর্ববর্তী মান থেকে) আমি এই 2 টি ম্যাট্রিকের মধ্যে সম্পর্ক কীভাবে খুঁজে পাব? আমি xcorr2 () করার চেষ্টা করেছি তবে এটি সঠিক বলে মনে হচ্ছে না এবং xcorr করা সম্ভবত বিবেচনা করার ক্ষেত্রে কেবলমাত্র মানগুলির সাথে পারস্পরিক সম্পর্ক গণনা করবে, তবে আমি সময়ের জন্য অ্যাকাউন্টও করতে চাই। আমি এখানে সত্যিই বিভ্রান্ত, একটি এফএফটি সাহায্য করবে? আমি কীভাবে পরামর্শ দেব?

Answer 1

প্রশ্নটি দুটি অনিয়মিতভাবে নমুনাযুক্ত সময় সিরিজের (এক-মাত্রিক স্টোকাস্টিক প্রক্রিয়া) মধ্যে পারস্পরিক সম্পর্কের গণনা এবং এটি সর্বাধিক সম্পর্কযুক্ত যেখানে তাদের অফসেট খুঁজে পেতে (তাদের "পর্বের পার্থক্য") খুঁজে বের করে concerns

সময় সিরিজের বিশ্লেষণে এই সমস্যাটি সাধারণত সমাধান করা হয় না, কারণ সময় সিরিজের ডেটা নিয়মিতভাবে সংগ্রহ করা (সময়ের নিয়মিত বিরতিতে) অনুমান করা হয়। এটি বরং ভূ - তাত্ত্বিক প্রদেশ , যা সময় সিরিজের বহুমাত্রিক সাধারণীকরণকে উদ্বেগ দেয়। প্রত্নতাত্ত্বিক ভূ-তাত্ত্বিক ডেটাসেট অনিয়মিতভাবে ব্যবধানযুক্ত স্থানগুলিতে ভূতাত্ত্বিক নমুনাগুলির পরিমাপ নিয়ে গঠিত।

$(z(p) - z(q))^2 / 2$$z(p)$$p$$p$$q$$Z$$Var(Z(p))$$p$$Z(p)$$Z(q)$

$(z(p), w(p))$$z$$w$

দুই মিলিয়ন পয়েন্টের সাহায্যে আপনার স্টেটারারিটি থেকে ছোট বিচ্যুতি সনাক্ত করতে সক্ষম হওয়া উচিত। দু'টি সময়ের সিরিজের মধ্যবর্তী পর্বের পার্থক্যও সময়ের সাথে সাথে আলাদা হতে পারে। পুরো সময়কালে পৃথক পৃথক উইন্ডোজের জন্য পৃথকভাবে ক্রস-ভেরোগ্রামের গণনা করে এটিকে সামলে নিন।

$O(nk)$$O(n^2)$$k$

Comments

$n$$t_n = n t$$t$$n$$\tau_n = t_n + \alpha + \beta n$$\alpha$$\beta$

$\beta$$\beta$

@ হুইবার, @ BobC, আমি একই সমস্যা এবং সমস্যাগুলি মোকাবিলার অতীত অভিজ্ঞতার ভিত্তিতে একটি আধাশিক্ষিত অনুমান করছি। আমি দেখেছি বেশিরভাগ পন্থা গণনাগতভাবে নিবিড় এবং প্রভাবিত করতে ব্যর্থ হয় fail একটি প্রচেষ্টা ডায়নামিক টাইম ওয়ার্পিং বা রামসে এবং সিলভারম্যান কার্ভ রেজিস্ট্রেশনকে কল করার মতো কিছু মাধ্যমে হতে পারে । এই মাপের ডেটাসেটে সেগুলির মধ্যে দুটিই কার্যকর হবে কিনা তা আমার কাছে অস্পষ্ট।

— কার্ডিনাল

এটি সম্পর্কে আমার মস্তিষ্ককে জড়িয়ে রাখতে কিছুটা সময় লাগবে। আপনার উল্লিখিত আর প্যাকেজগুলির উদাহরণগুলি দিয়ে শুরু করব।

— ববসি

@ BobC, টাইমিং অ্যাসিনক্রোনসিটির জন্য আমি যে রুক্ষ মডেলটি দিয়েছি তা কি আপনার কাছে? আমি ভাবছি এটি "এলোমেলো প্রাথমিক অফসেট" + "রৈখিক ত্রুটি" যেখানে আপনার দুটি ডিভাইসের মধ্যে স্যাম্পলিং ব্যবধানে সামান্য ধ্রুবক পার্থক্যের কারণে পরে রয়েছে। তারপরে আরও কয়েকটি ছোট ছোট এলোমেলো ত্রুটি রয়েছে, তার উপরে দুটি আলাদা ইউসির বিঘ্নিত প্রক্রিয়াজাতকরণের কারণে বলুন।

— কার্ডিনাল