আর্থিক সময় ব্যবস্থায় শক্তিশালী আউটলেট সনাক্তকরণ

Question

আমি আর্থিক সময়-সিরিজ ডেটা (অর্থাত্ টিকডাটা) থেকে আউটলিয়ার এবং ত্রুটিগুলি (কারণ যাই হোক না কেন) অপসারণের জন্য কিছু শক্ত কৌশল খুঁজছি।

টিক-টু-টিক আর্থিক সময়-সিরিজের ডেটা খুব অগোছালো। এক্সচেঞ্জটি বন্ধ হয়ে গেলে এতে বিশাল (সময়ের) ফাঁকগুলি থাকে এবং এক্সচেঞ্জ আবার খোলে যখন বিশাল লাফ দেয়। যখন এক্সচেঞ্জটি খোলা থাকে, সমস্ত ধরণের উপাদানগুলি ভুল স্তরের (যেগুলি ঘটেনি) এবং / বা বাজারের প্রতিনিধি নয় (ভুলভাবে বিডের কারণে স্পাইক বা উদাহরণ জিজ্ঞাসা করে দাম জিজ্ঞাসা করে) এমন ট্রেড চালু করে। টিকডাটা ডটকম (পিডিএফ) এর এই কাগজটি সমস্যার রূপরেখা তৈরি করার পক্ষে ভাল কাজ করে তবে কয়েকটি কংক্রিট সমাধান দেয়।

বেশিরভাগ কাগজপত্র আমি অনলাইনে খুঁজে পেতে পারি যা এই সমস্যার উল্লেখ করে তা এটিকে উপেক্ষা করুন (টিকডাটা ফিল্টারটি ধরে নেওয়া হয়) বা ফিল্টারিংকে কিছু বিশাল ট্রেডিং মডেলের অংশ হিসাবে অন্তর্ভুক্ত করে যা কোনও কার্যকর ফিল্টারিং পদক্ষেপগুলি লুকিয়ে রাখে।

এই অঞ্চলে আরও গভীরতার কাজ সম্পর্কে কি কেউ সচেতন?

আপডেট: এই প্রশ্নগুলি পৃষ্ঠের সমান মনে হয় তবে:

• আর্থিক সময় সিরিজটি হ'ল (অন্তত টিক স্তরে) অ পর্যায়ক্রমিক।
• প্রারম্ভিক প্রভাবটি একটি বড় সমস্যা কারণ আপনি সত্যিকারের মতো চাইলেও আপনি শেষ দিনের ডেটা সূচনা হিসাবে ব্যবহার করতে পারবেন না (কারণ অন্যথায় আপনার কিছুই নেই)। বাহ্যিক ইভেন্টগুলি নতুন দিনের উদ্বোধনকে পরম স্তরে এবং আগের দিন থেকে অস্থিরতায় উভয়ই নাটকীয়ভাবে আলাদা করতে পারে।
• আগত ডেটাগুলির বন্যভাবে অনিয়মিত ফ্রিকোয়েন্সি। দিনের খোলা এবং কাছাকাছি সময়ে ডেটাপয়েন্ট / সেকেন্ডের পরিমাণ দিনের গড়ের চেয়ে 10 গুণ বেশি হতে পারে। অন্যান্য প্রশ্ন নিয়মিত নমুনাযুক্ত ডেটা নিয়ে কাজ করে।
• আর্থিক তথ্যের "আউটলিয়ার্স" কিছু নির্দিষ্ট নিদর্শনগুলি প্রদর্শন করে যা নির্দিষ্ট ডোমেনগুলিতে প্রয়োগ করা যায় না এমন নির্দিষ্ট কৌশলগুলির সাথে সনাক্ত করা যেতে পারে এবং আমি সেই নির্দিষ্ট কৌশলগুলির সন্ধান করছি part
• আরও চরম ক্ষেত্রে (যেমন ফ্ল্যাশ ক্রাশ) আউটলিয়াররা দীর্ঘ বিরতিতে (> 10 মিনিট) over৫% এর বেশি ডেটা হতে পারে। এছাড়াও, আগত তথ্যের (উচ্চ) ফ্রিকোয়েন্সিতে পরিস্থিতির বহিরাগত দিক সম্পর্কে কিছু তথ্য থাকে।

Comments

আমি মনে করি না যে এটি ডুপ্লিকেট হিসাবে ডেটা প্রকৃতি। সম্পর্কিত অন্যান্য প্রশ্নে আলোচিত সমস্যাটি নিয়মিত পর্যায়ক্রমে পর্যটকদের সাথে সময় সিরিজ পর্যবেক্ষণ করে (অন্তত আমি এটির ব্যাখ্যা কীভাবে করব)। টিক-বাই-টিক ডেটার প্রকৃতি এক্সচেঞ্জ খোলার প্রভাবের কারণে বিভিন্ন সমাধানের দিকে নিয়ে যায়।

— রব হেন্ডম্যান

জেনেরিক সময় সিরিজের অনলাইন আউটলেট সনাক্তকরণের জন্য সাধারণ অ্যালগরিদমের সম্ভাব্য সদৃশ এই প্রশ্নের নকল হিসাবে বন্ধ করার প্রস্তাব করা হয়েছে। আপনি কী দয়া করে আমাদের মেটা থ্রেডে জানাতে পারেন যদি আমি এবং লিঙ্কিত প্রশ্ন থেকে আপনার প্রসঙ্গটি কীভাবে আলাদা?

@ রব তবে এক্সচেঞ্জের খোলার প্রভাব কেবলমাত্র আপনাকে যখন অ্যালগরিদম চালাতে হবে তা নির্ধারণ করে। মৌলিক বিষয়টি একই রয়ে গেছে। এমনকি নেটওয়ার্ক ডেটাতে আপনার কাছে 'অফিস খোলার প্রভাব' রয়েছে যেখানে কোনও অফিস খোলার সাথে সাথে ট্র্যাফিক চূড়ান্ত হয়। খুব কমপক্ষে, ওপিকে সেই প্রশ্নের সাথে লিঙ্ক করা উচিত, সেখানকার উত্তরগুলি স্ক্যান করা উচিত এবং সেখানকার সমাধানগুলি কেন কাজ করে না তা ব্যাখ্যা করা উচিত যাতে এই প্রশ্নের জন্য উপযুক্ত উত্তর পোস্ট করা যায়।

আমি @ রবের সাথে একমত এই জাতীয় ডেটা অনন্য চ্যালেঞ্জগুলি ডেকে আনতে পারে, সুতরাং এটি কোনও সদৃশ নয়।

— শেন

আমি মনে করি এটি এখানে। প্রশ্নটি অনিয়মিত দূরত্বে, খুব শোরগোলের সময় সিরিজের বিশ্লেষণ সম্পর্কে। ড্যাকারোগনা, ওলসেন এবং অন্যদের একগুচ্ছ দ্বারা "হাই-ফ্রিকোয়েন্সি টু ইন ইনট্রোডাকশন টু হাই" ফ্রিকোয়েন্সি ফিনান্স "এ কি আপনার নজর আছে? নাকি একই লেখকের কাগজপত্র?

— পিটারআর

Answer 1

সমস্যাটি অবশ্যই শক্ত ।

যান্ত্রিক নিয়মগুলি +/- N1 বার স্ট্যান্ডার্ড বিচ্যুতি, বা + / N2 বার এমএডি, বা +/- N3 আইকিউআর বা ... ব্যর্থ হবে কারণ এখানে কিছু সিরিজ সবসময় আলাদা থাকে যেমন উদাহরণ হিসাবে:

• আন্তঃব্যাঙ্ক রেটের মতো ফিক্সিং কিছু সময়ের জন্য স্থির থাকতে পারে এবং তারপরে হঠাৎ সমস্ত লাফিয়ে যায়
• একইভাবে উদাহরণস্বরূপ নির্দিষ্ট কিছু বিদেশী এক্সচেঞ্জগুলি একটি প্যাগ থেকে আসে
• নির্দিষ্ট উপকরণ সুস্পষ্টভাবে ছড়িয়ে পড়ে; এগুলি পিরিয়ডের জন্য শূন্যের কাছাকাছি হতে পারে এবং হঠাৎ করে বহুগুণে লাফিয়ে যায়

আগের কাজ, হয়েছে। সালিসি সম্পর্ক শিপগুলি ব্যবহার করে আপনি প্রতিটি সিরিজ বন্ধনী দেওয়ার চেষ্টা করতে পারেন ( উদাহরণস্বরূপ ইউএসডি / ইইউ এবং ইউরো / জেপিওয়াই ভাল বলে ধরে নেওয়া হয়, আপনি ডলার / জেপিওয়াই কতটা উচিত তা প্রায় চারপাশে ব্যান্ডগুলি তৈরি করতে পারেন; একইভাবে অন্তর্নিহিত ইত্যাদি পিপি থেকে বেরিয়ে আসা ডেরাইভেটিভগুলির জন্যও পারেন।

বাণিজ্যিক ডেটা বিক্রেতারা এ সম্পর্কে কিছু প্রচেষ্টা প্রসারিত করে এবং যারা তাদের ক্লায়েন্ট তাদের ব্যবহার তারা জানেন ... এটি ত্রুটিগুলি বাদ দেয় না।

Comments

+1 হ্যাঁ, কিছুই নিখুঁত নয়। টিকডাটা ডটকম (যার কাগজ উল্লেখ করা হয়েছে) এর মধ্যেও বহিরাগতদের অন্তর্ভুক্ত রয়েছে এবং তারা খুব ভাল ডেটাও বের করে দেয় (যখন অন্য উত্সের সাথে তুলনা করা হয়)। ওলসেনের ডেটা ভয়াবহ হওয়ার কাছাকাছি এবং আমি সাধারণত সবেমাত্র নির্দেশক। এটির জন্য ব্যাংকগুলি বড় অপারেশন দলগুলিকে অর্থ প্রদানের একটি কারণ রয়েছে।

— শেন

আমি জানা সালিশ সম্পর্ক ব্যবহার সম্পর্কে আপনার ধারণা পছন্দ করি। আপনি আপনার আগের কাজ এ আদৌ চেষ্টা করেছেন?

— জিলিস ডি বুদ্ধিমান

না, আমরা কখনই এটি পুরোপুরি আনুষ্ঠানিক করি নি। তবে আমি মনে করি আমরা কিছু সাধারণ ব্যবহার করেছি (যেমন ETF বনাম অন্তর্নিহিত সূচক ইত্যাদি)। যদিও কয়েক বছর হয়ে গেছে।

— ডার্ক এডেলবুয়েটেল

Answer 2

আমি যখন কম্পিউটারে ফিরে আসি তখন আমি কিছু কাগজ উল্লেখগুলি যুক্ত করব, তবে এখানে কয়েকটি সহজ পরামর্শ দেওয়া হল:

অবশ্যই রিটার্ন নিয়ে কাজ করে শুরু করুন। অনিয়মিত ব্যবধানের সাথে মোকাবিলা করার জন্য এটি গুরুতর যেখানে আপনি স্বাভাবিকভাবেই মূল্যের বড় ব্যবধানগুলি পেতে পারেন (বিশেষত সাপ্তাহিক ছুটির দিনে)। তারপরে আপনি আদর্শের বাইরেও রিটার্নগুলি সরাতে একটি সাধারণ ফিল্টার প্রয়োগ করতে পারেন (উদাহরণস্বরূপ, স্ট্যান্ডার্ড বিচ্যুতিগুলির একটি উচ্চ সংখ্যা বনাম)। রিটার্নগুলি নতুন পরম স্তরের সাথে সামঞ্জস্য করবে তাই বড় আসল পরিবর্তনগুলির ফলে কেবলমাত্র একটি টিক হারাবে। আমি 1 পদক্ষেপ এবং এন থেকে নেওয়া রিটার্ন সহ একটি দ্বি-পাস ফিল্টার ব্যবহার করার পরামর্শ দিচ্ছি বহিরাগতদের ক্লাস্টারগুলির সাথে কাজ করার জন্য পদক্ষেপ ।

1 সম্পাদনা করুন: রিটার্নের চেয়ে দামের ব্যবহার সম্পর্কে: সম্পদের দামগুলি স্থির না হওয়ার ঝোঁক থাকে, তাই আইএমও কিছু অতিরিক্ত চ্যালেঞ্জ তৈরি করতে পারে। অনিয়ম এবং শক্তি আইন প্রভাবগুলির জন্য অ্যাকাউন্ট করতে, যদি আপনি সেগুলি আপনার ফিল্টারটিতে অন্তর্ভুক্ত করতে চান তবে আমি কোনও ধরণের সমন্বয় করার পরামর্শ দেব। আপনি সময়ের ব্যবধানে বা অস্থিরতার দ্বারা দামের পরিবর্তনগুলি স্কেল করতে পারেন। এ সম্পর্কে কিছু আলোচনার জন্য আপনি "উপলব্ধিিত উদ্বোধন" লিটারচারটি উল্লেখ করতে পারেন। এছাড়াও ডাকেরোগনা এটে আলোচনা করা হয়েছে। অল।

অস্থিরতার পরিবর্তনের জন্য অ্যাকাউন্ট করতে, আপনি গত সপ্তাহের (seasonতুসত্তার ব্যবহার করে) দিনের একই সময় থেকে আপনার অস্থিরতার গণনাটি বেজ করার চেষ্টা করতে পারেন।

Comments

কেবলমাত্র রিটার্ন ব্যবহার করে আপনি মইয়ের জন্য খুব ঝুঁকিপূর্ণ হয়ে উঠেন (অর্থাত্ ক্রমের যে ক্রমগুলি আদর্শ থেকে উপরে চলে যায় বা সরে যায়, যেখানে প্রতিটি স্বতন্ত্র প্রত্যাবর্তন গ্রহণযোগ্য হয়, তবে একটি গোষ্ঠী হিসাবে তারা একজন বহিরাগতকে প্রতিনিধিত্ব করে)। আদর্শভাবে আপনি রিটার্ন এবং পরম স্তর উভয়ই ব্যবহার করবেন।

— জিলিস ডি উইট

Answer 3

নিঃশর্ত পাগল / মধ্যস্বত্বের 'অভিযোজনযোগ্যতা' এর অভাব সম্পর্কে আপনার উদ্বেগের প্রতিবিম্বিত করতে আমি (কিছু বিলম্বের সাথে) আমার উত্তর পরিবর্তন করেছি।

$(\hat{\mu}_t,\hat{\sigma}_t)$

$$\frac{x_t-\hat{\mu}_t}{\hat{\sigma}_t}$$

আপনি এই কাগজে আরও তথ্য (এবং একটি আর প্যাকেজের লিঙ্ক) খুঁজে পেতে পারেন :

বাউড, কে। এবং ক্রাউক্স, সি (2010)। মাল্টিভাইয়ারেট জিআরচ মডেলগুলির দৃ M় এম-অনুমান।

Comments

আমি এই জাতীয় কিছু চেষ্টা করেছি, তবে এই পদ্ধতিটি অস্থিরতার আকস্মিক পরিবর্তনের সাথে মোকাবিলা করার পক্ষে খুব ভাল নয়। এটি বেশি ব্যস্ত সময়ে শান্ত সময়ে আন্ডার ফিল্টারিং এবং ওভারফিল্টারিংয়ের দিকে পরিচালিত করে।

— জিলিস ডি উইট

আমি এটি বুঝতে পারি না "এটি শান্ত সময়ে আন্ডার ফিল্টারিং এবং আরও বেশি ব্যস্ত সময়ে ওভারফিল্টারিংয়ের দিকে নিয়ে যায়" ব্যাখ্যা করার যত্ন নিয়ে?

— ব্যবহারকারী 60

নিরবচ্ছিন্ন সময়ে দামের অস্থিরতা কম থাকে, তাই গড়ের কাছাকাছি দামগুলি বিদেশী হিসাবে বিবেচিত হতে পারে। তবে, আপনি পুরো ট্রেডিং দিনের জন্য (সম্ভবত) বা এমএডি ব্যবহার করার কারণে এই আউটলিয়াররা মিডিয়ান থেকে 3 এমএডেরও কম এবং ফিল্টার হবে না be বিপরীতে উচ্চ দামের চলাচল সহ ব্যস্ত সময়ের জন্য সত্য (গ্রহণযোগ্য দামের চলাচলগুলি ফিল্টার করা হবে)। সুতরাং সমস্যাটি সর্বদা এমএডের সঠিকভাবে অনুমান করতে হ্রাস করে, যা এটাই শুরু করার বিষয়টি।

— জিলিস ডি বুদ্ধি