টাইম সিরিজের অ্যানোমালি সনাক্তকরণের জন্য অ্যালগরিদম


24

আমি বর্তমানে টুইটারের অ্যানোমালিডিটেকশনটি আর: https://github.com/twitter/AnomalyDtetection এ ব্যবহার করছি । এই অ্যালগরিদম মৌসুমী সহ ডেটাগুলির জন্য সময় সিরিজের অসাধারণ সনাক্তকরণ সরবরাহ করে।

প্রশ্ন: এর মতো আর কোনও অ্যালগোরিদম রয়েছে (alityতুতে নিয়ন্ত্রণের বিষয়টি বিবেচনা করে না)?

আমি আমার ডেটাতে যতটা সম্ভব সময় সিরিজ অ্যালগরিদমগুলি স্কোর করার চেষ্টা করছি যাতে আমি সেরাটি বেছে নিতে পারি / অন্তর্ভুক্ত করতে পারি।

উত্তর:


16

টুইটার অ্যালগরিদম ভিত্তিক

রোজনার, বি। (মে 1983), "জেনারালাইজড ইএসডি মাল্টি-আউটিলার প্রক্রিয়াজাতের জন্য শতাংশ শতাংশ", টেকনোমেট্রিক্স, 25 (2), পৃষ্ঠা 165-172

আমি নিশ্চিত 1983 সাল থেকে অনেক কৌশল এবং অগ্রগতি হয়েছে! আমি আমার অভ্যন্তরীণ ডেটা পরীক্ষা করেছি এবং টুইটারের অসাধারণ সনাক্তকরণ সুস্পষ্ট বিদেশী সনাক্ত করতে পারে না। সময় সিরিজের বাইরের লোকদের পরীক্ষা করার জন্য আমি অন্যান্য পন্থাগুলিও ব্যবহার করব। আমি যে সর্বোত্তমটি এসেছি তা হ'ল সাইয়ের Outlier সনাক্তকরণ পদ্ধতি, যা এসএএস / SPSS / Autobox এবং এসসিএ সফ্টওয়্যার বাস্তবায়িত হয়। যার সবকটিই বাণিজ্যিক ব্যবস্থা। এখানে রয়েছে সসলটায়ার্স প্যাকেজ যা দুর্দান্ত তবে arimaদক্ষতার সাথে কাজ করার জন্য মডেলের স্পেসিফিকেশন প্রয়োজন । auto.arimaঅপ্টিমাইজেশন এবং মডেল নির্বাচনের ক্ষেত্রে আমার এর ডিফল্ট সমস্যা রয়েছে ।

সাইয়ের নিবন্ধটি টাইম সিরিজের আউটলেট সনাক্তকরণের একটি অন্তিম কাজ। পূর্বাভাস গবেষণার শীর্ষস্থানীয় জার্নাল ইন্টারন্যাশনাল জার্নাল অফ ফোরকাস্টিং উল্লেখ করেছে যে সাইয়ের নিবন্ধটি উপরে লিঙ্কিত একটি নিবন্ধে সর্বাধিক উদ্ধৃত কাজ এবং সবচেয়ে প্রভাবশালী কাগজপত্রগুলির মধ্যে একটি (নীচে দেখুন)। পূর্বাভাস সফ্টওয়্যার (বিশেষত ওপেন সোর্স সফ্টওয়্যার) এ এই গুরুত্বপূর্ণ কাজ এবং অন্যান্য আউটলেট সনাক্তকরণ অ্যালগরিদমগুলির বিস্মরণ একটি বিরলতা।

এখানে চিত্র বর্ণনা লিখুন


14

2017 এর হিসাবে আর তে অ্যানোমালি ডিটেকশনের বিকল্পগুলি এখানে রয়েছে।

টুইটারের অ্যানোমালি ডিটেকশন প্যাকেজ

  • মৌসুমী হাইব্রিড ইএসডি (এসএইচ-ইএসডি) ব্যবহার করে কাজ করে;
  • অসঙ্গতি সনাক্তকরণের জন্য সাধারণীকরণকৃত ESD পরীক্ষার উপর ভিত্তি করে ;
  • স্থানীয় এবং বৈশ্বিক উভয় মতবিরোধগুলি সনাক্ত করতে পারে;
  • সময় সিরিজের পচন এবং শক্ত পরিসংখ্যানীয় মেট্রিকগুলি নিয়োগ করা (উদাহরণস্বরূপ ESD এর সাথে মিডিয়ান)
  • দীর্ঘ সময়ের সিরিজের জন্য টুকরোচক আনুমানিক কর্মসংস্থান;
  • যখন সময় স্ট্যাম্প উপলব্ধ না হয় তার জন্যও পদ্ধতি রয়েছে;
  • অসঙ্গতিগুলির দিকনির্দেশ, আগ্রহের উইন্ডো, টোগলওয়ালা আনুমানিক টগল করতে এবং ভিজ্যুয়াল সমর্থন থাকতে পারে।

অ্যানোমালি ডিটেকশন প্যাকেজ (টুইটারের থেকে পৃথক)

  • মহালানোবিসের দূরত্ব, ফ্যাক্টর বিশ্লেষণ, হর্নের সমান্তরাল বিশ্লেষণ, ব্লক পরিদর্শন, নীতি উপাদান বিশ্লেষণ সহ বিভিন্ন পদ্ধতি;
  • ফলাফলগুলি মোকাবেলার জন্য পদ্ধতি রয়েছে।

tsoutliers প্যাকেজ

  • চেন এবং লিউ পদ্ধতি অনুসরণের সময় সিরিজের আউটলিয়ারদের সনাক্ত করে ( https://www.jstor.org/stable/2290724?seq=1# পৃষ্ঠা_scan_tab_contents );
  • আউটলিয়াররা মডেল প্যারামিটারগুলির 'কম-দূষিত' অনুমান, একাধিক লিনিয়ার রিগ্রেশন ব্যবহার করে আনুমানিক আউটলেট প্রভাবগুলির ভিত্তিতে প্রাপ্ত হয় এবং মডেল পরামিতি এবং প্রভাবগুলি যৌথভাবে অনুমান করে।
  • উদ্ভাবনী আউটলিয়ার, অ্যাডিটিভ আউটলিয়ার, লেভেল শিফট, অস্থায়ী পরিবর্তন এবং মৌসুমী স্তর বদল বিবেচনা করে।

ব্যতিক্রমী-ACM

  • প্রতিটি সময়ের সিরিজের বৈশিষ্ট্যগুলির একটি ভেক্টর গণনা করে কাজ করে (যেমন অন্তঃকরণের সম্পর্ক, মৌসুমের শক্তি, বর্ণালী এনট্রপি অন্তর্ভুক্ত) তারপরে বৈশিষ্ট্যগুলিতে শক্তিশালী প্রধান উপাদান পচন প্রয়োগ করা এবং অবশেষে প্রথম দুটি মূল উপাদানগুলিতে বিভিন্ন দ্বিখণ্ডিত আউটলেট সনাক্তকরণ পদ্ধতি প্রয়োগ করে;
  • সর্বাধিক অস্বাভাবিক সিরিজগুলি সক্ষম করে, তাদের বৈশিষ্ট্য ভেক্টরের উপর ভিত্তি করে চিহ্নিত করতে;
  • প্যাকেজটিতে ইয়াহু থেকে আসল এবং সিন্থেটিক উভয় ডেটাসেট রয়েছে।

রংধনু প্যাকেজ

  • ব্যাগপ্লট এবং বক্সপ্লট ব্যবহার করে;
  • সর্বনিম্ন গভীরতা বা ঘনত্ব সহ আউটলিয়ারদের সনাক্ত করে।

kmodR প্যাকেজ

  • 2013 সালে চাওলা এবং জিওনিস দ্বারা প্রস্তাবিত কে-অর্থের একটি বাস্তবায়ন ব্যবহার করে ( http://epubs.siam.org/doi/pdf/10.1137/1.9781611972832.21 );
  • স্ট্যান্ডার্ড কে-মানেগুলির তুলনায় শক্ত সম্ভাব্য ক্লাস্টার তৈরি করার জন্য এবং একই সাথে বহুমাত্রিক জায়গায় স্বল্প খরচে বিদেশী খুঁজে পেতে কার্যকর।

washeR পদ্ধতি

শক্তিশালী পরিসংখ্যানগত পদ্ধতিগুলির জন্য CRAN টাস্ক ভিউ

  • বহিরাগতদের সনাক্ত করতে শক্তিশালী পরিসংখ্যান পদ্ধতি ব্যবহারের জন্য বিভিন্ন ধরণের পন্থা।

EDIT 2018

অণুভূতি: পরিপাটি অ্যানোমালি সনাক্তকরণ


টাইম সিরিজ ডেটার জন্য আমি কোনটি ব্যবহার করতে পারি তার কোনও পরামর্শ, তবে মৌসুমী ছাড়াই? আমি কি এই ক্ষেত্রে টুইটার প্যাকেজটি ব্যবহার করতে পারি?
মাইক হুবার

টুইটার প্যাকেজ স্থানীয় এবং বৈশ্বিক উভয় মতবিরোধগুলি পরিচালনা করে। যেমনটি তারা তাদের ডক্সে বলেছে, "বৈশ্বিক অসঙ্গতিগুলি সাধারণত প্রত্যাশিত seasonতুবিত্তের উপরে বা নীচে প্রসারিত হয় এবং তাই seasonতু এবং অন্তর্নিহিত প্রবণতার অধীন নয়।" সুতরাং হ্যাঁ, আপনি কোনও মৌসুম ছাড়াই সময় সিরিজে সম্ভাব্য অসঙ্গতিগুলি সনাক্ত করতে টুইটার প্যাকেজটি ব্যবহার করতে পারেন। blog.twitter.com/engineering/en_us/a/2015/…
সাইবারনেটিক

8

আমি কয়েকটি উত্স জুড়ে এসেছি যা আপনাকে সহায়তা করতে পারে তবে তারা আপনার ডেটার উপর আর স্ক্রিপ্ট চালানোর মতো সহজ / সুবিধাজনক হবে না: - নুমেন্টার কাছে তাদের নিউপিক প্ল্যাটফর্মটি একটি উন্মুক্ত স্রোতযুক্ত রয়েছে যা অসাধারণ সনাক্তকরণ সহ অনেক কিছুর জন্য ব্যবহৃত হয় । - নেটফ্লিক্সের অ্যাটলাস প্রকল্প শীঘ্রই একটি ওপেন-সোর্স আউটিলার / অ্যানোমালি সনাক্তকরণ সরঞ্জাম প্রকাশ করবে। - প্রিলার্টে একটি অসাধারণ সনাক্তকরণ ইঞ্জিন রয়েছে যা সার্ভার-সাইড অ্যাপ্লিকেশন হিসাবে আসে। তাদের ট্রায়াল সীমিত ব্যবহারের প্রস্তাব দেয় যা আপনার প্রয়োজনগুলি পূরণ করতে পারে।

বিকল্পভাবে আমার সংস্থা, ইনসিগনামের বিটাতে একটি পণ্য রয়েছে যা সময় সিরিজের ডেটা যুক্ত করে এবং সম্পূর্ণ স্বয়ংক্রিয় পদ্ধতিতে ব্যতিক্রমগুলি সনাক্ত করে এবং যখন অনিয়মগুলি সনাক্ত হয় তখন আপনি কেবল ইমেলের মাধ্যমে সতর্কতা পান। আউট পৌঁছানো টুইটার বা লিঙ্কডইন এবং আমি আপনাকে আরও বলতে খুশি হবেন।


3

অটোবক্স (আমার সংস্থা) আউটলেট সনাক্তকরণ সরবরাহ করে। টুইটারের অ্যালগরিদম বড় আউটলিয়ার্স পায়, তবে অটোবক্সের তুলনায় ছোটগুলি মিস করে ।

এটি চালাতে দীর্ঘ সময় লাগে, তবে ফলাফলগুলি আরও ছোট আউটলাইনারদের সন্ধানের জন্য আরও ভাল এবং seasonতুতে পরিবর্তিত হওয়াগুলিও বিদেশী are নীচে মডেলটি 14,398 আসল পর্যবেক্ষণগুলির প্রথম 8,560 টি পর্যবেক্ষণ ব্যবহার করে 79 জন অপ্রদর্শককে সন্ধান করছে। স্ট্যান্ডার্ড সংস্করণ সর্বাধিক 10,000 টি পর্যবেক্ষণে চলে গেছে তবে এটি আরও বেশি সংশোধন করতে পারে তবে আপনি যখন অপ্রদর্শকদের সনাক্ত করতে এবং প্রতিক্রিয়া জানাতে চান তখন তেমন কোনও তথ্য পাওয়ার কোনও সত্য কারণ নেই।

আমরা সাইয়ের আউটলিয়ার, লেভেল শিফট এবং ভেরিয়েন্স পরিবর্তন এবং চৌরার পরামিতি পরিবর্তনের কাজ এবং মৌসুমী পরিবর্তনগুলি সনাক্তকরণের জন্য আমাদের নিজস্ব কাজের দ্বারা প্রভাবিত হয়েছি,

আপনি যদি 30 দিনের ট্রায়াল ডাউনলোড করেন এবং টুইটারের উদাহরণ ডেটা লোড করেন এবং 60 টির ফ্রিকোয়েন্সি নির্দিষ্ট করেন এবং ইনস্টলেশন ফোল্ডারে (noparcon.afs, novarcon.afs, notrend.afs) 3 টি ট্রিগার ফাইল সংরক্ষণ করেন এবং স্টেপআপে নামে একটি ফাইল তৈরি করেন। 100 সঙ্গে আফস।

এখানে চিত্র বর্ণনা লিখুন

এখানে চিত্র বর্ণনা লিখুন

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.