আমরা কীভাবে বিরল ঘটনা পূর্বাভাস করব?

আমি একটি বীমা ঝুঁকিপূর্ণ ভবিষ্যদ্বাণীপূর্ণ মডেল বিকাশ নিয়ে কাজ করছি। এই মডেলগুলি "বিরল ঘটনা" যেমন বিমানের নো-শো পূর্বাভাস, হার্ডওয়্যার ত্রুটি সনাক্তকরণ ইত্যাদির মতো I ।

হাই স্কুল পরিসংখ্যান কোর্সের বাইরে পরিসংখ্যান এবং মডেলিংয়ের ডেটা সম্পর্কে আমার খুব বেশি অভিজ্ঞতা নেই, তাই আমি বিভ্রান্ত হয়ে পড়ছি।

প্রথম চিন্তা হিসাবে, আমি একটি অন্তঃসত্ত্বা পোইসন প্রক্রিয়া মডেল ব্যবহার করার কথা ভাবছিলাম। আমি নির্দিষ্ট স্থানে নির্দিষ্ট দিনে নির্দিষ্ট সময়ে ঝুঁকির সম্ভাবনার একটি ভাল অনুমান পেতে ইভেন্ট ডেটার (তারিখ, লাত, লোন) এর ভিত্তিতে এটিকে শ্রেণিবদ্ধ করেছি।

আমি জানতে চাই, বিরল ঘটনাগুলির পূর্বাভাস দেওয়ার পদ্ধতিগুলি / অ্যালগোরিদমগুলি কী কী?
এই সমস্যাটি মোকাবেলার জন্য আপনি কী পদ্ধতির পরামর্শ দিচ্ছেন?

— user3378649
সূত্র

স্ট্যান্ডার্ড কোলস কর্তৃক স্ট্যান্ডার্ড অ্যাপ্রোচটি হ'ল " চূড়ান্ত মান তত্ত্ব ", সেখানে একটি দুর্দান্ত বই রয়েছে (যদিও বর্তমানের দামটি বরং এরর ... চরম মনে হচ্ছে)।

শ্রেণিবদ্ধকরণ বা রিগ্রেশন পদ্ধতিগুলি ব্যবহার করে আপনি ভাল ফলাফল পাওয়ার সম্ভাবনা না পাওয়ার কারণ হ'ল এই পদ্ধতিগুলি সাধারণত ডেটার শর্তাধীন গড় পূর্বাভাস দেওয়ার উপর নির্ভর করে এবং চরম ঘটনাগুলি সাধারণত "এলোমেলো" কারণগুলির একই সংশ্লেষের ফলে ঘটে থাকে, সুতরাং তারা দুর্ভাগ্যজনক ফলাফল বিতরণের লেজে রয়েছে, যা সাধারণত শর্তাধীন থেকে দীর্ঘ পথ way আপনি যা করতে পারেন তা হ'ল তার শর্তের পরিবর্তে পুরো শর্তাধীন বিতরণটির পূর্বাভাস দেওয়া এবং কিছু প্রান্তিকের উপরে বন্টনের লেজকে একীভূত করে একটি চরম ইভেন্টের সম্ভাবনা সম্পর্কে কিছু তথ্য পাওয়া। আমি ভারী বৃষ্টিপাতের পরিসংখ্যানগুলি ডাউনস্কলিংয়ের একটি অ্যাপ্লিকেশনটিতে এটি ভালভাবে কাজ করেছি ।

— ডিকরান মার্সুপিয়াল
সূত্র

অজগর নিয়ে এই তত্ত্বের কোনও প্রয়োগ আছে কি?

— ব্যবহারকারী 3378649

দুঃখিত, আমি পাইথনে প্রোগ্রাম করি না (এখনও) তাই আমি সেখানে সাহায্য করতে পারি না।

— ডিকরান মার্সুপিয়াল

y

$y$

x_{1}, \dots, x_{n}

$x_1,\dots, x_n$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x_{1}, \dots, x_{n})

$P(y>Y_0|x_1,\dots,x_n)$

E (y | x_{1}, \dots, x_{n})

$E(y|x_1,\dots,x_n)$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x 1, \dots, x_{n})

$P(y>Y_0|x1,\dots,x_n)$

হ্যাঁ, আপনি এটি করতে পারেন, তবে আপনার যে ব্যয়টি কম করা হচ্ছে তা বিতরণের লেজগুলি সঠিকভাবে পাওয়ার দিকে মনোনিবেশ করা হয়নি, তাই যদি আপনি এটির জন্য আগ্রহী হন তবে লেজগুলিতে ইভেন্টগুলি আরও স্পষ্টভাবে মডেল করার চেষ্টা করা ভাল is ।

— ডিকরান মার্সুপিয়াল