কণার ফিল্টারগুলি বোঝার জন্য গাণিতিক এবং পরিসংখ্যানের পূর্বশর্তগুলি?

Question

আমি বর্তমানে অর্থের ক্ষেত্রে কণা ফিল্টার এবং তাদের সম্ভাব্য ব্যবহারগুলি বোঝার চেষ্টা করছি এবং আমি বেশ কিছুটা লড়াই করছি। (I) কণা ফিল্টারগুলির বুনিয়াদি অ্যাক্সেসযোগ্য করার জন্য, এবং (ii) পরে সেগুলি ভালভাবে বোঝার জন্য আমার গাণিতিক এবং পরিসংখ্যানগত পূর্বশর্তগুলি কী পরিমাণে পুনর্বিবেচনা করা উচিত? রাষ্ট্র-স্পেস মডেলগুলি বাদ দিয়ে আমি স্নাতক-স্তরের সময় সিরিজের ইকোনোমেট্রিক্স সম্পর্কে দৃ knowledge় জ্ঞান অর্জন করেছি, যা আমি এখনও আবরণ করি নি।

কোন ইঙ্গিত অনেক প্রশংসা করা হয়!

Comments

বায়েশিয়ান পরিসংখ্যান বিষয়টির জন্য (আইএমএইচও) গুরুত্বপূর্ণ। আপনাকে একটি গুচ্ছ জানার দরকার নেই, কেবল নিশ্চিত হয়ে নিন যে আপনি এর সাথে সম্পর্কিত শর্তাদি (যেমন পূর্ব, সম্ভাবনা, উত্তরোত্তর) এবং মডেলিং অনুমানগুলি থেকে কীভাবে উত্থিত হন তা নিশ্চিত করুন

— ইয়ায়ার দাওন

আমার মনে হয় ডুসেটের কাগজপত্র পড়া একটি দুর্দান্ত ধারণা, তিনি সত্যই একজন ভাল লেখক। তার ওয়েবসাইটে তাঁর স্লাইড / বক্তৃতা এবং ভিডিও সহ সংস্থানসমূহের একটি বিস্তৃত তালিকা রয়েছে! তিনি তার সহকর্মীদের একজনের থেকে আরও একটি বিস্তৃত তালিকা অন্তর্ভুক্ত করেছেন।

— বিডিওনোভিচ

Answer 1

আপনি কয়েকটি কয়েকটি প্রাথমিক ধারণাটি পেয়ে চমকে উঠতে পারেন। স্বরলিপি, ভেরিয়েবল ইত্যাদি একটি বিস্ফোরণ ... করা জিনিস করতে চেহারা জটিল কিন্তু কণা ফিল্টারিং কোর ধারণা সাতিশয় সহজ।

কিছু প্রাথমিক সম্ভাবনা যা আপনার প্রয়োজন (এবং সম্ভবত ইতিমধ্যে এটি করেছেন!) বুঝতে হবে:

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• বায়েশিয়ান পদ: যেমন। পূর্বে, সম্ভাবনা, উত্তরোত্তর (+1 @ ইয়ার দাওন, আমি সম্মত!)

একটি কণা ফিল্টারের প্রাথমিক পদক্ষেপগুলি অবিশ্বাস্যভাবে সহজ:

প্রথম:

• কিছু লুকানো অবস্থা সম্পর্কে কিছু বিশ্বাস দিয়ে শুরু করুন। উদাহরণস্বরূপ, আপনি বিশ্বাস করতে পারেন যে আপনার রকেট লঞ্চ প্যাডে রয়েছে। (একটি কণা ফিল্টারে, লুকানো রাষ্ট্র সম্পর্কে বিশ্বাসগুলি পয়েন্টের মেঘের সাথে উপস্থাপিত হবে, প্রতিটি বিন্দু লুকানো রাষ্ট্রের একটি সম্ভাব্য মান বোঝায় Each প্রতিটি পয়েন্টটি সত্যিকারের রাষ্ট্র হওয়ার সম্ভাবনার সাথেও যুক্ত is)

$t$$t+1$

1. পূর্বাভাসের পদক্ষেপ: গতির আইনের উপর ভিত্তি করে পয়েন্টগুলির অবস্থানের দিকে এগিয়ে যান । (উদাহরণস্বরূপ, রকেটের বর্তমান গতি, ট্র্যাজেক্টোরি ইত্যাদির উপর ভিত্তি করে পয়েন্টগুলি সামনে সরান ...)। এটি অনিশ্চয়তা বাড়ার সাথে সাথে পয়েন্টের মেঘকে প্রসারিত করবে।
2. সম্ভাব্যতা আপডেটের পদক্ষেপ: বেইস রুল ব্যবহার করে পয়েন্টগুলির সাথে যুক্ত সম্ভাব্যতাগুলি আপডেট করতে ডেটা, সেন্সর ইনপুট ব্যবহার করুন। অনিশ্চয়তা হ্রাস হওয়ায় এটি সাধারণত পয়েন্টের মেঘ পিছিয়ে পড়বে।
3. নির্দিষ্ট পদক্ষেপ / কৌশলগুলি ফিল্টার করে কিছু কণা যুক্ত করুন। যেমন। :
   • মাঝে মাঝে আপনার পয়েন্টগুলির পুনরায় নমুনা করুন যাতে প্রতিটি পয়েন্টের সমান সম্ভাবনা থাকে।
   • কিছুটা শব্দে মিশ্রিত হোন, আপনার সম্ভাব্য পদক্ষেপটি (২) আপনার পয়েন্টের মেঘকে খুব বেশি ভাঙ্গা থেকে রক্ষা করুন (কণা ফিল্টারিংয়ে, আপনার সত্যিকারের অবস্থানটিতে অস্পষ্টভাবে ইতিবাচক সম্ভাবনা রয়েছে এমন কমপক্ষে একটি পয়েন্ট রয়েছে তা গুরুত্বপূর্ণ!)

উদাহরণ:

আপনার ফিল্টারটি সূচনা করুন: - আপনি যেখানে অবস্থান করছেন সেখানে আপনার অবস্থানটি দেখুন। এখন চোখ বন্ধ করুন।

তারপরে পুনরাবৃত্তি করুন:

1. চোখ বন্ধ করে একধাপ এগিয়ে যান।
2. পূর্বাভাসের পদক্ষেপ: আপনি কোথায় দাঁড়িয়ে ছিলেন সে সম্পর্কে অতীত বিশ্বাস দেওয়া , আপনি এখন কোথায় দাঁড়িয়ে আছেন তা অনুমান করুন এক ধাপ এগিয়ে step (নোট কীভাবে অনিশ্চয়তা প্রসারিত হয় তা লক্ষ্য করুন কারণ চোখ বন্ধ করে আপনার পদক্ষেপটি অতুলনীয় নয়!)
3. আপডেট পদক্ষেপ: আপনি কোথায় রয়েছেন সে সম্পর্কে আপনার বিশ্বাস আপডেট করার জন্য সেন্সরগুলি (যেমন চারপাশে অনুভূতি ইত্যাদি) ...) ব্যবহার করুন।

পুনরাবৃত্তি!

বাস্তবায়নের জন্য প্রয়োজনীয় সম্ভাবনা যন্ত্রপাতিটি মূলত কেবলমাত্র প্রাথমিক সম্ভাবনা: বেইস রুল, প্রান্তিক বিতরণ গণনা ইত্যাদি ...

সর্বাধিক সম্পর্কিত ধারণাগুলি যা বড় ছবিটি বুঝতে সহায়তা করে:

কিছু অর্থে, পদক্ষেপ (1) এবং (2) যে কোনও বায়েশিয়ান ফিল্টারিং সমস্যার ক্ষেত্রে সাধারণ । সম্ভবত খুব পড়ার জন্য কয়েকটি অত্যন্ত সম্পর্কিত ধারণা:

• লুকানো মার্কভ মডেল । একটি প্রক্রিয়া হ'ল মারকভ যদি অতীত বর্তমান অবস্থার পরিপ্রেক্ষিতে ভবিষ্যতের তুলনায় স্বতন্ত্র থাকে। প্রায় কোনও সময় সিরিজটি একরকম মার্কভ প্রক্রিয়া হিসাবে মডেল করা হয়। একটি লুকানো মার্কোভ মডেল হ'ল রাজ্যটি সরাসরি পর্যবেক্ষণ করা হয় না (যেমন, আপনি কখনই সরাসরি আপনার রকেটের সঠিক অবস্থানটি পর্যবেক্ষণ করেন না এবং পরিবর্তে এটি কোনও বায়েশিয়ান ফিল্টারের মাধ্যমে তার অবস্থানটি নির্ধারণ করেন)।
• কলম্যান ফিল্টার । এটি কণা ফিল্টারিংয়ের একটি বিকল্প যা সাধারণত ব্যবহৃত হয়। এটি মূলত একটি বায়েশিয়ান ফিল্টার যেখানে সমস্ত কিছুই মাল্টিভিয়ারেট গাউসিয়ান বলে মনে করা হয়।

Answer 2

আপনার কোড-থেকে-সহজ রাষ্ট্রের স্পেস মডেল এবং ক্লোজড-ফর্ম ফিল্টারিংয়ের আগে (যেমন কলম্যান ফিল্টার, লুকানো মার্কোভ মডেল) শিখতে হবে। ম্যাথিউ গন সঠিক যে আপনি আশ্চর্যজনকভাবে সাধারণ ধারণাগুলি সহ অনেকটা পেতে পারেন তবে আমার নম্র মতে আপনার এটিকে একটি মধ্যবর্তী লক্ষ্য করা উচিত কারণ:

1.) তুলনামূলকভাবে বলতে গেলে, রাজ্য স্পেস মডেলগুলিতে আরও চলন্ত অংশ রয়েছে। আপনি যখন এসএসএম বা লুকানো মার্কভ মডেলগুলি শিখেন তখন প্রচুর স্বীকৃতি পাওয়া যায়। এর অর্থ আপনি যখন যাচাইকরণের জিনিসগুলি নিয়ে ঘুরে দেখেন তখন আপনার কাজের স্মৃতিতে রাখার মতো আরও অনেক জিনিস রয়েছে। ব্যক্তিগতভাবে, যখন আমি কলম্যান ফিল্টারগুলি এবং লিনিয়ার-গাউসিয়ান এসএসএম সম্পর্কে প্রথমে শিখছিলাম, তখন আমি মূলত ভাবছিলাম "এহ এই সমস্ত মাল্টিভারিয়েট নরমাল ভেক্টরগুলির কেবলমাত্র বৈশিষ্ট্য ... আমি কেবল কোন ম্যাট্রিক্সটি সম্পর্কে নজর রাখতে হবে" " এছাড়াও, আপনি যদি বইগুলির মধ্যে স্যুইচ করেন তবে এগুলি প্রায়শই স্বরলিপি পরিবর্তন করে।

এরপরে আমি এটিকে নিয়ে ভাবলাম "এহ, এটি প্রতিটি সময় পয়েন্টে কেবলমাত্র বেয়েসের নিয়ম।" একবার আপনি এইভাবে ভাবলে আপনি বুঝতে পারবেন কেন কনজুগেট পরিবারগুলি দুর্দান্ত, যেমন কলম্যান ফিল্টারের ক্ষেত্রে। আপনি যখন কোনও লুকানো মার্কভ মডেলটিকে তার বিচ্ছিন্ন স্থিত জায়গার সাথে কোড করেন, তখন আপনি দেখতে পাবেন কেন আপনাকে কোনও সম্ভাবনা গণনা করতে হবে না, এবং ফিল্টারিং / স্মুথিং সহজ। (আমি মনে করি আমি এখানে প্রচলিত হুম জার্গন থেকে বিচ্যুত করছি am)

২) এগুলিকে প্রচুর কোডিংয়ে দাঁত কাটলে আপনি উপলব্ধি করতে পারবেন যে কোনও রাজ্য স্পেস মডেলের সংজ্ঞা কতটা সাধারণ। খুব শীঘ্রই আপনি যে মডেলগুলি ব্যবহার করতে চান সেগুলি লিখে ফেলবেন এবং একই সাথে আপনি কেন পারবেন না তাও দেখবেন। প্রথমে আপনি অবশেষে দেখতে পাবেন যে আপনি যে দুটি ব্যবহারের জন্য ব্যবহার করেছেন এটির একটির মধ্যে কেবল এটি লিখতে পারবেন না। আপনি যখন এ সম্পর্কে আরও কিছু ভাবেন, আপনি বেয়েসের নিয়মটি লিখে রাখেন, এবং সমস্যাটি হ'ল ডেটার কোনও সম্ভাবনা গণনা করতে আপনার অক্ষমতা।

সুতরাং আপনি অবশেষে এই উত্তরোত্তর বিতরণগুলি (রাজ্যগুলির মসৃণকরণ বা ফিল্টারিং বিতরণগুলি) গণনা করতে সক্ষম হবেন না। এটি যত্ন নিতে, প্রচুর আনুমানিক ফিল্টারিং স্টাফ রয়েছে। কণা ফিল্টারিং এর মধ্যে একটি মাত্র। কণা ফিল্টারিংয়ের মূল অবলম্বন: আপনি এই বিতরণগুলি থেকে অনুকরণ করে কারণ আপনি সেগুলি গণনা করতে পারেন না।

আপনি কীভাবে সিমুলেট করবেন? বেশিরভাগ অ্যালগরিদম গুরুত্ব স্যাম্পলিংয়ের কিছু বৈকল্পিক। তবে এটি এখানে আরও জটিল হয়ে ওঠে। আমি ডুসেট এবং জোহানসেনের দ্বারা এই টিউটোরিয়াল কাগজটি প্রস্তাব করছি ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf )। যদি আপনি কীভাবে ক্লোজড ফর্ম ফিল্টারিংয়ের কাজ করেন তবে তারা গুরুত্বের নমুনা দেওয়ার সাধারণ ধারণাটি প্রবর্তন করে, তারপরে মন্টি কার্লো পদ্ধতির সাধারণ ধারণা এবং তারপরে একটি সুন্দর আর্থিক সময় সিরিজের উদাহরণ দিয়ে কীভাবে এই দুটি জিনিস ব্যবহার করবেন তা আপনাকে দেখায়। আইএমএইচও, আমি যে কণা ফিল্টারিংয়ের এটি সেরা টিউটোরিয়াল।

মিশ্রণটিতে দুটি নতুন ধারণা যুক্ত করার পাশাপাশি (গুরুত্বের নমুনা ও মন্টে কার্লো পদ্ধতি) আরও রয়েছে এখন আরও স্বরলিপি। আপনি এখন থেকে নমুনা নিচ্ছেন এমন কয়েকটি ঘনত্ব; কিছু আপনি মূল্যায়ন করছেন, এবং আপনি যখন তাদের মূল্যায়ন করেন, আপনি নমুনাগুলিতে মূল্যায়ন করেন। ফলস্বরূপ, আপনি সমস্ত কোড করার পরে, ওজনযুক্ত নমুনাগুলি, গণিত কণাগুলি। তারা প্রতিটি নতুন পর্যবেক্ষণ পরে পরিবর্তন। একবারে এই সবগুলি বেছে নেওয়া খুব কঠিন হবে be আমি মনে করি এটি একটি প্রক্রিয়া।

আমি ক্ষমা চাইছি যদি আমি ক্রিপ্টিক বা হ্যান্ডওয়ে হিসাবে এসেছি। বিষয়টির সাথে আমার ব্যক্তিগত পরিচিতির জন্য এটি কেবল টাইমলাইন। ম্যাথু গানের পোস্ট সম্ভবত আরও আপনার প্রশ্নের উত্তর দেয়। আমি কেবল অনুভব করেছি যে আমি এই প্রতিক্রিয়াটি টস করব।