ঘনত্বের অনুমানের জন্য কি কোনও বায়েশিয়ান পদ্ধতি রয়েছে?

Question

আমি ক্রমাগত র্যান্ডম ভেরিয়েবল ঘনত্ব অনুমান করতে আগ্রহী । আমি শিখেছি এটি করার একটি উপায় হ'ল কার্নেল ঘনত্ব অনুমানের ব্যবহার।$X$

তবে এখন আমি নীচের লাইনের পাশাপাশি একটি বায়েশিয়ান পদ্ধতির প্রতি আগ্রহী আমি প্রাথমিকভাবে বিশ্বাস করি যে একটি বিতরণ অনুসরণ করে । আমি রিডিং নিই । আমার নতুন পঠনের উপর ভিত্তি করে আপডেট করার কিছু উপায় আছে ?এফ এন এক্স $X$$F$$n$$X$$F$

আমি জানি আমি নিজের মতবিরোধ করছি বলে মনে করছি: আমি যদি আমার পূর্ববর্তী বিতরণ হিসাবে একমাত্র F এ বিশ্বাস করি $F$তবে অন্য কোনও ডেটা আমাকে বিশ্বাস করবে না। যাইহোক, অনুমান করা $F$ ছিল $Unif[0,1]$ এবং আমার ডাটা পয়েন্টের কেমন ছিলেন $(0.3, 0.5, 0.9, 1.7)$ । ১.7 দেখে $1.7$, আমি অবশ্যই আমার পূর্বের সাথে আঁকতে পারি না, তবে কীভাবে আমি এটি আপডেট করব?

আপডেট: মন্তব্যে দেওয়া পরামর্শের ভিত্তিতে আমি ডিরিচলেট প্রক্রিয়াটির দিকে তাকাতে শুরু করেছি। আমাকে নীচের স্বরলিপি ব্যবহার করুন:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

এই ভাষায় আমার মূল সমস্যাটি তৈরি করার পরে, আমি অনুমান করি যে আমি নিম্নলিখিতগুলিতে আগ্রহী: $\theta_{n+1} | x_1,...,x_n$ । এক কিভাবে এই কাজ করে?

ইন নোট এই সেট (পৃষ্ঠা 2), লেখক একটি উদাহরণ করেনি $\theta_{n+1} | \theta_1,...,\theta_n$ ( পোল্যা অর্ন স্কিম)। এটি প্রাসঙ্গিক কিনা আমি নিশ্চিত নই।

আপডেট 2: আমিও জিজ্ঞাসা করতে চাই (নোটগুলি দেখার পরে): লোকেরা কীভাবে ডিপি-র জন্য পছন্দ করে ? এলোমেলো পছন্দ বলে মনে হচ্ছে। এছাড়াও, ডিপির জন্য লোকেরা কীভাবে পূর্বের বেছে নেবে? আমি শুধু একটি পূর্বে ব্যবহার করা উচিত জন্য আমার পূর্বে যেমন ?$\alpha$$H$$\theta$$H$

Comments

"আমি যদি আমার পূর্ববর্তী বিতরণ হিসাবে একমাত্র এফ-তে বিশ্বাস করি তবে অন্য কোনও ডেটা আমাকে বিশ্বাস করবে না।" এটি বায়েশিয়ান অনুমানের বিরোধী, যা আপনি একদিকে যেমন বিশ্বাস করেন এবং অন্যদিকে বিশ্বকে কীভাবে গ্রহণ করেন সেদিকেই আরও জড়িত হন এবং তাদের একসাথে মিশিয়ে দেখুন এবং কী প্রকাশ পেয়েছে তা দেখুন। ধুয়ে, ধুয়ে ফেলুন, পুনরাবৃত্তি করুন।

— অ্যালেক্সিস

আপনি ডেরিচলেট প্রক্রিয়া সম্পর্কে কিছু জানেন?

— niandra82

আপনার শেষ অনুচ্ছেদ উপেক্ষা: এই সমস্যার দুটি সাধারণ বিকল্প রয়েছে are একটি হ'ল নরমালগুলির একটি সীমাবদ্ধ মিশ্রণ (ক্রস বৈধকরণের সম্ভাবনার উপর ভিত্তি করে আপনি কতগুলি নরমাল বেছে নিতে পারেন) বা @ নায়েন্দ্র ৮২ হিসাবে প্রস্তাবিত নরমালগুলির একটি অসীম মিশ্রণ। গিবস স্যাম্পলিং বা ভেরিয়েশনাল ইনফেরেন্সের মতো কিছু দিয়ে এটি করা যেতে পারে .. আপনি কি এই পদ্ধতির কোনওটির সাথে পরিচিত?

আমারও জিজ্ঞাসা করা উচিত, আপনি কীভাবে এই কেডিটি ব্যবহার করবেন? নির্বাচিত পদ্ধতি এবং আকার (অসীম, সসীম) আপনার লক্ষ্যের উপর নির্ভর করে।

এটি মডেল নির্বাচনের সমস্যা বা দার্শনিক সমস্যার মতো শোনাচ্ছে। বাস্তবে, আমাদের মধ্যে বায়েসীয় অনুমান ব্যবহারের সম্ভাবনাগুলি পূর্ব বিশ্বাসগুলিও চাপিয়ে দেয় ...

— জোও ক্লার্ক

Answer 1

যেহেতু আপনি একটি বায়সিয়ান পদ্ধতির চান, তাই আপনি যে জিনিসটি অনুমান করতে চান তার সম্পর্কে আপনাকে কিছুটা পূর্বের জ্ঞান গ্রহণ করতে হবে। এটি বিতরণ আকারে হবে।

এখন, এখানে সমস্যা রয়েছে যে এটি এখন বিতরণের মাধ্যমে বিতরণ। যাইহোক, আপনি যদি ধরে নেন যে প্রার্থী বিতরণগুলি বিতরণের কিছু প্যারামিটারাইজড শ্রেণি থেকে এসেছে।

উদাহরণস্বরূপ, আপনি যদি ধরে নিতে চান যে ডেটাটি অজানা গড় কিন্তু জ্ঞাত বৈকল্পিক দিয়ে গাভী বিতরণ করা হয়েছে, তবে আপনার যা দরকার তা হল গড়ের চেয়ে পূর্বের।

অজানা প্যারামিটারের এমএপি অনুমান (এটি কল করুন ) অনুমান করে এগিয়ে যেতে পারে যে সমস্ত পর্যবেক্ষণ / ডেটা পয়েন্টগুলি অজানা প্যারামিটারের কারণে শর্তাধীন স্বাধীন। তারপরে, ম্যাপের অনুমান$\theta$

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

কোথায়

।$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

এটি লক্ষ করা উচিত যে পূর্বের সম্ভাব্যতা এবং প্রার্থী বিতরণ PR [ x | এর বিশেষ সংমিশ্রণগুলি রয়েছে θ ] যা আরও ডেটা পয়েন্ট পাওয়ার সাথে সাথে সহজ (বদ্ধ ফর্ম) আপডেটগুলিকে উত্সাহ দেয়।$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Answer 2

ঘনত্ব অনুমানের উদ্দেশ্যে আপনার যা প্রয়োজন তা নয়

।$\theta_{n+1}|x_{1},\ldots,x_{n}$

নোট সূত্র ডেরিচ্লেট প্রক্রিয়াটির ভবিষ্যদ্বাণীপূর্ণ বিতরণকে বোঝায়।$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

ঘনত্ব প্রাক্কলন জন্য আপনি আসলে ভবিষ্যদ্বাণীপূর্ণ বন্টন থেকে নমুনা আছে

$$\pi(dx_{n+1}|x_{1},\ldots,x_{n})$$

উপরোক্ত বিতরণ থেকে স্যাম্পলিং হয় প্রান্তিক পদ্ধতিতে হয় শর্তাধীন পদ্ধতিতেও করা যেতে পারে। শর্তাধীন পদ্ধতির জন্য, স্টিফেন ওয়াকার [১] এর কাগজটি একবার দেখুন। প্রান্তিক পদ্ধতির জন্য আপনার র‌্যাডফোর্ড নিল পেপারে পরীক্ষা করা উচিত [২]।

Concnetration পরামিতি জন্য মাইক পশ্চিম [3] এর জন্য একটি সম্পূর্ণ শর্তাধীন বিতরণ সহ এমসিএমসি পদ্ধতির মধ্যে অনুমান জন্য একটি পদ্ধতি প্রস্তাব α । আপনি ঘনত্ব আপডেট করতে না সিদ্ধান্ত নেন তাহলে α এমসিএমসি পদ্ধতির মধ্যে, আপনি মনে রাখা উচিত যে, যদি আপনি এটি জন্য বৃহৎ মান চয়ন করুন, তারপর Dirichlet প্রক্রিয়া থেকে টানা স্বতন্ত্র মান রয়েছে তা গণনা স্বতন্ত্র মান যখন সংখ্যার চেয়ে বড় হতে হবে জন্য একটি ছোট সংখ্যা α ব্যবহার করা হবে।$\alpha$$\alpha$$\alpha$$\alpha$

[1] এসজি, ওয়াকার (2006) টুকরোগুলি সহ ডিরিচলেট মিশ্রণ মডেলটি নমুনা। স্ট্যাটিটিক্সে যোগাযোগ (সিমুলেশন এবং গণনা)।

[২] আর এম, নিল (২০০০) মার্কোচ চেইন মন্টি কার্লো পদ্ধতিতে ডিরিচলেট প্রক্রিয়া মিশ্রণের মডেলগুলি। গণনা এবং গ্রাফিকাল পরিসংখ্যান জার্নাল। খণ্ড 9, নং 2, পিপি 249-265

[3] এম, পশ্চিম (1992)। ডিরিচলেট প্রক্রিয়া মিশ্রণের মডেলগুলিতে হাইপারপ্যারামিটার অনুমান। প্রযুক্তিগত প্রতিবেদন

Answer 3

আমার নতুন পঠনের উপর ভিত্তি করে এফ আপডেট করার কিছু উপায় আছে?

তার জন্য স্পষ্টতই কিছু আছে। এটি বায়েশিয়ান অনুমানের মূল ধারণাটি।

$p(\theta | y) \propto p(y|\theta)p(\theta)$

আপনার পূর্বের কি কল এফ । পি ( Y | θ ) কি Bayesians "সম্ভাবনা" কল এবং এটি দেখে আপনার ডেটা থেটা কিছু মান দেওয়া সম্ভাবনা হয়। আপনি শুধু তাদের সংখ্যাবৃদ্ধি একসঙ্গে এবং পেতে কি একটি "অবর" ডিস্ট্রিবিউশন বলা হচ্ছে θ । এটি আপনার "আপডেট হওয়া এফ"। বায়েশিয়ান স্ট্যাটাস বইয়ের যে কোনও ইন্ট্রোর প্রথম অধ্যায়টি দেখুন।$p(\theta)$$F$$p(y|\theta)$$\theta$

আপনাকে (আপনার পূর্ব) থেকে মুক্তি দিতে হবে না , আপনাকে কেবল বুঝতে হবে যে এটি আপনার সেরা অনুমান নয়, এখন এটি পরিমার্জন করার জন্য আপনার কাছে ডেটা রয়েছে have$p(\theta)$

Comments

এটি প্রশ্ন কী জিজ্ঞাসা করছে তার উত্তর দিচ্ছে না। ওপি এক কিভাবে একটি পূর্বে লাগাতে পারেন জিজ্ঞাসা করা হয় যখন এক্স 1 , ... , এক্স এন আমি আমি ঘ ~ এফ । F এর উপর আমাদের পূর্বের ধারণাটি ঘনত্বের সাথে বিতরণে সম্ভাব্যতা রাখে, সম্ভবত L ( F ) = ∏ N i = 1 d $F$$X_1, \ldots, X_n \stackrel{iid}{\sim} F$$F$$L(F) = \prod_{i=1}^N \left.\frac{dF}{dx}\right|_{x = x_i}$$F$