লাফলেস স্মুথিং এবং ডিরিচলেট আগে

11

উপর উইকিপিডিয়ার নিবন্ধ Laplace মসৃণকরণ (অথবা যুত মসৃণকরণ) এর, এটা বলা হয় যে একটি দেখুন Bayesian বিন্দু থেকে,

এটি পূর্ববর্তী হিসাবে প্যারামিটার সহ একটি প্রতিসাম্য ডিরিচলেট বিতরণ ব্যবহার করে উত্তরোত্তর বিতরণের প্রত্যাশিত মানের সাথে মিলে যায় । $\alpha$

আমি সত্যিই সত্য যে সম্পর্কে বিস্মিত। এই দু'টি জিনিস কীভাবে সমান?

ধন্যবাদ!

— DanielX2010
সূত্র

10

অবশ্যই। এটি মূলত পর্যবেক্ষণ যে বহুবচনীয় বিতরণের পূর্বে ডিরিচলেট বিতরণ একটি সংঘবদ্ধ। এর অর্থ তাদের একই কার্যকরী ফর্ম রয়েছে। নিবন্ধটি এর উল্লেখ করেছে, তবে আমি কেবল এটির উপর জোর দেব যে এটি বহু-জাতীয় নমুনা মডেল থেকে অনুসরণ করে follows সুতরাং, এটি নামা ...

পর্যবেক্ষণটি উত্তরোত্তর সম্পর্কে, সুতরাং আসুন কিছু ডেটা, প্রবর্তন করা যাক স্বতন্ত্র আইটেমগুলির গণনা । আমরা মোট নমুনা পর্যবেক্ষণ । আমরা ধরে নেব যে একটি অজানা বিতরণ থেকে আঁকা (যার উপর আমরা সিম্প্লেক্সের আগে একটি রাখব)। $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

এর অবর সম্ভাব্যতা দেওয়া এবং ডেটা হয় $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

সম্ভাবনা, , বহুজাতিক বিতরণ distribution এখন আসুন পিডিএফ এর লিখুন: $p(x|\pi)$

পি (এক্স | π) = \frac{এন!}{{এক্স}_{1}! \dots {এক্স}_{ট}!} π_{1}^{{এক্স}_{1}} \dots π_{ট}^{{এক্স}_{ট}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

এবং

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

যেখানে । গুণমান, আমরা এটি দেখতে পেলাম, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

পি (π | α, এক্স) = পি (এক্স | π) পি (π | α) α Π_{আমি = 1}^{কে} π_{আমি}^{{এক্স}_{আমি} + + α - 1} ।

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

অন্য কথায়, অবর হয় এছাড়াও Dirichlet। প্রশ্ন ছিল উত্তরকালের গড় সম্পর্কে about যেহেতু উত্তরোত্তরটি ডিরিচলেট, তাই আমরা এটি খুঁজে পেতে একটি ডেরিচলেটের গড়ের সূত্রটি প্রয়োগ করতে পারি ,

ই [π_{আমি} | α, এক্স] = \frac{{এক্স}_{আমি} + + α}{এন + + কে α} ।

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

আশাকরি এটা সাহায্য করবে!

— হাঁ
সূত্র

তাই

বলা ভুল হবে না

তারা

সাথে সমানুপাতিক

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$ , তবে একটি সমতা রচনা সত্য বলে আমি মনে করি না।

— মিশাল

আমি এটি সম্পর্কে দীর্ঘ সময় ধরে বিভ্রান্ত ছিলাম এবং আমি আমার উপলব্ধিটি ভাগ করতে চাই। এই লোকেরা লিপলেসকে স্মিচুয়েট করে ডিরিচলেট দ্বারা অনুপ্রাণিত করা পোস্টারিয়র মিন ব্যবহার করছে, এমএপি নয়। সরলতার জন্য, বিটা বিতরণ (ডিরিচ্লেটের সহজতম ক্ষেত্রে) অনুমান করুন উত্তরোত্তর গড়টি হল

যেহেতু মানচিত্র

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

। সুতরাং যদি কেউ বলে যে

সংখ্যার সাথে 1 এবং ডিনোমিনেটরের 2 যোগ করার সাথে মিলে যায় তবে এর কারণ তারা পোস্টেরিয়ারিয়র গড় ব্যবহার করে।

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— আরএমমারফি

0

পার্শ্ব দ্রষ্টব্য হিসাবে, আমি উপরের উপার্জনের আরও একটি বিষয় যুক্ত করতে চাই, যা মূলত এটি মূল প্রশ্নের ক্ষেত্রে নয়। যাইহোক, বহু-বিতরণ বিতরণে ডিরিচলেট প্রিয়ারদের নিয়ে কথা বলার জন্য, আমি এটি উল্লেখ করা মূল্যবান বলে মনে করি যে আমরা যদি সম্ভাব্যতাগুলিকে উপদ্রব ভেরিয়েবল হিসাবে গ্রহণ করতে পারি তবে সম্ভাব্যতা ফাংশনের রূপটি কী হবে।

যেমনটি সিডুলিসি দ্বারা সঠিকভাবে নির্দেশিত হয়েছে, সমানুপাতিক $p(\pi | \alpha, x)$ । এখন এখানে আমি গণনা করতে চাই। $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

পি (এক্স | α) = \int Π_{আমি = 1}^{কে} পি (এক্স | π_{আমি}, α) পি (π | α) ঘ π_{1} ঘ π_{2} । । । ঘ π_{কে}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

পি (এক্স | α) = \frac{Γ (কে α)}{Γ (এন + + কে α)} Π_{আমি = 1}^{কে} \frac{Γ ({এক্স}_{আমি} + + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

$N$

— omidi
সূত্র