সাধারণ বিতরণের একটি সীমাবদ্ধ মিশ্রণ থেকে নমুনা অঙ্কন?

কিছু বয়েসিয়ান আপডেটের পদক্ষেপের পরে, আমার কাছে সাধারণ বিতরণের মিশ্রণের আকারের উত্তরোত্তর বিতরণ বাকি রয়েছে,অর্থাৎ, প্যারামিটার এমন একটি বিতরণ থেকে আঁকা যা পিডিএফকে সাধারণ পিডিএফগুলির একটি ভারিত মিশ্রণ হিসাবে দেওয়া হয় এবং এটি সাধারণ আরভিগুলির যোগফল নয়। আমি এই নমুনা স্যাম্পলিংয়ের করতে নমুনা আঁকতে চাই । অনুশীলনে, উপরের যোগফলের একটি বৃহত সংখ্যক পদ থাকতে পারে, যাতে ওজন অনুযায়ী একটি শব্দ চয়ন করতে এবং তারপরে আঁকতে অবাস্তব হতে পারি

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ । এই ফর্মের উত্তরোত্তর থেকে নমুনা আঁকার একটি কার্যকর উপায় আছে?

monte-carlo probability

— ক্রিস গ্র্যানেড
সূত্র

আপনি কি আসলে চেষ্টা তারপর নিক্ষেপ পদ্ধতি চেষ্টা করে? ও (কে) পদক্ষেপগুলি এগিয়ে যাওয়ার কারণে নির্বাচনটি যথাযথভাবে করা যায়।

— ডিএমকেকে --- প্রাক্তন মডারেটর বিড়ালছানা

ব্যারনের সমাধান যদি সত্যিই সঠিক না হয় এবং আপনি আসলে একটি "মিশ্রণ মডেল" বলতে চান, আপনি দয়া করে এই শব্দটি ব্যবহার করতে পারেন?

— নিল জি

নীল জি: আমি বাণিজ্যে কোনও পরিসংখ্যানবিদ নই, বরং একজন পদার্থবিজ্ঞানী যাকে কখনও কখনও পরিসংখ্যান ব্যবহার করা প্রয়োজন। এর মতো, আমার কী প্রয়োজন তা বর্ণনা করার উপযুক্ত শব্দটি আমি জানতাম না। আমি আর এখনই প্রশ্নটি সম্পাদনা করতে পারি, যদিও এটি আরও স্পষ্ট করে তুলতে যে পিডিএফগুলি সংশ্লেষ করা হচ্ছে, আরভিগুলি নয়।

— ক্রিস গ্রানাড

@ ক্রিসগ্রানাড: আমি আপনাকে নেমে আসার চেষ্টা করিনি। আমি কেবল এটিই বোঝাতে চেয়েছিলাম যে আপনি কী বোঝাতে চেয়েছিলেন এবং সম্পাদনার পরামর্শ দিতে।

— নীল জি

ওজন on এবং উপর অভিন্ন বিতরণ থেকে একটি নমুনার উপর ভিত্তি করে কেন বেছে নেওয়া অবাস্তব , তারপরে নমুনা ? এটি একক সাধারণ বিতরণের নমুনা তুলনায় কেবলমাত্র পরিমিত ব্যয়বহুল, মিক্সড ডিস্ট্রিবিউশনের সংখ্যার তুলনায় স্বতন্ত্র এবং সেই বিতরণগুলি সাধারণ হওয়ার উপর নির্ভর করে না।

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— জেড ব্রাউন

উত্তর:

নীতিগতভাবে কেউ প্রতিটি উপ-বন্টন থেকে অঙ্কিত হওয়া নমুনাগুলির সংখ্যা নির্বাচন করতে পারে, তারপরে প্রতিটি উপ-বিতরণ কেবল একবার একবার পরিদর্শন করতে এবং পয়েন্টের সংখ্যার তুলনায় অঙ্কন করতে পারে।

এটাই

জাতীয় যে such এবং ওজনকে সম্মান করে তা এলোমেলো সেটটি সন্ধান করুন । $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

আমি বিশ্বাস করি যে আপনি ~~পয়সন ডিস্ট্রিবিউশনটি~~ প্রতি উপ-বিতরণের জন্য গড় বিতরণ (মন্তব্যগুলি দেখুন) ~~অঙ্কন করে~~ এবং এর পরে যোগফলকে মধ্যে সাধারণ করে তোলেন । $w_i * n$ $n$

এখানে কাজটি হ'ল $\mathcal{O}(k) * \mathcal{O}(n)$
তাহলে কর
```
for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])
```
এখানে কাজটি হচ্ছে $\mathcal{O}(n)$

যদিও এর অর্থ হ'ল আপনি এলোমেলো ক্রমে পাবেন না। যদি এলোমেলো অর্ডার প্রয়োজন হয় তবে আপনাকে অবশ্যই হবে (এটিও বড় )। $\mathcal{O}(n)$

দেখে মনে হচ্ছে প্রথম ধাপটি রান সময় এবং একইসাথে নির্দোষ অ্যালগরিদম হিসাবে প্রাধান্য পেয়েছে, তবে আপনি যদি নিশ্চিত হন যে সমস্ত আপনি সাধারণ বিতরণের সাথে পোয়েসন বিতরণগুলি অনুমান করতে পারেন এবং প্রথম ধাপটি গতি বাড়িয়ে তুলতে পারেন। $w_i * n \gg 1$

— dmckee --- প্রাক্তন মডারেটর বিড়ালছানা
সূত্র

বিতরণের একটি পইসন বিতরণের যদি না হয় সংশোধন করা হয়েছে, কিন্তু একটি দ্বিপদ বন্টন।

n_{i}

$n_i$

n

$n$

— ফ্রেডেরিক গ্রোহানস ২

@ ফ্রিডরিক গ্রোহানস উহম ... এখানে আমি সম্ভাব্যতায় আমার কষ্টকর দুর্বলতা স্বীকার করছি। আমি মনে করি আপনি ঠিক আছেন। নির্বিচারে দ্বিপদী বিতরণ নিক্ষেপের জন্য আমার কাছে কোনও লিঙ্ক নেই তবে উইকিপিডিয়ায় কিছু উল্লেখ রয়েছে । পোইসন এবং বিনোমিয়ালের মধ্যে একটি সম্পর্ক রয়েছে যা আমি দাবি করতে যাচ্ছি যে আমার অনিশ্চয়তার জন্য দায়ী ছিল। হ্যাঁ, এই টিকিট।

— ডিএমকেই --- প্রাক্তন মডারেটর বিড়ালছানা

@ ডিএমকেই: একটি মিশ্রণ মডেল থেকে অঙ্কন করার জন্য উত্তম উত্তর, এটি ধাপের ১

— নীল জি

দ্রষ্টব্য: এই প্রশ্নের মূল সংস্করণটি একটি "সাধারণ বিতরণের ওজনযুক্ত সমষ্টি" সম্পর্কে জিজ্ঞাসা করেছিল যা নিম্নলিখিত উত্তরটি কার্যকর হতে পারে। যাইহোক, এই উত্তরটি সম্পর্কে বেশ আলোচনার পরে, @ জিফের উত্তর, এবং নিজেই এই প্রশ্নের উত্তরটি পরিষ্কার হয়ে গেছে যে প্রশ্নটি "সাধারণ বিতরণের মিশ্রণ" নমুনা দেওয়ার বিষয়ে ছিল যা এই উত্তরটি প্রযোজ্য নয়।

সাধারণ বিতরণের যোগফল একটি সাধারণ বিতরণ, যাতে আপনি এই একক বিতরণের পরামিতিগুলি গণনা করতে পারেন এবং তারপরে কেবল সেখান থেকে নমুনা আঁকতে পারেন। আমরা যদি সেই ডিস্ট্রিবিউশনটিকে তবে, $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— ব্যারন্স
সূত্র

এটি সংক্ষেপে বলতে গেলে ক্রিস সম্ভাব্যতা ঘনত্বের কার্যগুলি সংশ্লেষ করছে, এলোমেলো পরিবর্তনশীল নয়।

— জেফ অক্সবেরি

ক্রিস এমন একটি পিডিএফ চান যাতে (অন্তত নীতিগতভাবে) এতে একাধিক বাধা রয়েছে। অর্থাত্, তিনি ছিলেন পিডিএফগুলির যোগফল, কোনও পিডিএফের যোগফল নয়।

— ডিএমকেকে --- প্রাক্তন মডারেটর বিড়ালছানা

এটি সত্য যে সাধারণত বিতরণ করা এলোমেলো ভেরিয়েবলগুলির যোগফল নিজেই সাধারণত বিতরণ করা এলোমেলো পরিবর্তনশীল able তবে সাধারণ বিতরণের যোগফল কোনও সাধারণ বিতরণ নয়। সুতরাং যদি এবং , এটি সত্য যে , তবে । (ব্যাখ্যার জন্য ক্রেডিট @ ক্রিস গ্রানাডে যায়))

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— জেফ অক্সবেরি

@ ডিএমকে: এটি একটি "সাধারণ বিতরণের ভারসাম্য" নয়, এটি "সাধারণ বিতরণের মিশ্রণ"।

— নিল জি

@ ব্যারন মন্তব্যগুলি পৃষ্ঠার একটি অপরিহার্য অঙ্গ হিসাবে বিবেচনা করা হয় না। মন্তব্যগুলির সংক্ষিপ্তসার অন্তর্ভুক্ত করার জন্য আপনার অবশ্যই অবশ্যই নিজের উত্তরটি সম্পাদনা করা উচিত যাতে পাঠকরা মন্তব্যগুলিতে নজর রাখেন না।

— ডেভিড কেচসন

আপডেট : এই উত্তরটি ভুল, পরিভাষায় বিভ্রান্তি থেকে উদ্ভূত হয়েছে (বিবরণের জন্য নীচে মন্তব্য শৃঙ্খলা দেখুন); আমি এটি কেবল গাইডপোস্ট হিসাবে রেখে দিচ্ছি যাতে লোকেরা এই উত্তরটি পুনরায় পোস্ট না করে (ব্যারন ব্যতীত)। দয়া করে এটি উপরে বা নিচে ভোট দিন না।

আমি কেবলমাত্র এককভাবে বিতরণ করা এলোমেলো ভেরিয়েবলকে হ্রাস করতে র্যান্ডম ভেরিয়েবলের বৈশিষ্ট্যগুলি ব্যবহার করব দুটি স্বাধীন এর সমষ্টি, সাধারণত বিতরণ র্যান্ডম ভেরিয়েবল নিজেই একটি র্যান্ডম পরিবর্তনশীল , তাই যদি এবং , তারপরে $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

এছাড়াও, যদি , তবে $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

মিলিত এই দুটি ফলাফল ব্যবহার করে

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

সুতরাং এই ক্ষেত্রে, আপনার কেবলমাত্র একটি একক বিতরণ থেকে নমুনাগুলি টানতে হবে, যা আরও বেশি ট্র্যাকটেবল হতে হবে।

— জিওফ অক্সবেরি
সূত্র

এটি একটি ভিন্ন সমস্যার সমাধান যা মূল বিতরণটি মাল্টি-মডেল এবং আপনার পরামর্শটি ইউনি-মডেল থেকে দেখা যায়।

— ক্রিস ফেরি

@ ক্রিসফেরি: আমি আপনাকে বিশ্বাস করি, তবে স্বরলিপিটির উপর ভিত্তি করে, আমি বিভ্রান্ত হয়েছি কেন উপরোক্ত বিতরণটি মাল্টিমোডাল হবে, যদিও দুটি স্বতন্ত্র গাউসিয়ান এলোমেলো ভেরিয়েবলের যোগফল হবে না। আমি এখানে কি মিস করছি?

— জেফ অক্সবেরি

আমি মনে করি বিভ্রান্তিটি হ'ল আমরা এলোমেলো ভেরিয়েবলের সমষ্টি দেখছি না, তবে একটি পিডিএফ যা অনেকগুলি পিডিএফের যোগফল। এগুলি সর্বদা এক নয়, যেহেতু । পরিবর্তে, আমাদের পিডিএফটি র্যান্ডম ভেরিয়েবলের চেয়ে প্রান্তিক হিসাবে বিবেচনা করা যেতে পারে ।

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

— ক্রিস গ্রানাড

আহ, আপনি পিডিএফ এর পরিমাণ তাকান। হ্যাঁ, এটি সম্পূর্ণ আলাদা ast এখন যেহেতু আমি প্রশ্নটি আরও কাছ থেকে পড়ছি, আমি দেখছি আপনি কী বলছেন এবং আমি আমার প্রতিক্রিয়া মুছতে চলেছি। ধন্যবাদ!

— জেফ অক্সবেরি

আমি আমার পূর্বে মুছে ফেলা উত্তরটি কেবল অন্যদের জন্য গাইডপোস্ট হিসাবে পরিবেশন করতে মুছে ফেলেছি যাতে ব্যারন এবং আমি যেমন এই প্রশ্নের উত্তর আর কেউ দেয় না। দয়া করে আমার উত্তরটি আর উপরে বা ডাউন করবেন না।

— জেফ অক্সবেরি