পোইসন এলোমেলো ভেরিয়েবলের গোল গোল ডাউন গড় বিতরণ কী?

20

যদি আমার কাছে এলোমেলো ভেরিয়েবলগুলি যা প্যারামিটারগুলি দিয়ে বিতরণ করা হয় , , , এর বিতরণ কী? (মানে গড়ের পূর্ণসংখ্যার তল)? $X_1,X_2,\ldots,X_n$ $\lambda_1, \lambda_2,\ldots, \lambda_n$ $Y=\left\lfloor\frac{\sum_{i=1}^n X_i}{n}\right\rfloor$

পোয়েসনের একটি যোগফলও পয়েসন, তবে উপরের মামলার ক্ষেত্রে এটি একই রকম কিনা তা নির্ধারণ করার জন্য আমি পরিসংখ্যানগুলিতে যথেষ্ট আত্মবিশ্বাসী নই।

poisson-distribution average

— লুবো আন্তোনভ
সূত্র

@ অ্যামিবা আমি আপনার সম্পাদনাটি শিরোনামটি ফিরিয়ে দিয়েছি কারণ এটি আসলে "বৃত্তাকার" নয়। কার্ডিনালের পূর্ববর্তী সম্পাদনাটি যথাযথ হিসাবে সুনির্দিষ্ট না হলেও এটি যথাযথ বলে মনে হয়।

— শুক্র

@ শুভ ঠিক আছে। এই সম্পাদনাটি করার সময় আমি দ্বিধা বোধ করছিলাম, তবে "রাউন্ডিং" শব্দটি অন্তর্ভুক্ত করার সিদ্ধান্ত নিয়েছিলাম কারণ বর্তমানে শিরোনামটি এখানে মূল অসুবিধাটির প্রতি ইঙ্গিত দেয় না (এবং এটি কোনওভাবেই বিভ্রান্তিমূলক)। সঠিক শব্দটি "বৃত্তাকার ডাউন" হওয়া উচিত, তাই সম্ভবত " বৃত্তাকার নিচে গড় পয়েসন এলোমেলো ভেরিয়েবলের বিতরণ কী ?" - যদিও আমি স্বীকার করব এটি কিছুটা জটিল বলে মনে হচ্ছে।

— অ্যামিবা

@ আমেবা আরও সম্পাদনা অবশ্যই স্বাগত!

— হোয়বার

27

প্রশ্ন একটি সাধারণীকরণ বিতরণের জন্য অনুরোধ যখন বিতরণের পরিচিত এবং স্বাভাবিক সংখ্যার সমর্থিত। (প্রশ্নে, প্যারামিটারের পোইসন বিতরণ রয়েছে এবং ।) $Y = \lfloor X/m \rfloor$ $X$ $X$ $\lambda = \lambda_1 + \lambda_2 + \cdots + \lambda_n$ $m=n$

এর বিতরণ সহজেই এর বিতরণ দ্বারা নির্ধারিত হয় , যার সম্ভাব্যতা উত্পন্নকরণ ফাংশন (pgf) এর pgf এর ক্ষেত্রে নির্ধারণ করা যেতে পারে । এখানে ডেরাইভেশন একটি রূপরেখা। $Y$ $mY$ $X$

লিখন এর PGF জন্য , যেখানে (সংজ্ঞা দ্বারা) । থেকে এমনভাবে তৈরি করা হয়েছে যাতে এর পিজিএফ, হয় $p(x) = p_0 + p_1 x + \cdots + p_n x^n + \cdots$ $X$ $p_n = \Pr(X=n)$ $mY$ $X$ $q$

\begin{aligned} q (x) & = & (p_{0} + p_{1} + \dots + p_{m - 1}) + (p_{m} + p_{m + 1} + \dots + p_{2 m - 1}) x^{m} + \dots + \\ (p_{n m} + p_{n m + 1} + \dots + p_{(n + 1) m - 1}) x^{n m} + \dots . \end{aligned}

$\eqalign{q(x) &=& \left(p_0 + p_1 + \cdots + p_{m-1}\right) + \left(p_m + p_{m+1} + \cdots + p_{2m-1}\right)x^m + \cdots + \\&&\left(p_{nm} + p_{nm+1} + \cdots + p_{(n+1)m-1}\right)x^{nm} + \cdots.}$

কারণ এই জন্য একেবারে এগোয় , আমরা শর্তগুলি ফর্মের টুকরাগুলির যোগে পুনর্বিন্যস্ত করতে পারি $|x| \le 1$

D_{m, t} p (x) = p_{t} + p_{t + m} x^{m} + \dots + p_{t + n m} x^{n m} + \dots

$D_{m,t}p(x) = p_t + p_{t+m}x^m + \cdots + p_{t + nm}x^{nm} + \cdots$

জন্য । ফাংশন পাওয়ার সিরিজের প্রত্যেক গঠিত সিরিজের মেয়াদের দিয়ে শুরু : এই কখনও কখনও একটি বলা হয় ধ্বংসকরণ এর । গুগল অনুসন্ধানগুলি বর্তমানে ডেসিমেশনগুলি সম্পর্কে খুব বেশি দরকারী তথ্য দেয় না, তাই সম্পূর্ণতার জন্য, এখানে একটি সূত্রের ব্যয়'s $t=0, 1, \ldots, m-1$ $x^t D_{m,t}p$ $m^\text{th}$ $p$ $t^\text{th}$ $p$

যাক কোনো আদিম হতে ঐক্যের মূল; উদাহরণস্বরূপ, । তারপরে এটি এবং করে $\omega$ $m^\text{th}$ $\omega = \exp(2 i \pi / m)$ $\omega^m=1$ $\sum_{j=0}^{m-1}\omega^j = 0$

x^{t} D_{m, t} p (x) = \frac{1}{m} \sum_{j = 0}^{m - 1} ω^{t j} p (x / ω^{j}) .

$x^t D_{m,t}p(x) = \frac{1}{m}\sum_{j=0}^{m-1} \omega^{t j} p(x/\omega^j).$

এই, নোট দেখতে অপারেটর , রৈখিক, তাই এটি ভিত্তিতে সূত্র চেক করতে যথেষ্ট । ডান হাতটি দিয়ে প্রয়োগ করা $x^t D_{m,t}$ $\{1, x, x^2, \ldots, x^n, \ldots \}$ $x^n$

x^{t} D_{m, t} [x^{n}] = \frac{1}{m} \sum_{j = 0}^{m - 1} ω^{t j} x^{n} ω^{- n j} = \frac{x^{n}}{m} \sum_{j = 0}^{m - 1} ω^{(t - n) j .}

$x^t D_{m,t}[x^n] = \frac{1}{m}\sum_{j=0}^{m-1} \omega^{t j} x^n \omega^{-nj}= \frac{x^n}{m}\sum_{j=0}^{m-1} \omega^{(t-n) j.}$

যখন এবং একাধিক দ্বারা পৃথক হয় , যোগফলের প্রতিটি শব্দ সমান হয় এবং আমরা পাই । তা না হলে, শক্তি মাধ্যমে পদ চক্র এবং শূন্য এইসব সমষ্টি। যেহেতু এই অপারেটরটি কংগ্রাউন্ডের সমস্ত ক্ষমতা মডুলো এবং অন্য সমস্তকে মেরে ফেলে: এটি অবশ্যই পছন্দসই অভিক্ষেপ। $t$ $n$ $m$ $1$ $x^n$ $\omega^{t-n}$ $x$ $t$ $m$

জন্য একটি সূত্র সঙ্কলন ক্রম পরিবর্তন এবং জ্যামিতিক হিসাবে অঙ্কের এক স্বীকৃতি ফলে বদ্ধ আকারে এটা লিখে নির্দ্ধিধায় নিম্নরূপ: $q$

\begin{aligned} q (x) & = \sum_{t = 0}^{m - 1} (D_{m, t} [p]) (x) \\ = \sum_{t = 0}^{m - 1} x^{- t} \frac{1}{m} \sum_{j = 0}^{m - 1} ω^{t j} p (ω^{- j} x) \\ = \frac{1}{m} \sum_{j = 0}^{m - 1} p (ω^{- j} x) \sum_{t = 0}^{m - 1} {(ω^{j} / x)}^{t} \\ = \frac{x (1 - x^{- m})}{m} \sum_{j = 0}^{m - 1} \frac{p (ω^{- j} x)}{x - ω^{j}} . \end{aligned}

$\eqalign{ q(x) &= \sum_{t=0}^{m-1} (D_{m,t}[p])(x) \\ &= \sum_{t=0}^{m-1} x^{-t} \frac{1}{m} \sum_{j=0}^{m-1} \omega^{t j} p(\omega^{-j}x ) \\ &= \frac{1}{m} \sum_{j=0}^{m-1} p(\omega^{-j}x) \sum_{t=0}^{m-1} \left(\omega^j/x\right)^t \\ &= \frac{x(1-x^{-m})}{m} \sum_{j=0}^{m-1} \frac{p(\omega^{-j}x)}{x-\omega^j}. }$

উদাহরণস্বরূপ, প্যারামিটারের একটি পইসন বিতরণের PGF হয় । সঙ্গে , এবং PGF হতে হবে $\lambda$ $p(x) = \exp(\lambda(x-1))$ $m=2$ $\omega=-1$ $2Y$

\begin{aligned} q (x) & = \frac{x (1 - x^{- 2})}{2} \sum_{j = 0}^{2 - 1} \frac{p ((- 1)^{- j} x)}{x - (- 1)^{j}} \\ = \frac{x - 1 / x}{2} (\frac{\exp (λ (x - 1))}{x - 1} + \frac{\exp (λ (- x - 1))}{x + 1}) \\ = \exp (- λ) (\frac{\sinh (λ x)}{x} + \cosh (λ x)) . \end{aligned}

$\eqalign{ q(x) &= \frac{x(1-x^{-2})}{2} \sum_{j=0}^{2-1} \frac{p((-1)^{-j}x)}{x-(-1)^j} \\ &= \frac{x-1/x}{2} \left(\frac{\exp(\lambda(x-1))}{x-1} + \frac{\exp(\lambda(-x-1))}{x+1}\right) \\ &= \exp(-\lambda) \left(\frac{\sinh (\lambda x)}{x}+\cosh (\lambda x)\right). }$

One use of this approach is to compute moments of $X$ and $mY$ . The value of the $k^\text{th}$ derivative of the pgf evaluated at $x=1$ is the $k^\text{th}$ factorial moment. The $k^\text{th}$ moment is a linear combination of the first $k$ factorial moments. Using these observations we find, for instance, that for a Poisson distributed $X$ , its mean (which is the first factorial moment) equals $\lambda$ , the mean of $2\lfloor(X/2)\rfloor$ equals $\lambda- \frac{1}{2} + \frac{1}{2} e^{-2\lambda}$ , and the mean of $3\lfloor(X/3)\rfloor$ equals $\lambda -1+e^{-3 \lambda /2} \left(\frac{\sin \left(\frac{\sqrt{3} \lambda }{2}\right)}{\sqrt{3}}+\cos \left(\frac{\sqrt{3} \lambda}{2}\right)\right)$ :

Means

The means for $m=1,2,3$ are shown in blue, red, and yellow, respectively, as functions of $\lambda$ : asymptotically, the mean drops by $(m-1)/2$ compared to the original Poisson mean.

Similar formulas for the variances can be obtained. (They get messy as $m$ rises and so are omitted. One thing they definitively establish is that when $m \gt 1$ no multiple of $Y$ is Poisson: it does not have the characteristic equality of mean and variance) Here is a plot of the variances as a function of $\lambda$ for $m=1,2,3$ :

Variances

It is interesting that for larger values of $\lambda$ the variances increase. Intuitively, this is due to two competing phenomena: the floor function is effectively binning groups of values that originally were distinct; this must cause the variance to decrease. At the same time, as we have seen, the means are changing, too (because each bin is represented by its smallest value); this must cause a term equal to the square of the difference of means to be added back. The increase in variance for large $\lambda$ becomes larger with larger values of $m$ .

The behavior of the variance of $mY$ with $m$ is surprisingly complex. Let's end with a quick simulation (in R) showing what it can do. The plots show the difference between the variance of $m\lfloor X/m \rfloor$ and the variance of $X$ for Poisson distributed $X$ with various values of $\lambda$ ranging from $1$ through $5000$ . In all cases the plots appear to have reached their asymptotic values at the right.

set.seed(17)
par(mfrow=c(3,4))
temp <- sapply(c(1,2,5,10,20,50,100,200,500,1000,2000,5000), function(lambda) {
  x <- rpois(20000, lambda)
  v <- sapply(1:floor(lambda + 4*sqrt(lambda)), 
              function(m) var(floor(x/m)*m) - var(x))
  plot(v, type="l", xlab="", ylab="Increased variance", 
       main=toString(lambda), cex.main=.85, col="Blue", lwd=2)
})

Plots

— whuber
সূত্র

1

This is a great answer! It will probably take me some time to digest :)

— Lubo Antonov

1

and that is why I said "Using the floor function ... affects the variance slightly too though in a more complicated manner."

— Henry

1

+1 Thanks for the detailed answer. There certainly are complicated ways in which the floor function affects the variance.

— Dilip Sarwate

1

+1 for simulation in R with code --- this is a very nice example of using sapply() for simulation. Thanks.

— Assad Ebrahim

1

@Roberto Thank you. However, the distinction between "

x

$x$ " and "

s

$s$ ", being purely a matter of notation, is utterly trivial and of no mathematical or statistical import.

— whuber

12

As Michael Chernick says, if the individual random variables are independent then the the sum is Poisson with parameter (mean and variance) $\sum_{i=1}^{n} \lambda_i$ which you might call $\lambda$ .

Dividing by $n$ reduces the mean to $\lambda / n$ and variance $\lambda / n^2$ so the variance will be less than the equivalent Poisson distribution. As Michael says, not all values will be integers.

Using the floor function reduces the mean slightly, by about $\frac12 -\frac{1}{2n}$ , and affects the variance slightly too though in a more complicated manner. Although you have integer values, the variance will still be substantially less than the mean and so you will have a narrower distribution than the Poisson.

— Henry
সূত্র

thanks, not a result I can use, but at least I know now :)

— Lubo Antonov

If the lambdas are not all equal, shouldn't the result be more like a negative binomial than a Poisson (ignoring the non-integer part for the moment)? What am I missing here?

— gung - Reinstate Monica

2

@gung: You are missing the point that the individual

λ_{i}

$\lambda_i$ only affect the distribution through their sum and how many there are. It doesn't matter what particular values they take:

λ_{1} = 1, λ_{2} = 2, λ_{3} = 9

$\lambda_1=1, \lambda_2=2, \lambda_3=9$ will give the same result as

λ_{1} = 4, λ_{2} = 4, λ_{3} = 4

$\lambda_1=4, \lambda_2=4, \lambda_3=4$ .

— Henry

10

The probability mass function of the average of $n$ independent Poisson random variables can be written down explicitly, though the answer might not help you very much. As Michael Chernick noted in comments on his own answer, the sum $\sum_i X_i$ of independent Poisson random variables $X_i$ with respective parameters $\lambda_i$ is a Poisson random variable with parameter $\lambda = \sum_i \lambda_i$ . Hence,

P {\sum_{i = 1}^{n} X_{i} = k} = \exp (- λ) \frac{λ^{k}}{k!}, k = 0, 1, 2, \dots,

$P\left\{ \sum_{i=1}^n X_i= k\right\} = \exp(-\lambda)\frac{\lambda^k}{k!}, ~~ k = 0, 1, 2, \ldots,$ Thus,

\hat{Y} = n^{- 1} \sum_{i = 1}^{n} X_{i}

$\hat{Y} = n^{-1} \sum_{i=1}^n X_i$ is a random variable taking on value

k / n

$k/n$ with probability

\exp (- λ) \frac{λ^{k}}{k!}

$\exp(-\lambda)\frac{\lambda^k}{k!}$ . Note that

\hat{Y}

$\hat{Y}$ is not an integer-valued random variable (though it does take on uniformly-spaced rational values). It follows easily that

Y = ⌊ \hat{Y} ⌋

$Y = \lfloor \hat{Y} \rfloor$ is an integer-valued random variable taking on value

m

$m$ with probability

P {Y = m} = P {⌊ \frac{1}{n} \sum_{i = 1}^{n} X_{i} ⌋ = m} = \exp (- λ) \sum_{i = 0}^{n - 1} \frac{λ^{m n + i}}{(m n + i)!}, m = 0, 1, 2, \dots,

$P\{Y = m\} = P\left\{\left\lfloor \frac{1}{n}\sum_{i=1}^n X_i \right\rfloor = m\right\} = \exp(-\lambda)\sum_{i=0}^{n-1}\frac{\lambda^{mn+i}}{(mn+i)!}, ~~ m = 0, 1, 2, \ldots,$ This is not the probability mass function of a Poisson random variable. Formulas for the mean and variance can be written down using this probability mass function, but they don't obviously lead to nice simple answers in terms of

λ

$\lambda$ and

n

$n$ . Approximate values can be obtained as pointed out by Henry.

— Dilip Sarwate
সূত্র

+1 There are closed formulas for the moments of

Y

$Y$ , though.

— whuber

Thanks for the rigorous formulation! Any chance you'd like to take a crack at the formulas for mean and variance?

— Lubo Antonov

2

Perhaps @whuber will post a link (or a citation of a book or journal article) where the closed-form formulas for the moments can be found, or will write an answer giving the formulas themselves, with or without a detailed derivation.

— Dilip Sarwate

@Dilip My claim about closed formulas was not based on anything published, so I have posted a separate reply indicating what I had in mind and how it might be used to understand this situation.

— whuber

3

Y will not be Poisson. Note that Poisson random variables take on non negative integer values. Once you divide by a constant you create a random variable that can have non-integer values. It will still have the shape of the Poisson. It is just that the discrete probabilities may occur at non-integer points.

— Michael R. Chernick
সূত্র

That makes sense, but what if

Y

$Y$ is actually discrete, for example the floor of the average? Would that make it Poisson?

— Lubo Antonov

@lucas1024 I don't think so but I am not sure.

— Michael R. Chernick

The shape of the sum

\sum X_{i}

$\sum X_i$ is definetevely Poisson, right? its mean and variance are identical as well. Isn't there something like an scaled Poisson ? Y is just a poisson variable (the sum) that is scaled by

n^{- 1}

$n^{-1}$

— JDav

@JDav The sum is Poisson with the rate parameter equal to the sum of the individual rate parameters. But the OP scales by 1/n and then wants to truncate the the the integer just below Y. I don't know exactly what that does to the distribution.

— Michael R. Chernick

My previous comment assumed independence.

— Michael R. Chernick