একটি ভাঙ্গা লাঠি বৃহত্তম ব্যবধান বিতরণ (স্পেসিংস)

Question

1 দৈর্ঘ্যের একটি কাঠি এলোমেলোভাবে $k+1$ টুকরো টুকরো টুকরো হয়ে যাওয়া হোক দীর্ঘতম খণ্ডের দৈর্ঘ্যের বিতরণ কী?

আরো আনুষ্ঠানিকভাবে যাক $(U_1, \ldots U_k)$ হতে IID $U(0,1)$ , এবং দিন $(U_{(1)}, \ldots, U_{(k)})$ সংশ্লিষ্ট অর্ডার পরিসংখ্যান, হতে অর্থাত তাই আমরা এই ধরনের নমুনা অর্ডার একটি উপায় যে $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ । দিন$Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

আমি বিতরণে আগ্রহী । মুহুর্তগুলি, অ্যাসিম্পটোটিক ফলাফলগুলি বা জন্য আকর্ষণীয়।$Z_k$$k \uparrow \infty$

Comments

এটি একটি সমীক্ষিত সমস্যা; আর পাইক (1965), "স্পেসিংস" জেআরএসএস (বি) 27 : 3, পৃষ্ঠা 395-449 দেখুন। কেউ আমাকে এতে মারধর না করে আমি পরে কিছু তথ্য যুক্ত করতে ফিরে আসার চেষ্টা করব। একই লেখকের 1972 সালের একটি কাগজও রয়েছে (" স্পেসিংস পুনর্বিবেচিত ") তবে আমি মনে করি আপনি যা করছেন তার পরে প্রথমটি বেশ সুন্দর। দেবরোয়েতে কিছু অ্যাসিম্পটিকস রয়েছে (1981) , "ইউনিফর্ম স্পেসিংয়ের অর্ডার স্ট্যাটিস্টিক্সের জন্য আইট্রেটেড লোগারিদমের আইন" আন । Probab। , 9 : 5, 860-867।

— গ্লেন_বি -রিনস্টেট মনিকা

আপনার যদি এটির প্রয়োজন হয় তবে পরে কাজ সন্ধান করার জন্য সেগুলিকে কিছু ভাল অনুসন্ধানের পদ দেওয়া উচিত।

— গ্লেন_বি -রিনস্টেট মনিকা

এটা সত্যিই দারুন. প্রথম রেফারেন্স খুঁজে পাওয়া শক্ত। আগ্রহীদের জন্য, আমি এটি গ্র্যান্ড লোকাসে রেখেছি ।

— gui11aume

ভুল ছাপান সংশোধন করুন: $Y_{(k)}$ পরিবর্তে $U_{(k)}$ ।

— ভিক্টর

ধন্যবাদ @ ভিক্টর! এই জাতীয় ছোট জিনিসগুলির জন্য, সম্পাদনাটি নিজে করতে দ্বিধা করবেন না (আমি মনে করি এটি অনুমোদনের জন্য অন্যান্য ব্যবহারকারীরা পর্যালোচনা করবেন)।

— gui11aume

Answer 1

@ গ্লেন_বি প্রদত্ত তথ্যের সাথে আমি উত্তরটি খুঁজে পেতে পারি। প্রশ্নের মতো একই স্বরলিপি ব্যবহার করে

$$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$$

যেখানে যদি a > 0 এবং 0 অন্যথায় হয়। আমি গম্বেল ( এনবি : বিটা নয় ) বিতরণে প্রত্যাশা এবং অ্যাসিম্পটোটিক রূপান্তরটিও দিয়েছি$a_+ = a$$a > 0$$0$

$$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$$

প্রমাণগুলির উপাদানটি উল্লেখগুলির সাথে যুক্ত কয়েকটি প্রকাশনা থেকে নেওয়া হয় is এগুলি কিছুটা লম্বা, তবে সোজা।

1. সঠিক বিতরণের প্রমাণ

আসুন বিরতিতে আইআইডি ইউনিফর্ম র্যান্ডম ভেরিয়েবল হতে হবে ( 0 , 1 ) । তাদের অর্ডার দিয়ে আমরা কে অর্ডার পরিসংখ্যান প্রাপ্ত ( ইউ ( 1 ) , … , ইউ ( কে ) ) পেয়েছি । অভিন্ন spacings হিসাবে সংজ্ঞায়িত করা হয় Δ আমি = ইউ ( আমি ) - ইউ ( আমি - 1 ) , সঙ্গে ইউ $(U_1, \ldots, U_k)$$(0,1)$$k$$(U_{(1)}, \ldots, U_{(k)})$$\Delta_i = U_{(i)} - U_{(i-1)}$এবং ইউ ( কে + 1 ) =1। অর্ডার করা স্পেসিংস হ'ল সম্পর্কিত আদেশযুক্ত পরিসংখ্যান Δ ( 1 ) ≤…≤ Δ ( কে + 1 ) । সুদের পরিবর্তনশীল হ'ল Δ ( কে + 1 ) ।$U_{(0)} = 0$$U_{(k+1)} = 1$$\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$$\Delta_{(k+1)}$

ফিক্সড বা অপরিবর্তিত , আমরা নির্দেশক পরিবর্তনশীল সংজ্ঞায়িত 1 আমি = 1 { Δ আমি > এক্স } । প্রতিসাম্য দ্বারা, এলোমেলো ভেক্টর ( 1 1 , … , 1 কে + 1 ) বিনিময়যোগ্য, তাই আকারের জে একটি উপসেটের যৌথ বন্টন প্রথম জেটির যৌথ বন্টনের সমান । পণ্য প্রসারিত করে, আমরা এইভাবে প্রাপ্ত$x \in (0,1)$$\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$$(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$$j$$j$

$$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$$

আমরা এখন প্রমাণ করব যে , যা উপরে বর্ণিত বিতরণটি প্রতিষ্ঠা করবে। আমরা জে = 2 এর জন্য এটি প্রমাণ করি , কারণ সাধারণ ক্ষেত্রেও একইভাবে প্রমাণিত হয়।$E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$$j=2$

$$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$$

যদি তবে কে ব্রেকপয়েন্টগুলি ব্যবধানে থাকে ( x , 1 ) । শর্তসাপেক্ষে এই ইভেন্টে ব্রেকপয়েন্টগুলি এখনও বিনিময়যোগ্য, সুতরাং দ্বিতীয় এবং প্রথম ব্রেকপয়েন্টের মধ্যে দূরত্ব x এর চেয়ে বেশি হওয়ার সম্ভাবনাটি প্রথম ব্রেকপয়েন্ট এবং বাম বাধার মধ্যবর্তী দূরত্ব (পজিশনে x ) x এর চেয়ে বড় । সুতরাং$\Delta_1 > x$$k$$(x,1)$$x$$x$$x$

$$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$$

2. Expectation

For distributions with finite support, we have

$$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$$

Integrating the distribution of $\Delta_{(k+1)}$, we obtain

$$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$$

The last equality is a classic representation of harmonic numbers $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$, which we demonstrate below.

$$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$$

With the change of variable $u = 1-x$ and expanding the product, we obtain

$$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$$

3. Alternative construction of uniform spacings

In order to obtain the asymptotic distribution of the largest fragment, we will need to exhibit a classical construction of uniform spacings as exponential variables divided by their sum. The probability density of the associated order statistics $(U_{(1)}, \ldots, U_{(k)})$ is

$$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$$

If we denote the uniform spacings $\Delta_i = U_{(i)} - U_{(i-1)}$, with $U_{(0)} = 0$, we obtain

$$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$$

By defining $U_{(k+1)} = 1$, we thus obtain

$$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$$

Now, let $(X_1, \ldots, X_{k+1})$ be IID exponential random variables with mean 1, and let $S = X_1 + \ldots + X_{k+1}$. With a simple change of variable, we can see that

$$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$$

Define $Y_i = X_i/S$, such that by a change of variable we obtain

$$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$$

Integrating this density with respect to $s$, we thus obtain

$$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$$

So the joint distribution of $k+1$ uniform spacings on the interval $(0,1)$ is the same as the joint distribution of $k+1$ exponential random variables divided by their sum. We come to the following equivalence of distribution

$$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$$

4. Asymptotic distribution

Using the equivalence above, we obtain

$$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$$

where $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$. This variable vanishes in probability because $E\left(T_{k+1}\right) = 0$ and $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$. Asymptotically, the distribution is the same as that of $X_{(k+1)} - \log(k+1)$. Because the $X_i$ are IID, we have

$$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$$

5. Graphical overview

The plot below shows the distribution of the largest fragment for different values of $k$. For $k=10, 20, 50$, I have also overlaid the asymptotic Gumbel distribution (thin line). The Gumbel is a very bad approximation for small values of $k$ so I omit them to not overload the picture. The Gumbel approximation is good from $k \approx 50$.

6. References

The proofs above are taken from references 2 and 3. The cited literature contains many more results, such as the distribution of the ordered spacings of any rank, their limit distribution and some alternative constructions of the ordered uniform spacings. The key references are not easily accessible, so I also provide links to the full text.

1. Bairamov et al. (2010) Limit results for ordered uniform spacings, Stat papers, 51:1, pp 227-240
2. Holst (1980) On the lengths of the pieces of a stick broken at random, J. Appl. Prob., 17, pp 623-634
3. Pyke (1965) Spacings, JRSS(B) 27:3, pp. 395-449
4. Renyi (1953) On the theory of order statistics, Acta math Hung, 4, pp 191-231

Comments

Brilliant. By the way, is there a known asymptotics to $E(Z_k ^2)$?

— Amir Sagiv

@AmirSagiv this is a good question. I had a quick look at the references and I could not find it. I could also not adapt the proof above. This made me realize that I don't know what the distribution of a square of a Gumbel is. Perhaps a good place to start?

— gui11aume

$gui11aume Look here : mathoverflow.net/a/293381/42864

— Amir Sagiv

@AmirSagiv This is a very good post. For some reason, I misunderstood your question and thought you were interested in the asymptotic distribution of $Z_k^2$ (even though your comment was very clear), so my comment above is not so relevant.

— gui11aume

Answer 2

This is not a complete answer, but I did some quick simulations, and this is what I obtained:

This looks remarkably beta-ish, and this makes a bit of sense, since the order statistics of i.i.d. uniform distributions are beta wiki.

This might give some starting point to derive the resulting p.d.f..

I'll update if I get to a final closed solution.

Cheers!

Comments

Just one more thing, the shape of histogram for increasing k doesn't change considerably, apart from getting "squished" close to 0.

— Lima

Thank you for your thoughts @Lima (and welcome to Cross Validated). I think your answer can be improved. First, I would refrain from making statements without proof. If this is incorrect, you may put the people who see this thread on the wrong track. Second, I would document what you did. Without the value of $k$ that you used nor the code, the figure does not help anybody. Finally, I would copy-edit the answer and remove everything that is not directly answering the question.

— gui11aume

Thanks for the suggestions. They're valid beyond stack exchange, and I'll remember to use them.

— Lima

Answer 3

I produced the answer for a conference in Siena (Italy) in 2005. The paper (2006) is presented on my web-site here (pdf). The exact distributions of all the spacings (smallest to largest) are found on pages 75 & 76.

I'm hoping to give a presentation on this topic at the RSS Conference in Manchester (England) in September 2016.

Comments

Welcome to the site. We are trying to build a permanent repository of high-quality statistical information in the form of questions & answers. Thus, we're wary of link-only answers, due to linkrot. Can you post a full citation & a summary of the information at the link, in case it goes dead? Also, please don't sign your posts here. Every post has a link to your userpage where you can post that information.

— gung - Reinstate Monica