টাস্ক সমাপ্তির সময়ে বৈকল্পিকতা কীভাবে মেক্যানকে প্রভাবিত করে?

Question

আসুন বলে যে আমরা কর্ম বৃহৎ সংগ্রহ আছে $\tau_1, \tau_2, ..., \tau_n$ ও অভিন্ন একটি সংগ্রহ প্রসেসর (কার্যকারিতা পদ) $\rho_1, \rho_2, ..., \rho_m$ যা সম্পূর্ণ সমান্তরালভাবে কাজ করে। আগ্রহের পরিস্থিতিগুলির জন্য, আমরা ধরে নিতে পারি $m \leq n$। প্রতিটি $\tau_i$ একবার এটি একটি প্রসেসর নির্ধারিত হয় সম্পূর্ণ করার সময় / চক্র কিছু পরিমাণ সময় লাগে $\rho_j$, এবং একবার এটি নির্ধারিত হয়ে গেলে, শেষ না হওয়া পর্যন্ত এটি পুনরায় নিয়োগ দেওয়া যাবে না (প্রসেসর সর্বদা নির্ধারিত কাজগুলি শেষ করে)। আসুন ধরে নেওয়া যাক যে প্রতিটি $\tau_i$ কিছুটা সময় / চক্র গ্রহণ করি $X_i$ , আগে থেকে জানা যায় না, কিছু বিচ্ছিন্ন এলোমেলো বিতরণ থেকে নেওয়া। : এই প্রশ্নের জন্য, এমনকি আমরা একটি সহজ বন্টন অনুমান করতে পারেন $P(X_i = 1) = P(X_i = 5) = 1/2$ , এবং সমস্ত $X_i$ হয় pairwise স্বাধীন। অতএব $\mu_i = 3$ এবং $\sigma^2 = 4$ ।

ধরুন, স্থিতিস্থাপকভাবে, সময় / চক্র 0 এ, সমস্ত কার্য সমস্ত প্রসেসরের জন্য যথাসম্ভব সমানভাবে নির্ধারিত, একসাথে এলোমেলোভাবে; তাই প্রতিটি প্রসেসর $\rho_j$ নির্ধারিত হয় $n/m$ (আমরা ঠিক যেমন ভাল অনুমান করতে পারেন কাজগুলো $m | n$ প্রশ্ন উদ্দেশ্যে)। আমরা makespan সময় / চক্র যা গত প্রসেসর কল $\rho^*$ তার নির্ধারিত কাজ শেষ করতে কাজ এটা কার্যভার প্রদান করা হয়েছিল শেষ। প্রথম প্রশ্ন:

$m$ , $n$ , এবং এর একটি ফাংশন হিসাবে , $X_i$ম্যাপপ্যান $M$ কি? বিশেষত, $E[M]$ কী? $Var[M]$ ?

দ্বিতীয় প্রশ্ন:

ধরুন $P(X_i = 2) = P(X_i = 4) = 1/2$ , এবং সমস্ত $X_i$ pairwise স্বাধীন, তাই $\mu_i = 3$ এবং $\sigma^2 = 1$ । এর কার্যকারিতা হিসেবে $m$ , $n$ , এবং এই নতুন $X_i$ এর, makespan কি? আরও মজার বিষয় হল, এটি প্রথম অংশের উত্তরের সাথে কীভাবে তুলনা করে?

কিছু সাধারণ চিন্তার পরীক্ষা-নিরীক্ষার উত্তরগুলির উত্তরটি প্রমাণ করে যে মেকপ্যানসটি দীর্ঘ। তবে এটি কীভাবে মাপানো যায়? যদি এটি (ক) বিতর্কিত বা (খ) অস্পষ্ট হয় তবে আমি উদাহরণ পোস্ট করে খুশি হব। এইটির সাথে সাফল্যের উপর নির্ভর করে, আমি এই একই অনুমানগুলির অধীনে একটি গতিশীল অ্যাসাইনমেন্ট স্কিম সম্পর্কে একটি ফলোআপ প্রশ্ন পোস্ট করব। আগাম ধন্যবাদ!

একটি সহজ ক্ষেত্রে বিশ্লেষণ: $m = 1$

যদি , তবে সমস্ত এন কার্য একই প্রসেসরের সাথে নির্ধারিত। মেকস্প্যান এম একটি সম্পূর্ণ অনুক্রমিক ফ্যাশনে এন কার্য শেষ করার সময় মাত্র । সুতরাং, ই [ এম $m = 1$$n$$M$$n$ এবং ভি এ আর [ এম

$$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$$ $$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$$

মনে হচ্ছে এর প্রশ্নের উত্তর দেওয়ার জন্য এই ফলাফলটি ব্যবহার করা সম্ভব হতে পারে ; আমরা কেবল একটি অভিব্যক্তি (অথবা কাছাকাছি পড়তা) বের করতে হবে সর্বোচ্চ ( ওয়াই 1 , ওয়াই 2 , । । । $m > 1$ যেখানে ওয়াই আমি = এক্স আমি $\max(Y_1, Y_2, ..., Y_m)$ ,μY=nসহ একটি এলোমেলো পরিবর্তনশীল$Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$এবংσ 2 Y =$\mu_Y = \frac{n}{m}\mu_X$ । এটি কি সঠিক দিকে যাচ্ছে?$\sigma_Y^2 = \frac{n}{m}\sigma_X^2$

Comments

দুর্দান্ত প্রশ্ন। যদি কেবল আজই কোনও সময়সীমা না

— ডেভ ক্লার্ক

Answer 1

হিসাবে , আমরা পরিপ্রেক্ষিতে এই তাকান পারেন ট এবং এন পরিবর্তে এন এবং মি । ধরা যাক, টি- ই সময় হ'ল i -th প্রসেসরের কাজ শেষ করতে সময় লাগে ।$m = k \times n$$k$$n$$n$$m$$T_i$$i$

হিসাবে বৃদ্ধি, সম্ভাব্যতা যে টি আমি = 5 ট (প্রসেসর শুধুমাত্র নির্ধারিত হয়েছিল টি = 5 কর্ম) কিছু আমি পন্থা 1 , তাই makespan হিসেবে সংজ্ঞায়িত মি একটি এক্স ( টি আই ) , ই [ এম ] পন্থা 5 ট ।$n$$T_i$$5k$$T=5$$i$$1$$\mathrm{max}(T_i)$$E[M]$$5k$

দ্বিতীয় দৃশ্যের জন্য এটি তাই প্রসেসরের সংখ্যা বৃদ্ধি 4-2 বিভক্তিকে আরও ভাল করে তোলে।$4k$

কী - প্রসেসর প্রতি কর্ম সংখ্যা বাড়িয়ে? ক্রমবর্ধমান কে এর বিপরীত প্রভাব ফেলেছে, এটির কাজগুলির একটি দুর্ভাগ্য সেট সহ প্রসেসর হওয়ার সম্ভাবনা কম। আমি এখন বাড়িতে যাচ্ছি তবে আমি এই পরে ফিরে আসব। আমার "কুঁচক" হ'ল কে বাড়ার সাথে সাথে ই [ এম ] এর মধ্যে 4-2 বিভাজন এবং 5-1 বিভক্তির পার্থক্য অদৃশ্য হয়ে যায়, ই [ এম ] উভয়ের জন্য একই হয়ে যায়। সুতরাং আমি ধরে নেব যে কিছু বিশেষ ক্ষেত্রে ( কে এবং এন এর খুব ছোট নির্দিষ্ট মান ) বাদে 4-2 সর্বদা ভাল ।$k$$k$$k$$E[M]$$E[M]$$k$$n$

সুতরাং সংক্ষেপে:

• নিম্নতর বৈকল্পিকতা আরও ভাল, সমস্ত কিছু সমান।
• As the number of processors grows, lower variance becomes more important.
• As the number of tasks per processor grows, lower variance becomes less important.

Comments

+1 Excellent intuition, and this helps to clarify my thinking as well. So increasing processor counts tends to increase makespan under a weak scaling assumption; and increasing task counts tends to decrease makespan under a strong scaling assumption (of course it takes longer; I mean the work/makespan ratio improves). These are interesting observations, and they seem true;

— Patrick87

the first is justified by the fact that $1 - (1 - P(X = 5)^k)^n$ tends to $1$ for fixed $k$ and increasing $n$; the latter by the fact that $Var[X + X] = Var[X] + Var[X] = 2\sigma^2 \leq 4\sigma^2 = 4Var[X] = Var[2X]$... so the variance doesn't increase linearly as a function of $k$. Is that compatible with your thinking (that's how I'm interpreting what you have so far)?

— Patrick87

I don't know where the "hunch" came from; it is not consistent with the rest of the heuristic reasoning.

— András Salamon

Answer 2

I find that heuristic arguments are often quite misleading when considering task scheduling (and closely related problems like bin packing). Things can happen that are counter-intuitive. For such a simple case, it is worthwhile actually doing the probability theory.

Let $n = km$ with $k$ a positive integer. Suppose $T_{ij}$ is the time taken to complete the $j$-th task given to processor $i$. This is a random variable with mean $\mu$ and variance $\sigma^2$. The expected makespan in the first case is

$$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$$ The sums are all iid with mean $k\mu$ and variance $k\sigma^2$, assuming that $T_{ij}$ are all iid (this is stronger than pairwise independence).

Now to obtain the expectation of a maximum, one either needs more information about the distribution, or one has to settle for distribution-free bounds, such as:

• Peter J. Downey, Distribution-free bounds on the expectation of the maximum with scheduling applications, Operations Research Letters 9, 189–201, 1990. doi:10.1016/0167-6377(90)90018-Z

which can be applied if the processor-wise sums are iid. This would not necessarily be the case if the underlying times were just pairwise independent. In particular, by Theorem 1 the expected makespan is bounded above by

$$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$$ Downey also gives a particular distribution achieving this bound, although the distribution changes as $n$ does, and is not exactly natural.

Note that the bound says that the expected makespan can increase as any of the parameters increase: the variance $\sigma^2$, the number of processors $n$, or the number of tasks per processor $k$.

For your second question, the low-variance scenario resulting in a larger makespan seems to be an unlikely outcome of a thought experiment. Let $X = \max_{i=1}^m X_i$ denote the makespan for the first distribution, and $Y = \max_{i=1}^m Y_i$ for the second (with all other parameters the same). Here $X_i$ and $Y_i$ denote the sums of $k$ task durations corresponding to processor $i$ under the two distributions. For all $x \ge k\mu$, independence yields

$$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$$ Since most of the mass of the probability distribution of the maximum will be above its mean, $E[X]$ will therefore tend to be larger than $E[Y]$. This is not a completely rigorous answer, but in short, the second case seems preferable.