প্রগতি বারের সংখ্যাগুলি স্পার্ক-শেলের অর্থ কী?

Question 1

আমার স্পার্ক শেলটিতে, যখন আমি কোনও ফাংশন সম্পাদন করি তখন নীচের মতো এন্ট্রিগুলির অর্থ কী?

[Stage7:===========>                              (14174 + 5) / 62500]

Question 2

কি আপনি পেতে একটি হল Console Progress Bar, [Stage 7:শো পর্যায় আপনি এখন থাকছে, (14174 + 5) / 62500]হয় (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]। অগ্রগতি বার দেখায় numCompletedTasks/totalNumOfTasksInThisStage ।

যখন এটি দেখানো হবে উভয় spark.ui.showConsoleProgress সত্য (ডিফল্ট অনুসারে) হয় এবং লগ ইন করুন স্তরের conf/log4j.propertiesহয় ERRORবা WARN(!log.isInfoEnabled সত্য)।

আসুন কনসোল প্রোগ্রেসবার.স্কালায় কোডটি দেখুন যা এটি দেখায়:

private def show(now: Long, stages: Seq[SparkStageInfo]) {
  val width = TerminalWidth / stages.size
  val bar = stages.map { s =>
    val total = s.numTasks()
    val header = s"[Stage ${s.stageId()}:"
    val tailer = s"(${s.numCompletedTasks()} + ${s.numActiveTasks()}) / $total]"
    val w = width - header.length - tailer.length
    val bar = if (w > 0) {
      val percent = w * s.numCompletedTasks() / total
      (0 until w).map { i =>
        if (i < percent) "=" else if (i == percent) ">" else " "
      }.mkString("")
    } else {
    ""
    }
    header + bar + tailer
  }.mkString("")

  // only refresh if it's changed of after 1 minute (or the ssh connection will be closed
  // after idle some time)
  if (bar != lastProgressBar || now - lastUpdateTime > 60 * 1000L) {
    System.err.print(CR + bar)
    lastUpdateTime = now
  }
  lastProgressBar = bar
}

Question 3

আসুন ধরে নেওয়া যাক আপনি নিম্নলিখিতটি দেখতে পাচ্ছেন (এক্স, এ, বি, সি সর্বদা অ নেগেটিভ পূর্ণসংখ্যা হয়):

[Stage X:==========>            (A + B) / C]

(উদাহরণস্বরূপ এক্স = 7, এ = 14174, বি = 5 এবং সি = 62500 প্রশ্নের মধ্যে)

এটি একটি উচ্চ স্তরে যা চলছে তা এখানে: স্পার্ক প্রতিটি পর্যায়ে পর্যায়ে এবং কার্যগুলিতে কার্য বিরতি দেয়। এই অগ্রগতি সূচকটির অর্থ হ'ল পর্যায় এক্স সি কার্যক্রমে গঠিত। মৃত্যুদন্ড কার্যকর হওয়ার সময়, এ এবং বি শূন্য থেকে শুরু করে এবং পরিবর্তন করে চলে। A হ'ল সর্বদা ইতিমধ্যে সমাপ্ত টাস্কের সংখ্যা এবং বি বর্তমানে সম্পাদিত কার্যগুলির সংখ্যা। অনেক টাস্কের সাথে এক পর্যায়ে (আপনার কাছে থাকা শ্রমিকের চেয়ে বেশি) আপনি বিয়ের এমন একটি সংখ্যায় বেড়ে উঠার প্রত্যাশা করা উচিত যা আপনার ক্লাস্টারে আপনার কতজন শ্রমিকের সাথে সম্পর্কিত, তারপরে আপনার কাজগুলি সম্পূর্ণ হিসাবে দেখা উচিত increase শেষের দিকে, শেষ কয়েকটি কার্য সম্পাদন হিসাবে, বি 0 টি না পৌঁছানো অবধি কমতে শুরু করবে, যার বিন্দু A এর সমান হওয়া উচিত, স্টেজটি সম্পন্ন হবে এবং স্পার্কটি পরবর্তী পর্যায়ে চলে যাবে। সি পুরো সময়ের মধ্যে স্থির থাকবে, মনে রাখবেন এটি পর্যায়টিতে মোট কাজের সংখ্যা এবং কখনই পরিবর্তন হয় না।

====> আমি উপরে বর্ণিত বিষয়ের উপর ভিত্তি করে করা কাজের শতাংশ দেখায়। শুরুতে>> বাম দিকে হবে এবং কার্য সমাপ্ত হওয়ার সাথে সাথে ডানে চলে যাবে।