স্পার্ক - ত্রুটি একটি অ্যাপ্লিকেশন জমা দেওয়ার সময় "আপনার কনফিগারেশনে একটি মাস্টার ইউআরএল সেট করা আবশ্যক"

Question 1

আমার একটি স্পার্ক অ্যাপ রয়েছে যা স্থানীয় মোডে কোনও সমস্যা ছাড়াই চলে তবে স্পার্ক ক্লাস্টারে জমা দেওয়ার সময় কিছু সমস্যা হয়।

ত্রুটির চিত্রটি নিম্নরূপ:

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
    at GroupEvolutionES$.<init>(GroupEvolutionES.scala:37)
    at GroupEvolutionES$.<clinit>(GroupEvolutionES.scala)
    ... 14 more

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 5.0 in stage 0.0 (TID 5, cluster-node-02): java.lang.NoClassDefFoundError: Could not initialize class GroupEvolutionES$
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

উপরের কোডে, GroupEvolutionESপ্রধান বর্গ হয়। ত্রুটি বার্তা বলছেন "একটি মাস্টার URL আপনার কনফিগারেশনে সেট করা আবশ্যক", কিন্তু আমি "--master" এ প্যারামিটার প্রদান করে spark-submit।

যে কেউ এই সমস্যাটি কিভাবে সমাধান করবেন জানেন?

স্পার্ক সংস্করণ: 1.6.1

Question 2

স্পার্ক কনটেক্সট অবজেক্টটি কোথায় সংজ্ঞায়িত করা হয়েছে, এটি মূল ফাংশনের ভিতরে রয়েছে?

আমিও একই সমস্যার মুখোমুখি হয়েছি, আমি যে ভুলটি করেছিলাম তা আমি মূল ফাংশনের বাইরে এবং ক্লাসের ভিতরে স্পার্ক কনটেক্সট শুরু করেছিলাম।

আমি যখন এটি মূল ফাংশনের ভিতরে শুরু করেছি, এটি দুর্দান্ত কাজ করেছে।

Question 3

টিএলডিআর:

.config("spark.master", "local")

স্পার্ক ২.২.১-এ স্পার্ক.মাস্টারের বিকল্পগুলির একটি তালিকা

স্থানীয় মোডে একটি সাধারণ স্পার্ক এসকিউএল জাভা প্রোগ্রাম চালানোর চেষ্টা করার পরে আমি এই পৃষ্ঠায় শেষ হয়েছি। এটি করার জন্য, আমি দেখতে পেয়েছি যে আমি স্পার্ক.মাস্টার ব্যবহার করে সেট করতে পারি:

SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate();

আমার উত্তরের একটি আপডেট:

স্পষ্টরূপে, উত্পাদনের পরিবেশে এটি করা উচিত নয়। উত্পাদনের পরিবেশে, স্পার্ক.মাস্টার অন্য কয়েকটি স্থানে একটি নির্দিষ্ট করে নির্দিষ্ট করা উচিত: either স্পার্কহোম / কনফার্ট / স্পার্ক-ডিফল্টসকন্টে (এটি যেখানে ক্লৌডের ম্যানেজার এটি রাখবে), বা কমান্ড লাইনে আপনি জমা দেওয়ার সময় অ্যপ. (প্রাক্তন স্পার্ক জমা - মাস্টার সুতা)

যদি আপনি এইভাবে স্পার্ক.মাস্টারকে 'স্থানীয়' হতে নির্দিষ্ট করেন তবে স্পার্কটি নীচের মন্তব্যে নির্দেশিত হিসাবে একক জেভিএম চালানোর চেষ্টা করবে। আপনি যদি পরে --deploy- মোড ক্লাস্টার নির্দিষ্ট করার চেষ্টা করেন, আপনি একটি ত্রুটি পাবেন 'ক্লাস্টার ডিপ্লয়ে মোড মাস্টার "স্থানীয়" এর সাথে সামঞ্জস্যপূর্ণ নয়। এটি কারণ স্পার্ক.মাস্টার = স্থানীয় সেট করার অর্থ আপনি ক্লাস্টার মোডে চলছেন না।

পরিবর্তে, কোনও প্রোডাকশন অ্যাপের জন্য, আপনার মূল ফাংশনের মধ্যে (বা আপনার মূল ফাংশন দ্বারা ডাকা ফাংশনগুলিতে), আপনার সহজভাবে ব্যবহার করা উচিত:

SparkSession
.builder()
.appName("Java Spark SQL basic example")
.getOrCreate();

এটি কমান্ড লাইনে / কনফিগার ফাইলগুলিতে নির্দিষ্ট করা কনফিগারেশন ব্যবহার করবে।

এছাড়াও, এ সম্পর্কেও পরিষ্কার হতে হবে: - মাস্টার এবং "স্পার্ক.মাস্টার" হুবহু একই পরামিতি, কেবল বিভিন্ন উপায়ে নির্দিষ্ট করা হয়েছে। উপরের আমার উত্তরের মত কোডে স্পার্ক.মাস্টার সেট করা - - মাস্টার সেট করার প্রয়াসকে ওভাররাইড করবে এবং স্পার্ক-ডিফল্টকন্টে মানগুলিকে ওভাররাইড করবে, সুতরাং এটি উত্পাদন করে না। যদিও এটি পরীক্ষার জন্য দুর্দান্ত।

এছাড়াও, এই উত্তর দেখুন । কোনটি স্পার্ক.মাস্টারের বিকল্পগুলির তালিকার সাথে লিঙ্ক করে এবং প্রত্যেকে আসলে কী করে।

স্পার্ক ২.২.১-এ স্পার্ক.মাস্টারের বিকল্পগুলির একটি তালিকা

Question 4

প্রতিস্থাপনের পরে আমার জন্য কাজ করেছেন

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");

সঙ্গে

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

স্ট্যাকওভারফ্লোতে অন্য কোনও থ্রেডে এই সমাধানটি পাওয়া গেছে।

Question 5

যে চলমান স্বতন্ত্র ক্লাস্টার থেকে একটি সেশন পেতে পোর্ট, এবং নিচের কোডটি চেষ্টা: "spark.master" ডিফল্ট মান স্ফুলিঙ্গ হয়: // host host: port , এবং আশা host: port মান হতে স্পার্ক কনফিগারেশন ফাইল।

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .getOrCreate();

" org.apache.spark.SparkException: আপনার কনফিগারেশনে একটি মাস্টার ইউআরএল সেট করা আবশ্যক " উল্লেখ করেছে যে HOST: PORT স্পার্ক কনফিগারেশন ফাইলে সেট করা নেই।

"HOST: PORT" এর মান নিয়ে মাথা ঘামানোর জন্য স্পার্ক.মাস্টারকে স্থানীয় হিসাবে সেট করুন

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .config("spark.master", "local")
    .getOrCreate();

এখানে ফর্ম্যাটগুলির তালিকার লিঙ্কটি যেখানে স্পষ্ট.মাষ্টারে মাস্টার ইউআরএল পাস করা যেতে পারে

তথ্যসূত্র: স্পার্ক টিউটোরিয়াল - স্পার্ক ইকোসিস্টেম সেটআপ করুন

Question 6

.setMaster("local")নীচে প্রদর্শিত হিসাবে কেবল আপনার কোড যুক্ত করুন :

val conf = new SparkConf().setAppName("Second").setMaster("local")

এটা আমার জন্য কাজ! শুভ কোডিং!

Question 7

আপনি যদি স্বতন্ত্র অ্যাপ্লিকেশনটি চালাচ্ছেন তবে আপনাকে তার SparkContextপরিবর্তে ব্যবহার করতে হবেSparkSession

val conf = new SparkConf().setAppName("Samples").setMaster("local")
val sc = new SparkContext(conf)
val textData = sc.textFile("sample.txt").cache()

Question 8

আপনার আবেদনে স্পার্কের প্রসঙ্গটি স্পার্ক মাস্টারের মান কীভাবে তুলবে?

আপনি SparkConfএসসি তৈরি করার সময় তা স্পষ্টভাবে সরবরাহ করেছেন ।
অথবা এটি থেকে নেওয়া হয়েছে System.getProperties(যেখানে স্পার্কসবমিট আপনার --masterযুক্তি পড়ার আগে এটি রেখেছিল )।

এখন, SparkSubmitড্রাইভারের দিকে চলে - যা আপনার ক্ষেত্রে মেশিনটি যেখানে আপনি spark-submitস্ক্রিপ্টটি চালাচ্ছেন। এবং এটি সম্ভবত আপনার জন্যও প্রত্যাশার মতো কাজ করছে।

তবে আপনি যে তথ্য পোস্ট করেছেন তা থেকে দেখে মনে হচ্ছে আপনি নির্বাহকের কাছে প্রেরিত কোডটিতে একটি স্পার্ক প্রসঙ্গ তৈরি করছেন - এবং সেখানে কোনও spark.masterসিস্টেমের সম্পত্তি উপলব্ধ নেই তা ব্যর্থ হয়েছে। (এবং যদি সত্যিই তেমন হয় তবে আপনার উচিত হবে না))

আপনি কি দয়া করে GroupEvolutionESকোডটি পোস্ট করতে পারেন (বিশেষত যেখানে আপনি তৈরি করছেন SparkContext(s))।

Question 9

প্রতিস্থাপন করা হচ্ছে:

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");
WITH
SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

যাদু করল।

Question 10

আমার একই সমস্যা ছিল, পরিবর্তনের আগে আমার কোডটি এখানে:

package com.asagaama

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

/**
  * Created by asagaama on 16/02/2017.
  */
object Word {

  def countWords(sc: SparkContext) = {
    // Load our input data
    val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt")
    // Split it up into words
    val words = input.flatMap(line => line.split(" "))
    // Transform into pairs and count
    val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
    // Save the word count back out to a text file, causing evaluation.
    counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt")
  }

  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("wordCount")
    val sc = new SparkContext(conf)
    countWords(sc)
  }

}

এবং প্রতিস্থাপনের পরে:

val conf = new SparkConf().setAppName("wordCount")

সঙ্গে :

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")

এটা ভাল কাজ!

Question 11

var appName:String ="test"
val conf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory","1g");
val sc =  SparkContext.getOrCreate(conf)
sc.setLogLevel("WARN")

Question 12

এটা চেষ্টা কর

বৈশিষ্ট্য তৈরি

import org.apache.spark.sql.SparkSession
trait SparkSessionWrapper {
   lazy val spark:SparkSession = {
      SparkSession
        .builder()
        .getOrCreate()
    }
}

এটি প্রসারিত

object Preprocess extends SparkSessionWrapper {

Question 13

সেট করার জন্য আমরা সেটমাস্টার ("স্থানীয় [*]") মিস করছি । একবার আমরা যুক্ত করলে সমস্যাটি সমাধান হয়ে যায়।

সমস্যা:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

সমাধান:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()

Question 14

আপনি যদি নিম্নলিখিত কোড ব্যবহার করছেন

 val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME"))

তারপরে নিম্নলিখিত লাইনগুলির সাথে প্রতিস্থাপন করুন

  val jobName = "WordCount";
  val conf = new SparkConf().setAppName(jobName);
  val sc = new SparkContext(conf)

স্পার্ক ২.০ এ আপনি নিম্নলিখিত কোডটি ব্যবহার করতে পারেন

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .master("local[*]")// need to add
  .getOrCreate()

আপনাকে এখানে মাস্টার যুক্ত করতে হবে ("স্থানীয় [*]") যদি লোকালটি চালানো হয় * এর অর্থ সমস্ত নোড, আপনি বলতে পারেন 8,2 ডলার ইত্যাদি অন্তর্নিহিত say

ক্লাস্টারে থাকলে আপনার মাস্টার ইউআরএল সেট করা দরকার

Question 15

আপনি যদি জাভাস্পর্ককন্টেক্সটে স্পার্ক কনফিগারেশন সরবরাহ না করেন তবে আপনি এই ত্রুটিটি পান। তা হ'ল: জাভাস্পার্ককন্টেক্সট sc = নতুন জাভাস্পর্ককন্টেক্সট ();

সমাধান: জাভাস্পর্ককন্টেক্সট এসসি = নতুন জাভাস্পর্ককন্টেক্সট (কনফিড) সরবরাহ করুন;

Question 16

স্থানীয় মেশিনে স্পার্ক প্রসঙ্গ স্থাপনের সাথে স্পার্ক প্রসেসিং শেখার ক্ষেত্রে এই বিকল্পটি ব্যবহার করে দেখুন। প্রয়োজনীয়তা ১) স্পার্ক সেশনার স্থানীয় অবস্থায় চলমান রাখুন ২) স্পার্ক মাভেন নির্ভরতা যুক্ত করুন 3) ইনপুট ফাইলটিকে মূল root ইনপুট ফোল্ডারে রাখুন)) আউটপুটটি \ আউটপুট ফোল্ডারে রাখা হবে। বছরের জন্য সর্বাধিক শেয়ার মান পাওয়া। ইয়াহু ফিনান্স থেকে কোনও সিএসভি লোড করুন https://in.finance.yahoo.com/quote/CAPPL.BO/history/ মাভেন নির্ভরতা এবং নীচে স্কালা কোড -

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.3</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>   

object MaxEquityPriceForYear {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("ShareMaxPrice").setMaster("local[2]").set("spark.executor.memory", "1g");
    val sc = new SparkContext(sparkConf);
    val input = "./input/CAPPL.BO.csv"
    val output = "./output"
    sc.textFile(input)
      .map(_.split(","))
      .map(rec => ((rec(0).split("-"))(0).toInt, rec(1).toFloat))
      .reduceByKey((a, b) => Math.max(a, b))
      .saveAsTextFile(output)
  }

Question 17

আমি পরিবর্তে এই স্পার্ককন্টেক্সট কনস্ট্রাক্টর ব্যবহার করেছি এবং ত্রুটিগুলি চলে গেছে:

val sc = new SparkContext("local[*]", "MyApp")