ম্যাক স্পার্ক শেল স্পারকন্টেক্সট শুরু করার সময় ত্রুটি

Question 1

আমি ম্যাক ওএস ইয়োসেমাইট 10.10.5 ব্যবহার করে স্পার্ক 1.6.0 (স্পার্ক-1.6.0-বিন-হাদুপ 2.4) শুরু করার চেষ্টা করেছি

"./bin/spark-shell".

এটি নীচে ত্রুটি আছে। আমি স্পার্কের বিভিন্ন সংস্করণ ইনস্টল করার চেষ্টাও করেছি তবে সকলেরই ত্রুটি রয়েছে। এইবার আমি দ্বিতীয়বার স্পার্ক চালাচ্ছি। আমার আগের রান ভাল কাজ করে।

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties
To adjust logging level use sc.setLogLevel("INFO")
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79)
Type in expressions to have them evaluated.
Type :help for more information.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
16/01/04 13:49:40 ERROR SparkContext: Error initializing SparkContext.
java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:444)
    at sun.nio.ch.Net.bind(Net.java:436)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at io.netty.channel.socket.nio.NioServerSocketChannel.doBind(NioServerSocketChannel.java:125)
    at io.netty.channel.AbstractChannel$AbstractUnsafe.bind(AbstractChannel.java:485)
    at io.netty.channel.DefaultChannelPipeline$HeadContext.bind(DefaultChannelPipeline.java:1089)
    at io.netty.channel.AbstractChannelHandlerContext.invokeBind(AbstractChannelHandlerContext.java:430)
    at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:415)
    at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:903)
    at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:198)
    at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:348)
    at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357)
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
    at java.lang.Thread.run(Thread.java:745)
java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:444)
    at sun.nio.ch.Net.bind(Net.java:436)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at io.netty.channel.socket.nio.NioServerSocketChannel.doBind(NioServerSocketChannel.java:125)
    at io.netty.channel.AbstractChannel$AbstractUnsafe.bind(AbstractChannel.java:485)
    at io.netty.channel.DefaultChannelPipeline$HeadContext.bind(DefaultChannelPipeline.java:1089)
    at io.netty.channel.AbstractChannelHandlerContext.invokeBind(AbstractChannelHandlerContext.java:430)
    at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:415)
    at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:903)
    at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:198)
    at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:348)
    at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357)
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)
    at java.lang.Thread.run(Thread.java:745)

java.lang.NullPointerException
    at org.apache.spark.sql.SQLContext$.createListenerAndUI(SQLContext.scala:1367)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:101)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028)
    at $iwC$$iwC.<init>(<console>:15)
    at $iwC.<init>(<console>:24)
    at <init>(<console>:26)
    at .<init>(<console>:30)
    at .<clinit>(<console>)
    at .<init>(<console>:7)
    at .<clinit>(<console>)
    at $print(<console>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
    at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1346)
    at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
    at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)
    at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)
    at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:857)
    at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:902)
    at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:814)
    at org.apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:132)
    at org.apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:124)
    at org.apache.spark.repl.SparkIMain.beQuietDuring(SparkIMain.scala:324)
    at org.apache.spark.repl.SparkILoopInit$class.initializeSpark(SparkILoopInit.scala:124)
    at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:64)
    at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1$$anonfun$apply$mcZ$sp$5.apply$mcV$sp(SparkILoop.scala:974)
    at org.apache.spark.repl.SparkILoopInit$class.runThunks(SparkILoopInit.scala:159)
    at org.apache.spark.repl.SparkILoop.runThunks(SparkILoop.scala:64)
    at org.apache.spark.repl.SparkILoopInit$class.postInitialization(SparkILoopInit.scala:108)
    at org.apache.spark.repl.SparkILoop.postInitialization(SparkILoop.scala:64)
    at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply$mcZ$sp(SparkILoop.scala:991)
    at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)
    at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1.apply(SparkILoop.scala:945)
    at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)
    at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:945)
    at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1059)
    at org.apache.spark.repl.Main$.main(Main.scala:31)
    at org.apache.spark.repl.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

<console>:16: error: not found: value sqlContext
         import sqlContext.implicits._
                ^
<console>:16: error: not found: value sqlContext
         import sqlContext.sql

তারপরে আমি যুক্ত করি

export SPARK_LOCAL_IP="127.0.0.1"

spark-env.sh এ ত্রুটি পরিবর্তিত হয়:

 ERROR : No route to host
    java.net.ConnectException: No route to host
        at java.net.Inet6AddressImpl.isReachable0(Native Method)
        at java.net.Inet6AddressImpl.isReachable(Inet6AddressImpl.java:77)
        at java.net.InetAddress.isReachable(InetAddress.java:475)
...
<console>:10: error: not found: value sqlContext
       import sqlContext.implicits._
              ^
<console>:10: error: not found: value sqlContext
       import sqlContext.sql

Question 2

নিম্নলিখিত পদক্ষেপগুলি সাহায্য করতে পারে:

"হোস্টনেম" কমান্ডটি ব্যবহার করে আপনার হোস্টনামটি পান।
নীচে যেমন উপস্থিত না থাকলে আপনার হোস্টনামের জন্য / ইত্যাদি / হোস্ট ফাইলটিতে একটি এন্ট্রি করুন:
```
127.0.0.1      your_hostname
```

আশাকরি এটা সাহায্য করবে!!

Question 3

নেটওয়ার্কগুলির মধ্যে স্যুইচ করার সময় আমি সর্বদা এটি পাই। এটি এটি সমাধান করে:

$ sudo hostname -s 127.0.0.1

Question 4

আমি এটি সংস্করণ সহ বর্তমান মাস্টার শাখা থেকে তৈরি করেছি 2.0.0-SNAPSHOT। এটি যুক্ত export SPARK_LOCAL_IP="127.0.0.1"করার পরে load-spark-env.shআমার জন্য কাজ করে। আমি ম্যাকোস 10.10.5 ব্যবহার করছি। সুতরাং এটি সংস্করণ ইস্যু হতে পারে?

Question 5

spark.driver.hostআপনি যদি আইডিই ব্যবহার করেন তবে আপনার লোকালহোস্ট হিসাবে সেট করুন

SparkConf conf = new  SparkConf().setMaster("local[2]").setAppName("AnyName").set("spark.driver.host", "localhost");
JavaSparkContext sc = new JavaSparkContext(conf);

Question 6

আমি মনে করি দুটি ত্রুটি আছে।

আপনার স্পার্ক স্থানীয় আইপি সঠিক ছিল না এবং 127.0.0.1 এ পরিবর্তন করা প্রয়োজন।
আপনি sqlContext সঠিকভাবে আলাদা করেন নি।

১. আমি চেষ্টা করেছি:

1) ARK / .বাশ_প্রফাইলে SPark_LOCAL_IP = "127.0.0.1" রফতানি করা হয়েছে
2) export স্পার্কহোমের অধীনে লোড-স্পার্ক-env.sh- এ "127.0.0.1.1" রফতানি যোগ করা হয়েছে

তবে দু'জনেরই কাজ হয়নি। তারপরে আমি নিম্নলিখিতগুলি চেষ্টা করেছিলাম এবং এটি কার্যকর হয়েছে:

val conf = new SparkConf().
    setAppName("SparkExample").
    setMaster("local[*]").
    set("spark.driver.bindAddress","127.0.0.1")
val sc = new SparkContext(conf)

২. আপনি চেষ্টা করতে পারেন:

sqlContext = SparkSession.builder.config("spark.master","local[*]").getOrCreate()

এবং তারপর import sqlContext.implicits._

স্পার্কসেশনে বিল্ডার স্পারকন্টেক্সট উপস্থিত থাকলে স্বয়ংক্রিয়ভাবে ব্যবহার করবে, অন্যথায় এটি একটি তৈরি করবে। প্রয়োজনে আপনি সুস্পষ্টভাবে দুটি তৈরি করতে পারেন।

Question 7

আপনি যদি আপনার ম্যাকের হোস্টনামটি পরিবর্তন করতে না চান তবে আপনি নিম্নলিখিতটি করতে পারেন:

spark-env.sh.templateআপনার মেশিনে টেম্পলেট ফাইলটি সন্ধান করুন (এটি সম্ভবত এতে রয়েছে /usr/local/Cellar/apache-spark/2.1.0/libexec/conf/)।
cp spark-env.sh.template spark-env.sh
যোগ export SPARK_LOCAL_IP=127.0.0.1স্থানীয় আইপি জন্য মন্তব্য করেন।

শুরু করুন spark-shellএবং এটি উপভোগ করুন।

Question 8

আপনি যদি আইডিই তে কোড চালানোর জন্য স্কালার ব্যবহার করছেন এবং যদি আপনি একই সমস্যার মুখোমুখি হন এবং আপনি স্পার্কসনফ () উপরে উল্লিখিত হিসাবে এবং স্পার্কসেশন () ব্যবহার না করে থাকেন তবে আপনি কেবলমাত্র সেট অনুসারে কাজ করে লোকালহোস্ট ঠিকানাটি বেঁধে রাখতে পারেন স্পার্ককনফ এ ()। নীচের মত বর্ণিত স্পার্ক কনফিগারেশন সেট করতে আপনার .config () ব্যবহার করা উচিত:

    val spark = SparkSession
       .builder()
       .appName("CSE512-Phase1")
       .master("local[*]").config("spark.driver.bindAddress", "localhost")
       .getOrCreate()

Question 9

রফতানুন SPark_LOCAL_IP = 127.0.0.1 (ম্যাক .বাশ_প্রফাইলে জন্য)

Question 10

কখনও কখনও ফায়ারওয়াল সকেট তৈরি এবং বাঁধাই প্রতিরোধ করে। আপনার ফায়ারওয়াল সক্ষম না হয়েছে তা নিশ্চিত করুন এবং আপনাকে / ইত্যাদি / হোস্টগুলিতে আপনার মেশিনের আইপি পরীক্ষা করতে হবে এবং এটি ঠিক আছে তা নিশ্চিত করে আবার চেষ্টা করুন:

sudo ufw disable

Question 11

আপনি যখন বিভিন্ন নেটওয়ার্কের মধ্যে স্যুইচ করেন তখনই এটি ঘটে (ভিপিএন - পিআরডি, সিআই আপনার কোম্পানির নেটওয়ার্কগুলির উপর নির্ভর করে বিভিন্ন পরিবেশে অ্যাক্সেস পেতে)।

আমার একই সমস্যা ছিল, যখনই আমি ভিপিএন স্যুইচ করি।

আপনার ম্যাকের হোস্টনামের মান সহ সূডো / ইত্যাদি / হোস্ট আপডেট করুন।

Question 12

sparkContext = new JavaSparkContext("local[4]", "Appname")

export SPARK_LOCAL_IP=127.0.0.1

শুধু উপরে কাজ করা আমার জন্য কাজ করেছে।

Question 13

ম্যাকের ক্ষেত্রে, সিস্টেমের পছন্দগুলিতে আইপি চেক করুন -> নেটওয়ার্ক -> আপনি সংযুক্ত ওয়াইফাইটি ক্লিক করুন (এটি সবুজ আইকন দেখানো উচিত) -> আপনার নেটওয়ার্ক নামের ঠিক উপরে আইপি চেক করুন।

../Conf/spark-env.sh এ নিম্নলিখিত প্রবেশ করুন:

SPARK_MASTER_HOST=<<your-ip>>
SPARK_LOCAL_IP=<<your-ip>>

এবং স্পার্ক শেল চেষ্টা করার চেয়ে। উপরের পরিবর্তনগুলি করা আমার পক্ষে কাজ করেছিল।