আমি জিএইচ ডেভলপমেন্ট মাস্টারের কাছ থেকে স্পার্ক 1.4 তৈরি করেছি এবং বিল্ডটি জরিমানা পেরিয়েছে। তবে আমি যখন একটি bin/pysparkকরি তখন পাইথন ২.7.৯ সংস্করণ পাই। আমি কীভাবে এটি পরিবর্তন করতে পারি?
আমি জিএইচ ডেভলপমেন্ট মাস্টারের কাছ থেকে স্পার্ক 1.4 তৈরি করেছি এবং বিল্ডটি জরিমানা পেরিয়েছে। তবে আমি যখন একটি bin/pysparkকরি তখন পাইথন ২.7.৯ সংস্করণ পাই। আমি কীভাবে এটি পরিবর্তন করতে পারি?
উত্তর:
পরিবেশের পরিবর্তনশীল সেট করুন:
export PYSPARK_PYTHON=python3
আপনি যদি এটি স্থায়ী পরিবর্তন হতে চান তবে এই লাইনটিকে পাইপর্ক স্ক্রিপ্টে যুক্ত করুন।
export PYSPARK_PYTHON=python3.5পাইথন 3.5 এর জন্য ব্যবহার করুন
$SPARK_HOME/conf/spark-env.shতাই spark-submitপাশাপাশি একই অনুবাদক ব্যবহার করে।
PYSPARK_PYTHON=python3
./bin/pyspark
আপনি যদি আইপিথন নোটবুকে চালনা করতে চান তবে লিখুন:
PYSPARK_PYTHON=python3
PYSPARK_DRIVER_PYTHON=ipython
PYSPARK_DRIVER_PYTHON_OPTS="notebook"
./bin/pyspark
যদি python3অ্যাক্সেসযোগ্য না হয় তবে তার পরিবর্তে আপনাকে এটিকে পাথ করতে হবে।
মনে রাখবেন যে বর্তমান ডকুমেন্টেশনের (1.4.1 হিসাবে) পুরানো নির্দেশ রয়েছে। ভাগ্যক্রমে, এটি প্যাচ করা হয়েছে ।
ফাইলটি দেখুন। শেবাং লাইনটি সম্ভবত সম্ভবত "এনভিনিউ" বাইনারিতে নির্দেশ করা হয়েছে যা প্রথম সামঞ্জস্যপূর্ণ এক্সিকিউটেবলের জন্য পথ সন্ধান করে।
আপনি পাইথনকে পাইথন 3 এ পরিবর্তন করতে পারেন। সরাসরি কোডকৃত পাইথন 3 বাইনারি ব্যবহারের জন্য এনভির পরিবর্তন করুন। অথবা পাইথন 3 দিয়ে বাইনারি সরাসরি চালনা করুন এবং শেবাং লাইনটি বাদ দিন।
PYSPARK_PYTHONপরিবেশ পরিবর্তনশীল সেট করা প্রয়োজন ।
জুপিটার নোটবুকের জন্য, spark-env.shকমান্ড লাইন থেকে নীচে প্রদর্শিত ফাইল সম্পাদনা করুন
$ vi $SPARK_HOME/conf/spark-env.sh
ফাইলটির নীচে যান এবং এই লাইনগুলি অনুলিপি করুন
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
তারপরে, নোটবুকে পাইপর্ক শুরু করতে কেবল নিম্নলিখিত কমান্ডটি চালান
$ pyspark
PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pysparkযার ক্ষেত্রে এটি আইপিথন 3 নোটবুক চালায়।