আমি উইন্ডোজে অ্যাপাচি স্পার্ক সেটআপ করার চেষ্টা করছি।
কিছুটা অনুসন্ধান করার পরে, আমি বুঝতে পারি যে স্ট্যান্ডেলোন মোডটি আমি চাই। উইন্ডোতে অ্যাপাচি স্পার্ক চালানোর জন্য আমি কোন বাইনারি ডাউনলোড করব? আমি স্পার্ক ডাউনলোড পৃষ্ঠায় হ্যাডোপ এবং সিডিএইচ সহ বিতরণগুলি দেখতে পাচ্ছি।
আমার এই ওয়েবে রেফারেন্স নেই। এটির জন্য ধাপে ধাপে গাইড অত্যন্ত প্রশংসিত।
উত্তর:
আমি খুঁজে পেয়েছি উইন্ডোজ থেকে সহজ সমাধানটি উত্স থেকে তৈরি করা।
আপনি এই গাইডটি বেশ কার্যকরভাবে অনুসরণ করতে পারেন: http://spark.apache.org/docs/latest/building-spark.html
মাভেন ডাউনলোড ও ইনস্টল করুন এবং MAVEN_OPTSগাইডে নির্দিষ্ট মান নির্ধারণ করুন।
তবে আপনি যদি কেবল স্পার্কের সাথে খেলাধুলা করেন এবং আপনার নিজের মেশিনটি উইন্ডোজ চলমান অন্য কোনও কারণে উইন্ডোজে চালিত হওয়ার দরকার নেই, তবে আমি আপনাকে দৃ lin়ভাবে পরামর্শ দিচ্ছি যে আপনি একটি লিনাক্স ভার্চুয়াল মেশিনে স্পার্ক ইনস্টল করবেন। শুরু করার সম্ভবত সহজ উপায় হ'ল ক্লৌডেরা বা হর্টন ওয়ার্কস দ্বারা তৈরি রেডিমেড চিত্রগুলি ডাউনলোড করা এবং স্পার্কের বান্ডিল সংস্করণ ব্যবহার করুন, অথবা উত্স থেকে আপনার নিজস্ব ইনস্টল করুন বা স্পার্ক ওয়েবসাইট থেকে প্রাপ্ত সংকলিত বাইনারিগুলি ইনস্টল করুন।
স্থানীয় মোডে স্পার্ক ইনস্টল করার পদক্ষেপ:
7 বা তার পরে জাভা ইনস্টল করুন । জাভা ইনস্টলেশনটি সম্পূর্ণরূপে পরীক্ষা করতে ওপেন কমান্ড প্রম্পট টাইপ করুন javaএবং এন্টার টিপুন। আপনি যদি কোনও বার্তা পান তবে আপনাকে 'Java' is not recognized as an internal or external command. আপনার পরিবেশের ভেরিয়েবলগুলি কনফিগার করতে হবে JAVA_HOMEএবং PATHjdk এর পথে নির্দেশ করতে হবে।
স্কালা ডাউনলোড এবং ইনস্টল করুন ।
সেট SCALA_HOMEমধ্যে Control Panel\System and Security\Systemএতে যান "অ্যাডভোকেট সিস্টেম সেটিংস" যোগ %SCALA_HOME%\binএনভায়রনমেন্ট ভেরিয়েবল মধ্যে পাথ পরিবর্তনশীল হবে।
পাইথন ডাউনলোড লিঙ্ক থেকে পাইথন ২.6 বা তার পরে ইনস্টল করুন ।
এসবিটি ডাউনলোড করুন । এটি ইনস্টল করুন এবং মান SBT_HOMEহিসাবে পরিবেশের পরিবর্তনশীল হিসাবে সেট করুন <<SBT PATH>>।
হর্টন ওয়ার্কস রেপো বা গিট রেপোwinutils.exe থেকে ডাউনলোড করুন । যেহেতু উইন্ডোজে আমাদের স্থানীয় হডোপ ইনস্টলেশন নেই তাই আমাদের এটি একটি তৈরি হোম ডিরেক্টরিতে একটি ডিরেক্টরিতে ডাউনলোড করে রাখতে হবে । পরিবেশ পরিবর্তনশীল মধ্যে সেট করুন ।winutils.exebinHadoopHADOOP_HOME = <<Hadoop home directory>>
আমরা একটি প্রাক-নির্মিত স্পার্ক প্যাকেজ ব্যবহার করব, সুতরাং হ্যাডোপ স্পার্ক ডাউনলোডের জন্য একটি স্পার্ক প্রাক-বিল্ট প্যাকেজ চয়ন করুন । এটি ডাউনলোড করুন এবং এক্সট্রাক্ট করুন।
পরিবেশ ভেরিয়েবলগুলিতে PATH ভেরিয়েবল সেট SPARK_HOMEএবং যুক্ত করুন %SPARK_HOME%\bin।
আপনার আদেশ প্রদান করুন: spark-shell
http://localhost:4040/স্পার্ককন্টেক্সট ওয়েব ইউআই দেখতে ব্রাউজারে খুলুন ।
আপনি এখান থেকে স্পার্ক ডাউনলোড করতে পারেন:
http://spark.apache.org/downloads.html
আমি আপনাকে এই সংস্করণটির পরামর্শ দিচ্ছি: হ্যাডোপ 2 (এইচডিপি 2, সিডিএইচ 5)
সংস্করণ 1.0.0 থেকে উইন্ডোতে স্পার্ক চালানোর জন্য .Cmd স্ক্রিপ্ট রয়েছে।
এটি 7 জিপ বা অনুরূপ ব্যবহার করে আনপ্যাক করুন।
শুরু করতে আপনি /bin/spark-shell.cmd - মাস্টার স্থানীয় প্রয়োগ করতে পারেন [2]
আপনার উদাহরণটি কনফিগার করতে আপনি এই লিঙ্কটি অনুসরণ করতে পারেন: http://spark.apache.org/docs/latest/
আপনি স্পার্ক সেটআপ করার জন্য নিম্নলিখিত উপায়গুলি ব্যবহার করতে পারেন:
যদিও উত্স থেকে স্পার্ক তৈরির বিভিন্ন উপায় রয়েছে ।
প্রথমে আমি এসবিটি দিয়ে স্পার্ক উত্স তৈরির চেষ্টা করেছি তবে এর জন্য হ্যাডোপ দরকার। এই সমস্যাগুলি এড়াতে, আমি প্রাক বিল্ট রিলিজ ব্যবহার করেছি।
উত্সের পরিবর্তে, আমি হ্যাডোপ ২.x সংস্করণের জন্য প্রি বিল্ট রিলিজ ডাউনলোড করেছি এবং এটি চালিয়েছি। এর জন্য আপনাকে পূর্বশর্ত হিসাবে স্কালা ইনস্টল করতে হবে।
আমি এখানে সমস্ত পদক্ষেপগুলি জড়িত করেছি:
উইন্ডোজ 7 এ স্ট্যান্ড স্টোন মোডে অ্যাপাচি স্পার্কটি কীভাবে চালানো যায়
আশা করি এটি আপনাকে সাহায্য করবে .. !!!
স্পার্ক -২.২.এক্সএক্স নিয়ে কাজ করার চেষ্টা করে স্পার্ক সোর্স কোড তৈরি করা আমার পক্ষে কার্যকর হয়নি।
সুতরাং, যদিও আমি হ্যাডোপ ব্যবহার করতে যাচ্ছি না, আমি হ্যাডোপ এমবেড সহ প্রাক-বিল্ট স্পার্কটি ডাউনলোড করেছি: spark-2.0.0-bin-hadoop2.7.tar.gz
নিষ্কাশিত ডিরেক্টরিতে স্পার্কহোমকে নির্দেশ করুন, তারপরে এতে যুক্ত করুন PATH:;%SPARK_HOME%\bin;
হর্টন ওয়ার্কস সংগ্রহশালা থেকে বা অ্যামাজন এডাব্লুএস প্ল্যাটফর্ম উইন্টিলগুলি থেকে এক্সিকিউটেবল উইন্টিলগুলি ডাউনলোড করুন ।
আপনি এক্সিকিউটেবল winutils.exe রাখুন যেখানে একটি ডিরেক্টরি তৈরি করুন। উদাহরণস্বরূপ, সি: \ স্পার্কডেভ \ x64। %HADOOP_HOME%এই ডিরেক্টরিতে নির্দেশ করে এমন পরিবেশের পরিবর্তনশীল যুক্ত করুন, তারপরে %HADOOP_HOME%\binPATH এ যুক্ত করুন।
কমান্ড লাইন ব্যবহার করে ডিরেক্টরিটি তৈরি করুন:
mkdir C:\tmp\hive
আপনি যে এক্সিকিউটেবল ডাউনলোড করেছেন তা ব্যবহার করে, আপনার তৈরি করা ফাইল ডিরেক্টরিটিতে সম্পূর্ণ অনুমতি যুক্ত করুন তবে ইউনিক্সিয়ান ফরমালিজম ব্যবহার করে:
%HADOOP_HOME%\bin\winutils.exe chmod 777 /tmp/hive
নিম্নলিখিত কমান্ড লাইনটি টাইপ করুন:
%SPARK_HOME%\bin\spark-shell
স্কালা কমান্ড লাইন ইনপুটটি স্বয়ংক্রিয়ভাবে প্রদর্শিত হবে।
মন্তব্য: আপনার আলাদাভাবে স্কালা কনফিগার করার দরকার নেই। এটি অন্তর্নির্মিতও।
সবকিছু পুনর্নির্মাণ না করে উইন্ডোজে এটি চালানোর জন্য এখানে ফিক্সগুলি রয়েছে - যেমন আপনার কাছে এমএস-ভিএসের সাম্প্রতিক সংস্করণ না রয়েছে। (আপনার একটি উইন 32 সি ++ সংকলক লাগবে, তবে আপনি এমএস ভিএস কমিউনিটি সংস্করণটি বিনামূল্যে ইনস্টল করতে পারেন))
আমি স্পার্ক ১.২.২ এবং মহাআউট ০.১০.২ এর পাশাপাশি নভেম্বরের ২০১৫-এর সর্বশেষ সংস্করণ দিয়েও চেষ্টা করেছি Sc স্কাল কোডটি একটি বাশ স্ক্রিপ্ট চালানোর চেষ্টা সহ অনেকগুলি সমস্যা রয়েছে (মাহাউট / বিন / মাহাউট) যা অবশ্যই কাজ করে না, এসবিন স্ক্রিপ্টগুলি উইন্ডোতে পোর্ট করা হয়নি, এবং হ্যানডোপ ইনস্টল না করা থাকলে উইনটিলগুলি অনুপস্থিত।
(1) স্কেলা ইনস্টল করুন, তারপরে তাদের নিজ নিজ পণ্যের নামের অধীনে সি এর মূলটিতে স্পার্ক / হাদুপ / মাহাউট আনজিপ করুন।
(২) mahout.sh.was এ \ mahout \ বিন \ mahout এর নাম পরিবর্তন করুন (আমাদের এটির প্রয়োজন হবে না)
(3) নিম্নলিখিত উইন 32 সি ++ প্রোগ্রামটি সংকলন করুন এবং এক্সিকিউটেবলকে সি নামে একটি ফাইলটিতে অনুলিপি করুন: \ mahout \ bin \ mahout (এটি ঠিক - লিনাক্স এক্সিকিউটেবলের মতো .exe প্রত্যয় নয়)
#include "stdafx.h"
#define BUFSIZE 4096
#define VARNAME TEXT("MAHOUT_CP")
int _tmain(int argc, _TCHAR* argv[]) {
DWORD dwLength; LPTSTR pszBuffer;
pszBuffer = (LPTSTR)malloc(BUFSIZE*sizeof(TCHAR));
dwLength = GetEnvironmentVariable(VARNAME, pszBuffer, BUFSIZE);
if (dwLength > 0) { _tprintf(TEXT("%s\n"), pszBuffer); return 0; }
return 1;
}
(৪) স্ক্রিপ্টটি \ mahout \ \ \ mahout.bat তৈরি করুন এবং নীচের বিষয়বস্তুতে পেস্ট করুন, যদিও _সিপি শ্রেণীর পথে জারগুলির সঠিক নামগুলি স্পার্ক এবং মাহআউটের সংস্করণগুলির উপর নির্ভর করবে। আপনার ইনস্টলেশন প্রতি কোনও পাথ আপডেট করুন। এগুলিতে ফাঁকা ছাড়াই 8.3 পাথের নাম ব্যবহার করুন। নোট করুন যে আপনি এখানে ক্লাসপাথগুলিতে ওয়াইল্ডকার্ড / অ্যাসিড্রিকগুলি ব্যবহার করতে পারবেন না।
set SCALA_HOME=C:\Progra~2\scala
set SPARK_HOME=C:\spark
set HADOOP_HOME=C:\hadoop
set MAHOUT_HOME=C:\mahout
set SPARK_SCALA_VERSION=2.10
set MASTER=local[2]
set MAHOUT_LOCAL=true
set path=%SCALA_HOME%\bin;%SPARK_HOME%\bin;%PATH%
cd /D %SPARK_HOME%
set SPARK_CP=%SPARK_HOME%\conf\;%SPARK_HOME%\lib\xxx.jar;...other jars...
set MAHOUT_CP=%MAHOUT_HOME%\lib\xxx.jar;...other jars...;%MAHOUT_HOME%\xxx.jar;...other jars...;%SPARK_CP%;%MAHOUT_HOME%\lib\spark\xxx.jar;%MAHOUT_HOME%\lib\hadoop\xxx.jar;%MAHOUT_HOME%\src\conf;%JAVA_HOME%\lib\tools.jar
start "master0" "%JAVA_HOME%\bin\java" -cp "%SPARK_CP%" -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip localhost --port 7077 --webui-port 8082 >>out-master0.log 2>>out-master0.err
start "worker1" "%JAVA_HOME%\bin\java" -cp "%SPARK_CP%" -Xms1g -Xmx1g org.apache.spark.deploy.worker.Worker spark://localhost:7077 --webui-port 8083 >>out-worker1.log 2>>out-worker1.err
...you may add more workers here...
cd /D %MAHOUT_HOME%
"%JAVA_HOME%\bin\java" -Xmx4g -classpath "%MAHOUT_CP%" "org.apache.mahout.sparkbindings.shell.Main"
চলকটির নাম MAHOUT_CP পরিবর্তন করা উচিত নয়, কারণ এটি সি ++ কোডে উল্লেখ করা হয়েছে।
অবশ্যই আপনি সেই কোডটি কমেন্ট-আউট করতে পারেন যা স্পার্ক মাস্টার এবং কর্মী প্রবর্তন করে কারণ মাহাউট স্পার্কটি প্রয়োজনীয়ভাবে চালাবেন; আপনি যদি মাহউট ছাড়াই স্পার্কটি ব্যবহার করতে চান তবে এটি কীভাবে চালু করবেন তা আপনাকে দেখানোর জন্য আমি কেবল ব্যাচের কাজটিতে রেখেছি।
(5) নিম্নলিখিত টিউটোরিয়ালটি শুরু করার জন্য একটি ভাল জায়গা:
https://mahout.apache.org/users/sparkbindings/play-with-shell.html
আপনি এখানে মাহাউট স্পার্ক উদাহরণ আনতে পারেন:
"C:\Program Files (x86)\Google\Chrome\Application\chrome" --disable-web-security http://localhost:4040
অ্যানি মেননের গাইড (থেক্স!) উইন্ডোজ 10 এ আমার জন্য প্রায় কাজ করেছিল, আমি কেবল সেই গিটটি (বর্তমানে হ্যাডোপ -২.২.১) থেকে একটি নতুন উইন্টিলস.সেক্স পেতে হয়েছিল: https://github.com/steveloughran/winutils
উইন্ডোজ 10 এ স্পার্ক ইনস্টল করার এবং অজগর থেকে চালানোর জন্য এখানে সাতটি ধাপ রয়েছে:
পদক্ষেপ 1: এই লিঙ্কটি থেকে যেকোন ফোল্ডারে স্পার্ক 2.2.0 টার (টেপ সংরক্ষণাগার) জিজেডিজ ফাইল ডাউনলোড করুন - https://spark.apache.org/downloads.html । এটি আনজিপ করুন এবং আনজিপড ফোল্ডারটি কাঙ্ক্ষিত ফোল্ডার এ অনুলিপি করুন the
স্পার্ক ফোল্ডারে যাওয়ার পথটি সি: \ ব্যবহারকারীদের ডেস্কটপ \ এ \ স্পার্ক হতে দিন
পদক্ষেপ 2: এই লিঙ্কটি থেকে একই ফোল্ডারে এফ থেকে হার্ডওপ ২..3.৩ টার জিজেড ফাইলটি ডাউনলোড করুন - https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7 .3.tar.gz । এটিকে আনজিপ করুন এবং আনজিপড ফোল্ডারটিকে একই ফোল্ডারে কপি করুন Had ফোল্ডারের নামটির নাম হ্যাডোপ -২...৩.আরটি থেকে হ্যাডুপে নামকরণ করুন। হ্যাডোপ ফোল্ডারে পাথ সি: \ ব্যবহারকারীদের ডেস্কটপ \ এ \ হাদুপ হতে পারে
পদক্ষেপ 3: একটি নতুন নোটপ্যাড পাঠ্য ফাইল তৈরি করুন। এই খালি নোটপ্যাড ফাইলটি winutils.exe হিসাবে সংরক্ষণ করুন (সংরক্ষণ করুন প্রকারের সাথে: সমস্ত ফাইল)। এই ও কেবি winutils.exe ফাইলটি স্পার্কে আপনার বিন ফোল্ডারে অনুলিপি করুন - সি: \ ব্যবহারকারীগণ ডেস্কটপ \ এ \ স্পার্ক \ বিন
পদক্ষেপ 4: এখন, আমাদের সিস্টেমের পরিবেশে এই ফোল্ডারগুলি যুক্ত করতে হবে।
4 এ: একটি সিস্টেম ভেরিয়েবল তৈরি করুন (ব্যবহারকারী ভেরিয়েবল হিসাবে সিস্টেম ভেরিয়েবলের সমস্ত বৈশিষ্ট্য উত্তরাধিকারী হবে না) চলক নাম: স্পার্কহোম পরিবর্তনশীল মান: সি: \ ব্যবহারকারী \ ডেস্কটপ \ এ \ স্পার্ক
পাথ সিস্টেমের পরিবর্তনশীল সন্ধান করুন এবং সম্পাদনা ক্লিক করুন। আপনি একাধিক পাথ দেখতে পাবেন। কোনও পথ মুছে ফেলবেন না। এই পরিবর্তনশীল মানটি যুক্ত করুন - সি: \ ব্যবহারকারী \ ডেস্কটপ \ এ \ স্পার্ক \ বিন
4 বি: একটি সিস্টেম ভেরিয়েবল তৈরি করুন
চলক নাম: HADOOP_Home পরিবর্তনশীল মান: সি: \ ব্যবহারকারী \ ডেস্কটপ \ এ \ হাদুপ
পাথ সিস্টেমের পরিবর্তনশীল সন্ধান করুন এবং সম্পাদনা ক্লিক করুন। এই পরিবর্তনশীল মানটি যুক্ত করুন - সি: \ ব্যবহারকারী \ ডেস্কটপ \ এ \ হাদুপ \ বিন
4 সি: একটি সিস্টেম ভেরিয়েবলের পরিবর্তনশীল নাম তৈরি করুন: জাভা_হোম উইন্ডোগুলিতে জাভা অনুসন্ধান করুন। ডান ক্লিক করুন এবং ওপেন ফাইল অবস্থান ক্লিক করুন। আপনাকে আবার জাভা ফাইলগুলির যে কোনও একটিতে ডান ক্লিক করতে হবে এবং খোলা ফাইলের লোকেশনটিতে ক্লিক করতে হবে। আপনি এই ফোল্ডারের পথটি ব্যবহার করবেন। অথবা আপনি সি: \ প্রোগ্রাম ফাইল \ জাভা সন্ধান করতে পারেন। সিস্টেমে ইনস্টল করা আমার জাভা সংস্করণটি jre1.8.0_131। পরিবর্তনীয় মান: সি: \ প্রোগ্রাম ফাইল \ জাভা \ jre1.8.0_131 \ বিন
পাথ সিস্টেমের পরিবর্তনশীল সন্ধান করুন এবং সম্পাদনা ক্লিক করুন। এই পরিবর্তনশীল মানটি যুক্ত করুন - সি: \ প্রোগ্রাম ফাইল \ জাভা \ jre1.8.0_131 \ বিন
পদক্ষেপ 5: কমান্ড প্রম্পটটি ওপেন করুন এবং আপনার স্পার্ক বিন ফোল্ডারে যান (সিডি সি টাইপ করুন: \ ব্যবহারকারীদের ডেস্কটপ \ এ \ স্পার্ক \ বিন)। স্পার্ক-শেল টাইপ করুন।
C:\Users\Desktop\A\spark\bin>spark-shell
এটি সময় নিতে পারে এবং কিছু সতর্কতা দিতে পারে। শেষ পর্যন্ত, এটি স্পার্ক সংস্করণ ২.২.০ এ স্বাগত জানাবে
পদক্ষেপ:: প্রস্থান টাইপ করুন () বা কমান্ড প্রম্পট পুনরায় চালু করুন এবং আবার স্পার্ক বিন ফোল্ডারে যান go পাইপপার্ক টাইপ করুন:
C:\Users\Desktop\A\spark\bin>pyspark
এটি কিছু সতর্কতা এবং ত্রুটি দেখায় কিন্তু উপেক্ষা করবে। এটা কাজ করে।
পদক্ষেপ 7: আপনার ডাউনলোড সম্পূর্ণ। আপনি যদি পাইথন শেল থেকে সরাসরি স্পার্ক চালাতে চান তবে: আপনার পাইথন ফোল্ডারে স্ক্রিপ্টে যান এবং টাইপ করুন
pip install findspark
কমান্ড প্রম্পটে।
অজগর শেল মধ্যে
import findspark
findspark.init()
প্রয়োজনীয় মডিউলগুলি আমদানি করুন
from pyspark import SparkContext
from pyspark import SparkConf
যদি আপনি ফাইন্ডস্পার্ক আমদানি এবং এটি আরম্ভ করার জন্য পদক্ষেপগুলি এড়িয়ে যেতে চান তবে দয়া করে পাইথন শেলটিতে পাইপার্ক আমদানিতে প্রদত্ত পদ্ধতিটি অনুসরণ করুন
যে কোনও পাইথন কনসোল থেকে চালানোর জন্য এখানে একটি সাধারণ ন্যূনতম স্ক্রিপ্ট। এটি ধরে নিয়েছে যে আপনি সি: \ অ্যাপাচি ext স্পার্ক-1.6.1 এ ডাউনলোড করেছেন ark
এটি উইন্ডোতে কোনও কিছু না তৈরি করে কাজ করে এবং এমন সমস্যার সমাধান করে যেখানে স্পার্ক পুনরাবৃত্ত পিকিংয়ের বিষয়ে অভিযোগ করবে।
import sys
import os
spark_home = 'C:\Apache\spark-1.6.1'
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python\lib\pyspark.zip'))
sys.path.insert(0, os.path.join(spark_home, 'python\lib\py4j-0.9-src.zip'))
# Start a spark context:
sc = pyspark.SparkContext()
#
lines = sc.textFile(os.path.join(spark_home, "README.md")
pythonLines = lines.filter(lambda line: "Python" in line)
pythonLines.first()
মাইক্রোসফ্ট উইন্ডোজে এইচডিএফএসের সাথে সূচনা করার জন্য ক্লৌডেরা এবং হর্টন ওয়ার্কস হ'ল সেরা সরঞ্জাম। আপনি আপনার এইচডিএফএস এবং স্পার্ক, এইচআইভি, এইচবি, পিগ, হ্যাডোপ সহ স্কালা, আর, জাভা, পাইথন সহ বিল্ড স্থাপনের জন্য ভার্চুয়াল মেশিন শুরু করতে ভিএমওয়্যার বা ভিবক্সও ব্যবহার করতে পারেন।