@ লুইস আলভারাডোর উত্তর থেকে প্রাপ্ত , উবুন্টু ১৪.০৪ এবং হ্যাডোপ ২.২.১ এর জন্য আমার সংস্করণটি এখানে
সংক্ষেপে
- জাভা ইনস্টল করুন
- একটি প্রস্তুত নির্বাহী ব্যবহারকারী Hadoop এর জন্য
hduser
hduserএখন থেকে স্যুইচ করুনhduserপাস-বাক্যাংশ-কম দিয়ে এসএসএসের মাধ্যমে রিমোটের অনুমতি দিন- আইপিভি 6 অক্ষম করুন
- হ্যাডোপ প্যাকেজটি ডাউনলোড এবং কনফিগার করুন
- সিস্টেমের পাথ প্রস্তুত করুন $ HADOOP_Home এবং $ জাভাহোম
- হাদুপের পরিষেবাগুলি কনফিগার করুন
- হাদুপের পরিষেবাগুলি শুরু করুন
সম্পন্ন. শুভকামনা!
বিশদ পদক্ষেপ
জাভা ইনস্টল করুন
ডাউনলোড এবং ইন্সটল
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update && sudo apt-get upgrade
$ sudo apt-get install oracle-java7-installer
নিশ্চিত হয়ে নিন যে আপনার কাছে জাভা 7 ইনস্টলড আছে
$ which java
$ ls -l /usr/bin/java
$ ls -l /etc/alternatives/java
আমরা থাকা উচিত javaবিন্দু/usr/lib/jvm/java-7-oracle/jre/bin/java
একটি প্রস্তুত নির্বাহী ব্যবহারকারী Hadoop এর জন্যhduser
hduserগ্রুপে ব্যবহারকারী তৈরি করুনhadoop
$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hduser
মঞ্জুর উবুন্টু বিশেষাধিকারhduser
Sudo সম্পাদনা করুন
$ sudo visudo
এই লাইনটি শেষে যুক্ত করুন
hduser ALL=(ALL:ALL) ALL
hduserএখন থেকে স্যুইচ করুন
$ su - hduser
hduserপাস-বাক্যাংশ-কম দিয়ে এসএসএসের মাধ্যমে রিমোটের অনুমতি দিন
ওপেনশ ইনস্টল করুন
$ sudo apt-get install openssh-server
এসএসএইচ সংযোগের জন্য আরএসএ পাবলিক / প্রাইভেট কী তৈরি করুন; পাসফ্রেজ হিসাবে খালিparameter -P ""
$ ssh-keygen -t rsa -P ""
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
নিশ্চিত হয়ে নিন যে hduserকোনও পাসওয়ার্ড ছাড়াই স্থানীয়ভাবে দূরবর্তীটিতে এসএসএস করতে পারে
$ ssh localhost
আইপিভি 6 অক্ষম করুন
কনফিগারেশন ফাইলটি সম্পাদনা করুন
$ sudo nano /etc/sysctl.conf
শেষ পর্যন্ত অনুলিপি করুন
#disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
নিশ্চিত হয়ে নিন যে আইপিভি 6 রিবুট বা কল দ্বারা বন্ধ রয়েছে
$ sudo sysctl -p
তারপরে ফোন করুন
$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6
এটি 1 বলতে হবে যার অর্থ ঠিক আছে ^^
হ্যাডোপ প্যাকেজটি ডাউনলোড এবং কনফিগার করুন
অ্যাপাচি হ্যাডোপ সাইট থেকে হ্যাডোপ 2.5.1 প্যাকেজ ডাউনলোড করুন
এই প্যাকেজের সরাসরি ইউআরএল এই লিঙ্ক
http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz
সুতরাং আসুন এর hduserহোম ফোল্ডারে ডাউনলোড করুন , এটিকে এক্সট্রাক্ট করুন এবং এর নতুন নাম দিনhadoop
$ wget http://www.eu.apache.org/dist/hadoop/core/hadoop-2.5.1/hadoop-2.5.1.tar.gz
$ tar -xvzf hadoop-2.5.1.tar.gz
$ mv hadoop-2.5.1 hadoop
আমাদের hduserবাড়িতে হ্যাডোপ রয়েছে তা নিশ্চিত করুন
$ ls /home/hduser/hadoop
সিস্টেমের পাথ প্রস্তুত করুন $ HADOOP_Home এবং $ জাভাহোম
hduserএর .bashrc ফাইলটি সম্পাদনা করুন
$ nano .bashrc
জন্য শেষ মান রাখুন $HADOOP_HOMEএবং$JAVA_HOME
# Set Hadoop-related environment variables
export HADOOP_HOME=/home/hduser/hadoop
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
binaryসিস্টেমে হডুপ ফোল্ডার যুক্ত করুন$PATH
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
একটি নতুন টার্মিনাল খুলুন, হিসাবে লগ ইন করুন এবং hduserউপলভ্য কমান্ড সহ আপনার $ HADOOP_Home আছে তা নিশ্চিত করুন
$ echo $HADOOP_HOME
$ which start-all.sh
$ which start-dfs.sh
$ which start-yarn.sh
আমাদের এই নামের পুরো পথটি দেখতে হবে।
হাদুপের পরিষেবাগুলি কনফিগার করুন
হাদুপের প্রতিটি উপাদান একটি এক্সএমএল ফাইল ব্যবহার করে কনফিগার করা হয়েছে।
সাধারণ বৈশিষ্ট্যগুলি কোর-সাইট.xML এ যায়
এইচডিএফএসের বৈশিষ্ট্যগুলি hdfs-site.xML এ যায়
মানচিত্রের বৈশিষ্ট্যগুলি ম্যাপ্রেড -সাইট.xml এ যায়
এই ফাইলগুলি সমস্ত ফোল্ডারে $ HADOOP_HOME / etc / hadoop এ রয়েছে
আবার hadoop-env.shলাইনটি সম্পাদনা করে JAVA_HOME এ সংজ্ঞা দিন
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
কোর-সাইট.xML এ হাদুপtemp folder এবং file systemনাম নির্ধারণ করুন
<configuration>
...
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
...
</configuration>
temp folderএটিকে কনফিগার করা হিসাবে আমাদের প্রস্তুত করতে হবে/home/hduser/tmp
$ cd /home/hduser
$ mkdir tmp
$ chown hduser:hadoop tmp
$ chmod 755 tmp
নির্ধারণ করুন file system's block replicationমধ্যে hdfs-site.xml
<configuration>
...
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
...
</configuration>
নির্ধারণ map-reduce jobমধ্যে mapred-site.xml
<configuration>
...
<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
...
</configuration>
বিন্যাস name node
$ hdfs namenode -format
হ্যাডোপ পরিষেবা শুরু করুন
কল
$ start-dfs.sh && start-yarn.sh
এই দুটি কমান্ড $ HADOOP_HOME / sbin এ রয়েছে যা আমরা এর আগে সিস্টেম $ PATH এ যুক্ত করেছি।
নিশ্চিত করুন যে হ্যাডোপ পরিষেবাগুলি সঠিকভাবে শুরু হয়েছে
$ jps
আমাদের দেখা উচিত
