本章介紹了在分布式環(huán)境中Hadoop多節(jié)點(diǎn)集群的設(shè)置。

由于整個(gè)集群不能表現(xiàn)出來，這里作為示例，我們使用三個(gè)系統(tǒng)(一個(gè)主機(jī)和兩個(gè)從機(jī))的Hadoop集群環(huán)境;下面給出的是其IP地址。

• Hadoop 主機(jī): 192.168.1.15 (hadoop-master)
• Hadoop 從機(jī): 192.168.1.16 (hadoop-slave-1)
• Hadoop 從機(jī): 192.168.1.17 (hadoop-slave-2)

按照下面給出Hadoop的多節(jié)點(diǎn)集群設(shè)置的步驟。

安裝Java

Java是Hadoop的主要先決條件。首先，應(yīng)該使用 “java -version”在系統(tǒng)上檢查 java 是否已經(jīng)安裝。Java version 命令的語法如下。

$ java -version

如果一切正常，它會給出下面的輸出。

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果Java尚未安裝系統(tǒng)中，那么可以按照下面給定的步驟來安裝Java。

第1步

下載Java（JDK - X64.tar.gz）通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

那么jdk-7u71-linux-x64.tar.gz下載到系統(tǒng)。

第2步

一般來說，在下載文件夾中找到下載的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz 文件。

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

第3步

為了使Java能提供給所有用戶，必須將它移動(dòng)到 “/usr/local/” 的位置。使用root用戶打開然后鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

有關(guān)設(shè)置 PATH 和 JAVA_HOME 變量，添加以下命令到 ~/.bashrc 文件。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

現(xiàn)在使用java -version命令從終端驗(yàn)證上述說明。按照上面的過程，并在所有群集節(jié)點(diǎn)安裝java。

創(chuàng)建用戶帳戶

在主機(jī)和從機(jī)系統(tǒng)上創(chuàng)建一個(gè)系統(tǒng)用戶帳戶來安裝Hadoop。

# useradd hadoop 
# passwd hadoop

映射節(jié)點(diǎn)

編輯hosts文件在所有節(jié)點(diǎn)的/etc/目錄，指定每個(gè)系統(tǒng)后面的主機(jī)名和IP地址。

# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基于密鑰登錄

在每一個(gè)節(jié)點(diǎn)，設(shè)置的ssh使得它們可在沒有任何提示密碼彼此通信。

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub yiibai@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安裝Hadoop

在主服務(wù)器上，下載并使用以下命令安裝Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置Hadoop

必須做以下修改，如下所示配置Hadoop的服務(wù)器。

core-site.xml

打開 core-site.xml文件并對其進(jìn)行編輯，如下圖所示。

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

hdfs-site.xml

打開hdfs-site.xml文件并對其進(jìn)行編輯，如下圖所示。

<configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

mapred-site.xml

打開mapred-site.xml文件并對其進(jìn)行編輯，如下圖所示。

<configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

hadoop-env.sh

打開hadoop-env.sh文件并編輯JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下圖所示。

注意：根據(jù)系統(tǒng)配置設(shè)置JAVA_HOME 。

export JAVA_HOME=/opt/jdk1.7.0_17 export上一篇：Hadoop大數(shù)據(jù)解決方案下一篇：Hadoop HDFS