Hadoop由GNU/Linux平臺(tái)支持(建議)。因此，需要安裝一個(gè)Linux操作系統(tǒng)并設(shè)置Hadoop環(huán)境。如果有Linux操作系統(tǒng)等，可以把它安裝在VirtualBox(要具備在 VirtualBox內(nèi)安裝Linux經(jīng)驗(yàn)，沒(méi)有裝過(guò)也可以學(xué)習(xí)試著來(lái))。
在安裝Hadoop之前，需要進(jìn)入Linux環(huán)境下，連接Linux使用SSH(安全Shell)。按照下面提供的步驟設(shè)立Linux環(huán)境。
在開(kāi)始時(shí)，建議創(chuàng)建一個(gè)單獨(dú)的用戶Hadoop以從Unix文件系統(tǒng)隔離Hadoop文件系統(tǒng)。按照下面給出的步驟來(lái)創(chuàng)建用戶：
打開(kāi)Linux終端，輸入以下命令來(lái)創(chuàng)建一個(gè)用戶。
$ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd
SSH設(shè)置需要在集群上做不同的操作，如啟動(dòng)，停止，分布式守護(hù)shell操作。認(rèn)證不同的Hadoop用戶，需要一種用于Hadoop用戶提供的公鑰/私鑰對(duì)，并用不同的用戶共享。
下面的命令用于生成使用SSH鍵值對(duì)。復(fù)制公鑰形成 id_rsa.pub 到authorized_keys 文件中，并提供擁有者具有authorized_keys文件的讀寫(xiě)權(quán)限。
$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
Java是Hadoop的主要先決條件。首先，應(yīng)該使用命令“java-version”驗(yàn)證 java 存在在系統(tǒng)中。 Java version 命令的語(yǔ)法如下。
$ java -version
如果一切順利，它會(huì)給下面的輸出。
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還未安裝在系統(tǒng)中，那么按照下面的給出的步驟來(lái)安裝Java。
下載Java(JDK<最新版> - X64.tar.gz)通過(guò)訪問(wèn)以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260.html.
然后JDK-7u71-linux-x64.tar.gz將被下載到系統(tǒng)。
一般來(lái)說(shuō)，在下載文件夾中的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz文件。
$ cd Downloads/ $ ls jdk-7u71-linux-x64.gz $ tar zxf jdk-7u71-linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-linux-x64.gz
為了使Java提供給所有用戶，將它移動(dòng)到目錄 “/usr/local/”。打開(kāi)根目錄，鍵入以下命令。
$ su password: # mv jdk1.7.0_71 /usr/local/ # exit
用于設(shè)置PATH和JAVA_HOME變量，添加以下命令到~/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH=PATH:$JAVA_HOME/bin
現(xiàn)在從終端驗(yàn)證 java -version 命令如上述說(shuō)明。
下載來(lái)自Apache基金會(huì)軟件，使用下面的命令提取 Hadoop2.4.1。
$ su password: # cd /usr/local # wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/ hadoop-2.4.1.tar.gz # tar xzf hadoop-2.4.1.tar.gz # mv hadoop-2.4.1/* to hadoop/ # exit
下載 Hadoop 以后，可以操作Hadoop集群以以下三個(gè)支持模式之一：
本地/獨(dú)立模式：下載Hadoop在系統(tǒng)中，默認(rèn)情況下之后，它會(huì)被配置在一個(gè)獨(dú)立的模式，用于運(yùn)行Java程序。
模擬分布式模式：這是在單臺(tái)機(jī)器的分布式模擬。Hadoop守護(hù)每個(gè)進(jìn)程，如 hdfs, yarn, MapReduce 等，都將作為一個(gè)獨(dú)立的java程序運(yùn)行。這種模式對(duì)開(kāi)發(fā)非常有用。
完全分布式模式：這種模式是完全分布式的最小兩臺(tái)或多臺(tái)計(jì)算機(jī)的集群。我們使用這種模式在未來(lái)的章節(jié)中。
在這里，將討論 Hadoop2.4.1在獨(dú)立模式下安裝。
有單個(gè)JVM運(yùn)行任何守護(hù)進(jìn)程一切都運(yùn)行。獨(dú)立模式適合于開(kāi)發(fā)期間運(yùn)行MapReduce程序，因?yàn)樗苋菀走M(jìn)行測(cè)試和調(diào)試。
可以通過(guò)附加下面的命令到 ~/.bashrc 文件中設(shè)置 Hadoop 環(huán)境變量。
export HADOOP_HOME=/usr/local/hadoop
在進(jìn)一步討論之前，需要確保Hadoop工作正常。發(fā)出以下命令：
$ hadoop version
如果設(shè)置的一切正常，那么應(yīng)該看到以下結(jié)果：
Hadoop 2.4.1 Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768 Compiled by hortonmu on 2013-10-07T06:28Z Compiled with protoc 2.5.0 From source with checksum 79e53ce7994d1628b240f09af91e1af4
這意味著Hadoop在獨(dú)立模式下工作正常。默認(rèn)情況下，Hadoop被配置為在非分布式模式的單個(gè)機(jī)器上運(yùn)行。
讓我們來(lái)看看Hadoop的一個(gè)簡(jiǎn)單例子。 Hadoop安裝提供了下列示例 MapReduce jar 文件，它提供了MapReduce的基本功能，并且可以用于計(jì)算，像PI值，字計(jì)數(shù)在文件等等
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar
有一個(gè)輸入目錄將推送幾個(gè)文件，要求計(jì)算那些文件的單詞總數(shù)。要計(jì)算單詞總數(shù)，并不需要寫(xiě)MapReduce，提供的.jar文件包含了實(shí)現(xiàn)字?jǐn)?shù)。可以嘗試其他的例子使用相同的.jar文件; 發(fā)出以下命令通過(guò)Hadoop hadoop-mapreduce-examples-2.2.0.jar 文件檢查支持MapReduce功能的程序。
$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar
創(chuàng)建輸入臨時(shí)目錄的內(nèi)容文件?？梢栽谌魏蔚胤絼?chuàng)建此輸入目錄用來(lái)工作。
$ mkdir input $ cp $HADOOP_HOME/*.txt input $ ls -l input
它會(huì)在輸入目錄中的給出以下文件：
total 24 -rw-r--r-- 1 root root 15164 Feb 21 10:14 LICENSE.txt -rw-r--r-- 1 root root 101 Feb 21 10:14 NOTICE.txt -rw-r--r-- 1 root root 1366 Feb 21 10:14 README.txt
這些文件已從Hadoop安裝主目錄被復(fù)制。為了實(shí)驗(yàn)，可以有不同大型的文件集。
讓我們啟動(dòng)Hadoop進(jìn)程計(jì)數(shù)在所有在輸入目錄中可用的文件的單詞總數(shù)，具體如下：
$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar wordcount input ouput
步驟2 將做必要的處理并保存輸出在output/part-r00000文件中，可以通過(guò)查詢使用：
$cat output/*
它會(huì)列出了所有的單詞以及它們?cè)谒休斎肽夸浿械奈募峁┛傆?jì)數(shù)。
"AS 4 "Contribution" 1 "Contributor" 1 "Derivative 1 "Legal 1 "License" 1 "License"); 1 "Licensor" 1 "NOTICE” 1 "Not 1 "Object" 1 "Source” 1 "Work” 1 "You" 1 "Your") 1 "[]" 1 "control" 1 "printed 1 "submitted" 1 (50%) 1 (BIS), 1 (C) 1 (Don't) 1 (ECCN) 1 (INCLUDING 2 (INCLUDING, 2 .............
按照下面給出的在偽分布式模式下安裝Hadoop2.4.1的步驟。
可以通過(guò)附加下面的命令到~/.bashrc文件中設(shè)置Hadoop環(huán)境變量。
export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
現(xiàn)在，提交所有更改到當(dāng)前正在運(yùn)行的系統(tǒng)。
$ source ~/.bashrc
可以找到位置“$HADOOP_HOME/etc/hadoop”下找到所有Hadoop配置文件。這是需要根據(jù)Hadoop基礎(chǔ)架構(gòu)進(jìn)行更改這些配置文件。
$ cd $HADOOP_HOME/etc/hadoop
為了使用Java開(kāi)發(fā)Hadoop程序，必須用java在系統(tǒng)中的位置替換JAVA_HOME值并重新設(shè)置hadoop-env.sh文件的java環(huán)境變量。
export JAVA_HOME=/usr/local/jdk1.7.0_71
以下是必須編輯配置Hadoop的文件列表。
core-site.xml
core-site.xml文件中包含如讀/寫(xiě)緩沖器用于Hadoop的實(shí)例的端口號(hào)的信息，分配給文件系統(tǒng)存儲(chǔ)，用于存儲(chǔ)所述數(shù)據(jù)存儲(chǔ)器的限制和大小。
打開(kāi)core-site.xml 并在<configuration>，</configuration>標(biāo)記之間添加以下屬性。
<configuration>
<property>
<name>fs.default.name </name>
<value> hdfs://localhost:9000 </value>
</property>
</configuration>
hdfs-site.xml
hdfs-site.xml 文件中包含如復(fù)制數(shù)據(jù)的值，NameNode路徑的信息，，本地文件系統(tǒng)的數(shù)據(jù)節(jié)點(diǎn)的路徑。這意味著是存儲(chǔ)Hadoop基礎(chǔ)工具的地方。
讓我們假設(shè)以下數(shù)據(jù)。
dfs.replication (data replication value) = 1 (In the below given path /hadoop/ is the user name. hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) namenode path = //home/hadoop/hadoopinfra/hdfs/namenode (hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
打開(kāi)這個(gè)文件，并在這個(gè)文件中的<configuration></configuration>標(biāo)簽之間添加以下屬性。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
</property>
</configuration>
注：在上面的文件，所有的屬性值是用戶定義的，可以根據(jù)自己的Hadoop基礎(chǔ)架構(gòu)進(jìn)行更改。
yarn-site.xml
此文件用于配置成yarn在Hadoop中。打開(kāi) yarn-site.xml文件，并在文件中的<configuration></configuration>標(biāo)簽之間添加以下屬性。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
此文件用于指定正在使用MapReduce框架。缺省情況下，包含Hadoop的模板yarn-site.xml。首先，它需要從mapred-site.xml復(fù)制。獲得mapred-site.xml模板文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
打開(kāi)mapred-site.xml文件，并在此文件中的<configuration></configuration>標(biāo)簽之間添加以下屬性。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
下面的步驟用來(lái)驗(yàn)證Hadoop安裝。
使用命令“hdfs namenode -format”如下設(shè)置名稱節(jié)點(diǎn)。
$ cd ~ $ hdfs namenode -format
預(yù)期的結(jié)果如下
10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = localhost/192.168.1.11 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.4.1 ... ... 10/24/14 21:30:56 INFO common.Storage: Storage directory /home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 ************************************************************/
下面的命令用來(lái)啟動(dòng)DFS。執(zhí)行這個(gè)命令將啟動(dòng)Hadoop文件系統(tǒng)。
$ start-dfs.sh
期望的輸出如下所示：
10/24/14 21:37:56 Starting namenodes on [localhost] localhost: starting namenode, logging to /home/hadoop/hadoop 2.4.1/logs/hadoop-hadoop-namenode-localhost.out localhost: starting datanode, logging to /home/hadoop/hadoop 2.4.1/logs/hadoop-hadoop-datanode-localhost.out Starting secondary namenodes [0.0.0.0]
下面的命令用來(lái)啟動(dòng)yarn腳本。執(zhí)行此命令將啟動(dòng)yarn守護(hù)進(jìn)程。
$ start-yarn.sh
預(yù)期輸出如下：
starting yarn daemons starting resourcemanager, logging to /home/hadoop/hadoop 2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out localhost: starting nodemanager, logging to /home/hadoop/hadoop 2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
訪問(wèn)Hadoop默認(rèn)端口號(hào)為50070，使用以下網(wǎng)址獲得瀏覽器Hadoop的服務(wù)。
http://localhost:50070/
訪問(wèn)集群中的所有應(yīng)用程序的默認(rèn)端口號(hào)為8088。使用以下URL訪問(wèn)該服務(wù)。
http://localhost:8088/
掃碼關(guān)注鍍金池微信號(hào)
手機(jī)訂課，優(yōu)惠多多