在线观看不卡亚洲电影_亚洲妓女99综合网_91青青青亚洲娱乐在线观看_日韩无码高清综合久久

鍍金池/ 教程/ 大數(shù)據(jù)/ Hive安裝
Hive創(chuàng)建數(shù)據(jù)庫
Hive內(nèi)置函數(shù)
Hive刪除數(shù)據(jù)庫
Hive視圖和索引
Hive內(nèi)置運算符
Hive刪除表
HiveQL Select Order By
HiveQL Select Group By
Hive修改表
HiveQL Select Join
HiveQL Select Where
Hive分區(qū)
Hive教程
Hive數(shù)據(jù)類型
Hive安裝
Hive創(chuàng)建表

Hive安裝

所有Hadoop的子項目,如Hive, Pig,和HBase 支持Linux的操作系統(tǒng)。因此,需要安裝Linux OS。以下是為Hive的安裝執(zhí)行的簡單步驟:

第1步:驗證JAVA安裝

在Hive安裝之前,Java必須在系統(tǒng)上已經(jīng)安裝。使用下面的命令來驗證是否已經(jīng)安裝Java:

$ java version

如果Java已經(jīng)安裝在系統(tǒng)上,就可以看到如下回應(yīng):

java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果Java尚未安裝在系統(tǒng)中,那按照下面給出安裝Java的步驟。

安裝 Java

第(1)步:

下載Java(JDK<最新版> - X64.tar.gz)通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

那么JDK-7u71-linux-x64.tar.gz將被下載到系統(tǒng)中。

第(2)步:

一般來說,下載文件夾中下載的java文件。使用下面的命令提取jdk-7u71-linux-x64.gz文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

第(3)步:

為了使Java提供給所有用戶,將它移動到/usr/local/。打開root用戶,鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第(4)步:

設(shè)置PATH和JAVA_HOME變量,添加以下命令到?/.bashrc文件。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

現(xiàn)在使用java-version命令從終端驗證如上所述的安裝。

第2步:驗證Hadoop的安裝

Hadoop必須在安裝Hive之前安裝。使用下面的命令來驗證Hadoop的安裝:

$ hadoop version

如果Hadoop已經(jīng)安裝在系統(tǒng)上,那么會得到以下回應(yīng):

Hadoop 2.4.1 Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768 
Compiled by hortonmu on 2013-10-07T06:28Z 
Compiled with protoc 2.5.0 
From source with checksum 79e53ce7994d1628b240f09af91e1af4

如果在系統(tǒng)上還未安裝Hadoop,然后繼續(xù)進行下面的安裝步驟:

下載Hadoop

從Apache軟件基金會下載并使用下面的命令提取Hadoop2.4.1。

$ su
password:
# cd /usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit

在偽分布式模式安裝Hadoop

下列步驟用于在偽分布式模式下安裝Hadoop2.4.1。

步驟I:設(shè)置Hadoop

可以通過附加下面的命令來設(shè)置Hadoop環(huán)境變量在?/ .bashrc文件中。

export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

現(xiàn)在,應(yīng)用所有更改到當(dāng)前正在運行的系統(tǒng)。

$ source ~/.bashrc

步驟II:Hadoop配置

可以找到位置“$HADOOP_HOME/etc/hadoop”所有Hadoop配置文件。需要根據(jù)Hadoop基礎(chǔ)架構(gòu)作出適當(dāng)?shù)男薷倪@些配置文件。

$ cd $HADOOP_HOME/etc/hadoop

為了使用java開發(fā)Hadoop的項目,必須用java在系統(tǒng)的位置替換JAVA_HOME值重置hadoop-env.sh文件中的java環(huán)境變量。

export JAVA_HOME=/usr/local/jdk1.7.0_71

下面給出的是編輯配置Hadoop的文件列表。

core-site.xml

core-site.xml文件中包含的信息,如使用Hadoop實例分配給文件系統(tǒng)的存儲器,用于存儲數(shù)據(jù)的內(nèi)存限制的端口號,以及讀/寫緩沖器的大小。

打開core-site.xml文件并在<configuration>,</configuration>標簽之間添加以下屬性。

<configuration>

   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://localhost:9000</value> 
   </property>
   
</configuration>

hdfs-site.xml

hdfs-site.xml 文件中包含的信息,如復(fù)制數(shù)據(jù)的值,名稱節(jié)點的路徑,本地文件系統(tǒng)的數(shù)據(jù)節(jié)點的路徑。

我們假定有以下數(shù)據(jù)。

dfs.replication (data replication value) = 1

(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打開這個文件,并在此文件中的<configuration></configuration>標簽之間添加以下屬性。

<configuration>

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
   上一篇:Hive分區(qū)下一篇:HiveQL Select Join