【文章內(nèi)容簡介】 igure [root@master ] make amp。amp。 make check amp。amp。 make install[root@master ] protoc versionlibprotoc 4) apache ant安裝：[root@master ~] wget [root@master ~] mkdir /usr/ant[root@master ~] tar zxvf C /usr/ant/[root@master ~] vim /etc/profileexport ANT_HOME=/usr/ant/export PATH=/usr/ant/:$PATH5) 安裝Findbuge：[root@master ~] wget [root@master ~] mkdir /usr/findbugs[root@master ~] tar zxvf C /usr/findbugs/[root@master ~] vim /etc/profileexport FINDBUGS_HOME=/usr/findbugs/[root@master ~] source /etc/profile6) 下載hadoop源碼包：[root@master ~] wget 7) Hadoop Bug報(bào)告地址：8) 打補(bǔ)丁：1．補(bǔ)丁10110：[root@master ] yum install patch[root@master ] wget [root@master ] patch p0 patching file hadoopmonproject/hadoopauth/Hunk 1 succeeded at 55 (offset 1 line).1．補(bǔ)丁10092：[root@master ] wget [root@master ] patch p0 patching file 9) 所有模塊編譯完成：[root@master ] mvn package Pdist,native,docs DskipTests Dtar省略部分內(nèi)容，所有模塊編譯出現(xiàn)成功字樣，并最終出現(xiàn)BUID SUCCESS字樣 [INFO] BUILD SUCCESS[INFO] [INFO] Total time: 36:[INFO] Finished at: Wed Mar 05 20:52:15 EST 2014[INFO] Final Memory: 86M/239M[INFO] 10) 把生成的包拷貝到家目錄：[root@master ] cp hadoopdist/target/ ~11) 其余步驟參考安裝32位的Hadoop Hadoop優(yōu)化1) 優(yōu)化打開線程數(shù)防止下面類型的錯(cuò)誤：DataXceiver error processing WRITE_BLOCK operation src: /:50373 dest: /:50010$ vim propertyname/namevalue8192/valuedescription Specifies the maximum number of threads to use for transferring data in and out of the DN. /description/property1) 優(yōu)化系統(tǒng)打開文件數(shù)： vim /etc/security/domaintypeitemvalue* nofile 1000000* noproc 1000000 vim /etc/security/* soft nproc 1024root soft nproc unlimited1) 關(guān)閉不必要的服務(wù)： service postfix stopShutting down postfix: [ OK ] chkconfig postfix off service crond stopStopping crond: [ OK ] chkconfig crond off service atd stopStopping atd: [ OK ] chkconfig atd off Hive安裝與配置 Hive安裝添加系統(tǒng)變量[root@master ~] vim /etc/profileHIVE環(huán)境變量HIVE_HOME=/home/hduser/export PATH=$HIVE_HOME/bin:$PATHhadoop環(huán)境變量HADOOP_HOME=/home/hduser/export PATH=$HADOOP_HOME:$PATH[hduser@master conf]$ cd [hduser@master conf]$ cp [hduser@master conf]$ vim HADOOP_HOME=/home/hduser/ 使用MySQL存儲(chǔ)MetastoreMetastore是Hive元數(shù)據(jù)的集中存放地。Metastore包括兩部分：服務(wù)和后臺(tái)數(shù)據(jù)的存儲(chǔ)。默認(rèn)情況下，Metastore服務(wù)和Hive服務(wù)運(yùn)行在同一個(gè)JVM中，它包含一個(gè)內(nèi)嵌的以本地磁盤作為存儲(chǔ)的Derby數(shù)據(jù)庫實(shí)例。這種內(nèi)嵌Derby數(shù)據(jù)庫方式一次只能為每個(gè)Metastore打開一個(gè)Hive會(huì)話。如果要支持多會(huì)話，需要使用獨(dú)立的數(shù)據(jù)庫來存儲(chǔ)Metastore。1) 安裝Mysql服務(wù)器端與客戶端：[root@master ~] yum install mysql mysqlserver2) 設(shè)置環(huán)境變量：[hduser@master ~]$ vim /etc/profileCLASSPATH=$CLASSPATH:$HIVE_HOME/lib3) 啟動(dòng)Mysql Server：[root@master ~] service mysqld startStarting mysqld: [ OK ]4) 為Mysql Server配置密碼：[root@master ~] /usr/bin/mysqladmin u root password 39。dayootech39。5) 登錄Mysql Server建立hive表并授權(quán)root登錄：[root@master ~] mysql uroot –pdayootechmysql create database hive。mysql grant all privileges on *.* to root@localhost identified by dayootech。6) 下載mysql 連接文件并移動(dòng)到相應(yīng)位置：[hduser@master ~]$ mv 7) 配置hive 使用mysql存放Metastore[hduser@master conf]$ cp [root@master ~] vim ?xml version=??xmlstylesheet type=text/xsl href=?configurationpropertyname/namevaluetrue/value/propertypropertyname/namevaluejdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true/value/propertypropertyname/namevalue/value/propertypropertyname/namevalueroot/value/propertypropertyname/namevaluemysql/value/property/configuration8) 測(cè)試連通性：生成Metasploithive show tables。OKTime taken: seconds放入mysql后，速度加快了hive show tables。OKTime taken: seconds Hive的使用1) 進(jìn)入hive命令行界面：[hduser@master conf]$ hive2) 創(chuàng)建表：hive create table tablename ( id INT, name STRING, sex BOOLEAN,)3) 創(chuàng)建有分區(qū)的表： 一個(gè)表可以擁有一個(gè)或者多個(gè)分區(qū)，每個(gè)分區(qū)以文件夾的形式單獨(dú)存在表文件夾的目錄下。hivecreate table tablename ( id INT, name STRING, sex BOOLEAN,)partitioned by (date string)4) 復(fù)制表結(jié)構(gòu)：hivecreate table empty_table_name like table_name。5) 刪除表：hivedrop tabletable_name。hivedrop tableif exists table_name。6) 截?cái)啾恚? 從表或者表分區(qū)刪除所有行，不指定分區(qū)，將截?cái)啾碇械乃蟹謪^(qū)，也可以一次指定多個(gè)分區(qū)，截?cái)喽鄠€(gè)分區(qū)。hive truncate table table_name。hive truncate table table_name partition (dt=39。2014040439。)。 Hbase安裝與配置 Hbase安裝1) 下載Hbase并解壓到相應(yīng)的目錄：[hduser@master ~]$ wget [hduser@master ~]$ tar zxvf [hduser@master ~]$ cd 2) 為Hbase配置Java的路徑和使用Hbase自帶的zookeeper [hduser@master ]$ vim conf/ export JAVA_HOME=/usr/java/export HBASE_MANAGES_ZK=true 設(shè)置使用Hbase自帶的zookeeper3) 修改Hbase配置文件：[hduser@master ]$ vim conf/ configurationpropertyname/namevaluehdfs://:9000/hbase/value/propertypropertyname/namevaluetrue/value/propertypropertyname/namevalue/value/propertypropertyname/namevalue, /value/property/configuration4) 配置Regionservers：[hduser@master ]$ vim conf/regionservers 5) 配置Hbase環(huán)境變量：[hduser@master ]$ sudo vim /etc/profileexport HBASE_HOME=/home/hduser/export PATH=$HBASE_HOME/bin:$PATH6) 復(fù)制配置文件到所有集群主機(jī)上：[hduser@master ~]$ scp r /home/hduser/ hduser@:~/[hduser@master ~]$ scp r /home/hduser/ hduser@:~/[hduser@master ~]$ scp r /home/hduser/ hduser@:~/ Hbase的使用1) 啟動(dòng)Hbase：[hduser@master ~]$ ./2) 進(jìn)入Hbase的Shell命令行界面：[hduser@master ~]$ hbase shell20140402 09:19:18,057 INFO [main] : is deprecated. Instead, use HBase Shell。 enter 39。helpRETURN39。 for list of supported mands.Type exitRETURN to leave the HBase ShellVersion , rUnknown, Tue Dec 17 12:22: