【正文】 anging password for user hduser. New password: Retype new password: passwd: all authentication tokens updated successfully. [roothadoop002 ~] useradd hduser [roothadoop002 ~] passwd hduser Changing password for user hduser. New password: Retype new password: passwd: all authentication tokens updated successfully. 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 17 14) 上傳 Hadoop 和 JDK 文件到集群主機(jī)，如圖 所示： 圖 使用 xftp 上傳界面 SSH 免密碼登錄 1) 產(chǎn)生 rsa 密鑰： 2) Slave 主機(jī)也與 Master 類似產(chǎn)生 rsa 密鑰。/39。 [hdusermaster ]$ ./bin/hdfs dfs ls / Found 1 items drwxrxrx hduser supergroup 0 20xx0113 08:27 /input [hdusermaster ]$ ./bin/hdfs dfs mkdir /input [rootmaster ~] yum y install d [rootmaster ~] service d start 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 29 1) 安裝依賴包： 2) 安裝 maven： 3) 安裝 Protobuf： 下載地址： [rootmaster ~] wget [rootmaster ~] tar zxvf [rootmaster ~] cd [rootmaster ] ./configure [rootmaster ] make amp。 make check amp。 make install [rootmaster ] protoc version libprotoc [rootmaster ~] wget [rootmaster ~] tar zxvf C /usr/local/ [rootmaster ~] vim /etc/profile export PATH=/usr/local/:$PATH [rootmaster ~] yum install autoconf automake libtool cmake ncursesdevel openssldevel gcc* 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 30 4) apache ant 安裝： 5) 安裝 Findbuge： 6) 下載 hadoop 源碼包： 7) Hadoop Bug 報(bào)告地址： [rootmaster ~] wget [rootmaster ~] wget [rootmaster ~] mkdir /usr/findbugs [rootmaster ~] tar zxvf C /usr/findbugs/ [rootmaster ~] vim /etc/profile export FINDBUGS_HOME=/usr/findbugs/ [rootmaster ~] source /etc/profile [rootmaster ~] wget . [rootmaster ~] mkdir /usr/ant [rootmaster ~] tar zxvf C /usr/ant/ [rootmaster ~] vim /etc/profile export ANT_HOME=/usr/ant/export PATH=/usr/ant/:$PATH 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 31 8) 打補(bǔ)?。? 9) 所有模塊編譯完成： [rootmaster ] mvn package Pdist,native,docs DskipTests Dtar 省略部分內(nèi)容，所有模塊編譯出現(xiàn)成功字樣，并最終出現(xiàn) BUID SUCCESS 字樣 [INFO] BUILD SUCCESS [INFO] [INFO] Total time: 36: [INFO] Finished at: Wed Mar 05 20:52:15 EST 20xx [INFO] Final Memory: 86M/239M [INFO] 1．補(bǔ)丁 10110： [rootmaster ] yum install patch [rootmaster ] wget [rootmaster ] patch p0 patching file hadoopmonproject/hadoopauth/ Hunk 1 succeeded at 55 (offset 1 line). 1．補(bǔ)丁 10092： [rootmaster ] wget [rootmaster ] patch p0 patching file 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 32 10) 把生成的包拷貝到家目錄： 11) 其余步驟參考安裝 32 位的 Hadoop Hadoop 優(yōu)化 1) 優(yōu)化打開線程數(shù)防止下面類型的錯(cuò)誤： DataXceiver error processing WRITE_BLOCK operation src: /:50373 dest: /:50010 1) 優(yōu)化系統(tǒng)打開文件數(shù)： vim /etc/security/ domain type item value * nofile 1000000 * noproc 1000000 vim /etc/security/* soft nproc 1024 root soft nproc unlimited 在 文件在定義傳輸數(shù)據(jù)線程數(shù) $ vim property name/name value8192/value description Specifies the maximum number of threads to use for transferring data in and out of the DN. /description /property [rootmaster ] cp hadoopdist/target/ ~ 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 33 1) 關(guān)閉不必要的服務(wù)： Hive 安裝與配置 Hive 安裝 使用 MySQL 存儲(chǔ) Metastore Metastore 是 Hive 元 數(shù)據(jù)的集中存放地。默認(rèn)情況下， Metastore 服務(wù)和 Hive 服務(wù)運(yùn)行在同一個(gè) JVM 中，它包含一個(gè)內(nèi)嵌的以本地磁盤作為存儲(chǔ)的 Derby 數(shù)據(jù)庫實(shí)例。如果要支持多會(huì)話，需要使用獨(dú)立的數(shù)據(jù)庫來存儲(chǔ) Metastore。 mysql grant all privileges on *.* to rootlocalhost identified by dayootech。dayootech39。 hive create table tablename ( id INT, name STRING, sex BOOLEAN, ) [hdusermaster conf]$ hive 生成 Metasploit hive show tables。 OK Time taken: seconds 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 37 4) 復(fù)制表結(jié)構(gòu)： 5) 刪除表： 6) 截?cái)啾恚? 從表或者表分區(qū)刪除所有行，不指定分區(qū)，將截?cái)啾碇械乃蟹謪^(qū)，也可以一次指定多個(gè)分區(qū)，截?cái)喽鄠€(gè)分區(qū)。 hive truncate table table_name partition (dt=39。)。 hive drop table if exists table_name。 hive create table tablename ( id INT, name STRING, sex BOOLEAN, ) partitioned by (date string) 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 38 3) 修改 Hbase 配置文件： 4) 配置 Regionservers： [hdusermaster ]$ vim conf/ configuration property name/name value /property property name/name valuetrue/value /property property name/name value/value /property property name/name value, /value /property /configuration [hdusermaster ]$ vim conf/ export JAVA_HOME=/usr/java/export HBASE_MANAGES_ZK=true 設(shè)置使用 Hbase 自帶的 zookeeper 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 39 5) 配置 Hbase 環(huán)境變量： 6) 復(fù)制配置文件到所有集群主機(jī)上： Hbase 的使用 1) 啟動(dòng) Hbase： 2) 進(jìn)入 Hbase 的 Shell 命令行界面： [hdusermaster ~]$ hbase shell 20xx0402 09:19:18,057 INFO [main] : is deprecated. Instead, use HBase Shell。helpRETURN39。其中表名、列都要用單引號(hào)括起來 ,并以逗號(hào)隔開。test39。cf139。格式 : put 表名 ,行名 ,列名([列族 :列名 ]),值，例如：加入一行數(shù)據(jù) ,行名稱為“ row1” ,列族“ cf”的列名為” (空字符串 )” ,值位 value1。test39。test39。cf39。NONE39。ROW39。0 true 39。139。NONE39。039。214748364739。false39。6553639。false39。true39。test39。row139。cf:a39。value139。test39。ro