【正文】 1 ~] ping c 1 [rootmaster ~] ping c 1 [rootmaster ~] ping c 1 [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [rootmaster ~] vim /etc/hosts 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 16 11) 分別添加集群用戶： 12) JDK 下載地址。 [rootmaster ~] /usr/bin/mysqladmin u root password 39。 for list of supported mands. Type exitRETURN to leave the HBase Shell Version , rUnknown, Tue Dec 17 12:22:12 PST 20xx [hdusermaster ~]$ ./[hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ]$ sudo vim /etc/profile export HBASE_HOME=/home/hduser/ export PATH=$HBASE_HOME/bin:$PATH [hdusermaster ]$ vim conf/regionservers 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 40 3) 查看 Hbase 的狀態(tài)：（目前有 3 臺服務(wù)） 4) 查看 hbase 版本： 5) 新建 Hbase 的表： 創(chuàng)建一個名為 test 的表，這個表只有一個列為 cf。, BLOOMFILTER = 39。, IN_MEMORY = 39。,39。, BLOCKSIZE = 39。, DATA_BLOCK_ENCODING = 39。 enter 39。 1) 安裝 Mysql 服務(wù)器端與客戶端： 2) 設(shè)置環(huán)境變量： 3) 啟動 Mysql Server： 4) 為 Mysql Server 配置密碼： 5) 登錄 Mysql Server 建立 hive 表并授權(quán) root 登錄： 6) 下載 mysql 連接文件并移動到相應(yīng)位置： [hdusermaster ~]$ mv [rootmaster ~] mysql uroot – pdayootech mysql create database hive。 圖 確認(rèn)格式化磁盤界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 13 11) 開始寫入系統(tǒng)文件， 100%即為完成寫系統(tǒng)操作，如圖 所示。百度在互聯(lián)網(wǎng)領(lǐng)域的平臺需求下所示，這里就需要通過性能較好的云平臺進行處理了， Hadoop 就是很好的選擇。提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進制數(shù)據(jù)格式、存儲持久性數(shù)據(jù)的文件集、遠(yuǎn)程 PRC 調(diào)用以及簡單的動態(tài)語言集成功能。以 Hadoop分布式文件系統(tǒng)和 MapReduce 為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 Hadoop 作為一個開源的分布式文件系統(tǒng)和并行計算編程模型得到了廣泛的部署和應(yīng)用。 ? 采用 Hadoop 集群劣勢： 1. 采用單 master 的設(shè)計，單 master 的設(shè)計極大地簡化了系統(tǒng)的設(shè)計和實現(xiàn)，由此帶來了機器規(guī)模限制和單點失效問題。 HBase 是 Apache 的Hadoop 項目的子項目。 Hadoop 在互聯(lián)網(wǎng)的應(yīng)用 淘寶 淘寶 Hadoop 集群現(xiàn)在超過 1700 個節(jié)點，服務(wù)于用于整個阿里巴巴集團各部門，數(shù)據(jù)來源于各部門產(chǎn)品的線上數(shù)據(jù)庫（ Oracle, MySQL）備份，系統(tǒng)日志以及爬蟲數(shù)據(jù)，截止 20xx 年 9 月，數(shù)量總量已經(jīng)超過 17 個 PB，每天凈增長 20T左右。 圖 選擇鍵盤語言界面 6) 重新讀取磁盤，如圖 所示。 make install [rootmaster ] protoc version libprotoc [rootmaster ~] wget [rootmaster ~] tar zxvf C /usr/local/ [rootmaster ~] vim /etc/profile export PATH=/usr/local/:$PATH [rootmaster ~] yum install autoconf automake libtool cmake ncursesdevel openssldevel gcc* 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 30 4) apache ant 安裝： 5) 安裝 Findbuge： 6) 下載 hadoop 源碼包： 7) Hadoop Bug 報告地址： [rootmaster ~] wget [rootmaster ~] wget [rootmaster ~] mkdir /usr/findbugs [rootmaster ~] tar zxvf C /usr/findbugs/ [rootmaster ~] vim /etc/profile export FINDBUGS_HOME=/usr/findbugs/ [rootmaster ~] source /etc/profile [rootmaster ~] wget . [rootmaster ~] mkdir /usr/ant [rootmaster ~] tar zxvf C /usr/ant/ [rootmaster ~] vim /etc/profile export ANT_HOME=/usr/ant/export PATH=/usr/ant/:$PATH 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 31 8) 打補?。? 9) 所有模塊編譯完成： [rootmaster ] mvn package Pdist,native,docs DskipTests Dtar 省略部分內(nèi)容，所有模塊編譯出現(xiàn)成功字樣，并最終出現(xiàn) BUID SUCCESS 字樣 [INFO] BUILD SUCCESS [INFO] [INFO] Total time: 36: [INFO] Finished at: Wed Mar 05 20:52:15 EST 20xx [INFO] Final Memory: 86M/239M [INFO] 1．補丁 10110： [rootmaster ] yum install patch [rootmaster ] wget [rootmaster ] patch p0 patching file hadoopmonproject/hadoopauth/ Hunk 1 succeeded at 55 (offset 1 line). 1．補丁 10092： [rootmaster ] wget [rootmaster ] patch p0 patching file 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 32 10) 把生成的包拷貝到家目錄： 11) 其余步驟參考安裝 32 位的 Hadoop Hadoop 優(yōu)化 1) 優(yōu)化打開線程數(shù)防止下面類型的錯誤： DataXceiver error processing WRITE_BLOCK operation src: /:50373 dest: /:50010 1) 優(yōu)化系統(tǒng)打開文件數(shù)： vim /etc/security/ domain type item value * nofile 1000000 * noproc 1000000 vim /etc/security/* soft nproc 1024 root soft nproc unlimited 在 文件在定義傳輸數(shù)據(jù)線程數(shù) $ vim property name/name value8192/value description Specifies the maximum number of threads to use for transferring data in and out of the DN. /description /property [rootmaster ] cp hadoopdist/target/ ~ 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 33 1) 關(guān)閉不必要的服務(wù)： Hive 安裝與配置 Hive 安裝 使用 MySQL 存儲 Metastore Metastore 是 Hive 元 數(shù)據(jù)的集中存放地。)。test39。039。cf:a39。test39。139。cf139。 OK Time taken: seconds 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 37 4) 復(fù)制表結(jié)構(gòu)： 5) 刪除表： 6) 截斷表： 從表或者表分區(qū)刪除所有行，不指定分區(qū)，將截斷表中的所有分區(qū)，也可以一次指定多個分區(qū)，截斷多個分區(qū)。 [hdusermaster ]$ ./bin/hdfs dfs ls / Found 1 items drwxrxrx hduser supergroup 0 20xx0113 08:27 /input [hdusermaster ]$ ./bin/hdfs dfs mkdir /input [rootmaster ~] yum y install d [rootmaster ~] service d start 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 29 1) 安裝依賴包： 2) 安裝 maven： 3) 安裝 Protobuf： 下載地址： [rootmaster ~] wget [rootmaster ~] tar zxvf [rootmaster ~] cd [rootmaster ] ./configure [rootmaster ] make amp。 圖 安裝操作系統(tǒng) 2) 選擇 Skip，跳過光盤介質(zhì)檢測，如圖 所示。 Pig Pig 是 SQLlike 語言，是在 MapReduce 上構(gòu)建的一種高級查詢語言，把一些運算編譯進 MapReduce 模型的 Map 和 Reduce 中，并且用戶可以定義自己的功能。 Hive hive 是基于 Hadoop 的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的 sq