【正文】 unlimited 在 文件在定義傳輸數(shù)據(jù)線程數(shù) $ vim property name/name value8192/value description Specifies the maximum number of threads to use for transferring data in and out of the DN. /description /property [rootmaster ] cp hadoopdist/target/ ~ 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 33 1) 關(guān)閉不必要的服務(wù)： Hive 安裝與配置 Hive 安裝 使用 MySQL 存儲(chǔ) Metastore Metastore 是 Hive 元 數(shù)據(jù)的集中存放地。 13) Hadoop 下載地址： [rootmaster ~] useradd hduser [rootmaster ~] passwd hduser Changing password for user hduser. New password: Retype new password: passwd: all authentication tokens updated successfully. [roothadoop001 ~] useradd hduser [roothadoop001 ~] passwd hduser Changing password for user hduser. New password: Retype new password: passwd: all authentication tokens updated successfully. [roothadoop002 ~] useradd hduser [roothadoop002 ~] passwd hduser Changing password for user hduser. New password: Retype new password: passwd: all authentication tokens updated successfully. 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 17 14) 上傳 Hadoop 和 JDK 文件到集群主機(jī)，如圖 所示： 圖 使用 xftp 上傳界面 SSH 免密碼登錄 1) 產(chǎn)生 rsa 密鑰： 2) Slave 主機(jī)也與 Master 類似產(chǎn)生 rsa 密鑰。 圖 選擇鍵盤語言界面 6) 重新讀取磁盤，如圖 所示。用戶每月總共上傳 10 億余張照片、 1 千萬個(gè)視頻 。 Hadoop 在互聯(lián)網(wǎng)的應(yīng)用 淘寶 淘寶 Hadoop 集群現(xiàn)在超過 1700 個(gè)節(jié)點(diǎn)，服務(wù)于用于整個(gè)阿里巴巴集團(tuán)各部門，數(shù)據(jù)來源于各部門產(chǎn)品的線上數(shù)據(jù)庫（ Oracle, MySQL）備份，系統(tǒng)日志以及爬蟲數(shù)據(jù)，截止 20xx 年 9 月，數(shù)量總量已經(jīng)超過 17 個(gè) PB，每天凈增長 20T左右。 HDFS 分布式文件系統(tǒng)，其設(shè)計(jì)目標(biāo)包括：檢測和快速恢復(fù)硬件故障；數(shù)據(jù)流的訪問；簡化一致性 模型等。 HBase 是 Apache 的Hadoop 項(xiàng)目的子項(xiàng)目。 Hadoop 生態(tài)系統(tǒng) Hadoop 已經(jīng)發(fā)展成為包含多個(gè)子項(xiàng)目的集合。 ? 采用 Hadoop 集群劣勢： 1. 采用單 master 的設(shè)計(jì)，單 master 的設(shè)計(jì)極大地簡化了系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，由此帶來了機(jī)器規(guī)模限制和單點(diǎn)失效問題。隨著時(shí)間的推移，存儲(chǔ)在 Oracle 數(shù)據(jù)庫中的日志系統(tǒng)越來越大，查詢的速度變得越來越慢，并經(jīng)常因?yàn)椴樵兊臄?shù)據(jù)量非常大而導(dǎo)致系統(tǒng)死機(jī)。 Hadoop 作為一個(gè)開源的分布式文件系統(tǒng)和并行計(jì)算編程模型得到了廣泛的部署和應(yīng)用。 3. 高效性，以并行的方式工作，通過并行處理加快處理速度。以 Hadoop分布式文件系統(tǒng)和 MapReduce 為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類 SQL 語句快速實(shí)現(xiàn)簡單的MapReduce 統(tǒng)計(jì)，不必開發(fā)專門的 MapReduce 應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 5 析。提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、存儲(chǔ)持久性數(shù)據(jù)的文件集、遠(yuǎn)程 PRC 調(diào)用以及簡單的動(dòng)態(tài)語言集成功能。 Yahoo 網(wǎng)格運(yùn)算部門開發(fā)的又 一個(gè)克隆 Google 的項(xiàng)目 Sawzall。百度在互聯(lián)網(wǎng)領(lǐng)域的平臺(tái)需求下所示，這里就需要通過性能較好的云平臺(tái)進(jìn)行處理了， Hadoop 就是很好的選擇。 圖 光盤介質(zhì)檢測 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 9 3) 開始 Centos 的安裝，選擇 OK，如圖 所示。 圖 確認(rèn)格式化磁盤界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 13 11) 開始寫入系統(tǒng)文件， 100%即為完成寫系統(tǒng)操作，如圖 所示。amp。 1) 安裝 Mysql 服務(wù)器端與客戶端： 2) 設(shè)置環(huán)境變量： 3) 啟動(dòng) Mysql Server： 4) 為 Mysql Server 配置密碼： 5) 登錄 Mysql Server 建立 hive 表并授權(quán) root 登錄： 6) 下載 mysql 連接文件并移動(dòng)到相應(yīng)位置： [hdusermaster ~]$ mv [rootmaster ~] mysql uroot – pdayootech mysql create database hive。 Hbase 安裝與配置 Hbase 安裝 1) 下載 Hbase 并解壓到相應(yīng)的目錄： 2) 為 Hbase 配置 Java 的路徑和使用 Hbase 自帶的 zookeeper [hdusermaster ~]$ wget . [hdusermaster ~]$ tar zxvf [hdusermaster ~]$ cd hive truncate table table_name。 enter 39。 0 row(s) in seconds = Hbase::Table test hbase(main):002:0 version , rUnknown, Tue Dec 17 12:22:12 PST 20xx hbase(main):001:0 status SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: See for an explanation. 3 servers, 0 dead, average load 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 41 7) 向表中插入數(shù)據(jù)： 使用 put 命令向表中插入數(shù)據(jù) ,參數(shù)分別為表名、行名、列名和值 ,其中列名前需要列族最為前綴 ,時(shí)間戳由系統(tǒng)自動(dòng)生成。, DATA_BLOCK_ENCODING = 39。, COMPRESSION = 39。, BLOCKSIZE = 39。,39。,39。,39。, IN_MEMORY = 39。, MIN_VERSIONS = 39。, BLOOMFILTER = 39。 8) 查看 Test 表結(jié)構(gòu)： hbase(main):018:0 describe 39。 for list of supported mands. Type exitRETURN to leave the HBase Shell Version , rUnknown, Tue Dec 17 12:22:12 PST 20xx [hdusermaster ~]$ ./[hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ]$ sudo vim /etc/profile export HBASE_HOME=/home/hduser/ export PATH=$HBASE_HOME/bin:$PATH [hdusermaster ]$ vim conf/regionservers 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 40 3) 查看 Hbase 的狀態(tài)：（目前有 3 臺(tái)服務(wù)） 4) 查看 hbase 版本： 5) 新建 Hbase 的表： 創(chuàng)建一個(gè)名為 test 的表，這個(gè)表只有一個(gè)列為 cf。20xx040439。 [rootmaster ~] /usr/bin/mysqladmin u root password 39。amp。 圖 重啟系統(tǒng)界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 14 Hadoop 基礎(chǔ)配置 1) 配置 master 的 IP 2) 配置 master 的主機(jī)名 3) 重啟系統(tǒng)，使配置生效 4) 其它三臺(tái)主機(jī)根據(jù)規(guī)劃的 IP 進(jìn)行設(shè)置 [rootlocalhost ~] reboot [rootlocalhost ~] vi /etc/sysconfig/work NETWORKING=yes HOSTNAME= [rootlocalhost ~] vi /etc/sysconfig/workscripts/ifcfgeth0 DEVICE=eth0 HWADDR=00:0C:29:75:77:A2 TYPE=Ether UUID=bb54feabd2874c56844d63632511651d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR= NETMASK= GATEWAY= DNS1= DNS2= 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 15 5) 設(shè)置 master 主機(jī)的 IP 地址： 6) 復(fù)制 hosts 文件本其它的節(jié)點(diǎn)： 7) master Ping 測試： 8) Hadoop001 Ping 測試： 9) Hadoop002 Ping 測試： 10) Hadoop003 Ping 測試： [roothadoop003 ~] ping c 1 [roothadoop003 ~] ping c 1 [roothadoop002 ~] ping c 1 [roothadoop002 ~] ping c 1 [roothadoop001 ~] ping c 1 [roothadoop001 ~] ping c 1 [rootmaster ~] ping c 1 [rootmaster ~] ping c 1 [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [hdusermaster ~]$ scp r /etc/hosts : /etc/h