【正文】 08:07:58 EDT 20xx / dir Status: HEALTHY Total size: 0 B Total dirs: 1 Total files: 0 Total symlinks: 0 Total blocks (validated): 0 Minimally replicated blocks: 0 Overreplicated blocks: 0 Underreplicated blocks: 0 Misreplicated blocks: 0 Default replication factor: 3 Average block replication: Corrupt blocks: 0 Missing replicas: 0 Number of datanodes: 3 Number of racks: 1 FSCK ended at Wed Apr 02 08:07:58 EDT 20xx in 23 milliseconds The filesystem under path 39。 圖 重啟系統(tǒng)界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 14 Hadoop 基礎(chǔ)配置 1) 配置 master 的 IP 2) 配置 master 的主機(jī)名 3) 重啟系統(tǒng)，使配置生效 4) 其它三臺主機(jī)根據(jù)規(guī)劃的 IP 進(jìn)行設(shè)置 [rootlocalhost ~] reboot [rootlocalhost ~] vi /etc/sysconfig/work NETWORKING=yes HOSTNAME= [rootlocalhost ~] vi /etc/sysconfig/workscripts/ifcfgeth0 DEVICE=eth0 HWADDR=00:0C:29:75:77:A2 TYPE=Ether UUID=bb54feabd2874c56844d63632511651d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR= NETMASK= GATEWAY= DNS1= DNS2= 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 15 5) 設(shè)置 master 主機(jī)的 IP 地址： 6) 復(fù)制 hosts 文件本其它的節(jié)點(diǎn)： 7) master Ping 測試： 8) Hadoop001 Ping 測試： 9) Hadoop002 Ping 測試： 10) Hadoop003 Ping 測試： [roothadoop003 ~] ping c 1 [roothadoop003 ~] ping c 1 [roothadoop002 ~] ping c 1 [roothadoop002 ~] ping c 1 [roothadoop001 ~] ping c 1 [roothadoop001 ~] ping c 1 [rootmaster ~] ping c 1 [rootmaster ~] ping c 1 [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [hdusermaster ~]$ scp r /etc/hosts : /etc/hosts [rootmaster ~] vim /etc/hosts 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 16 11) 分別添加集群用戶： 12) JDK 下載地址。 圖 確認(rèn)格式化磁盤界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 13 11) 開始寫入系統(tǒng)文件， 100%即為完成寫系統(tǒng)操作，如圖 所示。 圖 填寫管理員密碼界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 12 9) 因?yàn)槭侨掳惭b，我們選擇替換已有安裝系統(tǒng)，選擇 OK，下一步，如圖 所示。 圖 重新讀取磁盤界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 11 7) 這里選擇 Shanghai 時區(qū)，如圖 所示。 圖 安裝向?qū)дZ言選擇界面 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 10 5) 鍵盤布局使用 US，如圖 所示。 圖 光盤介質(zhì)檢測 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 9 3) 開始 Centos 的安裝，選擇 OK，如圖 所示。 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 7 第三章 Hadoop 單一部署 Hadoop 集群部署拓?fù)鋱D 集群部署拓圖 集群中包括 4個節(jié)點(diǎn)： 1個 master， 3 個 Salve，節(jié)點(diǎn)之間局域網(wǎng)連接，可以相互 ping 通，節(jié)點(diǎn) IP 地址分布如下： 機(jī)器名稱 IP 地址 網(wǎng)關(guān) 系統(tǒng) 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 8 安裝操作系統(tǒng) Centos 1) 選擇第一項(xiàng)，按 Enter 鍵下一步，如圖 所示。以及每周共享 10 億條內(nèi)容，包括日志、鏈接、新聞、微博等。 Facebook Facebook 作為全球知名的社交網(wǎng)站，擁有超過 3億的活躍用戶，其中約有 3千萬用戶至少每天更新一次自己的狀態(tài) 。百度在互聯(lián)網(wǎng)領(lǐng)域的平臺需求下所示，這里就需要通過性能較好的云平臺進(jìn)行處理了， Hadoop 就是很好的選擇。每天讀數(shù)據(jù)在 2PB 左右，寫數(shù)據(jù)在 1PB 左右。每天在 Hadoop集群運(yùn)行的 MapReduce任 務(wù)有超過 4萬（有時會超過 6萬），其中大部分任務(wù)是每天定期執(zhí)行的統(tǒng)計(jì)任務(wù)，例如數(shù)據(jù)魔方、量子統(tǒng)計(jì)、推薦系統(tǒng)、排行榜等等。通過 HDFS來存儲數(shù)據(jù)，并依賴 MapReduce 來處理數(shù)據(jù)。 Yahoo 網(wǎng)格運(yùn)算部門開發(fā)的又 一個克隆 Google 的項(xiàng)目 Sawzall。 ZooKeeper 的目標(biāo)就是封裝好復(fù)雜易出錯的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。 ZooKeeper Zookeeper 是 Google 的 Chubby 一個開源的實(shí)現(xiàn)。能夠使編程人員在不理解分布式并行編程概念的情況下也能方便將自己的程序運(yùn)行在分布式系統(tǒng)上。提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、存儲持久性數(shù)據(jù)的文件集、遠(yuǎn)程 PRC 調(diào)用以及簡單的動態(tài)語言集成功能。 Avro Avro 是 doug cutting 主持的 RPC 項(xiàng)目，有點(diǎn)類似 Google 的 protobuf 和Facebook 的 thrift。 HBase 不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。就像Bigtable 利用了 Google 文件系統(tǒng)（ File System）所提供的分布式數(shù)據(jù)存儲一樣， HBase 在 Hadoop 之上提供了類似于 Bigtable 的能力。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類 SQL 語句快速實(shí)現(xiàn)簡單的MapReduce 統(tǒng)計(jì)，不必開發(fā)專門的 MapReduce 應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 5 析。如圖 所示： 圖 Hadoop 結(jié)構(gòu)圖 Hadoop Core/Common 從 Hadoop 版本開始， Hadoop 的 Core 項(xiàng)目便更名為 Common.，它是Hadoop 體系最底層的一個模塊，為 Hadoop 各子項(xiàng)目提供各種工具，主要包括FileSystem、 PRC 和串行化庫。核心內(nèi)容是 MapReduce 和Hadoop 分布式文件系統(tǒng)（ DHFS）。所以用戶可以利用 Hadoop輕松地組織計(jì)算機(jī)資源，從而搭建自己的分布式 計(jì)算平臺，并且可以充分利用集群的計(jì)算和存儲能力，完成海量數(shù)據(jù)的處理。以 Hadoop分布式文件系統(tǒng)和 MapReduce 為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。 4. 缺乏認(rèn)證， Hadoop并沒有對使用 Hadoop 的權(quán)限進(jìn)行細(xì)致的劃分。 2. 編程復(fù)雜，學(xué)習(xí)曲線過于陡峭，讓許多人難以深入。 5. 廉價性，框架可以運(yùn)行在任何普通的 PC 上。 3. 高效性，以并行的方式工作，通過并行處理加快處理速度。 ? 采用 Hadoop 集群優(yōu)勢： 1. 高可靠性，能夠維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理。日志信息的分析成為了 XX 企業(yè)急需解決的 問題，考慮到單機(jī)分析的擴(kuò)展性與成本問題，且 XX 企業(yè)當(dāng)前有一部分服務(wù)器處于閑置狀態(tài)，最終決定在現(xiàn)有服務(wù)器的基礎(chǔ)上部署一套分布式的系統(tǒng)來對當(dāng)前大量的數(shù)據(jù)進(jìn)行分析。 關(guān)鍵字 Hadoop， MapReduce， Hive 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 1 Abstract With the advent of cloud, big data also attract more and more attention, the enterprise of the generation and accumulation in the daily operation of the user work behavior data. The data is so large, the measuring unit is usually achieved the PB, EB, and even the ZB. The Hadoop distributed file system as an open source, and parallel puting programming model has been widely deployed and application. This article introduces Hadoop pletely distributed cluster process of concrete structures, and the design and implementation of data analysis platform based on the Hive. key words Hadoop， MapReduce， Hive 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 2 目錄 第一章 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)需求分析 ...................................................... 3 第二章 HADOOP 簡介 ......................................