【導(dǎo)讀】生成、積累的用戶網(wǎng)絡(luò)行為數(shù)據(jù)。這些數(shù)據(jù)是如此龐大，計(jì)量單位通常達(dá)到了。PB、EB甚至是ZB。Hadoop作為一個(gè)開(kāi)源的分布式文件系統(tǒng)和并行計(jì)算編程模型。得到了廣泛的部署和應(yīng)用。本文將介紹Hadoop完全分布式集群的具體搭建過(guò)程。與基于Hive的數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)。

　　

【正文】 o root@localhost identified by dayootech。 [root@master ~] /usr/bin/mysqladmin u root password 39。dayootech39。 [root@master ~] service mysqld start Starting mysqld: [ OK ] [hduser@master ~]$ vim /etc/profile CLASSPATH=$CLASSPATH:$HIVE_HOME/lib [root@master ~] yum install mysql mysqlserver 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 35 7) 配置 hive 使用 mysql 存放 Metastore [hduser@master conf]$ cp [root@master ~] vim ?xml version=? ?xmlstylesheet type=text/xsl href=? configuration property name/name valuetrue/value /property property name/name valuejdbc:rue/value /property property name/name value/value /property property name/name valueroot/value /property property name/name valuemysql/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 36 8) 測(cè)試連通性： Hive 的使用 1) 進(jìn)入 hive 命令行界面： 2) 創(chuàng)建表： 3) 創(chuàng)建有分區(qū)的表： 一個(gè)表可以擁有一個(gè)或者多個(gè)分區(qū)，每個(gè)分區(qū)以文件夾的形式單獨(dú)存在表文件夾的目錄下。 hive create table tablename ( id INT, name STRING, sex BOOLEAN, ) [hduser@master conf]$ hive 生成 Metasploit hive show tables。 OK Time taken: seconds 放入 mysql 后，速度加快了 hive show tables。 OK Time taken: seconds 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 37 4) 復(fù)制表結(jié)構(gòu)： 5) 刪除表： 6) 截?cái)啾恚? 從表或者表分區(qū)刪除所有行，不指定分區(qū)，將截?cái)啾碇械乃蟹謪^(qū)，也可以一次指定多個(gè)分區(qū)，截?cái)喽鄠€(gè)分區(qū)。 Hbase 安裝與配置 Hbase 安裝 1) 下載 Hbase 并解壓到相應(yīng)的目錄： 2) 為 Hbase 配置 Java 的路徑和使用 Hbase 自帶的 zookeeper [hduser@master ~]$ wget . [hduser@master ~]$ tar zxvf [hduser@master ~]$ cd hive truncate table table_name。 hive truncate table table_name partition (dt=39。20xx040439。)。 hive drop table table_name。 hive drop table if exists table_name。 hive create table empty_table_name like table_name。 hive create table tablename ( id INT, name STRING, sex BOOLEAN, ) partitioned by (date string) 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 38 3) 修改 Hbase 配置文件： 4) 配置 Regionservers： [hduser@master ]$ vim conf/ configuration property name/name value /property property name/name valuetrue/value /property property name/name value/value /property property name/name value, /value /property /configuration [hduser@master ]$ vim conf/ export JAVA_HOME=/usr/java/export HBASE_MANAGES_ZK=true 設(shè)置使用 Hbase 自帶的 zookeeper 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 39 5) 配置 Hbase 環(huán)境變量： 6) 復(fù)制配置文件到所有集群主機(jī)上： Hbase 的使用 1) 啟動(dòng) Hbase： 2) 進(jìn)入 Hbase 的 Shell 命令行界面： [hduser@master ~]$ hbase shell 20xx0402 09:19:18,057 INFO [main] : is deprecated. Instead, use HBase Shell。 enter 39。helpRETURN39。 for list of supported mands. Type exitRETURN to leave the HBase Shell Version , rUnknown, Tue Dec 17 12:22:12 PST 20xx [hduser@master ~]$ ./[hduser@master ~]$ scp r /home/hduser/ :~/ [hduser@master ~]$ scp r /home/hduser/ :~/ [hduser@master ~]$ scp r /home/hduser/ :~/ [hduser@master ]$ sudo vim /etc/profile export HBASE_HOME=/home/hduser/ export PATH=$HBASE_HOME/bin:$PATH [hduser@master ]$ vim conf/regionservers 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 40 3) 查看 Hbase 的狀態(tài)：（目前有 3 臺(tái)服務(wù)） 4) 查看 hbase 版本： 5) 新建 Hbase 的表： 創(chuàng)建一個(gè)名為 test 的表，這個(gè)表只有一個(gè)列為 cf。其中表名、列都要用單引號(hào)括起來(lái) ,并以逗號(hào)隔開(kāi)。 6) 查看當(dāng)前 HBase 中具有哪些表： hbase(main):004:0 list TABLE test 1 row(s) in seconds = [test] hbase(main):003:0 create 39。test39。,39。cf139。 0 row(s) in seconds = Hbase::Table test hbase(main):002:0 version , rUnknown, Tue Dec 17 12:22:12 PST 20xx hbase(main):001:0 status SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: See for an explanation. 3 servers, 0 dead, average load 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 41 7) 向表中插入數(shù)據(jù)： 使用 put 命令向表中插入數(shù)據(jù) ,參數(shù)分別為表名、行名、列名和值 ,其中列名前需要列族最為前綴 ,時(shí)間戳由系統(tǒng)自動(dòng)生成。格式 : put 表名 ,行名 ,列名([列族 :列名 ]),值，例如：加入一行數(shù)據(jù) ,行名稱為“ row1” ,列族“ cf”的列名為” (空字符串 )” ,值位 value1。 8) 查看 Test 表結(jié)構(gòu)： hbase(main):018:0 describe 39。test39。 DESCRIPTION ENABLED 39。test39。, {NAME = 39。cf39。, DATA_BLOCK_ENCODING = 39。NONE39。, BLOOMFILTER = 39。ROW39。, REPLICATION_SCOPE = 39。0 true 39。, VERSIONS = 39。139。, COMPRESSION = 39。NONE39。, MIN_VERSIONS = 39。039。, TTL = 39。214748364739。, KEEP_DELETED_C ELLS = 39。false39。, BLOCKSIZE = 39。6553639。, IN_MEMORY = 39。false39。, BLOCKCACHE = 39。true39。} 1 row(s) in seconds hbase(main):015:0 put 39。test39。,39。row139。,39。cf:a39。,39。value139。 0 row(s) in seconds hbase(main):016:0 put 39。test39。,39