【正文】 ,39。 0 row(s) in seconds hbase(main):016:0 put 39。,39。,39。,39。} 1 row(s) in seconds hbase(main):015:0 put 39。, BLOCKCACHE = 39。, IN_MEMORY = 39。, BLOCKSIZE = 39。, KEEP_DELETED_C ELLS = 39。, TTL = 39。, MIN_VERSIONS = 39。, COMPRESSION = 39。, VERSIONS = 39。, REPLICATION_SCOPE = 39。, BLOOMFILTER = 39。, DATA_BLOCK_ENCODING = 39。, {NAME = 39。 DESCRIPTION ENABLED 39。 8) 查看 Test 表結(jié)構(gòu)： hbase(main):018:0 describe 39。 0 row(s) in seconds = Hbase::Table test hbase(main):002:0 version , rUnknown, Tue Dec 17 12:22:12 PST 20xx hbase(main):001:0 status SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: Found binding in [jar:file:/home/hduser/!//slf4j/impl/] SLF4J: See for an explanation. 3 servers, 0 dead, average load 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 41 7) 向表中插入數(shù)據(jù)： 使用 put 命令向表中插入數(shù)據(jù) ,參數(shù)分別為表名、行名、列名和值 ,其中列名前需要列族最為前綴 ,時間戳由系統(tǒng)自動生成。,39。 6) 查看當(dāng)前 HBase 中具有哪些表： hbase(main):004:0 list TABLE test 1 row(s) in seconds = [test] hbase(main):003:0 create 39。 for list of supported mands. Type exitRETURN to leave the HBase Shell Version , rUnknown, Tue Dec 17 12:22:12 PST 20xx [hdusermaster ~]$ ./[hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ~]$ scp r /home/hduser/ :~/ [hdusermaster ]$ sudo vim /etc/profile export HBASE_HOME=/home/hduser/ export PATH=$HBASE_HOME/bin:$PATH [hdusermaster ]$ vim conf/regionservers 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 40 3) 查看 Hbase 的狀態(tài)：（目前有 3 臺服務(wù)） 4) 查看 hbase 版本： 5) 新建 Hbase 的表： 創(chuàng)建一個名為 test 的表，這個表只有一個列為 cf。 enter 39。 hive create table empty_table_name like table_name。 hive drop table table_name。20xx040439。 Hbase 安裝與配置 Hbase 安裝 1) 下載 Hbase 并解壓到相應(yīng)的目錄： 2) 為 Hbase 配置 Java 的路徑和使用 Hbase 自帶的 zookeeper [hdusermaster ~]$ wget . [hdusermaster ~]$ tar zxvf [hdusermaster ~]$ cd hive truncate table table_name。 OK Time taken: seconds 放入 mysql 后，速度加快了 hive show tables。 [rootmaster ~] service mysqld start Starting mysqld: [ OK ] [hdusermaster ~]$ vim /etc/profile CLASSPATH=$CLASSPATH:$HIVE_HOME/lib [rootmaster ~] yum install mysql mysqlserver 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 35 7) 配置 hive 使用 mysql 存放 Metastore [hdusermaster conf]$ cp [rootmaster ~] vim ?xml version=? ?xmlstylesheet type=text/xsl href=? configuration property name/name valuetrue/value /property property name/name valuejdbc:rue/value /property property name/name value/value /property property name/name valueroot/value /property property name/name valuemysql/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 36 8) 測試連通性： Hive 的使用 1) 進入 hive 命令行界面： 2) 創(chuàng)建表： 3) 創(chuàng)建有分區(qū)的表： 一個表可以擁有一個或者多個分區(qū)，每個分區(qū)以文件夾的形式單獨存在表文件夾的目錄下。 [rootmaster ~] /usr/bin/mysqladmin u root password 39。 1) 安裝 Mysql 服務(wù)器端與客戶端： 2) 設(shè)置環(huán)境變量： 3) 啟動 Mysql Server： 4) 為 Mysql Server 配置密碼： 5) 登錄 Mysql Server 建立 hive 表并授權(quán) root 登錄： 6) 下載 mysql 連接文件并移動到相應(yīng)位置： [hdusermaster ~]$ mv [rootmaster ~] mysql uroot – pdayootech mysql create database hive。這種內(nèi)嵌 Derby添加系統(tǒng)變量 [rootmaster ~] vim /etc/profile HIVE 環(huán)境變量 HIVE_HOME=/home/hduser/ export PATH=$HIVE_HOME/bin:$PATH hadoop 環(huán)境變量 HADOOP_HOME=/home/hduser/ export PATH=$HADOOP_HOME:$PATH [hdusermaster conf]$ cd [hdusermaster conf]$ cp [hdusermaster conf]$ vim HADOOP_HOME=/home/hduser/ service postfix stop Shutting down postfix: [ OK ] chkconfig postfix off service crond stop Stopping crond: [ OK ] chkconfig crond off service atd stop Stopping atd: [ OK ] chkconfig atd off 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 34 數(shù)據(jù)庫方式一次只能為每個 Metastore打開一個 Hive會話。 Metastore 包括兩部分：服務(wù)和后臺數(shù)據(jù)的存儲。amp。amp。 is HEALTHY 目前集群狀態(tài)為正常 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 28 14) 啟動 Http 服務(wù)，用于查看 Hadoop 集群的狀態(tài)： 15) 查看 HDFS 狀態(tài)，如圖 所示 圖 HDFS 監(jiān)控頁面 16) 新建目錄： 17) 列出目錄： 安裝 64 位 Hadoop 因為 Apache 基金會網(wǎng)站上并沒有提供 32位的 Hadoop 包，只能通過編譯生成 64 位的包再安裝 Hadoop。 3) master 上導(dǎo)入 hadoop001 與 hadoop002 上的公鑰： 4) hadoop001 導(dǎo)入 master 的公鑰： [hduserhadoop001 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys [hdusermaster ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hdusermaster ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hdusermaster ~]$ sshkeygen t rsa [hdusermaster ~]$ cat .ssh/ .ssh/authorized_keys [hduser master ~]$ chmod 600 .ssh/authorized_keys 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 18 5) hadoop002