【正文】 FORMAT DELIMITED FIELDS TERMINATED BY 39。hive select * from phy_opt_course。hive load data local inpath 39。\t39?，F(xiàn)需要統(tǒng)計學校學生報名各個科目的人數(shù)，從而分配相應的教學老師。刪除視圖：hivedrop view teacher_classnum。如果基本表被刪除或以不兼容的方式被修改，則該視圖的查詢將被無效。Hive 只支持邏輯視圖， 并不支持物理視圖， 建立視圖可以在 MySQL 元數(shù)據(jù)庫中看到創(chuàng)建的視圖表， 但是在 Hive 的數(shù)據(jù)倉庫目錄下沒有相應的視圖表目錄。8. 子查詢標準 SQL 的子查詢支持嵌套的 select 子句，HiveQL 對子查詢的支持很有限，只能在from 引導的子句中出現(xiàn)子查詢。hive select userinfo.*， choice.* from userinfo full outer join choice on(=)。hive select userinfo.*， choice.* from userinfo right outer join choice on(=)。如果左表的某行在右表中沒有匹配行， 則在相關(guān)聯(lián)的結(jié)果集中右表的所有選擇列均為空值。a. 內(nèi)連接(等值連接)內(nèi)連接使用比較運算符根據(jù)每個表共有的列的值匹配兩個表中的行。hive create table mutill as select id，name from userinfo。hiveselect * from btest2 tablesample(bucket 1 out of 3 on id)。hivedfs cat /user/hive/warehouse/btest2/*1_0。查看數(shù)據(jù)倉庫下的桶目錄，三個桶對應三個目錄。hive create table btest2(id int， name string) clustered by(id) into 3 buckets row format delimited fields terminated by 39。在建立桶之前， 需要設(shè)置“”屬性為 true， 使 Hive 能夠識別桶。xiapi39。顯示分區(qū)hive show partitions ptest。)。準備導入數(shù)據(jù)(數(shù)據(jù)之間用tab鍵隔開)：1 導入數(shù)據(jù)hive load data local inpath 39。hive select * from classinfo。hive load data local inpath 39。 overwrite into table userinfo。2. 導入數(shù)據(jù)建表后，可以從本地文件系統(tǒng)或 HDFS 中導入數(shù)據(jù)文件，導入數(shù)據(jù)樣例如下:(數(shù)據(jù)之間用tab鍵隔開)：1 xiapi2 xiaoxue3 qingqing(數(shù)據(jù)之間用tab鍵隔開)：jack mathsam chinalucy english(數(shù)據(jù)之間用tab鍵隔開)：1 math1 china1 english2 china2 english3 english首先在本地“/home/hadoop/ziliao”下按照上面建立三個文件， 并添加如上的內(nèi)容信息。注意：39。hive create table classinfo(teacher string，classname string) row format delimited fields terminated by 39。classinfo表中有兩列，以tab鍵分割，分別存儲課程老師teacher和課程名classname。 39。 39。xiapi39。) select id from userinfo where name=39。3. 分區(qū)表分區(qū)是表的部分列的集合， 可以為頻繁使用的數(shù)據(jù)建立分區(qū)， 這樣查找分區(qū)中的數(shù)據(jù)時就不需要掃描全表， 這對于提高查找效率很有幫助。\t39。托管表導入的數(shù)據(jù)文件可在數(shù)據(jù)倉庫目錄“user/hive/warehouse/tablename”中看到。 overwrite into table tb_stu partition (ds=39。/home/hadoop/ziliao/39。更改表名hive alter table tb_stu rename to tb_stu。表添加一列hive alter table tb_person add columns (new_col int)。查看分區(qū)hive show partitions tb_stu。3. 字段類型Hive支持基本數(shù)據(jù)類型和復雜類型，基本數(shù)據(jù)類型主要有數(shù)值類型(INT、FLOAT、DOUBLE)、布爾型和字符串，復雜類型有三種:ARRAY、MAP 和 STRUCT。 正則查看函數(shù)名：show functions 39。ad*39。4. 快照管理為HDFS文件系統(tǒng)中“/1daoyun”目錄創(chuàng)建快照，首先需要設(shè)置該目錄可進行快照功能，然后再進行創(chuàng)建快照。該操作需要HDFS管理用戶來進行實現(xiàn)，即hdfs用戶。命令如下： /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf stop {namenode/datenode} /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf start {namenode/datenode} 可靠性管理Hadoop集群中的主機在某些情況下會出現(xiàn)宕機或者系統(tǒng)損壞的問題，一旦遇到這些問題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，可以采取以下策略：1. 冗余副本策略更改集群冗余副本的復制因子為5，從而避免某臺節(jié)點主機損壞導致數(shù)據(jù)丟失的情況，這里我們有兩種方式來設(shè)置復制因子。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項描述checkpoint [force] 如果EditLog的大小 = ，啟動Secondary namenode的檢查點過程。命令會在這個目錄上工作良好，以下情況會報錯：1. 這個目錄不存在或是文件，或者2. 用戶不是管理員。對于下面的每一項，filename中都會一行內(nèi)容與之對應1. Namenode收到的Datanode的心跳信號2. 等待被復制的塊3. 正在被復制的塊4. 等待被刪除的塊setQuota quota dirname...dirname為每個目錄 dirname設(shè)定配額quota。Datanode刪除前一個版本的工作目錄，之后Namenode也這樣做。安全模式是Namenode的一個狀態(tài)，這種狀態(tài)下，Namenode 1. 不接受對名字空間的更改(只讀)2. 不復制或刪除塊Namenode會在啟動時自動進入安全模式，當配置的塊最小百分比數(shù)滿足最小的副本數(shù)條件時，會自動離開安全模式。level設(shè)置運行在host:port的守護進程的日志級別。classname打印運行在host:port的守護進程的日志級別。這會覆蓋缺省的閥值。balancer運行集群平衡工具。numreduce個數(shù)version打印版本信息。Reduce類writerMap類partitionerjarkey=value,pipes運行pipes作業(yè)。被殺死的任務(wù)不會不利于失敗嘗試。all顯示所有作業(yè)。打印作業(yè)的細節(jié)、失敗及被殺死原因的細節(jié)。historyeventsgroupnamejobfile提交作業(yè)statusjar運行jar文件。files打印出正被檢查的文件。參考Fsck了解更多。distcp遞歸地拷貝文件或目錄。參考 Hadoop Archives.用法：hadoop archive archiveName NAME p parent path src* dest命令選項描述archiveName只適用于job。local|namenode:port指定namenode。file指定應用程序的配置文件。2. 權(quán)限管理在Hadoop集群中，只有hdfs用戶才有對HDFS文件系統(tǒng)的管理權(quán)限，當其它用戶對文件系統(tǒng)進行操作，需要給其賦予相應的權(quán)限，這里為了方便操作，將所有用戶的讀寫執(zhí)行權(quán)限全部放開，命令如下： su hdfs$ hadoop fs chmod R 777 /3. 常規(guī)選項下面的選項被 dfsadmin, fs, fsck和 job支持。用法：hadoop [config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop有一個選項解析框架用于解析一般的選項和運行類。在HadoopMaster的終端執(zhí)行jps命令，在打印結(jié)果中會看到master上運行的進程，這些進程表示主節(jié)點進程啟動成功。、atlas、falcon、kafka、knox、oozie、ranger、slider等服務(wù)組件。 slaver1 yum y install ambariagent vi /etc/ambariagent/conf/[server]hostname= master ambariagent restart tail f /var/log/ambariagent/INFO 20170112 09:44:20,919 :265 Heartbeat response received (id = 1340)INFO 20170112 09:44:30,820 :78 Building Heartbeat: {responseId = 1340, timestamp = 1484214270820, mandsInProgress = False, ponentsMapped = True}5 部署管理Hadoop集群 部署Hadoop集群登陸界面://{IP Address}:8080/，用戶名密碼為admin：admin。permissive39。 identified by 39。MariaDB [(none)] grant all privileges on ambari.* to 39。39。 master amp。啟動d服務(wù)。 slaver1 vi /etc/hosts master slaver1 修改yum源 master，將其中的ambari解壓到/opt目錄下，并在master節(jié)點配置ftp服務(wù)。Agent 拿到配置文件后，會下載安裝公共源里軟件包（Redhat，就是使用 yum 服務(wù)）。平臺使用Ganglia收集度量指標，用Nagios支持系統(tǒng)報警。我們可以直接查看Hadoop Core（HDFS和MapReduce）及相關(guān)項目（如HBase、Hive和HCatalog）是否健康。對于高可用指標而言，Hadoop軟件庫自身可以通過檢測和故障調(diào)試從應用層來實現(xiàn)高可用而不需要關(guān)心硬件底層的高可用性。適用于大數(shù)據(jù)的技術(shù)包括大規(guī)模并行處理數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺和可擴展的存儲系統(tǒng)。南京第五十五所技術(shù)開發(fā)有限公司 先電大數(shù)據(jù)平臺用戶手冊用戶手冊用戶手冊版本：先電 發(fā)布日期：2017年02月21日南京第五十五所技術(shù)開發(fā)有限公司1 南京第五十五所技術(shù)開發(fā)有限公司版本修訂說明修訂版本修訂時間修訂說明2015年10月28日先電大數(shù)據(jù)平臺用戶冊2016年1月19日增加GRE、VLAN網(wǎng)絡(luò)的部署方法2016年4月12日為防止與Java Web中MapReduce開發(fā)混淆。大數(shù)據(jù)技術(shù)是指從各種各樣類型的龐雜數(shù)據(jù)中，快速的獲取有價值的信息的能力。Hadoop的設(shè)計思想可以將計算模式從單節(jié)點服務(wù)器擴展為數(shù)以千計的計算集群，每一個單獨的服務(wù)器都提供自主的本地計算及存儲能力。同時，他還有一個監(jiān)控組件，叫做AmbariMetrics，可以提前配置好關(guān)鍵的運維指標（metrics），然后收集集群的中服務(wù)、主機等運行狀態(tài)等信息，通過WEB的方式顯示出來。通過一個完整的RESTful API把監(jiān)控信息暴露出來，集成了現(xiàn)有的運維工具。當用 Ambari 創(chuàng)建集群的時候，Ambari Server 傳送 Stack 和 Service 的配置文件以及 Service 生命周期的控制腳本到 Ambari Agent。圖 11 Ambari架構(gòu)圖2 基本環(huán)境配置以兩臺節(jié)點為例來組件Hadoop分布式集群，這里采用的系統(tǒng)版本為Centos7，如下表所示：主機名內(nèi)存硬盤IP地址角色master8192MB100GAmbariServerslaver1409