【正文】 FORMAT DELIMITED FIELDS TERMINATED BY 39。hive select * from phy_opt_course。hive load data local inpath 39。\t39?，F(xiàn)需要統(tǒng)計(jì)學(xué)校學(xué)生報(bào)名各個(gè)科目的人數(shù)，從而分配相應(yīng)的教學(xué)老師。刪除視圖：hivedrop view teacher_classnum。如果基本表被刪除或以不兼容的方式被修改，則該視圖的查詢將被無(wú)效。Hive 只支持邏輯視圖， 并不支持物理視圖， 建立視圖可以在 MySQL 元數(shù)據(jù)庫(kù)中看到創(chuàng)建的視圖表， 但是在 Hive 的數(shù)據(jù)倉(cāng)庫(kù)目錄下沒(méi)有相應(yīng)的視圖表目錄。8. 子查詢標(biāo)準(zhǔn) SQL 的子查詢支持嵌套的 select 子句，HiveQL 對(duì)子查詢的支持很有限，只能在from 引導(dǎo)的子句中出現(xiàn)子查詢。hive select userinfo.*， choice.* from userinfo full outer join choice on(=)。hive select userinfo.*， choice.* from userinfo right outer join choice on(=)。如果左表的某行在右表中沒(méi)有匹配行， 則在相關(guān)聯(lián)的結(jié)果集中右表的所有選擇列均為空值。a. 內(nèi)連接(等值連接)內(nèi)連接使用比較運(yùn)算符根據(jù)每個(gè)表共有的列的值匹配兩個(gè)表中的行。hive create table mutill as select id，name from userinfo。hiveselect * from btest2 tablesample(bucket 1 out of 3 on id)。hivedfs cat /user/hive/warehouse/btest2/*1_0。查看數(shù)據(jù)倉(cāng)庫(kù)下的桶目錄，三個(gè)桶對(duì)應(yīng)三個(gè)目錄。hive create table btest2(id int， name string) clustered by(id) into 3 buckets row format delimited fields terminated by 39。在建立桶之前， 需要設(shè)置“”屬性為 true， 使 Hive 能夠識(shí)別桶。xiapi39。顯示分區(qū)hive show partitions ptest。)。準(zhǔn)備導(dǎo)入數(shù)據(jù)(數(shù)據(jù)之間用tab鍵隔開)：1 導(dǎo)入數(shù)據(jù)hive load data local inpath 39。hive select * from classinfo。hive load data local inpath 39。 overwrite into table userinfo。2. 導(dǎo)入數(shù)據(jù)建表后，可以從本地文件系統(tǒng)或 HDFS 中導(dǎo)入數(shù)據(jù)文件，導(dǎo)入數(shù)據(jù)樣例如下:(數(shù)據(jù)之間用tab鍵隔開)：1 xiapi2 xiaoxue3 qingqing(數(shù)據(jù)之間用tab鍵隔開)：jack mathsam chinalucy english(數(shù)據(jù)之間用tab鍵隔開)：1 math1 china1 english2 china2 english3 english首先在本地“/home/hadoop/ziliao”下按照上面建立三個(gè)文件， 并添加如上的內(nèi)容信息。注意：39。hive create table classinfo(teacher string，classname string) row format delimited fields terminated by 39。classinfo表中有兩列，以tab鍵分割，分別存儲(chǔ)課程老師teacher和課程名classname。 39。 39。xiapi39。) select id from userinfo where name=39。3. 分區(qū)表分區(qū)是表的部分列的集合， 可以為頻繁使用的數(shù)據(jù)建立分區(qū)， 這樣查找分區(qū)中的數(shù)據(jù)時(shí)就不需要掃描全表， 這對(duì)于提高查找效率很有幫助。\t39。托管表導(dǎo)入的數(shù)據(jù)文件可在數(shù)據(jù)倉(cāng)庫(kù)目錄“user/hive/warehouse/tablename”中看到。 overwrite into table tb_stu partition (ds=39。/home/hadoop/ziliao/39。更改表名hive alter table tb_stu rename to tb_stu。表添加一列hive alter table tb_person add columns (new_col int)。查看分區(qū)hive show partitions tb_stu。3. 字段類型Hive支持基本數(shù)據(jù)類型和復(fù)雜類型，基本數(shù)據(jù)類型主要有數(shù)值類型(INT、FLOAT、DOUBLE)、布爾型和字符串，復(fù)雜類型有三種:ARRAY、MAP 和 STRUCT。 正則查看函數(shù)名：show functions 39。ad*39。4. 快照管理為HDFS文件系統(tǒng)中“/1daoyun”目錄創(chuàng)建快照，首先需要設(shè)置該目錄可進(jìn)行快照功能，然后再進(jìn)行創(chuàng)建快照。該操作需要HDFS管理用戶來(lái)進(jìn)行實(shí)現(xiàn)，即hdfs用戶。命令如下： /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf stop {namenode/datenode} /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf start {namenode/datenode} 可靠性管理Hadoop集群中的主機(jī)在某些情況下會(huì)出現(xiàn)宕機(jī)或者系統(tǒng)損壞的問(wèn)題，一旦遇到這些問(wèn)題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會(huì)產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，可以采取以下策略：1. 冗余副本策略更改集群冗余副本的復(fù)制因子為5，從而避免某臺(tái)節(jié)點(diǎn)主機(jī)損壞導(dǎo)致數(shù)據(jù)丟失的情況，這里我們有兩種方式來(lái)設(shè)置復(fù)制因子。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項(xiàng)描述checkpoint [force] 如果EditLog的大小 = ，啟動(dòng)Secondary namenode的檢查點(diǎn)過(guò)程。命令會(huì)在這個(gè)目錄上工作良好，以下情況會(huì)報(bào)錯(cuò)：1. 這個(gè)目錄不存在或是文件，或者2. 用戶不是管理員。對(duì)于下面的每一項(xiàng)，filename中都會(huì)一行內(nèi)容與之對(duì)應(yīng)1. Namenode收到的Datanode的心跳信號(hào)2. 等待被復(fù)制的塊3. 正在被復(fù)制的塊4. 等待被刪除的塊setQuota quota dirname...dirname為每個(gè)目錄 dirname設(shè)定配額quota。Datanode刪除前一個(gè)版本的工作目錄，之后Namenode也這樣做。安全模式是Namenode的一個(gè)狀態(tài)，這種狀態(tài)下，Namenode 1. 不接受對(duì)名字空間的更改(只讀)2. 不復(fù)制或刪除塊Namenode會(huì)在啟動(dòng)時(shí)自動(dòng)進(jìn)入安全模式，當(dāng)配置的塊最小百分比數(shù)滿足最小的副本數(shù)條件時(shí)，會(huì)自動(dòng)離開安全模式。level設(shè)置運(yùn)行在host:port的守護(hù)進(jìn)程的日志級(jí)別。classname打印運(yùn)行在host:port的守護(hù)進(jìn)程的日志級(jí)別。這會(huì)覆蓋缺省的閥值。balancer運(yùn)行集群平衡工具。numreduce個(gè)數(shù)version打印版本信息。Reduce類writerMap類partitionerjarkey=value,pipes運(yùn)行pipes作業(yè)。被殺死的任務(wù)不會(huì)不利于失敗嘗試。all顯示所有作業(yè)。打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。historyeventsgroupnamejobfile提交作業(yè)statusjar運(yùn)行jar文件。files打印出正被檢查的文件。參考Fsck了解更多。distcp遞歸地拷貝文件或目錄。參考 Hadoop Archives.用法：hadoop archive archiveName NAME p parent path src* dest命令選項(xiàng)描述archiveName只適用于job。local|namenode:port指定namenode。file指定應(yīng)用程序的配置文件。2. 權(quán)限管理在Hadoop集群中，只有hdfs用戶才有對(duì)HDFS文件系統(tǒng)的管理權(quán)限，當(dāng)其它用戶對(duì)文件系統(tǒng)進(jìn)行操作，需要給其賦予相應(yīng)的權(quán)限，這里為了方便操作，將所有用戶的讀寫執(zhí)行權(quán)限全部放開，命令如下： su hdfs$ hadoop fs chmod R 777 /3. 常規(guī)選項(xiàng)下面的選項(xiàng)被 dfsadmin, fs, fsck和 job支持。用法：hadoop [config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop有一個(gè)選項(xiàng)解析框架用于解析一般的選項(xiàng)和運(yùn)行類。在HadoopMaster的終端執(zhí)行jps命令，在打印結(jié)果中會(huì)看到master上運(yùn)行的進(jìn)程，這些進(jìn)程表示主節(jié)點(diǎn)進(jìn)程啟動(dòng)成功。、atlas、falcon、kafka、knox、oozie、ranger、slider等服務(wù)組件。 slaver1 yum y install ambariagent vi /etc/ambariagent/conf/[server]hostname= master ambariagent restart tail f /var/log/ambariagent/INFO 20170112 09:44:20,919 :265 Heartbeat response received (id = 1340)INFO 20170112 09:44:30,820 :78 Building Heartbeat: {responseId = 1340, timestamp = 1484214270820, mandsInProgress = False, ponentsMapped = True}5 部署管理Hadoop集群 部署Hadoop集群登陸界面://{IP Address}:8080/，用戶名密碼為admin：admin。permissive39。 identified by 39。MariaDB [(none)] grant all privileges on ambari.* to 39。39。 master amp。啟動(dòng)d服務(wù)。 slaver1 vi /etc/hosts master slaver1 修改yum源 master，將其中的ambari解壓到/opt目錄下，并在master節(jié)點(diǎn)配置ftp服務(wù)。Agent 拿到配置文件后，會(huì)下載安裝公共源里軟件包（Redhat，就是使用 yum 服務(wù)）。平臺(tái)使用Ganglia收集度量指標(biāo)，用Nagios支持系統(tǒng)報(bào)警。我們可以直接查看Hadoop Core（HDFS和MapReduce）及相關(guān)項(xiàng)目（如HBase、Hive和HCatalog）是否健康。對(duì)于高可用指標(biāo)而言，Hadoop軟件庫(kù)自身可以通過(guò)檢測(cè)和故障調(diào)試從應(yīng)用層來(lái)實(shí)現(xiàn)高可用而不需要關(guān)心硬件底層的高可用性。適用于大數(shù)據(jù)的技術(shù)包括大規(guī)模并行處理數(shù)據(jù)庫(kù)，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)，云計(jì)算平臺(tái)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。南京第五十五所技術(shù)開發(fā)有限公司 先電大數(shù)據(jù)平臺(tái)用戶手冊(cè)用戶手冊(cè)用戶手冊(cè)版本：先電 發(fā)布日期：2017年02月21日南京第五十五所技術(shù)開發(fā)有限公司1 南京第五十五所技術(shù)開發(fā)有限公司版本修訂說(shuō)明修訂版本修訂時(shí)間修訂說(shuō)明2015年10月28日先電大數(shù)據(jù)平臺(tái)用戶冊(cè)2016年1月19日增加GRE、VLAN網(wǎng)絡(luò)的部署方法2016年4月12日為防止與Java Web中MapReduce開發(fā)混淆。大數(shù)據(jù)技術(shù)是指從各種各樣類型的龐雜數(shù)據(jù)中，快速的獲取有價(jià)值的信息的能力。Hadoop的設(shè)計(jì)思想可以將計(jì)算模式從單節(jié)點(diǎn)服務(wù)器擴(kuò)展為數(shù)以千計(jì)的計(jì)算集群，每一個(gè)單獨(dú)的服務(wù)器都提供自主的本地計(jì)算及存儲(chǔ)能力。同時(shí)，他還有一個(gè)監(jiān)控組件，叫做AmbariMetrics，可以提前配置好關(guān)鍵的運(yùn)維指標(biāo)（metrics），然后收集集群的中服務(wù)、主機(jī)等運(yùn)行狀態(tài)等信息，通過(guò)WEB的方式顯示出來(lái)。通過(guò)一個(gè)完整的RESTful API把監(jiān)控信息暴露出來(lái)，集成了現(xiàn)有的運(yùn)維工具。當(dāng)用 Ambari 創(chuàng)建集群的時(shí)候，Ambari Server 傳送 Stack 和 Service 的配置文件以及 Service 生命周期的控制腳本到 Ambari Agent。圖 11 Ambari架構(gòu)圖2 基本環(huán)境配置以兩臺(tái)節(jié)點(diǎn)為例來(lái)組件Hadoop分布式集群，這里采用的系統(tǒng)版本為Centos7，如下表所示：主機(jī)名內(nèi)存硬盤IP地址角色master8192MB100GAmbariServerslaver1409