【文章內(nèi)容簡(jiǎn)介】 ort/logLevel?log=namedatanode運(yùn)行一個(gè)HDFS的datanode。用法：hadoop datanode [rollback]命令選項(xiàng)描述report報(bào)告文件系統(tǒng)的基本信息和統(tǒng)計(jì)信息。safemode enter | leave | get | wait安全模式維護(hù)命令。安全模式是Namenode的一個(gè)狀態(tài)，這種狀態(tài)下，Namenode 1. 不接受對(duì)名字空間的更改(只讀)2. 不復(fù)制或刪除塊Namenode會(huì)在啟動(dòng)時(shí)自動(dòng)進(jìn)入安全模式，當(dāng)配置的塊最小百分比數(shù)滿足最小的副本數(shù)條件時(shí)，會(huì)自動(dòng)離開(kāi)安全模式。安全模式可以手動(dòng)進(jìn)入，但是這樣的話也必須手動(dòng)關(guān)閉安全模式。refreshNodes重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。finalizeUpgrade終結(jié)HDFS的升級(jí)操作。Datanode刪除前一個(gè)版本的工作目錄，之后Namenode也這樣做。這個(gè)操作完結(jié)整個(gè)升級(jí)過(guò)程。upgradeProgress status | details | force請(qǐng)求當(dāng)前系統(tǒng)的升級(jí)狀態(tài)，狀態(tài)的細(xì)節(jié)，或者強(qiáng)制升級(jí)操作進(jìn)行。metasave filenamefilename文件。對(duì)于下面的每一項(xiàng)，filename中都會(huì)一行內(nèi)容與之對(duì)應(yīng)1. Namenode收到的Datanode的心跳信號(hào)2. 等待被復(fù)制的塊3. 正在被復(fù)制的塊4. 等待被刪除的塊setQuota quota dirname...dirname為每個(gè)目錄 dirname設(shè)定配額quota。目錄配額是一個(gè)長(zhǎng)整型整數(shù)，強(qiáng)制限定了目錄樹(shù)下的名字個(gè)數(shù)。命令會(huì)在這個(gè)目錄上工作良好，以下情況會(huì)報(bào)錯(cuò)：1. N不是一個(gè)正整數(shù)，或者2. 用戶(hù)不是管理員，或者3. 這個(gè)目錄不存在或是文件，或者4. 目錄會(huì)馬上超出新設(shè)定的配額。clrQuota dirname...dirname為每一個(gè)目錄dirname清除配額設(shè)定。命令會(huì)在這個(gè)目錄上工作良好，以下情況會(huì)報(bào)錯(cuò)：1. 這個(gè)目錄不存在或是文件，或者2. 用戶(hù)不是管理員。如果目錄原來(lái)沒(méi)有配額不會(huì)報(bào)錯(cuò)。help [cmd]顯示給定命令的幫助信息，如果沒(méi)有給定命令，則顯示所有命令的幫助信息。secondarynamenode運(yùn)行HDFS的secondary namenode。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項(xiàng)描述checkpoint [force] 如果EditLog的大小 = ，啟動(dòng)Secondary namenode的檢查點(diǎn)過(guò)程。 如果使用了force，將不考慮EditLog的大小。geteditsize打印EditLog大小。 進(jìn)程管理1. 查看當(dāng)前系統(tǒng)中啟動(dòng)的進(jìn)程命令如下： jps執(zhí)行結(jié)果如下：2. 重啟NameNode和DateNode進(jìn)程，“—config”參數(shù)指定啟動(dòng)程序時(shí)用到的配置文件目錄。命令如下： /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf stop {namenode/datenode} /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf start {namenode/datenode} 可靠性管理Hadoop集群中的主機(jī)在某些情況下會(huì)出現(xiàn)宕機(jī)或者系統(tǒng)損壞的問(wèn)題，一旦遇到這些問(wèn)題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會(huì)產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，可以采取以下策略：1. 冗余副本策略更改集群冗余副本的復(fù)制因子為5，從而避免某臺(tái)節(jié)點(diǎn)主機(jī)損壞導(dǎo)致數(shù)據(jù)丟失的情況，這里我們有兩種方式來(lái)設(shè)置復(fù)制因子。第一種是通過(guò)WEB界面，進(jìn)入到HDFS配置中修改Block replication的參數(shù)值。第二種方式是在Shell命令行模式下，將“”的值設(shè)置為5，然后重啟NameNode和DataNode進(jìn)程。 vi /etc/hadoop/ property name/name value5/value /property2. 安全模式當(dāng)在進(jìn)行系統(tǒng)維護(hù)或者集群維護(hù)時(shí)，不希望用戶(hù)進(jìn)行再去操作HDFS文件系統(tǒng)中文件，這時(shí)候需要手動(dòng)將NameNode設(shè)置成安全模式的狀態(tài)。該操作需要HDFS管理用戶(hù)來(lái)進(jìn)行實(shí)現(xiàn)，即hdfs用戶(hù)。命令如下：$ hadoop dfsadmin safemode enter$ hadoop dfsadmin safemode get執(zhí)行結(jié)果如下：Safe mode is ON3. 回收站設(shè)置HDFS文件系統(tǒng)回收站中的文件徹底刪除的時(shí)間間隔為7天。進(jìn)入到HDFS配置中修改“”的值為10080（分鐘）。注：當(dāng)該值為0時(shí)，表示禁用回收站的功能。4. 快照管理為HDFS文件系統(tǒng)中“/1daoyun”目錄創(chuàng)建快照，首先需要設(shè)置該目錄可進(jìn)行快照功能，然后再進(jìn)行創(chuàng)建快照。創(chuàng)建完成后，創(chuàng)建一個(gè)恢復(fù)文件夾，通過(guò)cp命令可以恢復(fù)快照，如下： MapReduce 運(yùn)行案例進(jìn)入/usr/hdp/， 的案例JAR包，其所自帶的案例如下：這里，我們以運(yùn)行一個(gè)圓周率的計(jì)算為例： cd /usr/hdp/ hadoop jar pi 5 56 部署Hive數(shù)據(jù)倉(cāng)庫(kù) 部署Hive進(jìn)入先電大數(shù)據(jù)平臺(tái)主界面，點(diǎn)擊左側(cè)的動(dòng)作按鈕，添加Hive服務(wù)。 Hive用戶(hù)指南 測(cè)試驗(yàn)證啟動(dòng)hive客戶(hù)端 su hive$ hive$ logout退出hive用戶(hù) hive 命令參數(shù)usage: hive d，define key=value Variable subsitution to apply to hive mands. . d A=B or define A=B database databasename Specify the database to use e quotedquerystring SQL from mand line f filename SQL from files H，help Print help information hiveconf property=value Use value for given property hivevar key=value Variable subsitution to apply to hive mands. . hivevar A=B i filename Initialization SQL file S，silent Silent mode in interactive shell v，verbose Verbose mode (echo executed SQL to the console)1. hive交互模式hive show tables。 查看所有表名hive show tables 39。ad*39。 查看以39。ad39。開(kāi)頭的表名hive set 命令 設(shè)置變量與查看變量；hive set v 查看所有的變量hive set hive set =false hive dfs ls 查看hadoop所有文件路徑hive dfs ls /user/hive/warehouse/ 查看hive所有文件hive dfs ls /user/hive/warehouse/ptest 查看ptest文件hive source file filepath 在client里執(zhí)行一個(gè)hive腳本文件hive quit 退出交互式shellhive exit 退出交互式shellhive reset 重置配置為默認(rèn)值hive !ls 從Hive shell執(zhí)行一個(gè)shell命令2. 操作及函數(shù)查看函數(shù)：hive show functions。 正則查看函數(shù)名：show functions 39。xpath.*39。 查看具體函數(shù)內(nèi)容：describe function xpath。 | desc function xpath。3. 字段類(lèi)型Hive支持基本數(shù)據(jù)類(lèi)型和復(fù)雜類(lèi)型，基本數(shù)據(jù)類(lèi)型主要有數(shù)值類(lèi)型(INT、FLOAT、DOUBLE)、布爾型和字符串，復(fù)雜類(lèi)型有三種:ARRAY、MAP 和 STRUCT。4. 基本數(shù)據(jù)類(lèi)型TINYINT: 1個(gè)字節(jié)SMALLINT: 2個(gè)字節(jié)INT: 4個(gè)字節(jié) BIGINT: 8個(gè)字節(jié)BOOLEAN: TRUE/FALSE FLOAT: 4個(gè)字節(jié)，單精度浮點(diǎn)型DOUBLE: 8個(gè)字節(jié)，雙精度浮點(diǎn)型STRING 字符串5. 復(fù)雜數(shù)據(jù)類(lèi)型ARRAY: 有序字段MAP: 無(wú)序字段STRUCT: 一組命名的字段 表類(lèi)型hive表大致分為普通表、外部表、分區(qū)表三種。1. 普通表創(chuàng)建表hive create table tb_person(id int, name string)。創(chuàng)建表并創(chuàng)建分區(qū)字段dshive create table tb_stu(id int, name string) partitioned by(ds string)。查看分區(qū)hive show partitions tb_stu。顯示所有表hive show tables。按正則表達(dá)式顯示表，hive show tables 39。tb_*39。表添加一列hive alter table tb_person add columns (new_col int)。添加一列并增加列字段注釋hive alter table tb_stu add columns (new_col2 int ment 39。a ment39。)。更改表名hive alter table tb_stu rename to tb_stu。刪除表(hive只能刪分區(qū)，不能刪記錄或列 )hive drop table tb_stu。對(duì)于托管表，drop 操作會(huì)把元數(shù)據(jù)和數(shù)據(jù)文件刪除掉，對(duì)于外部表，只是刪除元數(shù)據(jù)。如果只要?jiǎng)h除表中的數(shù)據(jù)，保留表名可以在 HDFS 上刪除數(shù)據(jù)文件:hive dfs rmr /user/hive/warehouse/mutill1/*將本地/home/hadoop/ziliao/， ：1 zhangsan2 lisi3 wangwu將文件中的數(shù)據(jù)加載到表中hive load data local inpath 39。/home/hadoop/ziliao/39。 overwrite into table tb_person。加載本地?cái)?shù)據(jù)，同時(shí)給定分區(qū)信息hive load data local inpath 39。/home/hadoop/ziliao/39。 overwrite into table tb_stu partition (ds=39。2008081539。)。備注：如果導(dǎo)入的數(shù)據(jù)在 HDFS 上，則不需要 local 關(guān)鍵字。托管表導(dǎo)入的數(shù)據(jù)文件可在數(shù)據(jù)倉(cāng)庫(kù)目錄“user/hive/warehouse/tablename”中看到。查看數(shù)據(jù)hive dfs ls /user/hive/warehouse/tb_stuhive dfs ls /user/hive/warehouse/tb_person2. 外部表external關(guān)鍵字可以讓用戶(hù)創(chuàng)建一個(gè)外部表，在建表的同時(shí)指定一個(gè)指向?qū)嶋H數(shù)據(jù)的路徑(location)，hive創(chuàng)建內(nèi)部表時(shí)，會(huì)將數(shù)據(jù)移動(dòng)到數(shù)據(jù)倉(cāng)庫(kù)指向的路徑；若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對(duì)數(shù)據(jù)的位置做任何改變。在刪除表的時(shí)候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會(huì)被一起刪除，而外部表只刪除元數(shù)據(jù)，不刪除數(shù)據(jù)。eg. 創(chuàng)建外部表：hive create external table tb_record(col1 string， col2 string) row format delimited fields terminated by 39。\t39。 location 39。/user/hadoop/input39。這樣表tb_record的數(shù)據(jù)就是hdfs://user/hadoop/input/* 的數(shù)據(jù)了。3. 分區(qū)表分區(qū)是表的部分列的集合， 可以為頻繁使用的數(shù)據(jù)建立分區(qū)， 這樣查找分區(qū)中的數(shù)據(jù)時(shí)就不需要掃描全表， 這對(duì)于提高查找效率很有幫助。創(chuàng)建分區(qū)：create table log(ts bigint，line string) partitioned by(name string)。插入分區(qū)：insert overwrite table log parti