【文章內(nèi)容簡介】 ort/logLevel?log=namedatanode運(yùn)行一個HDFS的datanode。用法：hadoop datanode [rollback]命令選項描述report報告文件系統(tǒng)的基本信息和統(tǒng)計信息。safemode enter | leave | get | wait安全模式維護(hù)命令。安全模式是Namenode的一個狀態(tài)，這種狀態(tài)下，Namenode 1. 不接受對名字空間的更改(只讀)2. 不復(fù)制或刪除塊Namenode會在啟動時自動進(jìn)入安全模式，當(dāng)配置的塊最小百分比數(shù)滿足最小的副本數(shù)條件時，會自動離開安全模式。安全模式可以手動進(jìn)入，但是這樣的話也必須手動關(guān)閉安全模式。refreshNodes重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。finalizeUpgrade終結(jié)HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之后Namenode也這樣做。這個操作完結(jié)整個升級過程。upgradeProgress status | details | force請求當(dāng)前系統(tǒng)的升級狀態(tài)，狀態(tài)的細(xì)節(jié)，或者強(qiáng)制升級操作進(jìn)行。metasave filenamefilename文件。對于下面的每一項，filename中都會一行內(nèi)容與之對應(yīng)1. Namenode收到的Datanode的心跳信號2. 等待被復(fù)制的塊3. 正在被復(fù)制的塊4. 等待被刪除的塊setQuota quota dirname...dirname為每個目錄 dirname設(shè)定配額quota。目錄配額是一個長整型整數(shù)，強(qiáng)制限定了目錄樹下的名字個數(shù)。命令會在這個目錄上工作良好，以下情況會報錯：1. N不是一個正整數(shù)，或者2. 用戶不是管理員，或者3. 這個目錄不存在或是文件，或者4. 目錄會馬上超出新設(shè)定的配額。clrQuota dirname...dirname為每一個目錄dirname清除配額設(shè)定。命令會在這個目錄上工作良好，以下情況會報錯：1. 這個目錄不存在或是文件，或者2. 用戶不是管理員。如果目錄原來沒有配額不會報錯。help [cmd]顯示給定命令的幫助信息，如果沒有給定命令，則顯示所有命令的幫助信息。secondarynamenode運(yùn)行HDFS的secondary namenode。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項描述checkpoint [force] 如果EditLog的大小 = ，啟動Secondary namenode的檢查點(diǎn)過程。 如果使用了force，將不考慮EditLog的大小。geteditsize打印EditLog大小。 進(jìn)程管理1. 查看當(dāng)前系統(tǒng)中啟動的進(jìn)程命令如下： jps執(zhí)行結(jié)果如下：2. 重啟NameNode和DateNode進(jìn)程，“—config”參數(shù)指定啟動程序時用到的配置文件目錄。命令如下： /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf stop {namenode/datenode} /usr/hdp/current/hadoopclient/sbin/ config /usr/hdp/current/hadoopclient/conf start {namenode/datenode} 可靠性管理Hadoop集群中的主機(jī)在某些情況下會出現(xiàn)宕機(jī)或者系統(tǒng)損壞的問題，一旦遇到這些問題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，可以采取以下策略：1. 冗余副本策略更改集群冗余副本的復(fù)制因子為5，從而避免某臺節(jié)點(diǎn)主機(jī)損壞導(dǎo)致數(shù)據(jù)丟失的情況，這里我們有兩種方式來設(shè)置復(fù)制因子。第一種是通過WEB界面，進(jìn)入到HDFS配置中修改Block replication的參數(shù)值。第二種方式是在Shell命令行模式下，將“”的值設(shè)置為5，然后重啟NameNode和DataNode進(jìn)程。 vi /etc/hadoop/ property name/name value5/value /property2. 安全模式當(dāng)在進(jìn)行系統(tǒng)維護(hù)或者集群維護(hù)時，不希望用戶進(jìn)行再去操作HDFS文件系統(tǒng)中文件，這時候需要手動將NameNode設(shè)置成安全模式的狀態(tài)。該操作需要HDFS管理用戶來進(jìn)行實(shí)現(xiàn)，即hdfs用戶。命令如下：$ hadoop dfsadmin safemode enter$ hadoop dfsadmin safemode get執(zhí)行結(jié)果如下：Safe mode is ON3. 回收站設(shè)置HDFS文件系統(tǒng)回收站中的文件徹底刪除的時間間隔為7天。進(jìn)入到HDFS配置中修改“”的值為10080（分鐘）。注：當(dāng)該值為0時，表示禁用回收站的功能。4. 快照管理為HDFS文件系統(tǒng)中“/1daoyun”目錄創(chuàng)建快照，首先需要設(shè)置該目錄可進(jìn)行快照功能，然后再進(jìn)行創(chuàng)建快照。創(chuàng)建完成后，創(chuàng)建一個恢復(fù)文件夾，通過cp命令可以恢復(fù)快照，如下： MapReduce 運(yùn)行案例進(jìn)入/usr/hdp/， 的案例JAR包，其所自帶的案例如下：這里，我們以運(yùn)行一個圓周率的計算為例： cd /usr/hdp/ hadoop jar pi 5 56 部署Hive數(shù)據(jù)倉庫 部署Hive進(jìn)入先電大數(shù)據(jù)平臺主界面，點(diǎn)擊左側(cè)的動作按鈕，添加Hive服務(wù)。 Hive用戶指南 測試驗證啟動hive客戶端 su hive$ hive$ logout退出hive用戶 hive 命令參數(shù)usage: hive d，define key=value Variable subsitution to apply to hive mands. . d A=B or define A=B database databasename Specify the database to use e quotedquerystring SQL from mand line f filename SQL from files H，help Print help information hiveconf property=value Use value for given property hivevar key=value Variable subsitution to apply to hive mands. . hivevar A=B i filename Initialization SQL file S，silent Silent mode in interactive shell v，verbose Verbose mode (echo executed SQL to the console)1. hive交互模式hive show tables。 查看所有表名hive show tables 39。ad*39。 查看以39。ad39。開頭的表名hive set 命令 設(shè)置變量與查看變量；hive set v 查看所有的變量hive set hive set =false hive dfs ls 查看hadoop所有文件路徑hive dfs ls /user/hive/warehouse/ 查看hive所有文件hive dfs ls /user/hive/warehouse/ptest 查看ptest文件hive source file filepath 在client里執(zhí)行一個hive腳本文件hive quit 退出交互式shellhive exit 退出交互式shellhive reset 重置配置為默認(rèn)值hive !ls 從Hive shell執(zhí)行一個shell命令2. 操作及函數(shù)查看函數(shù)：hive show functions。 正則查看函數(shù)名：show functions 39。xpath.*39。 查看具體函數(shù)內(nèi)容：describe function xpath。 | desc function xpath。3. 字段類型Hive支持基本數(shù)據(jù)類型和復(fù)雜類型，基本數(shù)據(jù)類型主要有數(shù)值類型(INT、FLOAT、DOUBLE)、布爾型和字符串，復(fù)雜類型有三種:ARRAY、MAP 和 STRUCT。4. 基本數(shù)據(jù)類型TINYINT: 1個字節(jié)SMALLINT: 2個字節(jié)INT: 4個字節(jié) BIGINT: 8個字節(jié)BOOLEAN: TRUE/FALSE FLOAT: 4個字節(jié)，單精度浮點(diǎn)型DOUBLE: 8個字節(jié)，雙精度浮點(diǎn)型STRING 字符串5. 復(fù)雜數(shù)據(jù)類型ARRAY: 有序字段MAP: 無序字段STRUCT: 一組命名的字段 表類型hive表大致分為普通表、外部表、分區(qū)表三種。1. 普通表創(chuàng)建表hive create table tb_person(id int, name string)。創(chuàng)建表并創(chuàng)建分區(qū)字段dshive create table tb_stu(id int, name string) partitioned by(ds string)。查看分區(qū)hive show partitions tb_stu。顯示所有表hive show tables。按正則表達(dá)式顯示表，hive show tables 39。tb_*39。表添加一列hive alter table tb_person add columns (new_col int)。添加一列并增加列字段注釋hive alter table tb_stu add columns (new_col2 int ment 39。a ment39。)。更改表名hive alter table tb_stu rename to tb_stu。刪除表(hive只能刪分區(qū)，不能刪記錄或列 )hive drop table tb_stu。對于托管表，drop 操作會把元數(shù)據(jù)和數(shù)據(jù)文件刪除掉，對于外部表，只是刪除元數(shù)據(jù)。如果只要刪除表中的數(shù)據(jù)，保留表名可以在 HDFS 上刪除數(shù)據(jù)文件:hive dfs rmr /user/hive/warehouse/mutill1/*將本地/home/hadoop/ziliao/， ：1 zhangsan2 lisi3 wangwu將文件中的數(shù)據(jù)加載到表中hive load data local inpath 39。/home/hadoop/ziliao/39。 overwrite into table tb_person。加載本地數(shù)據(jù)，同時給定分區(qū)信息hive load data local inpath 39。/home/hadoop/ziliao/39。 overwrite into table tb_stu partition (ds=39。2008081539。)。備注：如果導(dǎo)入的數(shù)據(jù)在 HDFS 上，則不需要 local 關(guān)鍵字。托管表導(dǎo)入的數(shù)據(jù)文件可在數(shù)據(jù)倉庫目錄“user/hive/warehouse/tablename”中看到。查看數(shù)據(jù)hive dfs ls /user/hive/warehouse/tb_stuhive dfs ls /user/hive/warehouse/tb_person2. 外部表external關(guān)鍵字可以讓用戶創(chuàng)建一個外部表，在建表的同時指定一個指向?qū)嶋H數(shù)據(jù)的路徑(location)，hive創(chuàng)建內(nèi)部表時，會將數(shù)據(jù)移動到數(shù)據(jù)倉庫指向的路徑；若創(chuàng)建外部表，僅記錄數(shù)據(jù)所在的路徑，不對數(shù)據(jù)的位置做任何改變。在刪除表的時候，內(nèi)部表的元數(shù)據(jù)和數(shù)據(jù)會被一起刪除，而外部表只刪除元數(shù)據(jù)，不刪除數(shù)據(jù)。eg. 創(chuàng)建外部表：hive create external table tb_record(col1 string， col2 string) row format delimited fields terminated by 39。\t39。 location 39。/user/hadoop/input39。這樣表tb_record的數(shù)據(jù)就是hdfs://user/hadoop/input/* 的數(shù)據(jù)了。3. 分區(qū)表分區(qū)是表的部分列的集合， 可以為頻繁使用的數(shù)據(jù)建立分區(qū)， 這樣查找分區(qū)中的數(shù)據(jù)時就不需要掃描全表， 這對于提高查找效率很有幫助。創(chuàng)建分區(qū)：create table log(ts bigint，line string) partitioned by(name string)。插入分區(qū)：insert overwrite table log parti