【正文】 持。應用程序要實現(xiàn)Tool來支持常規(guī)選項。GENERIC_OPTION描述GENERIC_OPTION描述conf configuration file指定應用程序的配置文件。D property=value為指定property指定值value。fs local|namenode:port指定namenode。jt local|jobtracker:port指定job tracker。只適用于job。files 逗號分隔的文件列表指定要拷貝到map reduce集群的文件的逗號分隔的列表。 只適用于job。libjars 逗號分隔的jar列表指定要包含到classpath中的jar文件的逗號分隔的列表。 只適用于job。archives 逗號分隔的archive列表指定要被解壓到計算節(jié)點上的檔案文件的逗號分割的列表。 只適用于job。 用戶命令hadoop集群用戶的常用命令。 archive創(chuàng)建一個hadoop檔案文件。參考HadoopArchives.用法：hadoop archivearchiveNameNAMEsrc*dest命令選項描述archiveNameNAME要創(chuàng)建的檔案的名字。src文件系統(tǒng)的路徑名，和通常含正則表達的一樣。dest保存檔案文件的目標目錄。 distcpHadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。用法：hadoop distcpsrcurldesturl命令選項描述srcurl源Urldesturl目標Url fs(FSShell命令)用法：hadoop fs[GENERIC_OPTIONS][COMMAND_OPTIONS]運行一個常規(guī)的文件系統(tǒng)客戶端。各種命令選項可以參考下面的Hadoop Shell命令指南FSShell命令指南調用文件系統(tǒng)(FS)Shell命令應使用bin/hadoop fsargs的形式。所有的的FSshell命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。對HDFS文件系統(tǒng)，scheme是hdfs，對本地文件系統(tǒng)，scheme是file。其中scheme和authority參數(shù)都是可選的，如果未加指定，就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設你配置文件中的默認值是namenode:namenodeport）。大多數(shù)FSShell命令的行為和對應的UnixShell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr，其他信息輸出到stdout。1) cat使用方法：hadoop fs catURI[URI…]將路徑指定文件的內容輸出到stdout。示例：hadoop fscat hdfs://host1:port1/file1hdfs://host2:port2/file2hadoop fscat file:///file3/user/hadoop/file4返回值：成功返回0，失敗返回1。2) copyFromLocal使用方法：hadoop fs copyFromLocallocalsrcURI除了限定源路徑是一個本地文件外，和put命令相似。3) copyToLocal使用方法：hadoop fs copyToLocal[ignorecrc][crc]URIlocaldst除了限定目標路徑是一個本地文件外，和get命令類似。4) cp使用方法：hadoopfscpURI[URI…]dest將文件從源路徑復制到目標路徑。這個Hadoop Shell命令允許有多個源路徑，此時目標路徑必須是一個目錄。示例：Hadoopfs –cp /user/hadoop/file1/user/hadoop/file2hadoopfs –cp /user/hadoop/file1/user/hadoop/file2/user/hadoop/dir返回值：成功返回0，失敗返回1。5) du使用方法：hadoop fs –du URI[URI…]此Hadoop Shell命令顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。示例：Hadoop fs –du /user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1返回值：成功返回0，失敗返回1。6) dus使用方法：hadoop fs dusargs顯示文件的大小。7) expunge使用方法：hadoop fs expunge清空回收站。請參考HDFS設計文檔以獲取更多關于回收站特性的信息。8) get使用方法：hadoop fs get[ignorecrc][crc]srclocaldst復制文件到本地文件系統(tǒng)?？捎胕gnorecrc選項復制CRC校驗失敗的文件。使用crc選項復制文件以及CRC信息。示例：hadoop fs –get /user/hadoop/filelocalfilehadoop fs –get hdfs://host:port/user/hadoop/filelocalfile返回值：成功返回0，失敗返回1。Hadoop Shell命令還有很多，這里只介紹了其中的一部分。 FsckHadoop命令主要用來運行HDFS文件系統(tǒng)檢查工具。參考Fsck了解更多。用法：hadoop fsck[GENERIC_OPTIONS]path[move|delete|openforwrite][files[blocks[locations|racks]]]命令選項描述path檢查的起始目錄。move移動受損文件到/lost+founddelete刪除受損文件。openforwrite打印出寫打開的文件。files打印出正被檢查的文件。blocks打印出塊信息報告。locations打印出每個塊的位置信息。racks打印出datanode的網絡拓撲結構。 jarHadoop命令主要用來運行jar文件。用戶可以把他們的MapReduce代碼捆綁到jar文件中，使用這個命令執(zhí)行。用法：hadoop jarjar[mainClass]args...streaming作業(yè)是通過這個命令執(zhí)行的。參考Streamingexamples中的例子。Wordcount例子也是通過jar命令運行的。參考Wordcountexample。 job用于和MapReduce作業(yè)交互和命令。用法：Hadoop job[GENERIC_OPTIONS][submitjobfile]|[statusjobid]|[counterjobidgroupnamecountername]|[killjobid]|[eventsjobidfromeventofevents]|[history[all]jobOutputDir]|[list[all]]|[killtasktaskid]|[failtasktaskid]命令選項描述submitjobfile提交作業(yè)statusjobid打印map和reduce完成百分比和所有計數(shù)器。counterjobidgroupnamecountername打印計數(shù)器的值。killjobid殺死指定作業(yè)。eventsjobidfromeventofevents打印給定范圍內jobtracker接收到的事件細節(jié)。history[all]jobOutputDirhistoryjobOutputDir打印作業(yè)的細節(jié)、失敗及被殺死原因的細節(jié)。更多的關于一個作業(yè)的細節(jié)比如成功的任務，做過的任務嘗試等信息可以通過指定[all]選項查看。list[all]listall顯示所有作業(yè)。list只顯示將要完成的作業(yè)。killtasktaskid殺死任務。被殺死的任務不會不利于失敗嘗試。failtasktaskid使任務失敗。被失敗的任務會對失敗嘗試不利。本節(jié)有關Hadoop命令簡單介紹到這里。 管理命令 balancer daemonlog datanode dfsadmin jobtracker namenode secondarynamenode tasktracker詳情點擊以上鏈接參考： balancer運行集群平衡工具。管理員可以簡單的按CtrlC來停止平衡過程。參考Rebalancer了解更多。用法：hadoop balancer [threshold threshold]命令選項描述threshold threshold磁盤容量的百分比。這會覆蓋缺省的閥值。 datanode運行一個HDFS的datanode。用法：hadoop datanode [rollback]命令選項描述rollback將datanode回滾到前一個版本。這需要在停止datanode，分發(fā)老的hadoop版本之后使用。 dfsadmin命令39。bin/hadoop dfsadmin39。命令支持一些和HDFS管理相關的操作。bin/hadoop dfsadmin help命令能列出所有當前支持的命令。比如： report：報告HDFS的基本統(tǒng)計信息。有些信息也可以在NameNode Web服務首頁看到。 safemode：雖然通常并不需要，但是管理員的確可以手動讓NameNode進入或離開安全模式。 finalizeUpgrade：刪除上一次升級時制作的集群備份。 jobtracker運行MapReduce job Tracker節(jié)點。用法：hadoop jobtracker namenode運行namenode。有關升級，回滾，升級終結的更多信息請參考升級和回滾。用法：hadoop namenode [format] | [upgrade] | [rollback] | [finalize] | [importCheckpoint]命令選項描述format格式化namenode。它啟動namenode，格式化namenode，之后關閉namenode。upgrade分發(fā)新版本的hadoop后，namenode應以upgrade選項啟動。rollback將namenode回滾到前一版本。這個選項要在停止集群，分發(fā)老的hadoop版本后使用。finalizefinalize會刪除文件系統(tǒng)的前一狀態(tài)。最近的升級會被持久化，rollback選項將再不可用，升級終結操作之后，它會停掉namenode。importCheckpoint從檢查點目錄裝載鏡像并保存到當前檢查點目錄。 secondarynamenode運行HDFS的secondary namenode。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項描述checkpoint [force]如果EditLog的大小 = ，啟動Secondary namenode的檢查點過程。 如果使用了force，將不考慮EditLog的大小。geteditsize打印EditLog大小。 tasktracker運行MapReduce的task Tracker節(jié)點。用法：hadoop tasktracker 常用命令這部分內容其實可以通過命令的Help以及介紹了解，這里主要側重于介紹一下我用的比較多的幾個命令。Hadoop dfs 這個命令后面加參數(shù)就是對于HDFS的操作，和Linux操作系統(tǒng)的命令很類似，例如： Hadoop dfs –ls就是查看/usr/root目錄下的內容，默認如果不填路徑這就是當前用戶路徑； Hadoop dfs –rmr xxx就是刪除目錄，還有很多命令看看就很容易上手； Hadoop dfsadmin –report這個命令可以全局的查看DataNode的情況； Hadoop job后面增加參數(shù)是對于當前運行的Job的操作，例如list,kill等； Hadoop balancer就是前面提到的均衡磁盤負載的命令。7 Hadoop的應用Hadoop 是一個用于開發(fā)分布式應用程序的多功能框架；從不同的角度看待問題是充分利用 Hadoop 的好方法。Hadoop 一直幫助解決各種問題，包括超大型數(shù)據集的排序和大文件的搜索。它還是各種搜索引擎的核心，比如 Amazon 的 A9 和用于查找酒信息的 Able Grape 垂直搜索引擎。Hadoop 的最常見用法之一是 Web 搜索。雖然它不是惟一的軟件框架應用程序，但作為一個并行數(shù)據處理引擎，它的表現(xiàn)非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程。這個流程稱為創(chuàng)建索引，它將 Web 爬行器檢索到的文本 Web 頁面作為輸入，并且將這些頁面上的單詞的頻率報告作為結果。然后可以在整個 Web 搜索過程中使用這個結果從已定義的搜索參數(shù)中識別內容。當前，Yahoo! 擁有最大的 Hadoop Linux 生產架構，共由 10,000 多個內核組成，有超過 5PB 字