【正文】 持。應(yīng)用程序要實(shí)現(xiàn)Tool來支持常規(guī)選項(xiàng)。GENERIC_OPTION描述GENERIC_OPTION描述conf configuration file指定應(yīng)用程序的配置文件。D property=value為指定property指定值value。fs local|namenode:port指定namenode。jt local|jobtracker:port指定job tracker。只適用于job。files 逗號分隔的文件列表指定要拷貝到map reduce集群的文件的逗號分隔的列表。 只適用于job。libjars 逗號分隔的jar列表指定要包含到classpath中的jar文件的逗號分隔的列表。 只適用于job。archives 逗號分隔的archive列表指定要被解壓到計(jì)算節(jié)點(diǎn)上的檔案文件的逗號分割的列表。 只適用于job。 用戶命令hadoop集群用戶的常用命令。 archive創(chuàng)建一個(gè)hadoop檔案文件。參考HadoopArchives.用法：hadoop archivearchiveNameNAMEsrc*dest命令選項(xiàng)描述archiveNameNAME要創(chuàng)建的檔案的名字。src文件系統(tǒng)的路徑名，和通常含正則表達(dá)的一樣。dest保存檔案文件的目標(biāo)目錄。 distcpHadoop命令distcp用于遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。用法：hadoop distcpsrcurldesturl命令選項(xiàng)描述srcurl源Urldesturl目標(biāo)Url fs(FSShell命令)用法：hadoop fs[GENERIC_OPTIONS][COMMAND_OPTIONS]運(yùn)行一個(gè)常規(guī)的文件系統(tǒng)客戶端。各種命令選項(xiàng)可以參考下面的Hadoop Shell命令指南FSShell命令指南調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用bin/hadoop fsargs的形式。所有的的FSshell命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。對HDFS文件系統(tǒng)，scheme是hdfs，對本地文件系統(tǒng)，scheme是file。其中scheme和authority參數(shù)都是可選的，如果未加指定，就會使用配置中指定的默認(rèn)scheme。一個(gè)HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設(shè)你配置文件中的默認(rèn)值是namenode:namenodeport）。大多數(shù)FSShell命令的行為和對應(yīng)的UnixShell命令類似，不同之處會在下面介紹各命令使用詳情時(shí)指出。出錯信息會輸出到stderr，其他信息輸出到stdout。1) cat使用方法：hadoop fs catURI[URI…]將路徑指定文件的內(nèi)容輸出到stdout。示例：hadoop fscat hdfs://host1:port1/file1hdfs://host2:port2/file2hadoop fscat file:///file3/user/hadoop/file4返回值：成功返回0，失敗返回1。2) copyFromLocal使用方法：hadoop fs copyFromLocallocalsrcURI除了限定源路徑是一個(gè)本地文件外，和put命令相似。3) copyToLocal使用方法：hadoop fs copyToLocal[ignorecrc][crc]URIlocaldst除了限定目標(biāo)路徑是一個(gè)本地文件外，和get命令類似。4) cp使用方法：hadoopfscpURI[URI…]dest將文件從源路徑復(fù)制到目標(biāo)路徑。這個(gè)Hadoop Shell命令允許有多個(gè)源路徑，此時(shí)目標(biāo)路徑必須是一個(gè)目錄。示例：Hadoopfs –cp /user/hadoop/file1/user/hadoop/file2hadoopfs –cp /user/hadoop/file1/user/hadoop/file2/user/hadoop/dir返回值：成功返回0，失敗返回1。5) du使用方法：hadoop fs –du URI[URI…]此Hadoop Shell命令顯示目錄中所有文件的大小，或者當(dāng)只指定一個(gè)文件時(shí)，顯示此文件的大小。示例：Hadoop fs –du /user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1返回值：成功返回0，失敗返回1。6) dus使用方法：hadoop fs dusargs顯示文件的大小。7) expunge使用方法：hadoop fs expunge清空回收站。請參考HDFS設(shè)計(jì)文檔以獲取更多關(guān)于回收站特性的信息。8) get使用方法：hadoop fs get[ignorecrc][crc]srclocaldst復(fù)制文件到本地文件系統(tǒng)?？捎胕gnorecrc選項(xiàng)復(fù)制CRC校驗(yàn)失敗的文件。使用crc選項(xiàng)復(fù)制文件以及CRC信息。示例：hadoop fs –get /user/hadoop/filelocalfilehadoop fs –get hdfs://host:port/user/hadoop/filelocalfile返回值：成功返回0，失敗返回1。Hadoop Shell命令還有很多，這里只介紹了其中的一部分。 FsckHadoop命令主要用來運(yùn)行HDFS文件系統(tǒng)檢查工具。參考Fsck了解更多。用法：hadoop fsck[GENERIC_OPTIONS]path[move|delete|openforwrite][files[blocks[locations|racks]]]命令選項(xiàng)描述path檢查的起始目錄。move移動受損文件到/lost+founddelete刪除受損文件。openforwrite打印出寫打開的文件。files打印出正被檢查的文件。blocks打印出塊信息報(bào)告。locations打印出每個(gè)塊的位置信息。racks打印出datanode的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。 jarHadoop命令主要用來運(yùn)行jar文件。用戶可以把他們的MapReduce代碼捆綁到j(luò)ar文件中，使用這個(gè)命令執(zhí)行。用法：hadoop jarjar[mainClass]args...streaming作業(yè)是通過這個(gè)命令執(zhí)行的。參考Streamingexamples中的例子。Wordcount例子也是通過jar命令運(yùn)行的。參考Wordcountexample。 job用于和MapReduce作業(yè)交互和命令。用法：Hadoop job[GENERIC_OPTIONS][submitjobfile]|[statusjobid]|[counterjobidgroupnamecountername]|[killjobid]|[eventsjobidfromeventofevents]|[history[all]jobOutputDir]|[list[all]]|[killtasktaskid]|[failtasktaskid]命令選項(xiàng)描述submitjobfile提交作業(yè)statusjobid打印map和reduce完成百分比和所有計(jì)數(shù)器。counterjobidgroupnamecountername打印計(jì)數(shù)器的值。killjobid殺死指定作業(yè)。eventsjobidfromeventofevents打印給定范圍內(nèi)jobtracker接收到的事件細(xì)節(jié)。history[all]jobOutputDirhistoryjobOutputDir打印作業(yè)的細(xì)節(jié)、失敗及被殺死原因的細(xì)節(jié)。更多的關(guān)于一個(gè)作業(yè)的細(xì)節(jié)比如成功的任務(wù)，做過的任務(wù)嘗試等信息可以通過指定[all]選項(xiàng)查看。list[all]listall顯示所有作業(yè)。list只顯示將要完成的作業(yè)。killtasktaskid殺死任務(wù)。被殺死的任務(wù)不會不利于失敗嘗試。failtasktaskid使任務(wù)失敗。被失敗的任務(wù)會對失敗嘗試不利。本節(jié)有關(guān)Hadoop命令簡單介紹到這里。 管理命令 balancer daemonlog datanode dfsadmin jobtracker namenode secondarynamenode tasktracker詳情點(diǎn)擊以上鏈接參考： balancer運(yùn)行集群平衡工具。管理員可以簡單的按CtrlC來停止平衡過程。參考Rebalancer了解更多。用法：hadoop balancer [threshold threshold]命令選項(xiàng)描述threshold threshold磁盤容量的百分比。這會覆蓋缺省的閥值。 datanode運(yùn)行一個(gè)HDFS的datanode。用法：hadoop datanode [rollback]命令選項(xiàng)描述rollback將datanode回滾到前一個(gè)版本。這需要在停止datanode，分發(fā)老的hadoop版本之后使用。 dfsadmin命令39。bin/hadoop dfsadmin39。命令支持一些和HDFS管理相關(guān)的操作。bin/hadoop dfsadmin help命令能列出所有當(dāng)前支持的命令。比如： report：報(bào)告HDFS的基本統(tǒng)計(jì)信息。有些信息也可以在NameNode Web服務(wù)首頁看到。 safemode：雖然通常并不需要，但是管理員的確可以手動讓NameNode進(jìn)入或離開安全模式。 finalizeUpgrade：刪除上一次升級時(shí)制作的集群備份。 jobtracker運(yùn)行MapReduce job Tracker節(jié)點(diǎn)。用法：hadoop jobtracker namenode運(yùn)行namenode。有關(guān)升級，回滾，升級終結(jié)的更多信息請參考升級和回滾。用法：hadoop namenode [format] | [upgrade] | [rollback] | [finalize] | [importCheckpoint]命令選項(xiàng)描述format格式化namenode。它啟動namenode，格式化namenode，之后關(guān)閉namenode。upgrade分發(fā)新版本的hadoop后，namenode應(yīng)以upgrade選項(xiàng)啟動。rollback將namenode回滾到前一版本。這個(gè)選項(xiàng)要在停止集群，分發(fā)老的hadoop版本后使用。finalizefinalize會刪除文件系統(tǒng)的前一狀態(tài)。最近的升級會被持久化，rollback選項(xiàng)將再不可用，升級終結(jié)操作之后，它會停掉namenode。importCheckpoint從檢查點(diǎn)目錄裝載鏡像并保存到當(dāng)前檢查點(diǎn)目錄。 secondarynamenode運(yùn)行HDFS的secondary namenode。用法：hadoop secondarynamenode [checkpoint [force]] | [geteditsize]命令選項(xiàng)描述checkpoint [force]如果EditLog的大小 = ，啟動Secondary namenode的檢查點(diǎn)過程。 如果使用了force，將不考慮EditLog的大小。geteditsize打印EditLog大小。 tasktracker運(yùn)行MapReduce的task Tracker節(jié)點(diǎn)。用法：hadoop tasktracker 常用命令這部分內(nèi)容其實(shí)可以通過命令的Help以及介紹了解，這里主要側(cè)重于介紹一下我用的比較多的幾個(gè)命令。Hadoop dfs 這個(gè)命令后面加參數(shù)就是對于HDFS的操作，和Linux操作系統(tǒng)的命令很類似，例如： Hadoop dfs –ls就是查看/usr/root目錄下的內(nèi)容，默認(rèn)如果不填路徑這就是當(dāng)前用戶路徑； Hadoop dfs –rmr xxx就是刪除目錄，還有很多命令看看就很容易上手； Hadoop dfsadmin –report這個(gè)命令可以全局的查看DataNode的情況； Hadoop job后面增加參數(shù)是對于當(dāng)前運(yùn)行的Job的操作，例如list,kill等； Hadoop balancer就是前面提到的均衡磁盤負(fù)載的命令。7 Hadoop的應(yīng)用Hadoop 是一個(gè)用于開發(fā)分布式應(yīng)用程序的多功能框架；從不同的角度看待問題是充分利用 Hadoop 的好方法。Hadoop 一直幫助解決各種問題，包括超大型數(shù)據(jù)集的排序和大文件的搜索。它還是各種搜索引擎的核心，比如 Amazon 的 A9 和用于查找酒信息的 Able Grape 垂直搜索引擎。Hadoop 的最常見用法之一是 Web 搜索。雖然它不是惟一的軟件框架應(yīng)用程序，但作為一個(gè)并行數(shù)據(jù)處理引擎，它的表現(xiàn)非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程。這個(gè)流程稱為創(chuàng)建索引，它將 Web 爬行器檢索到的文本 Web 頁面作為輸入，并且將這些頁面上的單詞的頻率報(bào)告作為結(jié)果。然后可以在整個(gè) Web 搜索過程中使用這個(gè)結(jié)果從已定義的搜索參數(shù)中識別內(nèi)容。當(dāng)前，Yahoo! 擁有最大的 Hadoop Linux 生產(chǎn)架構(gòu)，共由 10,000 多個(gè)內(nèi)核組成，有超過 5PB 字