【正文】 首先安裝它們。 以 Linux 為例 : $ sudo aptget install ssh $ sudo aptget install rsync 北京寬連十方數(shù)字技術有限公 司 公開 絕密 下載 為了獲取 Hadoop 的發(fā)行版，從 Apache 的某個鏡像服務器上下載最近的 穩(wěn)定發(fā)行版。 下載地址： 運行 Hadoop 集群的準備工作 解壓所下載的 Hadoop 發(fā)行版。編輯 conf/ 文件，至少需要將 JAVA_HOME設置為 Java 安裝根路徑。 嘗試如下命令： $ bin/hadoop 將會顯示 hadoop 腳本的使用文檔。 現(xiàn)在你可以用以下三種支持的模式中的一種啟動 Hadoop 集群： 單機模式 偽分布式模式 完全分布式模式 單機模式的操作方法 默認情況下， Hadoop 被配置成以非分布式模式運行的一個獨立 Java 進程。這對調(diào)試非常有幫助。 下面的實例將已解壓的 conf 目錄拷貝作為輸入，查找并顯示匹配給定正則表達式的條目。輸出寫入到指定的 output 目錄。 $ mkdir input $ cp conf/*.xml input $ bin/hadoop jar grep input output ?dfs[az.]+‘ $ cat output/* 注：語法不理解沒關系看下面進一步說明 顯示結(jié)果 1 dfsadmin 北京寬連十方數(shù)字技術有限公司 公開 絕密 偽分布式模式的操作方法 Hadoop 可以在單節(jié)點上以所謂的偽分布式模式運行，此時每一個 Hadoop 守護進程都作為一個獨立的 Java 進程運行。 配置 注：以前的版本是 ,可 hadoop 在 版本，配置文件由以前的 ,hdfs ,因是因為 hadoop 代碼量越來越寵大，拆解成三個大的分支進行獨立開發(fā)，配置文件也獨立了 conf/: configuration property name/name value /property /configuration conf/: configuration property name/name value1/value /property /configuration conf/: configuration property name/name valuelocalhost:9001/value /property /configuration 北京寬連十方數(shù)字技術有限公司 公開 絕密 免密碼 ssh設置 現(xiàn)在確認能否不輸入口令就用 ssh登錄 localhost: $ ssh localhost 如果不輸入口令就無法用 ssh登陸 localhost，執(zhí)行下面的命令： $ sshkeygen t dsa P ?? f ~/.ssh/id_dsa $ cat ~/.ssh/ ~/.ssh/authorized_keys 執(zhí)行 首先使用 hadoop 命令對 Hadoop File System (HDFS) 進行格式化。 首先，請求 namenode 對 DFS 文件系統(tǒng)進行格式化。在安裝過程中完成了這個步驟，但是 了 解 是 否 需要 生 成 干凈 的 文 件 系統(tǒng) 是 有 用的 。 [hadoop@TEST085 ]$ bin/hadoop namenode –format 注：在確認請求之后，文件系統(tǒng)進行格式化并返回一些信息： 11/07/12 17:47:12 INFO : STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = TEST085/ STARTUP_MSG: args = [format] STARTUP_MSG: version = STARTUP_MSG: build = r 1099333。 piled by ?oom‘ on Wed May 4 07:57:50 PDT 2020 ************************************************************/ 11/07/12 17:47:12 INFO : VM type = 32bit 11/07/12 17:47:12 INFO : 2% max memory = MB 11/07/12 17:47:12 INFO : capacity = 2 = 4194304 entries 11/07/12 17:47:12 INFO : remended=4194304, actual=4194304 北京寬連十方數(shù)字技術有限公司 公開 絕密 11/07/12 17:47:13 INFO : fsOwner=hadoop 11/07/12 17:47:13 INFO : supergroup=supergroup 11/07/12 17:47:13 INFO : isPermissionEnabled=true 11/07/12 17:47:13 INFO : =100 11/07/12 17:47:13 INFO : isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 11/07/12 17:47:13 INFO : Caching file names occuring more than 10 times 11/07/12 17:47:13 INFO : Image file of size 112 saved in 0 seconds. 11/07/12 17:47:13 INFO : Storage directory /tmp/hadoophadoop/dfs/name has been successfully formatted. 11/07/12 17:47:13 INFO : SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at TEST085/ ************************************************************/ 接下來，啟動 Hadoop 守護進程。 啟動 Hadoop 守護進程： [hadoop@TEST085 ]$ bin/ 注： 1） Hadoop 守護進程的日志寫入到 ${HADOOP_LOG_DIR} 目錄 (默認 是 ${HADOOP_HOME}/logs) 2）啟動 hadoop，但 ssh 端口不是默認的 22 怎么樣？好在它可以配置。在 conf/ 里改下。如： export HADOOP_SSH_OPTS=p 1234 瀏覽 NameNode 和 JobTracker的網(wǎng)絡接口，它們的地址默認為： JobTracker 將輸入文件拷貝到分布式文件系統(tǒng)： $ bin/hadoop fs put conf input 北京寬連十方數(shù)字技術有限公司 公開 絕密