【正文】 ame/name value:9001/value /property /configuration 設(shè)置系統(tǒng)環(huán)境 ，以方便執(zhí)行 hadoop命令 在 /home/hadoop/ .bashrc加入 export HADOOP_HOME=/root/hadoop/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/conf export PATH=/root/hadoop/hadoop/bin:$PATH Slave(60,245上 )配置 在 Slave(60,245上 )上的配置文件如下 ( )： [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 name/name value /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value:9001/value /property /configuration 初始化和啟動(dòng) hadoop集群 初始化文件系統(tǒng) 初始化 namenode,為 HDFS 作第一次運(yùn)行的準(zhǔn)備。 [hadoopTEST085 ]$ vi conf/slaves [hadoopTEST085 ]$ vi conf/master Master(85)配置 85 為 master 結(jié)點(diǎn) ，則 85 的配置文件如下 ： hadoop 在 版本，配置文件由以前的 文件變成三個(gè)配置文件 ，hdfs ， ?？梢约佣鄠€(gè)，每行一個(gè)。 我們用 HADOOP_HOME指 定 安裝的根路徑 。 再把名稱(chēng)服務(wù)器上的 authorized_keys 復(fù)制到目錄數(shù)據(jù)節(jié)點(diǎn)（ 160， 254） ./ssh,注意權(quán)限和目錄結(jié)構(gòu)跟名稱(chēng)節(jié)點(diǎn)保持一致，然后再?gòu)拿Q(chēng)節(jié)點(diǎn)用 ssh 登陸數(shù)據(jù)節(jié)點(diǎn)，如果不需要密碼能登陸成功，則 ssh 的配置結(jié)束。 2) 以 hadoop 用戶名登陸名稱(chēng)節(jié)點(diǎn) （ 85） 執(zhí)行 sshkeygen t rsa 然后一路回車(chē)，完畢后生成文件 .ssh/,把這個(gè)文件復(fù)制到當(dāng)前位置，命名為authorized_keys；然后執(zhí)行命令 ssh ,如果不需要密碼則直接登陸進(jìn)去的話，就達(dá)到要求；否則需檢查 authorized_keys 的權(quán)限，看是否為 644（ rwrr）。 圖 1. 偽分布式 Hadoop 配置 4 Hadoop集群搭建 過(guò)程 手記 參考： 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 先用了 三臺(tái)服務(wù)器作了 hadoop 集群的部署測(cè)試 ， 服務(wù) 器有 （下面簡(jiǎn)稱(chēng)85） ， （下面簡(jiǎn)稱(chēng) 160）， （下面簡(jiǎn)稱(chēng) 254）， 架構(gòu)規(guī)化如下 ： 1) 85 作為 NameNode， SecondaryNameNode， JobTracker； 2) 160 和 254 作為 DataNode,TaskTracker 免密碼 SSH設(shè)置 打通 ssh，讓 85 免登陸到 160， 254。每個(gè)守護(hù)進(jìn)程都在后臺(tái)運(yùn)行。 查看輸出文件： 將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看： $ bin/hadoop fs get output output $ cat output/* 或者 在分布式文件系統(tǒng)上查看輸出文件： $ bin/hadoop fs cat output/* 完成全 部操作后，停止守護(hù)進(jìn)程： $ bin/ Hadoop 在這個(gè)偽分布式配置中啟動(dòng) 5 個(gè)守護(hù)進(jìn)程： namenode、 secondarynamenode、datanode、 jobtracker 和 tasktracker。如： export HADOOP_SSH_OPTS=p 1234 瀏覽 NameNode 和 JobTracker 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為： ? NameNode ? JobTracker 將輸入文件拷貝到分布式文件系統(tǒng)： $ bin/hadoop fs put conf input 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 運(yùn)行發(fā)行版提供的示例程序： $ bin/hadoop jar grep input output 39。 啟動(dòng) Hadoop 守護(hù)進(jìn)程： [hadoopTEST085 ]$ bin/ 注： 1） Hadoop 守護(hù)進(jìn)程的日志寫(xiě)入到 ${HADOOP_LOG_DIR} 目錄 (默認(rèn)是 ${HADOOP_HOME}/logs) 2） 啟動(dòng) hadoop，但 ssh 端口不是默認(rèn)的 22 怎么樣？好在它可以配置。oom39。 [hadoopTEST085 ]$ bin/hadoop namenode –format 注： 在確認(rèn)請(qǐng)求之后，文件系統(tǒng)進(jìn)行格式化并返回一些信息 ： 11/07/12 17:47:12 INFO : STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = TEST085/ STARTUP_MSG: args = [format] STARTUP_MSG: version = STARTUP_MSG: build = r 1099333。 首先，請(qǐng)求 namenode 對(duì) DFS 文件系統(tǒng)進(jìn)行格式化。39。 $ cat output/* 注：語(yǔ)法不理解沒(méi)關(guān)系看下面進(jìn)一步說(shuō)明 顯示結(jié)果 1 dfsadmin 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 偽分布式模式的操作方法 Hadoop 可以在單節(jié)點(diǎn)上以所謂的偽分布式模式運(yùn)行，此時(shí)每一個(gè) Hadoop 守護(hù)進(jìn)程都作為一個(gè)獨(dú)立的 Java 進(jìn)程運(yùn)行。 $ mkdir input $ cp conf/*.xml input $ bin/hadoop jar grep input output 39。 下面的實(shí)例將已解壓的 conf 目錄拷貝作為輸入，查找并顯示匹配給定正則表達(dá)式的條目。 現(xiàn)在你可以用以下三種支持的模式中的一種啟動(dòng) Hadoop 集群： ? 單機(jī)模式 ? 偽分布式模式 ? 完全分布式模式 單機(jī)模式的操作方法 默認(rèn)情況下， Hadoop 被配置成以非分布式模式運(yùn)行的一個(gè)獨(dú)立 Java 進(jìn)程。編輯 conf/，至少需要將 JAVA_HOME設(shè)置為 Java 安裝根路徑。 以 Linux為例 : $ sudo aptget install ssh $ sudo aptget install rsync 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 下載 為了獲取 Hadoop 的發(fā)行版，從 Apache 的某個(gè)鏡像服務(wù)器上下載最近的 穩(wěn)定發(fā)行版 。 2. ssh 必須安裝并且保證 sshd 一直運(yùn)行，以便用 Hadoop 腳本管理遠(yuǎn)端 Hadoop 守護(hù)進(jìn)程。由于分布式操作尚未在 Win32 平臺(tái)上充分測(cè)試，所以還不作為一個(gè) 生產(chǎn)平臺(tái) 被支持。 Hadoop 已在有 2020 個(gè)節(jié)點(diǎn)的 GNU/Linux主機(jī)組成的集群系統(tǒng)上得到驗(yàn)證。 3 Hadoop的 單機(jī) 部署 參考：forms 目的 本章節(jié) 的目的是幫助你快速完成單機(jī)上的 Hadoop 安裝與使用以便你對(duì) Hadoop 分布式文件系統(tǒng) (HDFS)和 MapReduce 框架有所體會(huì)，比如在 HDFS 上運(yùn)行示例程序或簡(jiǎn)單作業(yè)等。 master 負(fù)責(zé)調(diào)度job 的每一個(gè)子任務(wù) task 運(yùn)行于 slave 上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的 task 就重新運(yùn)行它， slave 則負(fù)責(zé)直接執(zhí)行每一個(gè) task。 4) Jobtracker 和 Tasktracher: JobTracker 是 MapReduce 框架中最主要的類(lèi)之一，所有 job 的執(zhí)行都由它來(lái)調(diào)度，而且 Hadoop 系統(tǒng)中只配置一個(gè) JobTracker 應(yīng)用 。其實(shí)不是。在 Namenode 的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組 Datanode上 。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode 節(jié)點(diǎn)的映射 2) Datanode: 集群中的 Datanode 一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。 Namenode 是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間 (namespace)以及客戶端對(duì)文件的訪問(wèn) 。 2 術(shù)語(yǔ) 1) Namenode: HDFS 采用 master/slave 架構(gòu)。海量數(shù)據(jù)被分割于多個(gè)節(jié)點(diǎn)，然后由每一個(gè)節(jié)點(diǎn)并行計(jì)算，將得出的結(jié)果歸 并到輸出。 使用場(chǎng)景 個(gè)人覺(jué)得最適合的就是海量數(shù)據(jù)的分析，其實(shí) Google最早提出 MapReduce也就是為了海量數(shù)據(jù)分析。 3) 高效率（ Efficient）：通過(guò)分發(fā)數(shù)據(jù)， hadoop 可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地（ parallel）處理它們，這使得處理非常的快速。 北京寬連十方數(shù)字技術(shù)有限公司 公開(kāi) 內(nèi)部公開(kāi) √ 機(jī)密 絕密 2) 成本低（ Economical）：可以通過(guò)普通機(jī)器組成的服務(wù)器群來(lái)分發(fā)以及處理數(shù)據(jù)。 2) HDFS是 Hadoop分布式文件系統(tǒng)（ Hadoop Distributed File System）的縮寫(xiě)，為分布式計(jì)算存儲(chǔ)提供了底層支持。 下圖是 Hadoop 的體系結(jié)構(gòu)： Hadoop框架中最核心的設(shè)計(jì)就是： MapReduce和 HDFS。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。 它 由 Apache 基金會(huì)開(kāi)發(fā)。 2020 年 3 月份， MapReduce 和 Nutch Distributed File System (NDFS) 分別被納入稱(chēng)為 Hadoop 的項(xiàng)目中。 什么是 Hadoop？ Hadoop 由 Apache Software Foundation 公司于 2020 年秋天作 為 Lucene 的子項(xiàng)目 Nutch 的一部分正式引入。 bailingout... 45 Too many fetchfailures .............................................................................. 45 能夠啟動(dòng) datanode，但無(wú)法訪問(wèn)，也無(wú)法結(jié)束的錯(cuò)誤 ................................. 45 : Could not obtain block: ............................................... 46 : Java heap space ......................................... 46 解決 hadoop OutOfMemoryError問(wèn)題： ....................................................... 46 Hadoop : ...................................................................... 46 防火墻的端口開(kāi)放要求 ..................................................................................... 47 與 HDFS有關(guān)的地址及端口屬性 ................................................................... 47 與 MapReduce 有關(guān)的地址及端口屬性 ........................................................ 48 8 附錄 ....................................................................................................................... 49 hadoop歷史 ..................