hadoop培訓(xùn)ppt課件-文庫吧資料
2024-10-22 23:38本頁面
【正文】 IntWritable{} public static class IntSumReducer extends ReducerText,IntWritable,Text,IntWritable {} public static void main(String[] args){} } Page 10 hadoop編程接口， hadoop任務(wù)運(yùn)行原理 ? 以一個(gè)任務(wù)的提交為例： ? 其 main函數(shù)如下，其中就包含了提交任務(wù)的流程： public static void main(String[] args) throws Exception { Configuration conf = new Configuration()。Hadoop原理不 Streaming下編程 數(shù)據(jù)中心 研究院 Page 2 提綱 ? hadoop的組成部分和安裝方法 ? hadoop的 web接口 ? hadoop的命令行接口 ? dfs ? job ? jar ? dfsadmin ? ... ? hadoop的編程接口 ? mapreduce任務(wù)編程 ? hdfs編程 ? Streaming編程框架 ? 任務(wù) 的調(diào)試和查錯(cuò) Page 3 hadoop的軟件結(jié)構(gòu)和安裝方法 ? 軟件結(jié)構(gòu)（我們目前主要使用的） ? DFS模塊，包含了Namenode, Secondary Namenode, Datanode等模塊，這些模塊分別會(huì)運(yùn)行在主節(jié)點(diǎn)和從節(jié)點(diǎn)上，通過協(xié)議進(jìn)行交互 ? mapred模塊，包含了 JobTracker和 TaskTracker模塊，這些模塊運(yùn)行在主節(jié)點(diǎn)和從節(jié)點(diǎn)上，也通過協(xié)議進(jìn)行交互 Page 4 hadoop的軟件結(jié)構(gòu)和安裝方法 ? 軟件安裝方法 ? 下載程序包 ? 解壓后配置相關(guān)參數(shù) ,所有的配置文件在主文件夾下的 conf文件夾內(nèi)。 ? 分發(fā)程序目錄到集群中所有機(jī)器 ? 命令行啟勱集群 Page 5 hadoop的接口 ? 通過接口了解 hadoop內(nèi)部的情冴 ? web接口 ? 部分命令行接口 ? 通過接口控制 hadoop的運(yùn)行和態(tài) ? web接口（需開啟配置中 web控制選項(xiàng)） ? 命令行接口 ? 通過接口提交任務(wù) ? 命令行接口結(jié)合編程接口 Page 6 hadoop的 web接口 ? hdfs，默認(rèn)用瀏覽器訪問 namenode節(jié)點(diǎn)的 50070端口即可 ? hdfs接口中可以訪問 ? mapred，默認(rèn)用瀏覽器訪問 jobtracker節(jié)點(diǎn)的 50030端口即可，一般將同一臺(tái)機(jī)器作為 jobtracker和 namenode節(jié)點(diǎn) Page 7 hadoop的命令行接口 ? dfs ? mv cp(宜使用 distCp工具替代 ) ls ... ? job ? list kill history ... ? jar : 讀取配置運(yùn)行 java程序 ? ? ? ? ... ? ???admi
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1