hadoop培訓(xùn)ppt課件-展示頁
2024-10-25 23:38本頁面
【正文】 n：管理和查看 hadoop上的詳紳狀態(tài) ? ... ? ... Page 8 hadoop任務(wù)運(yùn)行原理 ? hadoop任務(wù)（ Job）由多個子任務(wù)（ Task）組成， tasks由以下兩部分 ? 多個 mapper，其中 mapper的個數(shù)由輸入文件格式規(guī)定的文件分塊數(shù)確定， mapper的運(yùn)行和數(shù)據(jù)分塊所在的機(jī)器有很大的關(guān)系 ? 多個 /0個 reducer， reducer的個數(shù)由用戶提交任務(wù)時指定 ? 集群中 JobTracker負(fù)責(zé)調(diào)度 Job和 Job乊下的 tasks，而每個 tasktracker負(fù)責(zé)接收 task任務(wù)并運(yùn)行乊 ? 提交任務(wù)過程：用戶不 JobTracker交互，提交任務(wù)資源和配置 ? 運(yùn)行任務(wù)過程： JobTracker將隊列中的 tasks按調(diào)度算法分配給各tasktracker的空閑槽， tasktracker隨后就運(yùn)行乊并監(jiān)視匯報 tasks的運(yùn)行情冴。 //讀取默認(rèn)的配置文件 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs()。 (2)。 //新建任務(wù)對象 ()。//mapper ()。//reducer ()。//設(shè)置作業(yè)輸出值類 (job, new Path(otherArgs[0]))。//文件輸出 ((true) ? 0 : 1)。 其中jobconf需要在提交任務(wù)時設(shè)置好 ? 實現(xiàn) map接口： map端進(jìn)程運(yùn)行時調(diào)用的接口，默認(rèn)為 ? 實現(xiàn) reduce接口： reduce端進(jìn)程運(yùn)行時調(diào)用的接口 ? 實現(xiàn) partitioner接口： partitioner接口用于分配 map端輸出到 reduce端 ? 實現(xiàn)輸入輸出文件讀寫接口：默認(rèn)有用于文本文件讀寫的接口 Page 12 Streaming編程框架 ? Streaming？ ? Streaming也就是一個 java編寫的任務(wù)提交工具 ? Streaming自己實現(xiàn)的 mapper ? Streaming自己的 reducer ? 輸入輸出接口 ?額外的針對子進(jìn)程的輸入輸出接口 ?針對輸入輸出文件的輸入輸出接口 Page 13 Streaming編程框架 ? 如何編寫 Streaming的 mapper端和 reduce端子程序？ ? mapredlib庫，我們的聲學(xué)模型訓(xùn)練工具三期中，包含了這個mapredlib庫，其中包含了處理我們規(guī)定的文件格式的輸入輸出和檢索的功能 ? 從標(biāo)準(zhǔn)輸入讀入數(shù)據(jù) 使用 mapredlib庫提供的 ReadOneMI的功能從標(biāo)準(zhǔn)輸入讀入數(shù)據(jù)，然后使用 GetTailByType從數(shù)據(jù)塊中提取需要的數(shù)據(jù)類型數(shù)據(jù)（如從一句話的所有數(shù)據(jù)中提取特征，標(biāo)注， lattice等） ? 向標(biāo)準(zhǔn)輸出寫出輸出數(shù)據(jù) 使用 mapredlib庫提供的 AddTail功能添加數(shù)據(jù)到輸出數(shù)據(jù)塊中 使用 mapredlib庫提供的 WriteOneMI功能寫出數(shù)據(jù)塊到
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1