【文章內容簡介】 否可以執(zhí)行下一步的執(zhí)行步驟。 一個任務中可以包含多個步驟，每個步驟為一個具體的任務，步驟與步驟直接存在依賴關系。 對于具體的執(zhí)行任務將由驅動代理自動完成。 流程圖 處理邏輯調度任務啟動后掃描任務配置表，看任務配置表是否存在需要處理的任務信息，如果不存在需要處理的任務信息，則線程執(zhí)行休眠，否則執(zhí)行步驟2；生成數據日期，并檢查任務依賴關系，如果依賴關系未執(zhí)行完，則現成等待操作，等待依賴的任務執(zhí)行完成，如果依賴關系都執(zhí)行完，則獲取符合條件的任務，執(zhí)行步驟3：讀取任務信息表，獲取任務信息，根據任務信息讀取步驟信息，執(zhí)行相應的步驟操作，執(zhí)行步驟4；根據步驟信息的配置獲取需要執(zhí)行的相應的模版信息，調用驅動代理程序執(zhí)行相應的功能，執(zhí)行步驟5；驅動代理程序執(zhí)行模版初始化，初始化完成后獲取相應的參數數據，并根據模版類型選擇具體的驅動程序，執(zhí)行相應的操作。判斷該任務的下步驟是否執(zhí)行完成，如果未執(zhí)行完成，則執(zhí)行步驟3，繼續(xù)下一個步驟的執(zhí)行，否則執(zhí)行步驟7；寫步驟完成信息表，判斷是否還存在要執(zhí)行的任務，如果沒有等待，存在需要執(zhí)行的任務則執(zhí)行步驟3. 驅動代理模塊 設計思路一：計算驅動模塊實現功能思路二：流程說明以及注意事項：計算平臺的驅動提供針對Hive，MapReduce，Hbase等相關的驅動應用。基于業(yè)務模版的設置操作，調度執(zhí)行業(yè)務模版，不關心模版具體業(yè)務形態(tài)。一個驅動應用包含四個步驟：1）刪除不用的數據；2）加載數據；3）運算；4）導出結果文件。提供監(jiān)控需要的相應信息。對于文件的操作，會涉及到多個文件或者目錄操作，多個文件或者目錄以逗號分隔，對文件操作中涉及到一些按照小時，天，月份的文件命名的操作，配置中以特殊字符進行替換。 流程圖 處理邏輯由調度程序驅動代理模塊，調用驅動代理模塊的驅動應用，傳遞需要驅動的模版編號，處理時間范圍等相關信息，執(zhí)行流程2；驅動程序首先查詢是否存在該模版，如果不存在模版，、則執(zhí)行流程3，否則執(zhí)行流程4；則直接返回任務失敗信息，不存在相關的模版，整個流程結束；如果查詢到相關的模版信息，先執(zhí)行初始化模版信息以及需要刪除的中間文件，多個文件以逗號分割，如果為空則表示不需要清理中間文件，執(zhí)行流程5；清理hive表數據操作，多個hive語句以逗號分割，如果為空則表示不需要進行分割，執(zhí)行流程6判斷該操作是hive驅動mapreduce還是自定義的mapreduce，如果是自定義的mapreduce則走自定義的mapreduce操作，執(zhí)行流程7，否則如果是hive驅動的mapreduce，則走hive操作流程，否則執(zhí)行流程8；如果mapreduce的操作流程，第一步執(zhí)行加載文本文件數據，多個文本文件以逗號進行分割，第二步執(zhí)行mapreduce操作，通過shell腳本的方式執(zhí)行mapreduce操作，第三步執(zhí)行完后將結果輸出。如果是hive的操作流程，第一步先執(zhí)行加載文本文件到hive表，如果有多個文件操作一逗號分割，第二步執(zhí)行hive語句，多個hive語句以逗號分割的方式，第三步將結果輸出到相應的hive表中。根據設置導出的方式，將結果文件導出到mysql，或者mongodb，或者直接將文本文件從hdfs文件系統(tǒng)中導出。 對操作系統(tǒng)/應用程序監(jiān)控流程 處理流程圖 處理邏輯讀取監(jiān)控服務器列表，判斷是否需要監(jiān)控，如果需要監(jiān)控，則執(zhí)行步驟2，如果不需要監(jiān)控，執(zhí)行步驟5；監(jiān)控模塊向監(jiān)控服務器發(fā)送監(jiān)控請求，等到被監(jiān)控服務器的返回，執(zhí)行步驟3；被監(jiān)控服務器接收到請求監(jiān)控信息后，將相關的信息返回給監(jiān)控模塊，執(zhí)行步驟4；監(jiān)控服務器將返回的數據進行解析后入庫，執(zhí)行步驟5；判斷被監(jiān)控服務器是否都請求完成，如果請求完成，則執(zhí)行步驟6，否則執(zhí)行步驟1；監(jiān)控模塊線程休眠10分鐘，等待下次進行監(jiān)控，執(zhí)行步驟1. 監(jiān)控報警模塊 設計思路一：監(jiān)控模塊實現功能思路 二：流程說明以及注意事項： 監(jiān)控報警模塊主要完成三個級別的監(jiān)控報警，分為： 1）操作系統(tǒng)級別，檢測運行的機器的操作系統(tǒng)是否正常運行，CPU，內存，I/O，存儲等資源的利用情況，采用Linux的Shell腳本對相關的信息進行收集并上報； 2）應用程序級別監(jiān)控，檢測kettle，hadoop，hive，hbase，zookeeper等相關程序是否正常啟動，以及應用程序的相關資源的監(jiān)控。 3）程序數據級別的監(jiān)控，對數據情況進行監(jiān)控，主要是數據異常的監(jiān)控。監(jiān)控模塊主要負責監(jiān)控數據的采集，數據異常報警，以及后期的監(jiān)控數據展示等功能。對于系統(tǒng)級別和應用程序級別的監(jiān)控數據采集采用由監(jiān)控模塊主動調用相應的應用接口的方式采集數據，對于應用數據級別的監(jiān)控則由各個應用將相關的數據寫入到數據庫表，由監(jiān)控系統(tǒng)對其進行掃描。監(jiān)控模塊的報警機制支持優(yōu)先級報警模式，對于優(yōu)先級較高，需要緊急處理的報警，需要不間斷的進行報警，但需要設置報警的頻率，如10分鐘重復一次。監(jiān)控的報警模式采用郵件監(jiān)控的方式，輔助以短信提醒的方式。 流程圖 處理邏輯監(jiān)控報警啟動采用啟動啟動的方式進行，當監(jiān)控報警線程啟動后判斷是否到達監(jiān)控時間點，如果未到達監(jiān)控時間點，則線程休眠1分鐘后再次進行判斷，如果到達監(jiān)控時間點則執(zhí)行步驟2。讀取需要監(jiān)控任務列表，得到需要監(jiān)控的任務，執(zhí)行步驟3。對監(jiān)控任務的源數據進行掃描，判斷是否存在異常，如果存在異常則保存監(jiān)控異常數據，執(zhí)行步驟4，否則執(zhí)行步驟1。判斷監(jiān)控列表是否都執(zhí)行完，如果執(zhí)行完，對于異常情況以郵件的方式通知相關人，否則執(zhí)行步驟3。4. 系統(tǒng)數據結構設計 數據實體關系圖詳細圖例見附件 數據邏輯結構 調度任務表字段說明數據類型是否為空主鍵備注TaskId 任務ID int否是主鍵,自增長IDTaskName 任務名稱Varchar(255)否TaskDesc 任務描述Varchar(500)是Priority優(yōu)先級int是數值1~10值越大優(yōu)先級越高,默認5 CycleType 周期類型int否 Interval頻次間隔Int是整數PlanRunTime預期執(zhí)行時長Int是單位：分鐘LastRunDate最后執(zhí)行日期int否20130101Status 任務狀態(tài)int否 CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是ModifyTime修改時間date是 調度步驟表字段說明數據類型是否為空主鍵備注StepId 步驟ID int否是主鍵,自增長ID TaskId任務IDint否“任務表”主鍵StepSort執(zhí)行順序int否相同則表示并行StepName步驟名稱Var