【文章內(nèi)容簡介】 路一：調(diào)度模塊實(shí)現(xiàn)功能思路 二：流程說明以及注意事項(xiàng)： 任務(wù)與步驟采用配置表的方式保存在mysql中，調(diào)度程序定時掃描任務(wù)表，判斷是否有啟動的任務(wù)，如果有啟動的任務(wù)，則啟動任務(wù)。 調(diào)度任務(wù)需要判斷任務(wù)中步驟之間的依賴關(guān)系，根據(jù)依賴關(guān)系判斷是否可以執(zhí)行下一步的執(zhí)行步驟。 一個任務(wù)中可以包含多個步驟，每個步驟為一個具體的任務(wù)，步驟與步驟直接存在依賴關(guān)系。 對于具體的執(zhí)行任務(wù)將由驅(qū)動代理自動完成。 流程圖 處理邏輯調(diào)度任務(wù)啟動后掃描任務(wù)配置表，看任務(wù)配置表是否存在需要處理的任務(wù)信息，如果不存在需要處理的任務(wù)信息，則線程執(zhí)行休眠，否則執(zhí)行步驟2；生成數(shù)據(jù)日期，并檢查任務(wù)依賴關(guān)系，如果依賴關(guān)系未執(zhí)行完，則現(xiàn)成等待操作，等待依賴的任務(wù)執(zhí)行完成，如果依賴關(guān)系都執(zhí)行完，則獲取符合條件的任務(wù)，執(zhí)行步驟3：讀取任務(wù)信息表，獲取任務(wù)信息，根據(jù)任務(wù)信息讀取步驟信息，執(zhí)行相應(yīng)的步驟操作，執(zhí)行步驟4；根據(jù)步驟信息的配置獲取需要執(zhí)行的相應(yīng)的模版信息，調(diào)用驅(qū)動代理程序執(zhí)行相應(yīng)的功能，執(zhí)行步驟5；驅(qū)動代理程序執(zhí)行模版初始化，初始化完成后獲取相應(yīng)的參數(shù)數(shù)據(jù)，并根據(jù)模版類型選擇具體的驅(qū)動程序，執(zhí)行相應(yīng)的操作。判斷該任務(wù)的下步驟是否執(zhí)行完成，如果未執(zhí)行完成，則執(zhí)行步驟3，繼續(xù)下一個步驟的執(zhí)行，否則執(zhí)行步驟7；寫步驟完成信息表，判斷是否還存在要執(zhí)行的任務(wù)，如果沒有等待，存在需要執(zhí)行的任務(wù)則執(zhí)行步驟3. 驅(qū)動代理模塊 設(shè)計(jì)思路一：計(jì)算驅(qū)動模塊實(shí)現(xiàn)功能思路二：流程說明以及注意事項(xiàng)：計(jì)算平臺的驅(qū)動提供針對Hive，MapReduce，Hbase等相關(guān)的驅(qū)動應(yīng)用?；跇I(yè)務(wù)模版的設(shè)置操作，調(diào)度執(zhí)行業(yè)務(wù)模版，不關(guān)心模版具體業(yè)務(wù)形態(tài)。一個驅(qū)動應(yīng)用包含四個步驟：1）刪除不用的數(shù)據(jù)；2）加載數(shù)據(jù)；3）運(yùn)算；4）導(dǎo)出結(jié)果文件。提供監(jiān)控需要的相應(yīng)信息。對于文件的操作，會涉及到多個文件或者目錄操作，多個文件或者目錄以逗號分隔，對文件操作中涉及到一些按照小時，天，月份的文件命名的操作，配置中以特殊字符進(jìn)行替換。 流程圖 處理邏輯由調(diào)度程序驅(qū)動代理模塊，調(diào)用驅(qū)動代理模塊的驅(qū)動應(yīng)用，傳遞需要驅(qū)動的模版編號，處理時間范圍等相關(guān)信息，執(zhí)行流程2；驅(qū)動程序首先查詢是否存在該模版，如果不存在模版，、則執(zhí)行流程3，否則執(zhí)行流程4；則直接返回任務(wù)失敗信息，不存在相關(guān)的模版，整個流程結(jié)束；如果查詢到相關(guān)的模版信息，先執(zhí)行初始化模版信息以及需要刪除的中間文件，多個文件以逗號分割，如果為空則表示不需要清理中間文件，執(zhí)行流程5；清理hive表數(shù)據(jù)操作，多個hive語句以逗號分割，如果為空則表示不需要進(jìn)行分割，執(zhí)行流程6判斷該操作是hive驅(qū)動mapreduce還是自定義的mapreduce，如果是自定義的mapreduce則走自定義的mapreduce操作，執(zhí)行流程7，否則如果是hive驅(qū)動的mapreduce，則走h(yuǎn)ive操作流程，否則執(zhí)行流程8；如果mapreduce的操作流程，第一步執(zhí)行加載文本文件數(shù)據(jù)，多個文本文件以逗號進(jìn)行分割，第二步執(zhí)行mapreduce操作，通過shell腳本的方式執(zhí)行mapreduce操作，第三步執(zhí)行完后將結(jié)果輸出。如果是hive的操作流程，第一步先執(zhí)行加載文本文件到hive表，如果有多個文件操作一逗號分割，第二步執(zhí)行hive語句，多個hive語句以逗號分割的方式，第三步將結(jié)果輸出到相應(yīng)的hive表中。根據(jù)設(shè)置導(dǎo)出的方式，將結(jié)果文件導(dǎo)出到mysql，或者mongodb，或者直接將文本文件從hdfs文件系統(tǒng)中導(dǎo)出。 對操作系統(tǒng)/應(yīng)用程序監(jiān)控流程 處理流程圖 處理邏輯讀取監(jiān)控服務(wù)器列表，判斷是否需要監(jiān)控，如果需要監(jiān)控，則執(zhí)行步驟2，如果不需要監(jiān)控，執(zhí)行步驟5；監(jiān)控模塊向監(jiān)控服務(wù)器發(fā)送監(jiān)控請求，等到被監(jiān)控服務(wù)器的返回，執(zhí)行步驟3；被監(jiān)控服務(wù)器接收到請求監(jiān)控信息后，將相關(guān)的信息返回給監(jiān)控模塊，執(zhí)行步驟4；監(jiān)控服務(wù)器將返回的數(shù)據(jù)進(jìn)行解析后入庫，執(zhí)行步驟5；判斷被監(jiān)控服務(wù)器是否都請求完成，如果請求完成，則執(zhí)行步驟6，否則執(zhí)行步驟1；監(jiān)控模塊線程休眠10分鐘，等待下次進(jìn)行監(jiān)控，執(zhí)行步驟1. 監(jiān)控報警模塊 設(shè)計(jì)思路一：監(jiān)控模塊實(shí)現(xiàn)功能思路 二：流程說明以及注意事項(xiàng)： 監(jiān)控報警模塊主要完成三個級別的監(jiān)控報警，分為： 1）操作系統(tǒng)級別，檢測運(yùn)行的機(jī)器的操作系統(tǒng)是否正常運(yùn)行，CPU，內(nèi)存，I/O，存儲等資源的利用情況，采用Linux的Shell腳本對相關(guān)的信息進(jìn)行收集并上報； 2）應(yīng)用程序級別監(jiān)控，檢測kettle，hadoop，hive，hbase，zookeeper等相關(guān)程序是否正常啟動，以及應(yīng)用程序的相關(guān)資源的監(jiān)控。 3）程序數(shù)據(jù)級別的監(jiān)控，對數(shù)據(jù)情況進(jìn)行監(jiān)控，主要是數(shù)據(jù)異常的監(jiān)控。監(jiān)控模塊主要負(fù)責(zé)監(jiān)控數(shù)據(jù)的采集，數(shù)據(jù)異常報警，以及后期的監(jiān)控數(shù)據(jù)展示等功能。對于系統(tǒng)級別和應(yīng)用程序級別的監(jiān)控數(shù)據(jù)采集采用由監(jiān)控模塊主動調(diào)用相應(yīng)的應(yīng)用接口的方式采集數(shù)據(jù)，對于應(yīng)用數(shù)據(jù)級別的監(jiān)控則由各個應(yīng)用將相關(guān)的數(shù)據(jù)寫入到數(shù)據(jù)庫表，由監(jiān)控系統(tǒng)對其進(jìn)行掃描。監(jiān)控模塊的報警機(jī)制支持優(yōu)先級報警模式，對于優(yōu)先級較高，需要緊急處理的報警，需要不間斷的進(jìn)行報警，但需要設(shè)置報警的頻率，如10分鐘重復(fù)一次。監(jiān)控的報警模式采用郵件監(jiān)控的方式，輔助以短信提醒的方式。 流程圖 處理邏輯監(jiān)控報警啟動采用啟動啟動的方式進(jìn)行，當(dāng)監(jiān)控報警線程啟動后判斷是否到達(dá)監(jiān)控時間點(diǎn)，如果未到達(dá)監(jiān)控時間點(diǎn)，則線程休眠1分鐘后再次進(jìn)行判斷，如果到達(dá)監(jiān)控時間點(diǎn)則執(zhí)行步驟2。讀取需要監(jiān)控任務(wù)列表，得到需要監(jiān)控的任務(wù)，執(zhí)行步驟3。對監(jiān)控任務(wù)的源數(shù)據(jù)進(jìn)行掃描，判斷是否存在異常，如果存在異常則保存監(jiān)控異常數(shù)據(jù)，執(zhí)行步驟4，否則執(zhí)行步驟1。判斷監(jiān)控列表是否都執(zhí)行完，如果執(zhí)行完，對于異常情況以郵件的方式通知相關(guān)人，否則執(zhí)行步驟3。4. 系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì) 數(shù)據(jù)實(shí)體關(guān)系圖詳細(xì)圖例見附件 數(shù)據(jù)邏輯結(jié)構(gòu) 調(diào)度任務(wù)表字段說明數(shù)據(jù)類型是否為空主鍵備注TaskId 任務(wù)ID int否是主鍵,自增長IDTaskName 任務(wù)名稱Varchar(255)否TaskDesc 任務(wù)描述Varchar(500)是Priority優(yōu)先級int是數(shù)值1~10值越大優(yōu)先級越高,默認(rèn)5 CycleType 周期類型int否 Interval頻次間隔Int是整數(shù)PlanRunTime預(yù)期執(zhí)行時長Int是單位：分鐘LastRunDate最后執(zhí)行日期int否20130101Status 任務(wù)狀態(tài)int否 CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是Modif