【文章內(nèi)容簡(jiǎn)介】 路一：調(diào)度模塊實(shí)現(xiàn)功能思路 二：流程說(shuō)明以及注意事項(xiàng)： 任務(wù)與步驟采用配置表的方式保存在mysql中，調(diào)度程序定時(shí)掃描任務(wù)表，判斷是否有啟動(dòng)的任務(wù)，如果有啟動(dòng)的任務(wù)，則啟動(dòng)任務(wù)。 調(diào)度任務(wù)需要判斷任務(wù)中步驟之間的依賴關(guān)系，根據(jù)依賴關(guān)系判斷是否可以執(zhí)行下一步的執(zhí)行步驟。 一個(gè)任務(wù)中可以包含多個(gè)步驟，每個(gè)步驟為一個(gè)具體的任務(wù)，步驟與步驟直接存在依賴關(guān)系。 對(duì)于具體的執(zhí)行任務(wù)將由驅(qū)動(dòng)代理自動(dòng)完成。 流程圖 處理邏輯調(diào)度任務(wù)啟動(dòng)后掃描任務(wù)配置表，看任務(wù)配置表是否存在需要處理的任務(wù)信息，如果不存在需要處理的任務(wù)信息，則線程執(zhí)行休眠，否則執(zhí)行步驟2；生成數(shù)據(jù)日期，并檢查任務(wù)依賴關(guān)系，如果依賴關(guān)系未執(zhí)行完，則現(xiàn)成等待操作，等待依賴的任務(wù)執(zhí)行完成，如果依賴關(guān)系都執(zhí)行完，則獲取符合條件的任務(wù)，執(zhí)行步驟3：讀取任務(wù)信息表，獲取任務(wù)信息，根據(jù)任務(wù)信息讀取步驟信息，執(zhí)行相應(yīng)的步驟操作，執(zhí)行步驟4；根據(jù)步驟信息的配置獲取需要執(zhí)行的相應(yīng)的模版信息，調(diào)用驅(qū)動(dòng)代理程序執(zhí)行相應(yīng)的功能，執(zhí)行步驟5；驅(qū)動(dòng)代理程序執(zhí)行模版初始化，初始化完成后獲取相應(yīng)的參數(shù)數(shù)據(jù)，并根據(jù)模版類型選擇具體的驅(qū)動(dòng)程序，執(zhí)行相應(yīng)的操作。判斷該任務(wù)的下步驟是否執(zhí)行完成，如果未執(zhí)行完成，則執(zhí)行步驟3，繼續(xù)下一個(gè)步驟的執(zhí)行，否則執(zhí)行步驟7；寫(xiě)步驟完成信息表，判斷是否還存在要執(zhí)行的任務(wù)，如果沒(méi)有等待，存在需要執(zhí)行的任務(wù)則執(zhí)行步驟3. 驅(qū)動(dòng)代理模塊 設(shè)計(jì)思路一：計(jì)算驅(qū)動(dòng)模塊實(shí)現(xiàn)功能思路二：流程說(shuō)明以及注意事項(xiàng)：計(jì)算平臺(tái)的驅(qū)動(dòng)提供針對(duì)Hive，MapReduce，Hbase等相關(guān)的驅(qū)動(dòng)應(yīng)用?；跇I(yè)務(wù)模版的設(shè)置操作，調(diào)度執(zhí)行業(yè)務(wù)模版，不關(guān)心模版具體業(yè)務(wù)形態(tài)。一個(gè)驅(qū)動(dòng)應(yīng)用包含四個(gè)步驟：1）刪除不用的數(shù)據(jù)；2）加載數(shù)據(jù)；3）運(yùn)算；4）導(dǎo)出結(jié)果文件。提供監(jiān)控需要的相應(yīng)信息。對(duì)于文件的操作，會(huì)涉及到多個(gè)文件或者目錄操作，多個(gè)文件或者目錄以逗號(hào)分隔，對(duì)文件操作中涉及到一些按照小時(shí)，天，月份的文件命名的操作，配置中以特殊字符進(jìn)行替換。 流程圖 處理邏輯由調(diào)度程序驅(qū)動(dòng)代理模塊，調(diào)用驅(qū)動(dòng)代理模塊的驅(qū)動(dòng)應(yīng)用，傳遞需要驅(qū)動(dòng)的模版編號(hào)，處理時(shí)間范圍等相關(guān)信息，執(zhí)行流程2；驅(qū)動(dòng)程序首先查詢是否存在該模版，如果不存在模版，、則執(zhí)行流程3，否則執(zhí)行流程4；則直接返回任務(wù)失敗信息，不存在相關(guān)的模版，整個(gè)流程結(jié)束；如果查詢到相關(guān)的模版信息，先執(zhí)行初始化模版信息以及需要?jiǎng)h除的中間文件，多個(gè)文件以逗號(hào)分割，如果為空則表示不需要清理中間文件，執(zhí)行流程5；清理hive表數(shù)據(jù)操作，多個(gè)hive語(yǔ)句以逗號(hào)分割，如果為空則表示不需要進(jìn)行分割，執(zhí)行流程6判斷該操作是hive驅(qū)動(dòng)mapreduce還是自定義的mapreduce，如果是自定義的mapreduce則走自定義的mapreduce操作，執(zhí)行流程7，否則如果是hive驅(qū)動(dòng)的mapreduce，則走h(yuǎn)ive操作流程，否則執(zhí)行流程8；如果mapreduce的操作流程，第一步執(zhí)行加載文本文件數(shù)據(jù)，多個(gè)文本文件以逗號(hào)進(jìn)行分割，第二步執(zhí)行mapreduce操作，通過(guò)shell腳本的方式執(zhí)行mapreduce操作，第三步執(zhí)行完后將結(jié)果輸出。如果是hive的操作流程，第一步先執(zhí)行加載文本文件到hive表，如果有多個(gè)文件操作一逗號(hào)分割，第二步執(zhí)行hive語(yǔ)句，多個(gè)hive語(yǔ)句以逗號(hào)分割的方式，第三步將結(jié)果輸出到相應(yīng)的hive表中。根據(jù)設(shè)置導(dǎo)出的方式，將結(jié)果文件導(dǎo)出到mysql，或者mongodb，或者直接將文本文件從hdfs文件系統(tǒng)中導(dǎo)出。 對(duì)操作系統(tǒng)/應(yīng)用程序監(jiān)控流程 處理流程圖 處理邏輯讀取監(jiān)控服務(wù)器列表，判斷是否需要監(jiān)控，如果需要監(jiān)控，則執(zhí)行步驟2，如果不需要監(jiān)控，執(zhí)行步驟5；監(jiān)控模塊向監(jiān)控服務(wù)器發(fā)送監(jiān)控請(qǐng)求，等到被監(jiān)控服務(wù)器的返回，執(zhí)行步驟3；被監(jiān)控服務(wù)器接收到請(qǐng)求監(jiān)控信息后，將相關(guān)的信息返回給監(jiān)控模塊，執(zhí)行步驟4；監(jiān)控服務(wù)器將返回的數(shù)據(jù)進(jìn)行解析后入庫(kù)，執(zhí)行步驟5；判斷被監(jiān)控服務(wù)器是否都請(qǐng)求完成，如果請(qǐng)求完成，則執(zhí)行步驟6，否則執(zhí)行步驟1；監(jiān)控模塊線程休眠10分鐘，等待下次進(jìn)行監(jiān)控，執(zhí)行步驟1. 監(jiān)控報(bào)警模塊 設(shè)計(jì)思路一：監(jiān)控模塊實(shí)現(xiàn)功能思路 二：流程說(shuō)明以及注意事項(xiàng)： 監(jiān)控報(bào)警模塊主要完成三個(gè)級(jí)別的監(jiān)控報(bào)警，分為： 1）操作系統(tǒng)級(jí)別，檢測(cè)運(yùn)行的機(jī)器的操作系統(tǒng)是否正常運(yùn)行，CPU，內(nèi)存，I/O，存儲(chǔ)等資源的利用情況，采用Linux的Shell腳本對(duì)相關(guān)的信息進(jìn)行收集并上報(bào)； 2）應(yīng)用程序級(jí)別監(jiān)控，檢測(cè)kettle，hadoop，hive，hbase，zookeeper等相關(guān)程序是否正常啟動(dòng)，以及應(yīng)用程序的相關(guān)資源的監(jiān)控。 3）程序數(shù)據(jù)級(jí)別的監(jiān)控，對(duì)數(shù)據(jù)情況進(jìn)行監(jiān)控，主要是數(shù)據(jù)異常的監(jiān)控。監(jiān)控模塊主要負(fù)責(zé)監(jiān)控?cái)?shù)據(jù)的采集，數(shù)據(jù)異常報(bào)警，以及后期的監(jiān)控?cái)?shù)據(jù)展示等功能。對(duì)于系統(tǒng)級(jí)別和應(yīng)用程序級(jí)別的監(jiān)控?cái)?shù)據(jù)采集采用由監(jiān)控模塊主動(dòng)調(diào)用相應(yīng)的應(yīng)用接口的方式采集數(shù)據(jù)，對(duì)于應(yīng)用數(shù)據(jù)級(jí)別的監(jiān)控則由各個(gè)應(yīng)用將相關(guān)的數(shù)據(jù)寫(xiě)入到數(shù)據(jù)庫(kù)表，由監(jiān)控系統(tǒng)對(duì)其進(jìn)行掃描。監(jiān)控模塊的報(bào)警機(jī)制支持優(yōu)先級(jí)報(bào)警模式，對(duì)于優(yōu)先級(jí)較高，需要緊急處理的報(bào)警，需要不間斷的進(jìn)行報(bào)警，但需要設(shè)置報(bào)警的頻率，如10分鐘重復(fù)一次。監(jiān)控的報(bào)警模式采用郵件監(jiān)控的方式，輔助以短信提醒的方式。 流程圖 處理邏輯監(jiān)控報(bào)警啟動(dòng)采用啟動(dòng)啟動(dòng)的方式進(jìn)行，當(dāng)監(jiān)控報(bào)警線程啟動(dòng)后判斷是否到達(dá)監(jiān)控時(shí)間點(diǎn)，如果未到達(dá)監(jiān)控時(shí)間點(diǎn)，則線程休眠1分鐘后再次進(jìn)行判斷，如果到達(dá)監(jiān)控時(shí)間點(diǎn)則執(zhí)行步驟2。讀取需要監(jiān)控任務(wù)列表，得到需要監(jiān)控的任務(wù)，執(zhí)行步驟3。對(duì)監(jiān)控任務(wù)的源數(shù)據(jù)進(jìn)行掃描，判斷是否存在異常，如果存在異常則保存監(jiān)控異常數(shù)據(jù)，執(zhí)行步驟4，否則執(zhí)行步驟1。判斷監(jiān)控列表是否都執(zhí)行完，如果執(zhí)行完，對(duì)于異常情況以郵件的方式通知相關(guān)人，否則執(zhí)行步驟3。4. 系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì) 數(shù)據(jù)實(shí)體關(guān)系圖詳細(xì)圖例見(jiàn)附件 數(shù)據(jù)邏輯結(jié)構(gòu) 調(diào)度任務(wù)表字段說(shuō)明數(shù)據(jù)類型是否為空主鍵備注TaskId 任務(wù)ID int否是主鍵,自增長(zhǎng)IDTaskName 任務(wù)名稱Varchar(255)否TaskDesc 任務(wù)描述Varchar(500)是Priority優(yōu)先級(jí)int是數(shù)值1~10值越大優(yōu)先級(jí)越高,默認(rèn)5 CycleType 周期類型int否 Interval頻次間隔Int是整數(shù)PlanRunTime預(yù)期執(zhí)行時(shí)長(zhǎng)Int是單位：分鐘LastRunDate最后執(zhí)行日期int否20130101Status 任務(wù)狀態(tài)int否 CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時(shí)間date否ModifyUser修改人Varchar(255)是Modif