freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

edw數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目方案-閱讀頁(yè)

2025-05-29 03:35本頁(yè)面
  

【正文】 息源,控制各個(gè)獨(dú)立的服務(wù)器或數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)。? 應(yīng)用管理:處理客戶應(yīng)用中發(fā)生的事件。23 / 47? 生產(chǎn)調(diào)度:生產(chǎn)調(diào)度組件包括了一套應(yīng)用,用于調(diào)度和自動(dòng)化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理(如 ETL)特有的任務(wù)。系統(tǒng)監(jiān)控管理的主要任務(wù)及工具支持如下圖所示: 系統(tǒng)維護(hù)管理系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過(guò)程中,為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理,以及啟/停機(jī)、清理過(guò)期數(shù)據(jù)等日常操作,以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護(hù)等。? 系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過(guò)程中,為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理,以及啟/停機(jī)、清理過(guò)期數(shù)據(jù)等日常操作。在 EDW 系統(tǒng)運(yùn)行過(guò)程中,有兩種典型的變更需要進(jìn)行管理:數(shù)據(jù)變更和系統(tǒng)升級(jí)。系統(tǒng)維護(hù)管理的主要任務(wù)及工具支持如下圖所示: 備份恢復(fù)管理備份與恢復(fù)的目標(biāo)在于:? 保證在任何時(shí)點(diǎn)對(duì)數(shù)據(jù)的完全恢復(fù)。? 盡量提高數(shù)據(jù)備份過(guò)程的效率。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來(lái)保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。在故障或失敗事件中,故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中,直到主系統(tǒng)被恢復(fù)或替代。數(shù)據(jù)通過(guò)放置在環(huán)境中系統(tǒng)元素一端的代理進(jìn)行的收集,并由容量規(guī)劃組件進(jìn)行分析,包括磁盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫(kù)、和網(wǎng)絡(luò)等。27 / 47安全管理是貫穿 EDW 總體架構(gòu)的。為防止安全內(nèi)容的重復(fù),所有安全組件都應(yīng)統(tǒng)一被考慮,它是跨開發(fā)、執(zhí)行、運(yùn)維架構(gòu)的。? 靈活性原則數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持,這些信息需求會(huì)隨著銀行需求的變化而不斷增加,進(jìn)而會(huì)引起需求的不可預(yù)料性。? 可擴(kuò)展性原則隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加,數(shù)據(jù)模型應(yīng)提供一個(gè)規(guī)范化的設(shè)計(jì)思路,以便業(yè)務(wù)系統(tǒng)的擴(kuò)展。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢效率,因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲(chǔ),必須是高效可用的。加工匯總層要重點(diǎn)解決共性指標(biāo)的加工。隨時(shí)間的增加,存儲(chǔ)數(shù)據(jù)越來(lái)越多。29 / 47 數(shù)據(jù)架構(gòu)分層設(shè)計(jì)數(shù)據(jù)庫(kù)統(tǒng)一存儲(chǔ)管理所轄數(shù)據(jù),由于數(shù)據(jù)類型比較多,數(shù)據(jù)庫(kù)表也比較多,如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息,對(duì)下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。存放到 EDW 數(shù)據(jù)庫(kù)中的數(shù)據(jù)有以下幾類:從原業(yè)務(wù)系統(tǒng)直接采集過(guò)來(lái)的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù),由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù);經(jīng)過(guò)中間加工匯總形成的匯總數(shù)據(jù);管理應(yīng)用所專用的操作型數(shù)據(jù);為滿足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。? 標(biāo)準(zhǔn)化數(shù)據(jù)層:對(duì)數(shù)據(jù)做標(biāo)準(zhǔn)化處理,主要有公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化,未來(lái)可以做客戶信息標(biāo)準(zhǔn)化。原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工,直接存儲(chǔ)業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)(主數(shù)據(jù)) ,盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。同時(shí)需要對(duì)各系統(tǒng)冗余及標(biāo)準(zhǔn)不一致的數(shù)據(jù)進(jìn)行規(guī)范和整合。EDW 對(duì)各源系統(tǒng)機(jī)構(gòu)編碼進(jìn)行統(tǒng)一,提供統(tǒng)一的基線機(jī)構(gòu)。? 加工匯總數(shù)據(jù)層數(shù)據(jù)模型;加工匯總數(shù)據(jù)層的主題劃分為八大主題:總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。多個(gè)應(yīng)用相同的匯總要求,或者多個(gè)應(yīng)用在匯總計(jì)算的基礎(chǔ)部分有重復(fù)匯總的部分可以納入該區(qū)域進(jìn)行匯總,形成應(yīng)用共享的中間匯總結(jié)果,如按客戶、機(jī)構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)(包括每天或每個(gè)階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總) 。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài):1)匯總指標(biāo)-如平均余額等2)根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)-如理財(cái)卡帳務(wù)數(shù)據(jù)、客戶大額存取款等? 集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個(gè)應(yīng)用主題的數(shù)據(jù)集市,不同的主題應(yīng)用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集市,數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進(jìn)行設(shè)計(jì)。 EDW 應(yīng)用架構(gòu) 應(yīng)用架構(gòu)設(shè)計(jì)原則EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開放性、完整性、合理性。32 / 47完整性:EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)應(yīng)具備完整性,涵蓋目前的應(yīng)用需求,并以框架形式界定 EDW 項(xiàng)目的應(yīng)用需求范圍。合理性:應(yīng)用架構(gòu)的設(shè)計(jì)應(yīng)是對(duì)用戶需求的全面反映。 數(shù)據(jù)服務(wù)EDW 將提供全行各個(gè)系統(tǒng)的批量數(shù)據(jù)服務(wù),如應(yīng)用架構(gòu)圖所示 EDW 即可以為核心系統(tǒng)、財(cái)務(wù)系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù),也可以為資產(chǎn)負(fù)債系統(tǒng)、內(nèi)部評(píng)級(jí)系統(tǒng)、戰(zhàn)略客戶管理信息系統(tǒng)等管理內(nèi)的系統(tǒng)提供數(shù)據(jù)服務(wù);同時(shí)也可以為未來(lái)實(shí)現(xiàn)的 EDW 系統(tǒng)提供數(shù)據(jù),從而實(shí)現(xiàn)全行范圍內(nèi)系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布,原則上各系統(tǒng)不能再建設(shè)其他渠道實(shí)現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。? EDW 能夠提供的數(shù)據(jù)會(huì)覆蓋全行所有系統(tǒng),可以滿足全行所有的數(shù)據(jù)加工對(duì)數(shù)據(jù)的需求。? EDW 能夠根據(jù)應(yīng)用系統(tǒng)的需要,對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行必要的加工處理,按照全行數(shù)據(jù)架構(gòu)原則,合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能,保證數(shù)據(jù)處理的高效、準(zhǔn)確。在這個(gè)原則下,EDW 可以對(duì)外提供應(yīng)用服務(wù),如:駕駛艙報(bào)表系統(tǒng)中的報(bào)表功能;某些時(shí)效性要求較高的即時(shí) OLAP 分析;經(jīng)營(yíng)關(guān)鍵指標(biāo) KPI 展示等。其實(shí)現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境,包括巨大的加載數(shù)據(jù)量、錯(cuò)綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量,這些都使 ETL 的架構(gòu)和應(yīng)用設(shè)計(jì)面臨相當(dāng)?shù)奶魬?zhàn)。? 和上下游系統(tǒng)接口的松耦合設(shè)計(jì),避免上下游系統(tǒng)的變更導(dǎo)致ETL程序本身頻繁變更。對(duì)于數(shù)據(jù)提供者,包括業(yè)務(wù)系統(tǒng)(核心業(yè)務(wù)系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)、渠道系統(tǒng))以及管理系統(tǒng)(數(shù)據(jù)倉(cāng)庫(kù) EDW 系統(tǒng)、客戶關(guān)系管理 CRM 系統(tǒng)、績(jī)效考核系統(tǒng)、稽核管理系統(tǒng)、報(bào)表中心) ,通過(guò)ETL 預(yù)處理,數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。ETL 目標(biāo)數(shù)據(jù)裝載按照 EDW 的數(shù)據(jù)接口要求,給目標(biāo)系統(tǒng)提供數(shù)據(jù)。加載源系統(tǒng)數(shù)據(jù),增加時(shí)間拉鏈,數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。? ETL2:屬于ETL清洗。報(bào)告數(shù)據(jù)轉(zhuǎn)換清洗異常。對(duì)操作型存儲(chǔ)區(qū)的貼源標(biāo)準(zhǔn)化數(shù)據(jù),按照業(yè)務(wù)轉(zhuǎn)換規(guī)則、通用數(shù)據(jù)清洗規(guī)則,加工數(shù)據(jù),裝載入數(shù)據(jù)倉(cāng)庫(kù)區(qū)的FDM基礎(chǔ)層。36 / 47? ETL4:屬于ETL轉(zhuǎn)換。一些低粒度數(shù)據(jù)逐步向高粒度數(shù)據(jù)歸并和匯總。提供數(shù)據(jù)存儲(chǔ)區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。? ETL6:屬于ETL目標(biāo)數(shù)據(jù)裝載。本模式提供EDW允許的相應(yīng)時(shí)間段的歷史數(shù)據(jù)支持。建立和設(shè)計(jì)這個(gè)接口,似乎只要編制一個(gè)抽取程序就可以了,事實(shí)上,在這一階段的工作中,的確對(duì)數(shù)據(jù)進(jìn)行了抽取,但抽取并不是全部的工作,這一接口還應(yīng)具有以下的功能: ? 從面向應(yīng)用和操作的環(huán)境生成完整的數(shù)據(jù); ? 數(shù)據(jù)的基于時(shí)間的轉(zhuǎn)換; ? 數(shù)據(jù)的聚合 ; ? 對(duì)現(xiàn)有記錄系統(tǒng)的有效掃描,以便以后進(jìn)行追加。 Staging Area 設(shè)計(jì)策略Staging Area Storage 由一些 ETL 處理過(guò)程的輔助表組成,輔助 ETL 工具完成復(fù)雜的轉(zhuǎn)換和計(jì)算,Staging Area 通常是一些臨時(shí)表。將數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一抽取到 Staging Area ,協(xié)調(diào)獲取不同數(shù)據(jù)源的37 / 47調(diào)度。Staging Area 的另一個(gè)應(yīng)用是僅存儲(chǔ)被更改的記錄。4. 時(shí)間調(diào)度上的靈活性通過(guò)建立 Staging Area,把數(shù)據(jù)存儲(chǔ)在臨時(shí)空間,使 ETL 調(diào)度更靈活。 數(shù)據(jù)加載策略數(shù)據(jù)加載分為歷史數(shù)據(jù)加載(Initial Load)和日常數(shù)據(jù)加載(Incremental Load) 。日常數(shù)據(jù)加載是指在歷史數(shù)據(jù)加載完成后,將變化了的增量數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。 這樣只需要開發(fā)一套 ETL 程序作業(yè),減少了開發(fā)工作量,并且避免了兩套程序可能出現(xiàn)的數(shù)據(jù)算法不一致造成的數(shù)據(jù)不一致的錯(cuò)誤。 增量 ETL 設(shè)計(jì)策略確定增量數(shù)據(jù)測(cè)量和故障恢復(fù)策略。38 / 47如果判斷增量數(shù)據(jù),方法有:1. 時(shí)間戳對(duì)于交易流水、帳戶數(shù)據(jù)等,可以采用判斷時(shí)間戳的方法獲取增量數(shù)據(jù)。3. 更改標(biāo)志源系統(tǒng)定義了一個(gè)字段作為數(shù)據(jù)被更改的標(biāo)識(shí)。5. 日志對(duì)于經(jīng)常對(duì)歷史數(shù)據(jù)進(jìn)行修改、刪除的業(yè)務(wù)系統(tǒng),并且修改沒有設(shè)置登記簿,可以通過(guò)讀取數(shù)據(jù)庫(kù)的日志來(lái)實(shí)現(xiàn)增量。此方法需要有專門的工具讀取數(shù)據(jù)庫(kù)日志。7. 通過(guò) TRIGGER 實(shí)現(xiàn)增量識(shí)別在數(shù)據(jù)表上建立 TRIGGER,一般數(shù)據(jù)項(xiàng)發(fā)生變化,將記錄到增量表中。聯(lián)科增量數(shù)據(jù)抽取的設(shè)計(jì),符合以下要求:? 增量抽取策略必須支持要很方便跟蹤進(jìn)程運(yùn)行狀態(tài)? 增量抽取支持抽取類型為增量或全量,抽取方式為日、月、季度等多種方式? 通過(guò)設(shè)定簡(jiǎn)單的參數(shù),如:table_name, first day of run, load_type, load_methEDW 等,就可以設(shè)置一個(gè)抽取的過(guò)程39 / 47錯(cuò)誤處理和恢復(fù)策略在復(fù)雜的 ETL 過(guò)程中,難免會(huì)產(chǎn)生錯(cuò)誤。在作業(yè)流程中可以設(shè)置異常的條件,如當(dāng)錯(cuò)誤記錄超過(guò)一定的條數(shù)或者錯(cuò)誤級(jí)別達(dá)到一定的級(jí)別時(shí),作業(yè)掉轉(zhuǎn)到異常處理流程,進(jìn)行自動(dòng)處理,系統(tǒng)設(shè)計(jì)的原則是盡量不中斷 ETL 作業(yè)流程,當(dāng)然如果錯(cuò)誤特別嚴(yán)重,也可以轉(zhuǎn)到手工處理。? 對(duì)于大數(shù)據(jù)量的表,可以利用時(shí)間窗口功能, 如果大表某一天的數(shù)據(jù)出現(xiàn)錯(cuò)誤后,可以直接進(jìn)行一天數(shù)據(jù)的恢復(fù)。2) 對(duì)于大數(shù)據(jù)量的表,可以利用時(shí)間窗口功能, 如果大表某一天的數(shù)據(jù)出現(xiàn)錯(cuò)誤后,可以直接進(jìn)行一天數(shù)據(jù)的恢復(fù)。作業(yè)調(diào)度需要包括以下功能:靈活啟停作業(yè);根據(jù)日期規(guī)則設(shè)置作業(yè)執(zhí)行計(jì)劃;支持作業(yè)的并發(fā)執(zhí)行;允許作業(yè)網(wǎng)絡(luò)的嵌套;方便新增 ETL 作業(yè)。 元數(shù)據(jù)管理ETL 過(guò)程需要通過(guò)元數(shù)據(jù)的管理來(lái)實(shí)現(xiàn)數(shù)據(jù)流程的監(jiān)控以及作業(yè)的靈活調(diào)度。 ETL 模塊設(shè)計(jì)XX 銀行的 ETL 采用數(shù)據(jù)庫(kù)的存儲(chǔ)過(guò)程及 Shell 腳本等技術(shù)支持,可以按照如下模塊設(shè)計(jì):? 調(diào)度模塊:負(fù)責(zé)任務(wù)的管理、調(diào)度和分發(fā),作業(yè)依賴關(guān)系的管理;? 作業(yè)控制:負(fù)責(zé)計(jì)算資源的分配、作業(yè)的執(zhí)行,控制作業(yè)執(zhí)行的流程、跟蹤作業(yè)執(zhí)行的結(jié)果、記錄作業(yè)的日志。應(yīng)用類數(shù)據(jù)庫(kù):用于具體應(yīng)用的業(yè)務(wù)數(shù)據(jù)庫(kù)。? ETL 應(yīng)用:應(yīng)用部署和配置管理的基本單位,一個(gè) ETL 應(yīng)用包含一組相關(guān)的作業(yè)單元、作業(yè)配置參數(shù)和應(yīng)用環(huán)境參數(shù)。ETL 模塊可以劃分為任務(wù)調(diào)度、任務(wù)控制、任務(wù)執(zhí)行。調(diào)度 SERVER根據(jù)各個(gè) JOB 的運(yùn)行時(shí)間和依賴關(guān)系,按照一定的調(diào)度策略對(duì)總分行的 JOB 進(jìn)行統(tǒng)一調(diào)度。? 任務(wù)控制模塊統(tǒng)一架構(gòu)中的處理模塊是由一個(gè)或多個(gè) ETL 域組成的。域與域在物理上是分開,但是在邏輯上是聯(lián)系在一起的。每個(gè)處理域由一個(gè)或多個(gè) ETL SERVER 和若干個(gè) ETL CLIENT 組成。首先,ETL SERVER 接收調(diào)度 Agent 發(fā)過(guò)來(lái)的要執(zhí)行的作業(yè)的作業(yè) ID,根據(jù)該作業(yè) ID 到管理庫(kù)中獲取該作業(yè)的運(yùn)行參數(shù)并解釋所有參數(shù)。最后收集并記錄作業(yè)運(yùn)行日志信息,釋放 ETL CLIENT 的資源,更新作業(yè)運(yùn)行狀態(tài),返回作業(yè)運(yùn)行結(jié)果信息給調(diào)度 Agent。ETL 統(tǒng)一架構(gòu)中的 ETL 域并不是一成不變的,理論上具有無(wú)限的橫向擴(kuò)展能力。如果作業(yè)的數(shù)目太多,ETL SERVER 承擔(dān)的任務(wù)過(guò)重,則可以增加 ETL SERVER 來(lái)降低原有的 ETL SERVER 調(diào)控任務(wù)的壓力。ETL Server 訪問管理庫(kù),ETL Client 只訪問應(yīng)用庫(kù),不允許訪問管理庫(kù)。業(yè)務(wù)類數(shù)據(jù)庫(kù)存放的是 ETL 作業(yè)處理的業(yè)務(wù)數(shù)據(jù)。在統(tǒng)一架構(gòu)中,數(shù)據(jù)庫(kù)模塊分為兩層,一層是總行層,另外一層是分行層。在管理庫(kù)的具體部署時(shí),可能只部署在總行,所有 ETL Server 都訪問這個(gè)管理庫(kù),分行的 ETL Server 通過(guò)跨越廣域網(wǎng)的數(shù)據(jù)庫(kù)連接訪問管理庫(kù)。2. ETL SERVER 得到調(diào)度的調(diào)度指令后,根據(jù) JOB ID,先到所在域中的管理類數(shù)據(jù)庫(kù)中 JOB 實(shí)例表中查找該 JOB,判斷該 JOB 的狀態(tài)是否正確,查找該 JOB 的前序 JOB 是否完成,然后在 JOB 參數(shù)表中查找該 JOB 對(duì)應(yīng)的各種參數(shù),為作業(yè)的運(yùn)行解析和準(zhǔn)備參數(shù),同時(shí)到所在域的業(yè)務(wù)類數(shù)據(jù)庫(kù)中查找各種輸入文件是否存在,如果條件都滿足,則 JOB 可以運(yùn)行。4. 在每個(gè) ETL CLIENT 上都安裝著用于獲取結(jié)點(diǎn)資源情況的 RESOURCE AGENT,這些 AGENT 每隔一定的時(shí)間間隔,就會(huì)將本臺(tái) CLIENT 上的系統(tǒng)資源使用情況,如:CPU 使用率,MEMORY 使用率,I/O 等待情況等寫入所屬域的管理類數(shù)據(jù)庫(kù)中的結(jié)點(diǎn)使用情況表中。然后根據(jù)結(jié)點(diǎn)情況,動(dòng)態(tài)生成 JOB 運(yùn)行配置文件。6. ETL CLIENT 開始執(zhí)行 JOB,無(wú)論 JOB 運(yùn)行成功還是失敗,都將各種運(yùn)行信息反饋給所屬域的 ETL SERVER。8. ETL SERVER 將作業(yè)運(yùn)行的情況通過(guò)退出碼的方式反饋給調(diào)度程序。Resource Agent:運(yùn)行于域中所有節(jié)點(diǎn)(包括主節(jié)點(diǎn))之上的一個(gè)守護(hù)進(jìn)程,負(fù)責(zé)按照一定的時(shí)間間隔采集當(dāng)前節(jié)點(diǎn)的各種系統(tǒng)資源(CPU 使用情況,內(nèi)存使用情況)使用情況,磁盤 I/O 使用情況,是否存在故障) ,并通過(guò) TCP/IP 和運(yùn)行于主節(jié)點(diǎn)上的 Resource Broker 進(jìn)程進(jìn)行通信,將當(dāng)前節(jié)點(diǎn)的系統(tǒng)資源使用情況匯報(bào)給 ETL Server;Resource Broker:運(yùn)行于域中 ETL Server 之上的一個(gè)守護(hù)進(jìn)程,負(fù)責(zé)j 接收來(lái)自域內(nèi)節(jié)點(diǎn)的連接請(qǐng)求,記錄請(qǐng)求節(jié)點(diǎn)的系統(tǒng)資源使用情況;如果域中某個(gè)節(jié)點(diǎn)超過(guò)指定的時(shí)間間隔沒有發(fā)送資源報(bào)告,則將該節(jié)點(diǎn)置為故障,該節(jié)點(diǎn)將不會(huì)被分配來(lái)運(yùn)行任務(wù),如果此后收到該節(jié)點(diǎn)的資源報(bào)告請(qǐng)求,則將該節(jié)點(diǎn)狀態(tài)置為活動(dòng)。對(duì)于每個(gè)客戶端的連接,服務(wù)端 fork 出一個(gè)子進(jìn)程處理。應(yīng)該能接受收 SIGQUIT, SIGTERM, SIGHUP 信號(hào),完成退出并清理進(jìn)程
點(diǎn)擊復(fù)制文檔內(nèi)容
公司管理相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖鄂ICP備17016276號(hào)-1