freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

edw數(shù)據(jù)倉庫項(xiàng)目方案-文庫吧在線文庫

2025-06-16 03:35上一頁面

下一頁面
  

【正文】 理組件:備份/恢復(fù)管理組件處理系統(tǒng)中所有必須的備份和恢復(fù)操作。整個運(yùn)維架構(gòu)通過一些標(biāo)準(zhǔn)的流程實(shí)現(xiàn)生產(chǎn)環(huán)境運(yùn)行管理,包括的流程主要是日常操作流程和特殊操作流程。23 / 47? 生產(chǎn)調(diào)度:生產(chǎn)調(diào)度組件包括了一套應(yīng)用,用于調(diào)度和自動化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理(如 ETL)特有的任務(wù)。系統(tǒng)維護(hù)管理的主要任務(wù)及工具支持如下圖所示: 備份恢復(fù)管理備份與恢復(fù)的目標(biāo)在于:? 保證在任何時點(diǎn)對數(shù)據(jù)的完全恢復(fù)。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進(jìn)行的收集,并由容量規(guī)劃組件進(jìn)行分析,包括磁盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫、和網(wǎng)絡(luò)等。? 可擴(kuò)展性原則隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加,數(shù)據(jù)模型應(yīng)提供一個規(guī)范化的設(shè)計思路,以便業(yè)務(wù)系統(tǒng)的擴(kuò)展。29 / 47 數(shù)據(jù)架構(gòu)分層設(shè)計數(shù)據(jù)庫統(tǒng)一存儲管理所轄數(shù)據(jù),由于數(shù)據(jù)類型比較多,數(shù)據(jù)庫表也比較多,如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息,對下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。同時需要對各系統(tǒng)冗余及標(biāo)準(zhǔn)不一致的數(shù)據(jù)進(jìn)行規(guī)范和整合。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài):1)匯總指標(biāo)-如平均余額等2)根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)-如理財卡帳務(wù)數(shù)據(jù)、客戶大額存取款等? 集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個應(yīng)用主題的數(shù)據(jù)集市,不同的主題應(yīng)用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集市,數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進(jìn)行設(shè)計。 數(shù)據(jù)服務(wù)EDW 將提供全行各個系統(tǒng)的批量數(shù)據(jù)服務(wù),如應(yīng)用架構(gòu)圖所示 EDW 即可以為核心系統(tǒng)、財務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù),也可以為資產(chǎn)負(fù)債系統(tǒng)、內(nèi)部評級系統(tǒng)、戰(zhàn)略客戶管理信息系統(tǒng)等管理內(nèi)的系統(tǒng)提供數(shù)據(jù)服務(wù);同時也可以為未來實(shí)現(xiàn)的 EDW 系統(tǒng)提供數(shù)據(jù),從而實(shí)現(xiàn)全行范圍內(nèi)系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布,原則上各系統(tǒng)不能再建設(shè)其他渠道實(shí)現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。其實(shí)現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境,包括巨大的加載數(shù)據(jù)量、錯綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量,這些都使 ETL 的架構(gòu)和應(yīng)用設(shè)計面臨相當(dāng)?shù)奶魬?zhàn)。加載源系統(tǒng)數(shù)據(jù),增加時間拉鏈,數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。36 / 47? ETL4:屬于ETL轉(zhuǎn)換。本模式提供EDW允許的相應(yīng)時間段的歷史數(shù)據(jù)支持。Staging Area 的另一個應(yīng)用是僅存儲被更改的記錄。 這樣只需要開發(fā)一套 ETL 程序作業(yè),減少了開發(fā)工作量,并且避免了兩套程序可能出現(xiàn)的數(shù)據(jù)算法不一致造成的數(shù)據(jù)不一致的錯誤。5. 日志對于經(jīng)常對歷史數(shù)據(jù)進(jìn)行修改、刪除的業(yè)務(wù)系統(tǒng),并且修改沒有設(shè)置登記簿,可以通過讀取數(shù)據(jù)庫的日志來實(shí)現(xiàn)增量。在作業(yè)流程中可以設(shè)置異常的條件,如當(dāng)錯誤記錄超過一定的條數(shù)或者錯誤級別達(dá)到一定的級別時,作業(yè)掉轉(zhuǎn)到異常處理流程,進(jìn)行自動處理,系統(tǒng)設(shè)計的原則是盡量不中斷 ETL 作業(yè)流程,當(dāng)然如果錯誤特別嚴(yán)重,也可以轉(zhuǎn)到手工處理。 元數(shù)據(jù)管理ETL 過程需要通過元數(shù)據(jù)的管理來實(shí)現(xiàn)數(shù)據(jù)流程的監(jiān)控以及作業(yè)的靈活調(diào)度。ETL 模塊可以劃分為任務(wù)調(diào)度、任務(wù)控制、任務(wù)執(zhí)行。每個處理域由一個或多個 ETL SERVER 和若干個 ETL CLIENT 組成。如果作業(yè)的數(shù)目太多,ETL SERVER 承擔(dān)的任務(wù)過重,則可以增加 ETL SERVER 來降低原有的 ETL SERVER 調(diào)控任務(wù)的壓力。在管理庫的具體部署時,可能只部署在總行,所有 ETL Server 都訪問這個管理庫,分行的 ETL Server 通過跨越廣域網(wǎng)的數(shù)據(jù)庫連接訪問管理庫。6. ETL CLIENT 開始執(zhí)行 JOB,無論 JOB 運(yùn)行成功還是失敗,都將各種運(yùn)行信息反饋給所屬域的 ETL SERVER。應(yīng)該能接受收 SIGQUIT, SIGTERM, SIGHUP 信號,完成退出并清理進(jìn)程資源。Resource Agent:運(yùn)行于域中所有節(jié)點(diǎn)(包括主節(jié)點(diǎn))之上的一個守護(hù)進(jìn)程,負(fù)責(zé)按照一定的時間間隔采集當(dāng)前節(jié)點(diǎn)的各種系統(tǒng)資源(CPU 使用情況,內(nèi)存使用情況)使用情況,磁盤 I/O 使用情況,是否存在故障) ,并通過 TCP/IP 和運(yùn)行于主節(jié)點(diǎn)上的 Resource Broker 進(jìn)程進(jìn)行通信,將當(dāng)前節(jié)點(diǎn)的系統(tǒng)資源使用情況匯報給 ETL Server;Resource Broker:運(yùn)行于域中 ETL Server 之上的一個守護(hù)進(jìn)程,負(fù)責(zé)j 接收來自域內(nèi)節(jié)點(diǎn)的連接請求,記錄請求節(jié)點(diǎn)的系統(tǒng)資源使用情況;如果域中某個節(jié)點(diǎn)超過指定的時間間隔沒有發(fā)送資源報告,則將該節(jié)點(diǎn)置為故障,該節(jié)點(diǎn)將不會被分配來運(yùn)行任務(wù),如果此后收到該節(jié)點(diǎn)的資源報告請求,則將該節(jié)點(diǎn)狀態(tài)置為活動。4. 在每個 ETL CLIENT 上都安裝著用于獲取結(jié)點(diǎn)資源情況的 RESOURCE AGENT,這些 AGENT 每隔一定的時間間隔,就會將本臺 CLIENT 上的系統(tǒng)資源使用情況,如:CPU 使用率,MEMORY 使用率,I/O 等待情況等寫入所屬域的管理類數(shù)據(jù)庫中的結(jié)點(diǎn)使用情況表中。業(yè)務(wù)類數(shù)據(jù)庫存放的是 ETL 作業(yè)處理的業(yè)務(wù)數(shù)據(jù)。最后收集并記錄作業(yè)運(yùn)行日志信息,釋放 ETL CLIENT 的資源,更新作業(yè)運(yùn)行狀態(tài),返回作業(yè)運(yùn)行結(jié)果信息給調(diào)度 Agent。? 任務(wù)控制模塊統(tǒng)一架構(gòu)中的處理模塊是由一個或多個 ETL 域組成的。應(yīng)用類數(shù)據(jù)庫:用于具體應(yīng)用的業(yè)務(wù)數(shù)據(jù)庫。2) 對于大數(shù)據(jù)量的表,可以利用時間窗口功能, 如果大表某一天的數(shù)據(jù)出現(xiàn)錯誤后,可以直接進(jìn)行一天數(shù)據(jù)的恢復(fù)。7. 通過 TRIGGER 實(shí)現(xiàn)增量識別在數(shù)據(jù)表上建立 TRIGGER,一般數(shù)據(jù)項(xiàng)發(fā)生變化,將記錄到增量表中。38 / 47如果判斷增量數(shù)據(jù),方法有:1. 時間戳對于交易流水、帳戶數(shù)據(jù)等,可以采用判斷時間戳的方法獲取增量數(shù)據(jù)。 數(shù)據(jù)加載策略數(shù)據(jù)加載分為歷史數(shù)據(jù)加載(Initial Load)和日常數(shù)據(jù)加載(Incremental Load) 。 Staging Area 設(shè)計策略Staging Area Storage 由一些 ETL 處理過程的輔助表組成,輔助 ETL 工具完成復(fù)雜的轉(zhuǎn)換和計算,Staging Area 通常是一些臨時表。提供數(shù)據(jù)存儲區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。報告數(shù)據(jù)轉(zhuǎn)換清洗異常。對于數(shù)據(jù)提供者,包括業(yè)務(wù)系統(tǒng)(核心業(yè)務(wù)系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)、渠道系統(tǒng))以及管理系統(tǒng)(數(shù)據(jù)倉庫 EDW 系統(tǒng)、客戶關(guān)系管理 CRM 系統(tǒng)、績效考核系統(tǒng)、稽核管理系統(tǒng)、報表中心) ,通過ETL 預(yù)處理,數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。? EDW 能夠根據(jù)應(yīng)用系統(tǒng)的需要,對源系統(tǒng)數(shù)據(jù)進(jìn)行必要的加工處理,按照全行數(shù)據(jù)架構(gòu)原則,合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能,保證數(shù)據(jù)處理的高效、準(zhǔn)確。32 / 47完整性:EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計應(yīng)具備完整性,涵蓋目前的應(yīng)用需求,并以框架形式界定 EDW 項(xiàng)目的應(yīng)用需求范圍。? 加工匯總數(shù)據(jù)層數(shù)據(jù)模型;加工匯總數(shù)據(jù)層的主題劃分為八大主題:總帳(GL)、客戶(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。? 標(biāo)準(zhǔn)化數(shù)據(jù)層:對數(shù)據(jù)做標(biāo)準(zhǔn)化處理,主要有公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化,未來可以做客戶信息標(biāo)準(zhǔn)化。加工匯總層要重點(diǎn)解決共性指標(biāo)的加工。為防止安全內(nèi)容的重復(fù),所有安全組件都應(yīng)統(tǒng)一被考慮,它是跨開發(fā)、執(zhí)行、運(yùn)維架構(gòu)的。故障切換組件使用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。? 系統(tǒng)維護(hù)是指系統(tǒng)在運(yùn)行過程中,為了系統(tǒng)的正常服務(wù)而進(jìn)行的配置、參數(shù)管理,以及啟/停機(jī)、清理過期數(shù)據(jù)等日常操作。? 數(shù)據(jù)庫/數(shù)據(jù)倉庫管理:提供相關(guān)監(jiān)控信息源,控制各個獨(dú)立的服務(wù)器或數(shù)據(jù)庫/數(shù)據(jù)倉庫。當(dāng)發(fā)生故障或失敗時,該切換發(fā)生在主系統(tǒng)和備份系統(tǒng)之間。圖 1 運(yùn)維邏輯體系架構(gòu)運(yùn)維架構(gòu)中包含了如下組件:系統(tǒng)監(jiān)控管理組件、系統(tǒng)維護(hù)管理組件、備份恢復(fù)管理組件、故障切換管理組件、性能容量規(guī)劃組件和運(yùn)維安全管理組件。后續(xù)的數(shù)據(jù)加工、轉(zhuǎn)換通過 ETL Server 來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)放在數(shù)據(jù)準(zhǔn)備區(qū)域。 元數(shù)據(jù)管理體系在機(jī)構(gòu)內(nèi)關(guān)于數(shù)據(jù)的信息稱為“元數(shù)據(jù)(Metadata)” 。同時,EDW 系統(tǒng)將決策人員最為關(guān)心的信息主動發(fā)布到?jīng)Q策人員的訪問界面上,簡化信息訪問的方式,使得決策人員在第一時間獲得經(jīng)營管理的各種重要信息和指標(biāo)。該類人員直接使用模塊化的應(yīng)用界面訪問 EDW 系統(tǒng),生成或預(yù)覽預(yù)定義報表,進(jìn)行相對固定的查詢以及多維分析。報表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供,只暴露給開發(fā)人員;第二個層次是管理模塊包括:報表信息、基本管理、代理、信息推送、連接信息,管理模塊為報表集成開發(fā)環(huán)境提供管理服務(wù),它提供報表集成開發(fā)環(huán)境的用戶、權(quán)限等的統(tǒng)一管理,管理模塊也是報表集成開發(fā)環(huán)境必選模塊,它的很多功能調(diào)用由核心模塊提供,管理模塊包括 5 個子模塊;第三個層次是應(yīng)用模塊包括:儀表盤、靈活查詢、數(shù)據(jù)錄入、報表、復(fù)雜報表,應(yīng)用模塊提供報表集成開發(fā)環(huán)境最終用戶(非管理人員)的用戶體驗(yàn),可以和管理模塊相結(jié)合有選擇地靈活部署?!窘M成部分】本層由操作型存儲區(qū)、倉庫存儲區(qū)和集市應(yīng)用層四個部分組成。? 管理監(jiān)控器Java 應(yīng)用程序,用于定義任務(wù)、任務(wù)組合觸發(fā)關(guān)系等信息,同時可以實(shí)時監(jiān)控任務(wù)執(zhí)行情況查看日志?!窘M成部分】上面的邏輯架構(gòu)圖淡綠色色矩形部分為 ETL 調(diào)度管理技術(shù)架構(gòu)圖,其作用是讓許多的任務(wù)在作業(yè)的執(zhí)行條件滿足時自動地執(zhí)行。在明確定義各層之間的接口后,多層框架結(jié)構(gòu)具有高度的擴(kuò)展能力和方便的系統(tǒng)開發(fā)和維護(hù)性能,符合目前流行的多層應(yīng)用結(jié)構(gòu),適合 EDW 系統(tǒng)多階段、多層次的應(yīng)用特點(diǎn)。XX 銀行數(shù)據(jù)倉庫環(huán)境建立在企業(yè)內(nèi)部網(wǎng)絡(luò)中,不同功能的服務(wù)器應(yīng)部署在不同網(wǎng)段中,網(wǎng)段之間相互隔離,對網(wǎng)段之間的訪問應(yīng)通過防火墻并定義嚴(yán)格的訪問控制策略。? 機(jī)密性:所有的敏感數(shù)據(jù)必須被嚴(yán)格控制,禁止未授權(quán)訪問,并保障其安全性。報表分發(fā)環(huán)境:報表的分發(fā)應(yīng)可以滿足系統(tǒng)定義的安全性,如按照不同的用戶類型、不同的組織進(jìn)行分發(fā),不同的用戶和組織只能看到屬于自己的報表的數(shù)據(jù),數(shù)據(jù)的分發(fā)將通過數(shù)據(jù)傳輸平臺進(jìn)行。這些數(shù)據(jù)需要針對用戶的快速訪問和數(shù)據(jù)輸出進(jìn)行優(yōu)化,優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進(jìn)行匯總和索引。 EDW 存儲區(qū)EDW 存儲區(qū)是面向主題的、集成的、面向企業(yè)的、最明細(xì)的數(shù)據(jù)存儲,其內(nèi)容是依據(jù)最終用戶應(yīng)用和分析需求來進(jìn)行組織。數(shù)據(jù)落地區(qū)應(yīng)建立與各相關(guān)源數(shù)據(jù)系統(tǒng)的接口,將這些系統(tǒng)定期卸載的數(shù)據(jù)以固定的格式接收、存放到落地區(qū),考慮數(shù)據(jù)傳輸和加載的速度,源數(shù)據(jù)系統(tǒng)應(yīng)以文本文件格式將數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進(jìn)行處理。 執(zhí)行架構(gòu)框架業(yè) 務(wù) 數(shù) 據(jù) 源E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載數(shù) 據(jù) 準(zhǔn) 備 區(qū) 操 作 型 存 儲 業(yè) 務(wù) 應(yīng) 用E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載元 數(shù) 據(jù) 管 理系 統(tǒng) 安 全基 礎(chǔ) 設(shè) 施 平 臺 ( 服 務(wù) 器 、 網(wǎng) 絡(luò) 、 存 儲 )數(shù) 據(jù)落 地 區(qū)數(shù) 據(jù) 落 地 區(qū)渠 道 系 統(tǒng)核 心 系 統(tǒng)其 他 系 統(tǒng)分 析 環(huán) 境報 表 環(huán) 境應(yīng) 用 環(huán) 境操 作 型 數(shù) 據(jù) /標(biāo) 準(zhǔn) 化 數(shù) 據(jù)用 戶 環(huán) 境E T L數(shù) 據(jù)抽 取轉(zhuǎn) 換加 載報 表 / K P I靈 活 查 詢其 他 集 市數(shù) 據(jù) 準(zhǔn) 備 區(qū)對 公 信 貸個 貸 系 統(tǒng)國 結(jié) 系 統(tǒng)人 力 系 統(tǒng)E D W數(shù) 據(jù) 倉 庫( E D W )企 業(yè) 級 數(shù) 據(jù) 模 型財 務(wù) 系 統(tǒng)數(shù) 據(jù)分 發(fā) 環(huán) 境報 表分 發(fā) 環(huán) 境通 用展 現(xiàn) 平 臺上圖是 EDW 系統(tǒng)執(zhí)行架構(gòu),其中包含 EDW 系統(tǒng)中涵蓋的功能框架以及框架之間的邏輯關(guān)系。從技術(shù)層面上來說,EDW 系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實(shí)現(xiàn)多種技術(shù)平臺及應(yīng)用之間的無縫集成。? 根據(jù) XX 銀行的數(shù)據(jù)情況和分析需求,采用多層次的企業(yè) EDW 系統(tǒng)架構(gòu)來保證在存在復(fù)雜的數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進(jìn)行業(yè)務(wù)分析和查6 / 47詢在業(yè)務(wù)支持能力和性能等方面的要求。? 運(yùn)維架構(gòu)是描述 EDW 項(xiàng)目的運(yùn)維架構(gòu)標(biāo)準(zhǔn),包括運(yùn)維架構(gòu)設(shè)計的內(nèi)容、設(shè)計原則、各構(gòu)成組件的設(shè)計考慮因素、約束、要求等。1 / 47XX 銀行EDW/數(shù)據(jù)倉庫項(xiàng)目方案2 / 47目 錄第一章 系統(tǒng)總體架構(gòu) ..............................................................................3 總體架構(gòu)設(shè)計概述 .........................................................................3 總體架構(gòu)的設(shè)計框架 ...............................................................3 總體架構(gòu)的設(shè)計原則 ...............................................................4 總體架構(gòu)的設(shè)計特點(diǎn) ...............................................................4 EDW 執(zhí)行架構(gòu) .................................................................................5 執(zhí)行架構(gòu)概述 ...................
點(diǎn)擊復(fù)制文檔內(nèi)容
公司管理相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1