【正文】 ilder(OWB)實(shí)現(xiàn)了從數(shù)據(jù)模型設(shè)計(jì)、ETL流程設(shè)計(jì)和元數(shù)據(jù)管理的全部功能。OWB生成的ETL腳本存儲(chǔ)在Oracle10g數(shù)據(jù)庫(kù)中執(zhí)行，按照數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的要求，定時(shí)地完成數(shù)據(jù)的抽取并加載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。由于ETL的執(zhí)行是在Oracle10g 數(shù)據(jù)庫(kù)中，可以充分利用Oracle10g數(shù)據(jù)庫(kù)提供的強(qiáng)大并行處理能力，保證數(shù)據(jù)獲取的高效、可靠執(zhí)行。數(shù)據(jù)存儲(chǔ)層：Oracle10g數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)各種類(lèi)型數(shù)據(jù)的集中存儲(chǔ)和管理，包括各種結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Oracle10g數(shù)據(jù)庫(kù)內(nèi)置OLAP和數(shù)據(jù)挖掘功能，不需要進(jìn)行數(shù)據(jù)遷移，就可以直接在關(guān)系數(shù)據(jù)庫(kù)中完成復(fù)雜的統(tǒng)計(jì)分析功能。Oracle10g數(shù)據(jù)庫(kù)可以支持海量數(shù)據(jù)的存儲(chǔ)，一個(gè)數(shù)據(jù)庫(kù)最大數(shù)據(jù)量為8,000PB（1PB=1024TB）。Oracle10g提供強(qiáng)大的并行處理能力，滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)對(duì)于性能和擴(kuò)展性方面的要求。系統(tǒng)并通過(guò)網(wǎng)格控制臺(tái)(Grid Control)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)統(tǒng)一管理。數(shù)據(jù)展現(xiàn)層：Oracle提供多種數(shù)據(jù)分析的工具，包括標(biāo)準(zhǔn)報(bào)表工具（Reports）、即席查詢(xún)工具(Discoverer)、OLAP分析開(kāi)發(fā)工具(JDeveloper＋BIBeans)和數(shù)據(jù)挖掘工具(Oracle Data Miner)，將統(tǒng)計(jì)分析的結(jié)果通過(guò)各種方式展現(xiàn)。Oracle的數(shù)據(jù)展現(xiàn)工具使用Java和HTML兩種方式實(shí)現(xiàn)，基于標(biāo)準(zhǔn)的J2EE平臺(tái)。由于使用統(tǒng)一的元數(shù)據(jù)庫(kù)，不需要進(jìn)行元數(shù)據(jù)的交換，能夠最大限度地減少系統(tǒng)的維護(hù)工作。同時(shí)，Oracle的數(shù)據(jù)展現(xiàn)工具支持通過(guò)門(mén)戶(hù)(Portal)技術(shù)進(jìn)行集成，為不同類(lèi)型的用戶(hù)提供一致的訪問(wèn)界面。216。 IBM企業(yè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)總體結(jié)構(gòu)DB2 Data Warehouse Enterprise Edition (DB2數(shù)據(jù)倉(cāng)庫(kù)企業(yè)版)是一個(gè)商業(yè)智能平臺(tái)，擴(kuò)展了IBM DB2 UDB用于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和分析應(yīng)用的商業(yè)智能特性。包括聯(lián)邦數(shù)據(jù)訪問(wèn)，數(shù)據(jù)分區(qū)，在線分析處理，數(shù)據(jù)挖掘，ETL,工作負(fù)載管理等功能。整合了IBM DB2 UDB的商業(yè)智能特性，是面向客戶(hù)和合作伙伴，構(gòu)建企業(yè)隨需應(yīng)變架構(gòu)，實(shí)施實(shí)時(shí)商業(yè)智能的新一代商業(yè)智能解決方案。DWEE總體結(jié)構(gòu)規(guī)劃如圖12：圖12主要產(chǎn)品包括： 數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的海量關(guān)系型數(shù)據(jù)庫(kù)：DB2 UDB ESE企業(yè)版，數(shù)據(jù)倉(cāng)庫(kù)引擎數(shù)據(jù)分區(qū)模塊：DB2 UDB DPF，支持分區(qū)和多機(jī)并行調(diào)度復(fù)雜即席查詢(xún)的查詢(xún)管理器：Query Patroller，基于成本的查詢(xún)負(fù)載管理工具, 提高數(shù)據(jù)倉(cāng)庫(kù)吞吐量。多維分析工具：DB2 Cube Views ，OLAP元數(shù)據(jù)交換工具和模型級(jí)物化查詢(xún)表生成器。實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)及信息集成器：IBM Websphere INFORMATION INTEGRATOR，包括關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Relation Connect和非關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Life Sencie Connect。ETL工具：DB2 Warehouse Manager ，包括的主要模塊有：1）用于數(shù)據(jù)抽取、清洗、加工和裝載的的ETL工具DB2 Warehouse Manager Transformer；2）用于分布數(shù)據(jù)倉(cāng)庫(kù)ETL過(guò)程的數(shù)據(jù)倉(cāng)庫(kù)代理Agent。3）數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)、監(jiān)控以及Meta Data管理工具DB2 Warehouse Center；4）數(shù)據(jù)倉(cāng)庫(kù)信息目錄Information Catalog；5）報(bào)表生成工具QMF。數(shù)據(jù)挖掘評(píng)分工具：DB2 Intelligent Miner Scoring，在數(shù)據(jù)倉(cāng)庫(kù)中直接實(shí)現(xiàn)(實(shí)時(shí))評(píng)分。數(shù)據(jù)挖掘建模工具：DB2 Intelligent Miner Modeler，從數(shù)據(jù)倉(cāng)庫(kù)中發(fā)現(xiàn)規(guī)律(模型)。數(shù)據(jù)挖掘模型圖示化工具：DB2 Intelligent Miner Visualization Excel多維分析插件：IBM Office Connect Analytical/Enterprise Web Edition，在Excel中實(shí)現(xiàn)查詢(xún)、報(bào)表、多維分析。DB2 Alphablox：提供開(kāi)發(fā)分析應(yīng)用的平臺(tái)，構(gòu)建客戶(hù)自己的分析應(yīng)用。216。 Teradata動(dòng)態(tài)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)Teradata 動(dòng)態(tài)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)（Active Enterprise Data Warehouse）采用Teradata 海量并行處理技術(shù)，是一種經(jīng)過(guò)優(yōu)化、可同步執(zhí)行多種流程的系統(tǒng)，其性能及可擴(kuò)展性令企業(yè)能夠?qū)υ敿?xì)的運(yùn)營(yíng)數(shù)據(jù)進(jìn)行更深入和透徹的分析。動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)將傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)功能擴(kuò)展到了動(dòng)態(tài)企業(yè)智能這一更為成熟、覆蓋面更廣的數(shù)據(jù)環(huán)境。動(dòng)態(tài)企業(yè)智能側(cè)重?cái)?shù)據(jù)倉(cāng)庫(kù)在業(yè)務(wù)運(yùn)營(yíng)層面的應(yīng)用，通過(guò)數(shù)據(jù)庫(kù)平臺(tái)在實(shí)時(shí)操作環(huán)境的支持下，實(shí)現(xiàn)快速戰(zhàn)略決策。Teradata 動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)有兩大特點(diǎn)。一是動(dòng)態(tài)訪問(wèn)，一線用戶(hù)可以動(dòng)態(tài)、或者說(shuō)實(shí)時(shí)地訪問(wèn)所需信息。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)用戶(hù)只針對(duì)高端管理層，一個(gè)銀行一般只有幾十個(gè)到幾百個(gè)用戶(hù)可以訪問(wèn)，成千上萬(wàn)的客戶(hù)經(jīng)理和客戶(hù)代表如果要實(shí)現(xiàn)同時(shí)訪問(wèn)，對(duì)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)來(lái)講是一個(gè)很大的壓力，而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)采取相同的技術(shù)架構(gòu)和不同的技術(shù)手段實(shí)現(xiàn)了大規(guī)模的動(dòng)態(tài)訪問(wèn)。二是動(dòng)態(tài)數(shù)據(jù)加載，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載與動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載所需的技術(shù)設(shè)施幾乎相同。不同的是傳統(tǒng)的數(shù)據(jù)加載不是實(shí)時(shí)和連續(xù)的，只能是以批量的形式加載，而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載則能連續(xù)加載并實(shí)現(xiàn)一分鐘或者幾秒鐘間隔的近實(shí)時(shí)加載。而且，Teradata 動(dòng)態(tài)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)具有創(chuàng)新的Teradata 虛擬存儲(chǔ)（Virtual Storage）功能，這提高了數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)的速度。Teradata的技術(shù)體系架構(gòu)如圖13圖13主要包括以下四層：源數(shù)據(jù)層：提供對(duì)核心業(yè)務(wù)數(shù)據(jù)的訪問(wèn)。數(shù)據(jù)導(dǎo)入層(ETL)：從源數(shù)據(jù)層的數(shù)據(jù)抽取采用DataStage；向數(shù)據(jù)倉(cāng)庫(kù)中央數(shù)據(jù)庫(kù)的數(shù)據(jù)加載采用Teradata的數(shù)據(jù)加載工具或DS插件；整個(gè)ETL流程管理采用Teradata的DW Automation工具。數(shù)據(jù)服務(wù)層(中央數(shù)據(jù)庫(kù))：作為本系統(tǒng)的數(shù)據(jù)核心部分，負(fù)責(zé)存儲(chǔ)和管理來(lái)自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問(wèn)用戶(hù)提供數(shù)據(jù)服務(wù)。數(shù)據(jù)按照邏輯數(shù)據(jù)模型分主題存放，采用Teradata的Teradata關(guān)系型數(shù)據(jù)庫(kù)。模型設(shè)計(jì)(Design)包括邏輯數(shù)據(jù)模型(LDM)和物理數(shù)據(jù)模型(PDM)，同時(shí)也包括維護(hù)和管理數(shù)據(jù)模型各個(gè)版本的過(guò)程與方法。工具是ERWin。LDM采用Teradata的FSLDM作為設(shè)計(jì)的基礎(chǔ)。數(shù)據(jù)存儲(chǔ)(Store)體系是專(zhuān)業(yè)數(shù)據(jù)倉(cāng)庫(kù)引擎Teradata以及Teradata 5400 MPP硬件平臺(tái)組成。數(shù)據(jù)存儲(chǔ)內(nèi)容包括兩部分組成：數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)物理數(shù)據(jù)模型用于保存各類(lèi)業(yè)務(wù)的基礎(chǔ)數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)匯總數(shù)據(jù)模型：用于保存各類(lèi)業(yè)務(wù)的匯總數(shù)據(jù)數(shù)據(jù)。中間服務(wù)層(業(yè)務(wù)應(yīng)用)：主要功能包括：１）向用戶(hù)提供包括OLAP服務(wù)、報(bào)表服務(wù)、查詢(xún)服務(wù)、數(shù)據(jù)挖掘服務(wù)和中間件服務(wù)等多種服務(wù)應(yīng)用；２）為用戶(hù)對(duì)中央數(shù)據(jù)的訪問(wèn)提供各種方式的服務(wù)，從而實(shí)現(xiàn)訪問(wèn)方式的多樣化和信息存取的透明化。３）建立從屬數(shù)據(jù)集市，或OLAP Cube；４）滿足用戶(hù)對(duì)數(shù)據(jù)訪問(wèn)的多樣化、靈活化。216。 數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品比較Oracle有一整套面向數(shù)據(jù)倉(cāng)庫(kù)的整體方案解決，并強(qiáng)調(diào)其集成性。主要產(chǎn)品包括OWB（完成數(shù)據(jù)模型設(shè)計(jì)、ETL和元數(shù)據(jù)管理等功能，并提供了一個(gè)框架將數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)部分緊密結(jié)合）、Oracle DB(數(shù)據(jù)倉(cāng)庫(kù)核心引擎，并通過(guò)對(duì)SQL 的擴(kuò)充和使用AWM工具等方式在關(guān)系數(shù)據(jù)庫(kù)中提供OLAP 分析區(qū)功能)、BIEE和Discover（作為AS的組件）等一系列數(shù)據(jù)挖掘和展現(xiàn)工具。Ｏracle產(chǎn)品結(jié)構(gòu)完整，文檔資料豐富，但目前好像應(yīng)用案例沒(méi)有Teradata多。IBM新推出的綜合數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)產(chǎn)品是IBM InfoSphere Warehouse。InfoSphere Warehouse 軟件包是一個(gè)集成的解決方案，它包括了實(shí)現(xiàn)一個(gè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用所需的各種功能部件。主要包括三部分功能組件：１）InfoSphere Warehouse數(shù)據(jù)服務(wù)器，主要是DB2企業(yè)服務(wù)器版，包括Intelligent Miner，DB2 Query Patroller等。２）InfoSphere Warehouse應(yīng)用程序服務(wù)器，包括管理控制臺(tái)和Workload Manager、Cubing Services立方體服務(wù)器和挖掘Blox等。３）InfoSphere Warehouse客戶(hù)機(jī)，主要包括Design Studio、Intelligent Miner VisualizationCubing Services客戶(hù)機(jī)等。NCR Teradata產(chǎn)品性能很好，國(guó)內(nèi)外的應(yīng)用案例也最多，是高端數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)最有力的競(jìng)爭(zhēng)者。但NCR產(chǎn)品的價(jià)格相對(duì)較高，主要貴在硬件上。產(chǎn)品標(biāo)準(zhǔn)不開(kāi)放，它的解決方案完全跟自己的體系架構(gòu)綁定在一起，專(zhuān)用的架構(gòu)、操作系統(tǒng)和存儲(chǔ)，不能用于共享。8. 附錄216。 概念解釋178。 注1：分析系統(tǒng)也稱(chēng)分析型應(yīng)用，統(tǒng)一指利用聯(lián)機(jī)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)采集、下傳、裝載、加工、生成結(jié)果信息等批量處理步驟的應(yīng)用系統(tǒng)。178。 注2：數(shù)據(jù)分隔是指核心類(lèi)系統(tǒng)中一筆完整數(shù)據(jù)，如交易信息，由于各部門(mén)級(jí)應(yīng)用的不同需求（如預(yù)警、監(jiān)管、報(bào)送、出賬、各種分析應(yīng)用等），而分離出來(lái)作為單獨(dú)存儲(chǔ)和管理的基礎(chǔ)數(shù)據(jù)。178。 注3：中間加工過(guò)程這里是指包括數(shù)據(jù)文件下傳、文件解壓清洗、數(shù)據(jù)加載、全量數(shù)據(jù)加工等一系列中間批量處理步驟。178。 注4：決策支持系統(tǒng)簡(jiǎn)稱(chēng)DSS（Decision Support System），有時(shí)也稱(chēng)決策信息系統(tǒng)（Executive Information System，簡(jiǎn)稱(chēng)EIS）。出現(xiàn)于20世紀(jì)70年。即通過(guò)對(duì)數(shù)據(jù)建立模型、模擬決策過(guò)程以及人機(jī)交互方式，而輔助決策者分析問(wèn)題，提高決策水平。178。 注5：一致性維表Kimball提出的一致性維表（conformed table）分為兩種，分別是一致性維度（conformed dimension）和一致性事實(shí)（conformed fact）。conformed table是在數(shù)據(jù)倉(cāng)庫(kù)層做的（不是在數(shù)據(jù)集市層），是面向企業(yè)的（不是面向部門(mén)）。178。 注6：關(guān)系模型就是用二維表格結(jié)構(gòu)來(lái)表示實(shí)體及實(shí)體之間聯(lián)系。關(guān)系模型要滿足一定的條件（范式），范式由低到高包括1NF、2NF、3NF等。216。 參考TERADATA數(shù)據(jù)倉(cāng)庫(kù)培訓(xùn)資料網(wǎng)上數(shù)據(jù)倉(cāng)庫(kù)資料41 / 41