【文章內容簡介】 性，所以上節(jié)所說的系統(tǒng)管理能力也很重要。數(shù)據(jù)獲取的核心是企業(yè)數(shù) 據(jù)倉庫目錄的分發(fā)和管理。該功能由 DB2 UDB EEE 中的產(chǎn)品 Data Propagator 完成。 數(shù)據(jù)存儲 在 SP 硬件平臺上，可選的數(shù)據(jù)存儲產(chǎn)品有 ORACLE、 INFORMIX 15 和 DB2 并行版本，我們推薦 DB2 并行版本 UDBEEE，該產(chǎn)品在加拿大實驗室開發(fā)，得到多數(shù)顧問的一致推薦，因為 DB2 并行版本是目前市場上唯一完全符合標準的 MPP 數(shù)據(jù)，通過廣泛的安裝和使用進一步證明了其能力。在 SP 平臺上實現(xiàn)數(shù)據(jù)倉庫選用 DB2 并行版本的占了超過 50％，遠遠超過第二位 的 ORACLE，因為它目前唯一一個全并行的數(shù)據(jù)庫。 最近作了一個關于 VLDB (超大型數(shù)據(jù)庫 )的調查中， DB2 成為最受歡迎的產(chǎn)品，在五大數(shù)據(jù)庫中無論是數(shù)據(jù)庫的容量還是用戶數(shù)都遠遠領先。例如一家叫 BellSygma 的公司，正在使用 DB2/MVS 作市場分析，隨著 UNIX 平臺上的數(shù)據(jù)倉庫的不斷發(fā)展，他們在考慮轉型時決定采用 DB2 并行版本，因為他們已經(jīng)有 DB2 的使用經(jīng)驗，而且 IBM 在 VLDB 上令人信服的技術和經(jīng)驗，可信的運行記錄等促使他們作出這種決定。時至今日，他們已經(jīng)開發(fā) 出幾個 VLDB 的數(shù)據(jù)倉庫應用，都有非常好的可擴展性和性能。 一向以來， DB2 因為其多樣化的功能而受世界各大型企業(yè)的普遍歡迎，美國最大的 500家企業(yè)中有超過 80％采用了 DB2，其中前 100家全部采用了 DB2。 DB2 并行版本象 SP 平臺一樣，能幫助象 ⅩⅩ 銀行這樣的企業(yè)去應付各種類型的業(yè)務壓力，有足夠的靈活性去增加，刪除，重新開發(fā)和管理應用和數(shù)據(jù)， DB2 有獨特的可重用特點，能同時作數(shù)據(jù)倉庫、數(shù)據(jù)集市和內部網(wǎng)應用的數(shù)據(jù)庫服務器，將來還可以把DB2/400 的應用向下優(yōu)化到 DB2 上。 最新的 TPC－ D 測試表明， DB2 的性能是并行數(shù)據(jù)庫中最好的，這次測試模擬了一個實際的數(shù)據(jù)倉庫環(huán)境，從 TPC 量度上來看，與ⅩⅩ 銀行目前的數(shù)據(jù)倉庫規(guī)模比較接近， IBM 公司在 1996年共投入了1200個人年開發(fā) DB2 產(chǎn)品，今后仍會保持這種力度以保證并行數(shù)據(jù)庫領域的領先地位。 決策分析支持工具 面向最終用戶的工具種類繁多，有 IBM的 Visualizer、 Data Inter Pretation ；其他公司的如 Cogons 、 Information Advantage、 Business Objects 、 BrioQuery、 CrystalReports、Microstrategy、 Prodea、 Arbor 的 EssBase 等。匯集總體層次上的數(shù)據(jù)，從多個角度去分析，發(fā)現(xiàn)有價值的信息，但每個工具的功能范圍都比較單一而固定。 經(jīng)過專家的討論，我們推薦 Arbor 的 EssBase，作部門級數(shù)據(jù)集市方案中的多維數(shù)據(jù)庫。我們也希望建立數(shù)據(jù)采掘的合作關系，以 16 便更好地發(fā)揮 IBM 最新的數(shù)據(jù)采掘和發(fā)現(xiàn)技術的作用。 IBM 的數(shù)據(jù)采掘技術 數(shù)據(jù)倉庫最重要的作用就是發(fā)掘信息， 更好地支持業(yè)務決策，增加客戶忠誠度，提高市場占有率和利潤，信息發(fā)掘的應用有市場分析，利潤評估，成本審核等。 現(xiàn)在的技術趨勢是以信息發(fā)現(xiàn)為驅動，提高上述應用的效率，IBM在這方面的研究和開發(fā)工作一直處于領先地位，與幾個重大的金融和零售業(yè)客戶合作，開發(fā)出一些有針對性的解決方案。在此基礎上匯集成一個完整的數(shù)據(jù)采掘工具包， Intelligent 1996年六月推出，支持 RS/6000 和 SP 平臺上的 DB2，該項技術在業(yè)界內堪稱一絕。第一版的產(chǎn)品內含有八個獨立的算法。 META 集團的 AaronZornes 曾高度評價這一技術“ IBM 的數(shù)據(jù)采掘工具包和提供的相關的服務，相信會對大型企業(yè)的數(shù)據(jù)倉庫技術帶來決定性的影響?！? 這項技術是一項新技術，對 ⅩⅩ 銀行而言很有好處，采用這項技術可以使貴行與其他銀行在技術上拉開差距，這項技術必然會進一步發(fā)展，同時也就保證了貴行在數(shù)據(jù)倉庫上的投資能發(fā)揮更大的作用。 企業(yè)數(shù)據(jù)倉庫目錄 數(shù)據(jù)倉庫的元數(shù)據(jù)是數(shù)據(jù)倉庫完整性、自動化程度和可用性的基礎，元數(shù)據(jù)定義了數(shù)據(jù)倉庫的處理過程，記錄下來并支配整個運行過程，對業(yè)務型用戶而言，元數(shù)據(jù)是一 種信息目錄，從中可以較容易地理解和使用數(shù)據(jù)倉庫中的信息。 元數(shù)據(jù)的來源，信息模型和存儲技術有很多種，通常相互之間是沖突的，為了使各種工具可以順利地互相交換元數(shù)據(jù)，需要 Metadata Interchange Coalition 的幫助，提供元數(shù)據(jù)的標準化的交換。 IBM， ETI， Infromation Advantage 和 Vality 等公司都支持這種標準，我們與其他數(shù)據(jù)倉庫廠商也正在共同合作，以達成最終的標準。 IBM 的方法與 Coalition 的策略完全一致，技術性的元數(shù)據(jù)和業(yè)務 性的元數(shù)據(jù)的內容和使用方式都是比較獨立的，針對不同的用戶，應該有不同的元數(shù)據(jù)存儲，優(yōu)化信息結構。 IBM 推薦的方案中，技術性的元數(shù)據(jù)可以用 ETI，業(yè)務性的元數(shù)據(jù)用 IBM 的 DataGuide， 17 這些相互獨立的產(chǎn)品雖然來自不同的廠商，但組合起來能發(fā)揮更大的作用，因為它們是所在領域中最好的產(chǎn)品，否則無論如何都要維護兩套元數(shù)據(jù)目錄，還要保證它們之間的同步。 ETI 和 DataGuide 的同步由 ETI 負責，因為 ETI 有一種很特別的功能，能象處理其他數(shù)據(jù)源一樣處理 ETI 的元數(shù)據(jù)存儲， ETI 最大的長處就是有選擇的查詢、傳送數(shù)據(jù)，不受軟件和硬件的影響，能在任何格式的數(shù)據(jù)庫或文件間傳送大量的數(shù)據(jù)，所有操作都是在元數(shù) 據(jù) 的 控 制 下 進 行 。 ETI 的元數(shù)據(jù)存儲能卸出，然后卸入 DataGuide，或與 DataGuide 的數(shù)據(jù)合并，整個處理過程可在圖形界面中完成，最后能生成相關的報告， ETI 還支持版本控制，建立并維護詳細的審計記錄。 DataGuide 是 IBM 的信息目錄工具，集成工作組級和企業(yè)級上的最終用戶業(yè)務元數(shù)據(jù)， DataGuide 中的元數(shù)據(jù)按業(yè)務性質劃分成多個業(yè)務組，最終用戶很容易瀏 覽，分析時如果要查找某一對象，如報告、電子表格、數(shù)據(jù)庫、程序、 ETI 元數(shù)據(jù)存儲或數(shù)據(jù)采掘工具等，DataGuide 都能把所需的數(shù)據(jù)連同信息抽調出來， DataGuide 的目錄信息存儲在 DB2 中，與數(shù)據(jù)倉庫中的業(yè)務數(shù)據(jù)放在相同的地方。 咨詢與顧問服務概述 ⅩⅩ 銀行已有開發(fā)大型項目的技術和經(jīng)驗。根據(jù) IBM 在數(shù)百個數(shù)據(jù)倉庫項目中的經(jīng)驗，其中有幾個與 ⅩⅩ 銀行的情況相類似，我們有信心幫助貴行利用已有的技術和經(jīng)驗，把系統(tǒng)升級，擴展數(shù)據(jù)倉庫的范圍和業(yè)務應用的廣度。 IBM 一向是通過增加商 業(yè)價值來推動項目的進展，保證用戶花在數(shù)據(jù)倉庫上的每一分錢都是物有所值的，所采用的技術都是絕對有必要的，與業(yè)務需求相適應的，我們的方案進展是分期進行的，保證整個項目按步就班，達至最后完全成功。 IBM 是世界最大的顧問服務公司，提供全面的顧問服務，在 ⅩⅩ銀行項目中我們有三個突出的長處： ★ IBM 充分認識到數(shù)據(jù)倉庫的重要性，專門建立一個技術中心，由數(shù)百個專業(yè)人員組成，設計、實現(xiàn)并管理數(shù)據(jù)倉庫項目中的所有部件。 ★ IBM 已有多年為客戶提供數(shù)據(jù)倉庫咨詢與顧問服務的歷史，附錄中列出了 IBM 數(shù)據(jù)倉庫顧問服務的方式。 ★ IBM 有數(shù)據(jù)采掘方面領先的技術，在過去十年中，超過 50個研究人員專注于超大型數(shù)據(jù)環(huán)境中的數(shù)據(jù)發(fā)掘的研究，研究工作在遍 18 布世界各地的 9個實驗室中進行，前后共研制了 42種數(shù)據(jù)發(fā)掘的算法，所有這些成果，再加上我們提供的專業(yè)顧問服務，幫助客戶設計方案，實現(xiàn)和開展培訓，構成了數(shù)據(jù)采掘的強大力量。 19 第三章 硬件產(chǎn)品介紹 在仔細研究 ⅩⅩ 銀行 總行目前的運行環(huán)境，以及總行對數(shù)據(jù)倉庫計劃的需求后， IBM 提出 SP 解決方案。 IBM 方案結合了在不同平臺 (IBM RS/6000 及 IBM AS/400) 間數(shù)據(jù)移動 (data movement)，系統(tǒng)連接 (system connectivity) 以及系統(tǒng)可擴展性 (system scalability) 等許多新的技術，這些技術不僅可以滿足總行目前的需求，而且提供了滿足未來需求的基礎。 解決方案 : 因為目前總行每天的日常操作是在 AS/400 上運 行，為確保不影響 日常的運行，以及滿足數(shù)據(jù)倉庫大量運算的需求， IBM 建議使用 IBM 最高檔的 UNIX 平臺 RS/6000 SP，因為 SP 具有 (1)開放式系統(tǒng)功能。 (2)高可擴 展性等優(yōu)點，足以滿足總行目前及未來的需求。 IBM 解決方案的主機硬件需求 : 八個 R50 節(jié)點的 RS/6000 SP，每節(jié)點配置有 8個 CPU， 4GB 內存， GB 內置硬盤，外置硬盤為 。各節(jié)點的外置硬盤不互連。八個節(jié)點通 過 SP SWITCH 相聯(lián)，構成 SP 的 MPP 結構，而每個節(jié)點內采用 8 CPU 的 SMP 結構。 物理上八個 R50 節(jié)點占用兩個 SP 機柜，每個 SP 機柜可放置四個 R50 節(jié)點。八個 7133020磁盤組占用兩個 R00 機柜，每個 R00 機柜可放置四組 7133硬盤 (每組 16個 )。 IBM RS/6000 Scaleable POWER Parallel (SP) 介紹 SP 是 RS/6000 系列產(chǎn)品線中最高檔的產(chǎn)品，是 IBM 專門為需要大量高速計算客戶 所設計的并行機， SP 的結構是高度可伸縮的 ，最小的 SP 可以只有一個節(jié)點，最大的 SP 可以到 512個節(jié)點。 SP 有三種節(jié)點：窄節(jié)點、寬節(jié)點、高節(jié)點，每個 SP 機框 (System Frame) 可以放置 16個窄節(jié)點，或 8個寬節(jié)點，或 4個高節(jié)點。所謂的高節(jié)點即是 RS/6000 SMP 機 R50，每個高節(jié)點最多可以有 8個CPU， 4 GB 內存及 6900GB SSA 硬盤 (或 2700GB SCSI硬 盤 )。 20 節(jié)點之間的通訊是通過 IBM 專門為 SP 設計的 SP Switch 來實現(xiàn) ， 節(jié)點與外部的通訊則可選擇用以太網(wǎng)， FDDI 或 ATM。每個節(jié)點都運行 AIX 操作系統(tǒng)。一個低檔的 RS/6000 工作站用來作控制臺，控制整個 SP 系統(tǒng)的運行。 整個 SP 系統(tǒng)可以當作一個系 統(tǒng)運行一個大的并行作業(yè)，或者可以區(qū)分為幾個小系統(tǒng)，每個小系統(tǒng)運行自己的作業(yè)。 SP 是高可伸縮性的并行計算機 SP Sharednothing 和離散式內存的結構，比共享內存 SMP 結構及松散耦合式的 服務 器集群 (LooselyCoupled Cluster) 在可擴展性上有顯著的優(yōu)勢， SMP (對稱式處理器 ) 結構，由于共享內存及使用單一的操作系統(tǒng)，在可擴展性的限制上是眾所周知的。 SMP 結構的第一個瓶頸在于所有的 CPU 均需通過一條系統(tǒng)總線，到內存獲取數(shù)據(jù)， CPU 之間往往 需要彼此競爭來取得系統(tǒng)總線的使用權。 SMP 結構的第二個瓶頸在于緩存的一致性 (Cache Coherence)，也就是說每個 CPU 必須消耗極多的時間來確定每個緩存中的數(shù)據(jù)是一致的，當某個 CPU 改動它緩存中的數(shù)據(jù)，它必須把這個 更改 通知到其他各個 CPU，這對 CPU 及系統(tǒng)總線的開銷都是很大的。 SMP 結構的第三個瓶頸在于它使用一個操作系統(tǒng)，這個操作系統(tǒng)由所有的 CPU 所共享，許多內核 (kernel) 的結構需要加鎖 (Locking )與解鎖 (unlocking)，來確保 數(shù)據(jù)的一致性，這種 Locking 機制對 SMP結構是一項極大的系統(tǒng)開銷。 SMP or MPP For Data Warehousing 目前有愈來愈多的數(shù)據(jù)倉庫應用使用像 IBM RS/6000 SP 這種多功能并行機 (MPP) 作為硬件平臺，這是因為： UDB的 EnterpriseExtended Edition(早期版本為 DB2 PE) 已成熟地運行在 SP 上，而并行運算的復雜性均被數(shù)據(jù)庫所涵蓋，原有的應用不需要經(jīng)過任何改變，即可充分利 用 SP 的結構達到并行的效果。 ，就以數(shù)據(jù) Scan 為例：各數(shù)據(jù)庫均有很好的方法把數(shù)據(jù)放在不同的硬盤上，由不同的節(jié)點對之操作達到線性加速的效果。 SP 作為數(shù)據(jù)倉庫平臺，而且成功的案例 21 越來越多。 由于數(shù)據(jù)倉庫計算量及數(shù)據(jù)量均極為巨大，選擇一個具有高度可擴