【文章內(nèi)容簡介】 析，發(fā)現(xiàn)有價(jià)值的信息，但每個工具的功能范圍都比較單一而固定。 經(jīng)過專家的討論，我們推薦 Arbor 的 EssBase，作部門級數(shù)據(jù)集市方案中的多維數(shù)據(jù)庫。我們也希望建立數(shù)據(jù)采掘的合作關(guān)系，以便更好地發(fā)揮 IBM 最新的數(shù)據(jù)采掘和發(fā)現(xiàn)技術(shù)的作用。IBM 的數(shù)據(jù)采掘技術(shù) 數(shù)據(jù)倉庫最重要的作用就是發(fā)掘信息，更好地支持業(yè)務(wù)決策，增加客戶忠誠度，提高市場占有率和利潤，信息發(fā)掘的應(yīng)用有市場分析，利潤評估，成本審核等。 現(xiàn)在的技術(shù)趨勢是以信息發(fā)現(xiàn)為驅(qū)動，提高上述應(yīng)用的效率，IBM在這方面的研究和開發(fā)工作一直處于領(lǐng)先地位，與幾個重大的金融和零售業(yè)客戶合作，開發(fā)出一些有針對性的解決方案。在此基礎(chǔ)上匯集成一個完整的數(shù)據(jù)采掘工具包，Intelligent ，支持RS/6000 和 SP 平臺上的 DB2，該項(xiàng)技術(shù)在業(yè)界內(nèi)堪稱一絕。第一版的產(chǎn)品內(nèi)含有八個獨(dú)立的算法。 META 集團(tuán)的 AaronZornes 曾高度評價(jià)這一技術(shù)“IBM 的數(shù)據(jù)采掘工具包和提供的相關(guān)的服務(wù)，相信會對大型企業(yè)的數(shù)據(jù)倉庫技術(shù)帶來決定性的影響?！? 這項(xiàng)技術(shù)是一項(xiàng)新技術(shù)，對招商銀行而言很有好處，采用這項(xiàng)技術(shù)可以使貴行與其他銀行在技術(shù)上拉開差距，這項(xiàng)技術(shù)必然會進(jìn)一步發(fā)展，同時也就保證了貴行在數(shù)據(jù)倉庫上的投資能發(fā)揮更大的作用。企業(yè)數(shù)據(jù)倉庫目錄 數(shù)據(jù)倉庫的元數(shù)據(jù)是數(shù)據(jù)倉庫完整性、自動化程度和可用性的基礎(chǔ)，元數(shù)據(jù)定義了數(shù)據(jù)倉庫的處理過程，記錄下來并支配整個運(yùn)行過程，對業(yè)務(wù)型用戶而言，元數(shù)據(jù)是一種信息目錄，從中可以較容易地理解和使用數(shù)據(jù)倉庫中的信息。 元數(shù)據(jù)的來源，信息模型和存儲技術(shù)有很多種，通常相互之間是沖突的，為了使各種工具可以順利地互相交換元數(shù)據(jù)，需要 Metadata Interchange Coalition 的幫助，提供元數(shù)據(jù)的標(biāo)準(zhǔn)化的交換。IBM，ETI，Infromation Advantage 和 Vality 等公司都支持這種標(biāo)準(zhǔn)，我們與其他數(shù)據(jù)倉庫廠商也正在共同合作，以達(dá)成最終的標(biāo)準(zhǔn)。 IBM 的方法與 Coalition 的策略完全一致，技術(shù)性的元數(shù)據(jù)和業(yè)務(wù)性的元數(shù)據(jù)的內(nèi)容和使用方式都是比較獨(dú)立的，針對不同的用戶，應(yīng)該有不同的元數(shù)據(jù)存儲，優(yōu)化信息結(jié)構(gòu)。IBM 推薦的方案中，技術(shù)性的元數(shù)據(jù)可以用ETI，業(yè)務(wù)性的元數(shù)據(jù)用 IBM 的 DataGuide，這些相互獨(dú)立的產(chǎn)品雖然來自不同的廠商，但組合起來能發(fā)揮更大的作用，因?yàn)樗鼈兪撬陬I(lǐng)域中最好的產(chǎn)品，否則無論如何都要維護(hù)兩套元數(shù)據(jù)目錄，還要保證它們之間的同步。 ETI 和 DataGuide 的同步由 ETI 負(fù)責(zé)，因?yàn)?ETI 有一種很特別的功能，能象處理其他數(shù)據(jù)源一樣處理 ETI 的元數(shù)據(jù)存儲，ETI 最大的長處就是有選擇的查詢、傳送數(shù)據(jù)，不受軟件和硬件的影響，能在任何格式的數(shù)據(jù)庫或文件間傳送大量的數(shù)據(jù)，所有操作都是在元數(shù)據(jù)的控制下進(jìn)行。ETI 的元數(shù)據(jù)存儲能卸出，然后卸入 DataGuide，或與DataGuide 的數(shù)據(jù)合并，整個處理過程可在圖形界面中完成，最后能生成相關(guān)的報(bào)告，ETI 還支持版本控制，建立并維護(hù)詳細(xì)的審計(jì)記錄。 DataGuide 是 IBM 的信息目錄工具，集成工作組級和企業(yè)級上的最終用戶業(yè)務(wù)元數(shù)據(jù)，DataGuide 中的元數(shù)據(jù)按業(yè)務(wù)性質(zhì)劃分成多個業(yè)務(wù)組，最終用戶很容易瀏覽，分析時如果要查找某一對象，如報(bào)告、電子表格、數(shù)據(jù)庫、程序、ETI 元數(shù)據(jù)存儲或數(shù)據(jù)采掘工具等，DataGuide 都能把所需的數(shù)據(jù)連同信息抽調(diào)出來，DataGuide 的目錄信息存儲在 DB2 中，與數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)放在相同的地方。咨詢與顧問服務(wù)概述 招商銀行已有開發(fā)大型項(xiàng)目的技術(shù)和經(jīng)驗(yàn)。根據(jù) IBM 在數(shù)百個數(shù)據(jù)倉庫項(xiàng)目中的經(jīng)驗(yàn)，其中有幾個與招商銀行的情況相類似，我們有信心幫助貴行利用已有的技術(shù)和經(jīng)驗(yàn)，把系統(tǒng)升級，擴(kuò)展數(shù)據(jù)倉庫的范圍和業(yè)務(wù)應(yīng)用的廣度。 IBM 一向是通過增加商業(yè)價(jià)值來推動項(xiàng)目的進(jìn)展，保證用戶花在數(shù)據(jù)倉庫上的每一分錢都是物有所值的，所采用的技術(shù)都是絕對有必要的，與業(yè)務(wù)需求相適應(yīng)的，我們的方案進(jìn)展是分期進(jìn)行的，保證整個項(xiàng)目按步就班，達(dá)至最后完全成功。 IBM 是世界最大的顧問服務(wù)公司，提供全面的顧問服務(wù)，在招商銀行項(xiàng)目中我們有三個突出的長處： ★ IBM 充分認(rèn)識到數(shù)據(jù)倉庫的重要性，專門建立一個技術(shù)中心，由數(shù)百個專業(yè)人員組成，設(shè)計(jì)、實(shí)現(xiàn)并管理數(shù)據(jù)倉庫項(xiàng)目中的所有部件。 ★ IBM 已有多年為客戶提供數(shù)據(jù)倉庫咨詢與顧問服務(wù)的歷史，附錄中列出了 IBM 數(shù)據(jù)倉庫顧問服務(wù)的方式。 ★ IBM 有數(shù)據(jù)采掘方面領(lǐng)先的技術(shù)，在過去十年中，超過50個研究人員專注于超大型數(shù)據(jù)環(huán)境中的數(shù)據(jù)發(fā)掘的研究，研究工作在遍布世界各地的9個實(shí)驗(yàn)室中進(jìn)行，前后共研制了42種數(shù)據(jù)發(fā)掘的算法，所有這些成果，再加上我們提供的專業(yè)顧問服務(wù)，幫助客戶設(shè)計(jì)方案，實(shí)現(xiàn)和開展培訓(xùn)，構(gòu)成了數(shù)據(jù)采掘的強(qiáng)大力量。第三章 硬件產(chǎn)品介紹 在仔細(xì)研究招商銀行總行目前的運(yùn)行環(huán)境，以及總行對數(shù)據(jù)倉庫計(jì)劃的需求后，IBM 提出 SP 解決方案。IBM 方案結(jié)合了在不同平臺(IBM RS/6000 及 IBM AS/400) 間數(shù)據(jù)移動 (data movement)，系統(tǒng)連接 (system connectivity) 以及系統(tǒng)可擴(kuò)展性 (system scalability) 等許多新的技術(shù)，這些技術(shù)不僅可以滿足總行目前的需求，而且提供了滿足未來需求的基礎(chǔ)。解決方案: 因?yàn)槟壳翱傂忻刻斓娜粘２僮魇窃?AS/400 上運(yùn) 行，為確保不影響 日常的運(yùn)行，以及滿足數(shù)據(jù)倉庫大量運(yùn)算的需求，IBM 建議使用IBM 最高檔的 UNIX 平臺 RS/6000 SP，因?yàn)?SP 具有(1)開放式系統(tǒng)功能。(2)高可擴(kuò) 展性等優(yōu)點(diǎn)，足以滿足總行目前及未來的需求。 IBM 解決方案的主機(jī)硬件需求: 八個 R50 節(jié)點(diǎn)的 RS/6000 SP，每節(jié)點(diǎn)配置有8個 CPU，4GB 內(nèi)存， GB 內(nèi)置硬盤，外置硬盤為 。各節(jié)點(diǎn)的外置硬盤不互連。八個節(jié)點(diǎn)通 過SP SWITCH 相聯(lián)，構(gòu)成 SP 的 MPP 結(jié)構(gòu)，而每個節(jié)點(diǎn)內(nèi)采用8 CPU 的 SMP 結(jié)構(gòu)。 物理上八個 R50 節(jié)點(diǎn)占用兩個 SP 機(jī)柜，每個 SP 機(jī)柜可放置四個 R50 節(jié)點(diǎn)。八個7133020磁盤組占用兩個 R00 機(jī)柜，每個 R00 機(jī)柜可放置四組 7133硬盤(每組16個)。IBM RS/6000 Scaleable POWER Parallel (SP) 介紹 SP 是 RS/6000 系列產(chǎn)品線中最高檔的產(chǎn)品，是 IBM 專門為需要大量高速計(jì)算客戶 所設(shè)計(jì)的并行機(jī)，SP 的結(jié)構(gòu)是高度可伸縮的，最小的 SP 可以只有一個節(jié)點(diǎn)，最大的 SP 可以到512個節(jié)點(diǎn)。 SP 有三種節(jié)點(diǎn)：窄節(jié)點(diǎn)、寬節(jié)點(diǎn)、高節(jié)點(diǎn)，每個 SP 機(jī)框 (System Frame) 可以放置16個窄節(jié)點(diǎn)，或8個寬節(jié)點(diǎn)，或4個高節(jié)點(diǎn)。所謂的高節(jié)點(diǎn)即是 RS/6000 SMP 機(jī) R50，每個高節(jié)點(diǎn)最多可以有8個CPU，4 GB 內(nèi)存及6900GB SSA 硬盤 (或2700GB SCSI硬 盤)。 節(jié)點(diǎn)之間的通訊是通過 IBM 專門為 SP 設(shè)計(jì)的 SP Switch 來實(shí)現(xiàn)，節(jié)點(diǎn)與外部的通訊則可選擇用以太網(wǎng)，F(xiàn)DDI 或 ATM。每個節(jié)點(diǎn)都運(yùn)行 AIX 操作系統(tǒng)。一個低檔的 RS/6000 工作站用來作控制臺，控制整個 SP 系統(tǒng)的運(yùn)行。 整個 SP 系統(tǒng)可以當(dāng)作一個系統(tǒng)運(yùn)行一個大的并行作業(yè)，或者可以區(qū)分為幾個小系統(tǒng)，每個小系統(tǒng)運(yùn)行自己的作業(yè)。SP 是高可伸縮性的并行計(jì)算機(jī) SP Sharednothing 和離散式內(nèi)存的結(jié)構(gòu)，比共享內(nèi)存 SMP 結(jié)構(gòu)及松散耦合式的服務(wù)器集群 (LooselyCoupled Cluster) 在可擴(kuò)展性上有顯著的優(yōu)勢，SMP (對稱式處理器) 結(jié)構(gòu)，由于共享內(nèi)存及使用單一的操作系統(tǒng)，在可擴(kuò)展性的限制上是眾所周知的。 SMP 結(jié)構(gòu)的第一個瓶頸在于所有的 CPU 均需通過一條系統(tǒng)總線，到內(nèi)存獲取數(shù)據(jù)，CPU 之間往往需要彼此競爭來取得系統(tǒng)總線的使用權(quán)。 SMP 結(jié)構(gòu)的第二個瓶頸在于緩存的一致性 (Cache Coherence)，也就是說每個 CPU 必須消耗極多的時間來確定每個緩存中的數(shù)據(jù)是一致的，當(dāng)某個 CPU 改動它緩存中的數(shù)據(jù)，它必須把這個更改通知到其他各個 CPU，這對 CPU 及系統(tǒng)總線的開銷都是很大的。 SMP 結(jié)構(gòu)的第三個瓶頸在于它使用一個操作系統(tǒng)，這個操作系統(tǒng)由所有的 CPU 所共享，許多內(nèi)核 (kernel) 的結(jié)構(gòu)需要加鎖 (Locking )與解鎖 (unlocking)，來確保數(shù)據(jù)的一致性，這種 Locking 機(jī)制對 SMP結(jié)構(gòu)是一項(xiàng)極大的系統(tǒng)開銷。 SMP or MPP For Data Warehousing 目前有愈來愈多的數(shù)據(jù)倉庫應(yīng)用使用像 IBM RS/6000 SP 這種多功能并行機(jī) (MPP) 作為硬件平臺，這是因?yàn)椋? UDB的 EnterpriseExtended Edition(早期版本為DB2 PE) 已成熟地運(yùn)行在 SP 上，而并行運(yùn)算的復(fù)雜性均被數(shù)據(jù)庫所涵蓋，原有的應(yīng)用不需要經(jīng)過任何改變，即可充分利用 SP 的結(jié)構(gòu)達(dá)到并行的效果。 ，就以數(shù)據(jù) Scan 為例：各數(shù)據(jù)庫均有很好的方法把數(shù)據(jù)放在不同的硬盤上，由不同的節(jié)點(diǎn)對之操作達(dá)到線性加速的效果。 SP 作為數(shù)據(jù)倉庫平臺，而且成功的案例越來越多。 由于數(shù)據(jù)倉庫計(jì)算量及數(shù)據(jù)量均極為巨大，選擇一個具有高度可擴(kuò)展性的平臺是十分重要的，以下是關(guān)于何時該選 SMP 平臺，何時該選MPP 平臺的幾點(diǎn)標(biāo)準(zhǔn)： 1. 數(shù)據(jù)庫及最大表 (Table) 的大小。 2. 同時使用的用戶數(shù)。通常一個數(shù)據(jù)倉庫大多有50至200個人同 時使用 。 3. 數(shù)據(jù)庫查詢的復(fù)雜程度。 4. 系統(tǒng)總線的速度，處理器的速度和I/0的速度。 5. 每個查詢會訪問多少數(shù)據(jù)，100多行或在百萬行。 6. 用戶希望的反應(yīng)時間：幾分鐘或幾小時。 7. 數(shù)據(jù)庫的功能。 8. 數(shù)據(jù)庫和終端用戶數(shù)增長的速度。 IBM 曾就這個問題(何時該選 SMP，何時該選 MPP)對許多專家進(jìn)行調(diào)研，比較中肯的意見是：如果數(shù)據(jù)量超過100 GB (也有的專家認(rèn)為200GB) 用戶最好認(rèn)真考慮 MPP 機(jī)型，因?yàn)樗休^好的擴(kuò)展性，當(dāng)然最好在實(shí)施前即對終端用戶的需求有充分的了解，可是在實(shí)際的情形中，這種事先有充分準(zhǔn)備的例子不多，所以在實(shí)施數(shù)據(jù)倉庫后兩三年內(nèi)，數(shù)據(jù)量增長三到四倍的情形非常普遍。 很多數(shù)據(jù)倉庫在實(shí)施前都有一個實(shí)驗(yàn)計(jì)劃，一個有趣的現(xiàn)象是：實(shí)驗(yàn)計(jì)劃愈成功，客戶對數(shù)據(jù)的需求就愈大。因此，在考慮平臺時，一定要注意這個平臺的可擴(kuò)展性，即使要用一臺 SMP 的機(jī)型，也要考慮它是否有很高的擴(kuò)展性，是否可以很平滑的升級到 MPP 結(jié)構(gòu)，以避免硬件平臺的功能無法滿足用戶的需求。 SP 比起松散耦合式服務(wù)器集群 (Loosely Coupled Cluster) 的方式有很大的優(yōu)越性，服務(wù)器集群的主要缺點(diǎn)在于服務(wù)器之間數(shù)據(jù)傳達(dá)速度太慢，以及有太多的服務(wù)器要管理，IBM 特別為中國設(shè)計(jì)了 SP Switch，來提供節(jié)點(diǎn)間快速的數(shù)據(jù)傳送，而且 IBM 也專門為 SP 設(shè)計(jì)了一套管理系統(tǒng)來管理SP，不論 SP 有多少個節(jié)點(diǎn)，對系統(tǒng)管理人員而言 SP 只是一個系統(tǒng)。 SP 的結(jié)構(gòu)可以擴(kuò)展到幾千個節(jié)點(diǎn)，目前最大的 SP 有512個節(jié)點(diǎn)，美國花旗銀行使用116個節(jié)點(diǎn)的 SP 運(yùn)行數(shù)據(jù)倉庫應(yīng)用。 SP SWITCH SP 的技術(shù)核心是 SP SWITCH，它提供了極高的速度連接各節(jié)點(diǎn)。SP SWITCH 給每兩個節(jié)點(diǎn)提供四條數(shù)據(jù)通道，每兩個節(jié)點(diǎn)之間的帶寬高達(dá)100 MB /S 雙向傳送(讀與寫可以同時進(jìn)行)。SP 系統(tǒng)管理： IBM 特別為 SP 開發(fā)了一個系統(tǒng)管理軟件 Parallel System Support Program (PSSP)， 裝在控制工作臺上(一臺低檔的 RS/6000) 來管理整個 SP。 PSSP 有下列的功能： － 硬件的監(jiān)視與控制 － 配置管理 － 用戶管理 － 軟件安裝與升級 － 用戶作業(yè)管理 SP 的 RAS(Reliability，Availability and Serviceability) IBM 對 SP 的 RAS 非常重視，每個重要配件如電源、風(fēng)扇均有冗余。SP Switch 每個重要芯片均有備份，來確保 SP Switch 數(shù)據(jù)傳輸?shù)恼_性以及可靠性，兩個節(jié)點(diǎn)之間則可利用 IBM 高可靠性軟件產(chǎn)品HACMP 提供互為備份。節(jié)點(diǎn)內(nèi)部則有 SystemGuard 芯片提供實(shí)時監(jiān)控。(SystemGuard 的詳述見后) 在 SP 內(nèi)的 R50 高結(jié)點(diǎn)采用了 IBM 獨(dú)特的 SMP 技術(shù)的對稱多處理系統(tǒng)。在整體 SP 為 MPP 計(jì)算結(jié)構(gòu)的同時，在每個 SP 結(jié)點(diǎn)內(nèi)部采用 SMP 處理，使每個結(jié)點(diǎn)所完成的任務(wù)亦可分散到多個處理器運(yùn)行，這樣就充分利用了 MPP 及 SMP 兩種技術(shù)各自的優(yōu)越性。以下再對 IBM RS/6000 的 SMP 技術(shù)作一介紹：IBM RS/6000 Symmetric MultiProcessing(SMP )對稱式多處理器系統(tǒng) 在系統(tǒng)設(shè)計(jì)及制造上，IBM 的 SMP 服務(wù)器代表工業(yè)界科技的一項(xiàng)主要成就，在中央處理器的結(jié)構(gòu)，設(shè)計(jì)，科技及包裝上有很多領(lǐng)先的突破，與其它競爭對手的 SMP 設(shè)計(jì)比較，RS/6000 表現(xiàn)出顯著的優(yōu)勢，它的可擴(kuò)展性能力及高可伸縮性給客戶提供了充分的