【正文】 ..................................................................... 42 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 1頁 第一章 概述 隨著市場競爭的日益激烈，各家公司紛紛把提高決策的科學性、合理性提高到一個新的認識高度。 通過有目的、有選擇地采集業(yè)務數(shù)據(jù)，并將其轉換為對決策有用的信息，用于智能化的分析、預測和模擬等目的，這樣的應用被稱為商業(yè)智能應用。 作為一個具有八十多年歷史，以開發(fā)信息技術和商業(yè)應用而聞名的“藍色巨人”， IBM 在這一領域進行了多年的研究，發(fā)展出完備的商業(yè)智能技術，為商業(yè)數(shù)據(jù)自動轉化為商業(yè)知識提供了現(xiàn)實的方案。一般現(xiàn)代化的業(yè)務操作，通常都會產(chǎn)生大量的數(shù)據(jù)，如話單、賬單以及客戶資料等，其中一部分是決策關鍵數(shù)據(jù)，但并不是所有的數(shù)據(jù)都對決策有決定意義。企業(yè)可以利用它的信息和結論進行更加靈活的階段性的決策：如采用什么產(chǎn)品、針對哪類客戶、如何選擇和有效地推出服務等等，也可以實現(xiàn)高效的財務分析、銷售分析、風險管理、分銷和后勤管理等等。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 2頁 第二章 商業(yè)智能綜述 商業(yè)智能基本結構 當今，許多企業(yè)認識到只有靠充分利用，發(fā)掘其現(xiàn)有數(shù)據(jù)，才能實現(xiàn)更大的商業(yè)效益。若再加上市場分析報告、獨立的市場調查、質量 評測結果和顧問評估等外來數(shù)據(jù)時，上述處理過程產(chǎn)生的效益可進一步增強。那么怎樣把這樣大量的數(shù)據(jù)轉換成可靠的、商用的信息以便于決策支持呢？建立數(shù)據(jù)倉庫正被廣泛地公認為最好的轉換手段。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 3頁 IBM 數(shù)據(jù)倉庫架構 IBM 早在 90 年代初期，就投入大量優(yōu)秀技術人員和資金開始了數(shù)據(jù)倉庫的研究，并啟動了 StarBurst 大型科研項目。因此， IBM 現(xiàn)在發(fā)布的數(shù)據(jù)倉庫產(chǎn)品都是經(jīng)過反復推敲和久經(jīng)考驗的，真正做到讓用戶買起來放心，用起來舒心。作為一個開發(fā)式結構，它方便了用戶的產(chǎn)品選擇、實施和今后的擴展。第一步包括數(shù)據(jù)抽取、數(shù)據(jù)轉換、數(shù)據(jù)分布等步驟，按照統(tǒng)一的數(shù)據(jù)格式標準進行統(tǒng)一的數(shù)據(jù)轉換，建立可被企業(yè)各部門充分共享的數(shù)據(jù)倉庫。這三個階段通常緊密結合在一起，由一個產(chǎn)品或幾個產(chǎn)品配 合實現(xiàn)。 DB2 Warehouse Manager 可進行數(shù)據(jù)映射的定義，以定期地抽取、轉換和分布數(shù)據(jù)；IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 4頁 DataJoiner可訪問的各種關系型數(shù)據(jù)庫包括 DB2數(shù)據(jù)庫家族、 ORACLE、 SYBASE、INFORMIX 和 MS SQL Server 等； DataPropagator 主要用于數(shù)據(jù)復制，采用數(shù)據(jù)復制的方式可對業(yè)務數(shù)據(jù)倉庫進行增量數(shù)據(jù)更新，避免對作業(yè)系統(tǒng)事物 處理性能的影響和大量重復抽取數(shù)據(jù)。 第二步，在按主題分類建立應用時，若既想擁有多維數(shù)據(jù)庫的獨特功能，又要把數(shù)據(jù)存放在關系型數(shù)據(jù)庫中以便管理，則 DB2 OLAP Server 是用戶的最佳選擇。最后，我們以報表或圖形的方式將結果數(shù)據(jù)呈現(xiàn)給用戶，這通常由第三方產(chǎn)品來實現(xiàn)，它們包括： Hyperion Analyzer, Cognos， Brio， Business Objects 等。但萬變不離其宗，其基本體系結構往往包括三個部分。因此，有必要把各個區(qū)域的數(shù)據(jù)集合起來，去其糟粕、取其精華，將真實的、對決策有用的數(shù)據(jù)保留下來，隨時準備管理人員使用。 多維分析：全方位了解現(xiàn)狀 管理人員往往希望從不同的角度來審視業(yè)務數(shù)值，比如從時間、地域、產(chǎn)品來看同一類業(yè)務的總額。以前，每一個分析的角度需要制作一張報表。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 5頁 前臺分析工具 提供簡單易用的圖形化界面給管理人員，由他們自由選擇要分析的數(shù)據(jù)、定義分析角度、顯示分析結果。 以上三部分是商業(yè)智能的基礎。在此基礎結構之上，商業(yè)智能可以發(fā)揮更進一步的作用，利用數(shù)據(jù) 挖掘技術，發(fā)現(xiàn)問題、找出規(guī)律，達到真正的智能效果：預測將來。它比多維分析更進一步。但是，如果管理人員要問為何一種業(yè)務在某地區(qū)的情況突然變得特別好或是不好，或者問該業(yè)務在另一地區(qū)將會怎么樣，這時數(shù)據(jù)挖掘工具可以作出回答。這種關系，一般顯示數(shù)據(jù)組之間相似或相反的行為或變化。而這種啟示又很可能使得到它的業(yè)者，獲得其他競爭者所沒有的先機 。因此，在實施商業(yè)智能方案時，一般分兩步走：第一步實現(xiàn)數(shù)據(jù)倉庫和多維分析，構造商業(yè)智能的基礎，實現(xiàn)分析應用；第二步實現(xiàn)數(shù)據(jù)挖掘，發(fā)揮商業(yè)智能的特色。其中最重要的是，商業(yè)智能 的實施是不斷的交流過程，只有雙方緊密的合作才能取得實施的成功。我們建議 XXX 公司 應根據(jù)現(xiàn)有的資源以及今后發(fā)展的方向，分階段、循序漸進的實施商業(yè)智能方案。 知識原則 普遍說來，由于商業(yè)智能技 術相對而言比較新，企業(yè)的信息技術人員對數(shù)據(jù)倉庫、多維分析、數(shù)據(jù)挖掘等系統(tǒng)涉及的知識往往存在著不足或偏差，實際應用經(jīng)驗也很欠缺。當系統(tǒng)投入使用時，這些人員可以對系統(tǒng)進行維護和管理，并負責對最終用戶進行培訓。 IBM 的解決方案 基于 XXX 公司 BI 系統(tǒng)的需求，以及 IBM 公司在數(shù)據(jù)倉庫領域的經(jīng)驗，我們提出以下解決方案： 采用一個企業(yè)級的數(shù)據(jù)倉庫，實現(xiàn)各分行業(yè)務數(shù)據(jù)的自動采集、清洗、匯總，并且通過多維分析工具，讓用戶能夠有效的將數(shù)據(jù)轉化為靈活的報表和決策支持信息，最終滿足用戶的信息需求。綜合業(yè)務系統(tǒng)中的數(shù)據(jù)通過數(shù)據(jù)倉庫工具進行自動采集、清洗、整理，而需要新錄入的數(shù)據(jù)則通 過瀏覽器方式錄入。以 XXX 公司 報表系統(tǒng)為開端，分階段地實現(xiàn)商業(yè)智能應用。而且，先在只有少量的數(shù)據(jù)和用戶的小系統(tǒng)上進行學習和實踐，對技術人員來說會學得更快。 數(shù)據(jù)錄入 可以采用數(shù)據(jù)文件快速裝入的方式，也可以采用專門應用的方式。利用這兩個工具，我們可以方便地建立 Web 頁面，生成 Java 程序，包括 Applet、 Servlet 和 Application 等等。另外，這種結構對客戶機的配置要求也不太高。 Warehouse Manager 正是這樣的一個工具。 在 XXX 公司 的 BI 系統(tǒng)中，通過 Warehouse Manager 管理器可以方便地建立數(shù)據(jù)加工的流程 (process)和步驟 (step)，這些步驟反映了 XXX 公司 具體業(yè)務 數(shù)據(jù)的流程、規(guī)則。代理可以運行在 Warehouse Manager 服務器上，也可以運行在遠程的業(yè)務主機上，并且可以有多個代理運行以提高效率。 Warehouse Manager 是專門為商業(yè)應用設計的，它可以自動在網(wǎng)絡上進行數(shù)據(jù)的傳送，不需要人為干預，并且利用它的日志功 能可以對系統(tǒng)運行很好地監(jiān)控。另外，在數(shù)據(jù)倉庫服務器于業(yè)務系統(tǒng)之間的文件數(shù)據(jù) FTP 傳輸以及從表中抽取少量數(shù)據(jù)也可以通過 Agent 直接執(zhí)行。 DWM 在執(zhí)行完數(shù)據(jù)的提取任務后，自動觸發(fā)預先定義好的 OLAP 操作，將數(shù)據(jù)經(jīng)過匯總計算后加載至 DB2 OLAP Server 中。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 9頁 建議架構 生產(chǎn)系統(tǒng)1生產(chǎn)系統(tǒng)2生產(chǎn)系統(tǒng)3 Intra/InterBrowserWindows 2020Meta Data管理/數(shù)據(jù)倉庫控制DB2/Warehouse Control CenterDB2 Warehouse ServerDB2 OLAP Server Application ManagerDB2 Intelligent Miner ClientWindows 2020查詢／分析WEB應用服務器DB2 OLAP Analysis ServerHTTP ServerDB2 UDB EEDB2 Warehouse ManagerDB2 Intelligent Miner for DataDB2 Intelligent Miner ScoringOLAP DataWarehouseDataRS/6000DB2 OLAP Server 圖 3 XXX公司 BI系統(tǒng)軟硬件配置示意圖 在此方案中，采用 RS/6000 服務器作為運行數(shù)據(jù)倉庫目標數(shù)據(jù)庫的服務器，其上安裝 DB2 UDB EE、 DB2 Warehouse Manager，用來從生產(chǎn)系統(tǒng)抽取對決策有用的業(yè)務數(shù)據(jù)，經(jīng)過加工后存放在數(shù)據(jù)倉庫中。由于 XXX公司 BI 系統(tǒng)中的業(yè)務問題大多是多維分析問題，故利用另外一臺 RS/6000 服務器運行 IBM 公司專門的多維分析服務器產(chǎn)品 DB2 OLAP Server，以極大地加 快多維分析的速度。 所有客戶端以瀏覽器方式，通過查詢和多維分析的 WEB 應用服務器訪問數(shù)據(jù)倉庫和多維分析服務器中的數(shù)據(jù)。為提高系統(tǒng)響應時間及提供負載均衡能力，可以配合 WebSphere Application Server 共同使用。 此方案的優(yōu)點： 基于公司的業(yè)務需求。 高性能、高效率。同時由于在局域網(wǎng)上運行，對網(wǎng)絡帶寬基本不會有壓力，并且用戶響應時間可以得到保障。各客戶端通過瀏覽器方式從中心數(shù)據(jù)倉庫中獲取數(shù)據(jù)，只有需要的數(shù)據(jù)被傳輸。此方案具有 很好的可擴展性，隨著 XXX公司 業(yè)務量的增加，業(yè)務數(shù)據(jù)的增多，各種業(yè)務系統(tǒng)的建立，此方案可以容易的適應這些變化，滿足業(yè)務的需求。此方案不僅可以滿足 XXX 公司 目前 BI 系統(tǒng)的需要，更為重要的是為 XXX 公司 商業(yè)智能應用打下了一個堅實的基礎。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 11頁 第四章 所選 IBM 產(chǎn)品簡介 在這次的商業(yè)智能解決方案中，采用的產(chǎn)品包括數(shù)據(jù)庫 DB2 UDB、數(shù)據(jù)倉庫(DB2 Warehouse Manager)、多維數(shù)據(jù)庫 (OLAP Server)、前臺分析工具 (DB2 OLAP Analyzer)及智能數(shù)據(jù)挖掘服務器 (DB2 Intelligent Miner for Data)。 DB2 UDB 概述： DB2 家族 (Family)與 DB2 通用數(shù)據(jù)庫 (UDB) IBM DB2 家族的各種關系數(shù)據(jù)庫管理系統(tǒng)適用于各種硬件平臺，其中包括基于 Intel 的微機、 IBM 的或非 IBM 的各種 RISC 服務器和工作站、大型并行處理機、 AS/400 中型計算機系統(tǒng)以及運行 VM、 VSE 和 MVS、 OS/390 操作系統(tǒng)的主機系統(tǒng)。 DB2 家族產(chǎn)品能夠滿足不同用戶的需求，它包含了從單用戶的微機系統(tǒng)到支持 80 萬用戶的主機系統(tǒng)。 可運行在基于 Intel 的微機及各種 RISC 服務器 (UNIX 平臺 )上的 DB2 UDB 包括： DB2 for AIX， DB2 for HPUX， DB2 for SUN Solaris， DB2 for OS/2，DB2 for Windows NT， DB2 for Win95， DB2 for Win98， DB2 for Linux， DB2 for SCO， DB2 for Sinix， DB2 for NUMAQ 等等?？梢园阉鼈兣渲玫絾蝹€的系統(tǒng)上，或者配置到支持客戶機工作站的 LAN 服務器上，還可以把它們配置為環(huán)球網(wǎng) (Inter)上的數(shù)據(jù)庫服務器。 DB2 通用數(shù)據(jù)庫 (UDB) 產(chǎn)品建立在一個共同代碼的基礎之上，依據(jù)多進程 /多線索結構進行設計，其數(shù)據(jù)庫引擎的核心技術來自 Starburst 研究項目以及DB2 for OS/390 等主機產(chǎn)品，而且它們在數(shù)據(jù)和應用的可移植性兩個方面與 DB2IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機密 第 12頁 家族中的其他成員完全兼容。在保持這種外在的兼容性以及具備 DB2 家族成員所必需具備的可靠性和可管理性的同時，實際上它們每個產(chǎn)品還針對各自的平臺環(huán)境作了調整和優(yōu)化以達到業(yè)界領先的性能 /價格比。 圖 4 DB2家族產(chǎn)品 DB2 通用數(shù)據(jù)庫 (UDB) 的特色 DB2 通用數(shù)據(jù)庫 (UDB) 無論在網(wǎng)絡計算方面還是在線分析、多媒體處理，都能給你全面、滿意的支持，而且集成了豐富的數(shù)據(jù)庫管理工具，把原來復雜的管理工作變得非常簡單。同時也增加了在裝載和在線重組時對索引的維護。另外，在支持 16 和 32KB Pages、多個緩沖池 (multiple buffer pool)的優(yōu)化、更快的完整性約束處理、處理更多查詢的星式連接等方面，做了一系列的改進。 ? 列命名長度限制由原來的 18 個字符擴充為 30 個字符。 ? 頁大小從 16KB 增大到 32KB。 ? 最大表 /表空間的大小從 128GB 擴大到 512GB，取決于頁大小。 ? 嵌入式 SQL 編程支持宏。對 UCS2 和UTF8 格式的支持，允許用戶用各種主要語言創(chuàng)建數(shù)據(jù)庫和存取數(shù)據(jù)。 DB2 UDB 增強面向對象的 SQL 和 SQL 擴展，集成 Windows 平臺，打包新增免費軟件。用戶可以使用 DB2 的數(shù)據(jù)連接器 (DataJoiner)，象訪問DB2 數(shù)據(jù)資源一樣，訪問 Orac