【正文】 當(dāng)查看數(shù)據(jù)時，用戶可選擇圖形表達(dá)方式或文本表達(dá)方式。Performance Monitor 還支持兩類性能數(shù)據(jù) —— 快照 (snapshot)和事件，為用戶提供了更多的靈活性。例如，在有1,000,000 行的產(chǎn)品環(huán)境中用戶能預(yù)計執(zhí)行一個查詢所需的時間。 詳細(xì)的優(yōu)化器信息： Visual Explain 提供大量的優(yōu)化器信息，用以幫助用戶書寫高效的 SQL 語句。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機(jī)密 第 21頁 圖形化顯示：優(yōu)化器選取的 SQL 存取計劃，傳統(tǒng)上用文本格式或表格來表示，對大多數(shù) SQL 語句來說，它是很難理解的。 Journal 是一個簡單的調(diào)度表和工作監(jiān)視表，它能夠列出所有懸掛著的、運(yùn)行中的和按調(diào)度表完成了的腳本和工作，提供它們的狀態(tài)信息和結(jié)果信息，及時地記錄數(shù)據(jù)庫管理過程中返回的消息，還能夠與 Alert Center 協(xié)同工作，共同監(jiān)視系統(tǒng)并自動發(fā)出問題警報。 Control Center 的主要功能包括以下方面： (1) 對象管理： 數(shù)據(jù)庫管理員只需簡單地點(diǎn)擊對象圖標(biāo)便可以建立，改變，刪除，復(fù)制，更名和分析對象； (2) 配置管理： 配置數(shù)據(jù)庫管理器和數(shù)據(jù)庫； (3) 編目 /未編目數(shù)據(jù)庫和網(wǎng)點(diǎn) ； (4) 安全管理： 增加，改變，刪除規(guī)則及其授權(quán)和特權(quán)； (5) 空間管理： 確定數(shù)據(jù)庫空間分配，顯示文件系統(tǒng)用法和磁盤格式，建立、修改和引入表空間，顯示桌面空間分段存儲； (6) 操作管理： 運(yùn)行公用程序 (備份 /恢復(fù)等 )。 Event Analyzer 可幫助用戶分析已執(zhí)行的 SQL 操作。特別地，對于具有較多 CPU 的服務(wù) 器，可以將其分解多個 DB2 EEE 邏輯節(jié)點(diǎn)，與其它服務(wù)器一起運(yùn)行 DB2 EEE。 (7) 客戶機(jī) /服務(wù)器的可管理性： 在整個網(wǎng)絡(luò)上散布著多臺數(shù)據(jù)庫服務(wù)器，其引人注意的替代品可以是單一大規(guī)模并行數(shù)據(jù)庫服務(wù)器 。 RS/6000 SP 由上千個 RS/6000節(jié)點(diǎn)組成，相互由高速開關(guān)連接。 DB2 基于成本的 SQL 優(yōu)化器利用分區(qū)信息估計 SQL 查詢不同執(zhí)行方案的成本，在需要分布數(shù)據(jù)和重新分布數(shù)據(jù)時進(jìn)行有效的管理，從中選擇成本最低的方案。這就減少了節(jié)點(diǎn)間共享資源時的競爭，并允許數(shù)據(jù)庫有效地伸縮以支持更大的數(shù)據(jù)庫，或者通過附加更多節(jié)點(diǎn)以支持更多用戶。 運(yùn)行在 MPP 體系結(jié)構(gòu)計算機(jī)上的 DB2 UDB 企業(yè)擴(kuò)展版 (Enterprise Extended Edition)，作為并行關(guān)系數(shù)據(jù)庫它允許把單個數(shù)據(jù)庫映象散布到多個系統(tǒng)上，從而能利用所有系統(tǒng)的處理能力以滿足用戶對數(shù)據(jù)的需求。 (2) 對 MPP 結(jié)構(gòu)計算機(jī)的獨(dú)特支持 當(dāng)企業(yè)的業(yè)務(wù)系統(tǒng)或數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)量不斷增大、并發(fā)用戶量不斷增大時，依靠單一的數(shù)據(jù)庫服務(wù)器往往難以獲得比較好的性能和處理能力。 (3) 管理工具在并行環(huán)境同樣適用： Governor 幫助您控制每個用戶及應(yīng)用程序的資源利用率，可自動調(diào)整查詢的優(yōu) 先級。數(shù)據(jù)掃描、合并、分類、負(fù)載平衡、表格重組、數(shù)據(jù)調(diào)用、創(chuàng)建索引、索引訪問、備份與恢復(fù)等一系列工作都是在所有不同的節(jié)點(diǎn)里同時完成的。 DB2 UDB 有一個查詢優(yōu)化器，是由 IBM 研究機(jī)構(gòu)開發(fā)的，它是專為提高并行抽取數(shù)據(jù)的效率而設(shè)計的。在 MPP 環(huán)境下處理并行，則相當(dāng)于把杯子中的水先智能地分配給多個小水杯 (參與 SQL 執(zhí)行的節(jié)點(diǎn)機(jī) )，這樣小水杯中的水就分別被每個節(jié)點(diǎn)機(jī) “吸干 ”了。查詢執(zhí)行時被透明地分開后并行執(zhí)行 (稱作內(nèi)部查詢并行性： Intraquery parallelism)，過去需要數(shù)小時的查詢現(xiàn)在只需幾分鐘就可以完成。它們通過星型連接 (Star join)方式在關(guān)系型數(shù)據(jù)庫中支持在線分析處理 (OLAP)，使用立體的結(jié)構(gòu)查看和歸納數(shù)據(jù)而不是傳統(tǒng)的平面結(jié)構(gòu)。 DB2 的基于 SQL 的、支持集成內(nèi)容搜索的方法的另一個重要的優(yōu)點(diǎn)是既可以在多種非常規(guī)的數(shù)據(jù)類型上搜索給定的查詢，又可以在常規(guī)的數(shù)據(jù)上搜索給定的查詢。 (5) 集成內(nèi)容搜索 集成內(nèi)容搜索由 Relational Extenders 通過用戶定義函數(shù)來支持。 (4) 關(guān)系數(shù)據(jù)庫擴(kuò)展器 (Relational Extenders) 關(guān)系數(shù)據(jù)庫擴(kuò)展器是一個預(yù)先包裝的用戶定義類型、用戶定義函數(shù)、觸發(fā)器、約束以及存貯過 程的集合。 對 LOB 實(shí)現(xiàn)支持時要考慮到客戶對性能的需求，為此允許數(shù)據(jù)庫用戶或管理員執(zhí)行如下操作： ? 僅訪問應(yīng)用程序需要的那部分 LOB，不必訪問整個 LOB。它也可存儲由 UDT 和 UDF 定義其語義的小型結(jié)構(gòu)。利用它們能創(chuàng)建函數(shù)庫，這些函數(shù)庫可以是 IBM 開發(fā)的，也可以是第三方經(jīng)銷商或客戶自行開發(fā)的，然后直接把它們集成在數(shù)據(jù)庫中。 UDF 使用戶有能力提供一組函數(shù)，它們作用于用戶定義的類型，形成面向?qū)ο蟮姆庋b，從而定義該 UDT 的行為語義。象內(nèi)設(shè) (builtin)類型一樣， UDT 可以用來定義表列的數(shù)據(jù)類型和用戶定義函數(shù) (UDF)的參數(shù)。例如，一個用戶可以定義兩種幣值類型：用 CDOLLAR 表示加拿大元，用USDOLLAR 表示美元。 DB2 通用數(shù)據(jù)庫 (UDB)能夠支持這些先進(jìn)的應(yīng)用。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機(jī)密 第 15頁 A 支持先進(jìn)的面向?qū)ο蠛投嗝襟w應(yīng)用 自從 70 年代 IBM 發(fā)明關(guān)系數(shù)據(jù)庫以來，在數(shù)據(jù)庫市場上，關(guān)系型數(shù)據(jù)庫管理系統(tǒng) (RDBMS)得到極其廣泛的運(yùn)用。通過存儲， XML 擴(kuò)展器提供了 XML 文檔在 DB2 中的存儲和恢復(fù)機(jī)制，并可高效地查詢 XML 內(nèi)容。新的空間擴(kuò)展器將能夠存儲和索引空間數(shù)據(jù) (坐標(biāo)信息 )，并使用戶通過特定的空間數(shù)據(jù)查詢對其進(jìn)行訪問。 DB2 UDB 推出了結(jié)構(gòu)數(shù)據(jù)類型 (或者叫做抽象數(shù)據(jù)類型 )，這可以讓用戶和開發(fā)商們創(chuàng)建帶有結(jié)構(gòu)的表格。 DB2 UDB 存儲過程創(chuàng)建工具 (SPB)是一個圖形應(yīng)用工具，支持 DB2 存儲過程的快速開發(fā)。 DB2 UDB V7 中包含了一些先進(jìn)的高級面向?qū)ο?SQL 功能，對開發(fā)人員和分析員都非常有用。這種新功能可以為一個部門或單位配置一個獨(dú)立的簡單數(shù)據(jù)中心。 DB2 UDB 的用戶現(xiàn)在可以跨越 DB2 數(shù)據(jù)庫、 Oracle 數(shù)據(jù)庫或者一個OLE DB 資源進(jìn)行分布式的查詢，也就是可以通過使用 DB2 通用數(shù)據(jù)庫的 SQL句法和 API 在一個工作單元的查詢內(nèi)實(shí)現(xiàn)訪問和操作保存在異構(gòu)數(shù)據(jù)資源中的數(shù)據(jù)。產(chǎn)品集成改變主要包括通用數(shù)據(jù)支持，免費(fèi)新增數(shù)據(jù)倉庫中心和 DB2 OLAP starter kit。 DB2 對統(tǒng)一代碼 (Unicode)的支持： 16Bit 固定長度的 Unicode 包含所有通用文本字符，容許定長字符序列 (以便分析 )和設(shè)定含義的字符。 ? 最大變量字符為 32KB，取決于頁大小。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機(jī)密 第 13頁 應(yīng)一些 IBM 合作伙伴軟件提供商的要求， DB2 UDB 包含以下擴(kuò)充性能： ? 表 /視圖 /別名的命名長度限制由原來的 18 個字符擴(kuò)充為 128 個 字符。 DB2 致力于商業(yè)智能和數(shù)據(jù)倉庫方面的改進(jìn)，包括自動觸發(fā)器，多分區(qū)和多表的自動總計表格，優(yōu)化星式結(jié)構(gòu)的連接方法，使查詢和整個系統(tǒng)的 反應(yīng)速度大大提高。因而任何受過一種平臺上的 DB2 培訓(xùn)的人員能夠很容易地使用其他平臺的 DB2 產(chǎn)品。 這些產(chǎn)品是全功能、具有工業(yè)強(qiáng)度的關(guān)系 數(shù)據(jù)庫管理系統(tǒng)，分別用于服務(wù)器和工作站平臺。各種平臺上的 DB2 有共同的應(yīng)用程序接口，因此運(yùn)行在一種平臺上的程序可以很容易地移植到其他的平臺。 XXX 公司 可以在此基礎(chǔ)上開發(fā)各種商業(yè)智能應(yīng)用，輔助決策者制定業(yè)務(wù)計劃和措施，在激烈的競爭中保持良好的勢頭。 滿足 XXX 公司 未來發(fā)展的需要。數(shù)據(jù)都在本地運(yùn)行，數(shù)據(jù)量相對較小，因此對服務(wù)器計算能力的要求相對較低。 另外，需要配置一臺 PC 服務(wù)器運(yùn)行 Windows 2020 作為整個系統(tǒng)的控制服務(wù)器，安裝 DB2 Warehouse Control Server、 DB2 Control Center、 OLAP Server 控制臺 OLAP Server Application Manager 以及挖掘服務(wù)器前端 DB2 Intelligent Miner for Data Client。 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 XXX 公司 /IBM 中國有限公司機(jī)密 第 10頁 在數(shù)據(jù)倉庫服務(wù)器上同時安裝 DB2 Intelligent Miner for Data，從數(shù)據(jù)倉庫服務(wù)器中抽取數(shù)據(jù)進(jìn)行智能挖掘；此外，在數(shù)據(jù)倉庫上安裝 DB2 Intelligent Miner Scoring，用來將數(shù)據(jù)挖掘的結(jié)果作用到數(shù)據(jù)倉庫中，實(shí)現(xiàn)打分功能。 最終用戶工具我們選用 DB2 OLAP Analyzer，這個產(chǎn)品是一個數(shù)據(jù)倉庫的前端分析工具，利用這個工具用戶可以很容易地訪問 OLAP Server 中經(jīng)過處理的數(shù)據(jù)，制作各種形式、風(fēng)格的報表，報表內(nèi)容可以包括數(shù)字、圖像、曲線等，使得管理層可以直接、直觀地查看企業(yè)的經(jīng)營情況。 在 DB2 Warehouse Manager(DWM)中含有 Warehouse Agent 部件，它可以用來在位于數(shù)據(jù)倉庫的目標(biāo)數(shù)據(jù)庫 DB2 UDB 中執(zhí)行直接執(zhí)行數(shù)據(jù)倉庫的數(shù)據(jù)加工。在各步驟中可以定義代理 (agent)來自動運(yùn)行數(shù)據(jù)傳遞、清洗和匯總功能，這些步驟可以按時間、事件運(yùn)行，或由其它步驟觸發(fā)。 在建造數(shù)據(jù)倉庫的過程中，我們推薦使用 IBM 的 Warehouse Manager，該產(chǎn)品是 IBM 用來建立數(shù)據(jù)倉庫的工具，利用該工具，我們可以方便、快捷地構(gòu)造起數(shù)據(jù)倉庫來，因為我們應(yīng)該認(rèn)識到數(shù)據(jù)倉庫必須建立在一個開放的、可更改的結(jié)構(gòu)上，以便能夠處理數(shù)據(jù)和需求的不斷膨脹。如果采用后者，我們可以考慮使用 IBM 的 WebSphere 和 VisualAge for Java 進(jìn)行開發(fā)，它們產(chǎn)品是 IBM 電子商務(wù)應(yīng)用的重要部件。小的項目可以立即顯示數(shù)據(jù)倉庫的價值，同時也提供了更快的投資回報。 該方案的實(shí)現(xiàn)方式如下： 首先，在數(shù)據(jù)主要來源于兩個方面：綜合業(yè)務(wù)系統(tǒng)和新錄入的數(shù)據(jù)。因此，我們建議在實(shí)施過程中結(jié)合專家培訓(xùn)和服務(wù)，在商業(yè)智能系統(tǒng)的設(shè)計、開發(fā)、實(shí)施當(dāng)中，逐步培養(yǎng)出企業(yè)自己的系統(tǒng)管理、維護(hù)和開發(fā)人員。 我們建議，工程實(shí)施上采取以下原則： 分階段、循序漸進(jìn)的原則 任何一個項目的實(shí)施都是一個發(fā)現(xiàn)問題，解決問題，積累經(jīng)驗，又遇到新問題，再解決，再積累的循序漸進(jìn)的過程。 數(shù)據(jù)挖掘要求有數(shù)據(jù)倉庫作基礎(chǔ)，并要求數(shù)據(jù)倉庫里已經(jīng)存有豐富的數(shù)據(jù)。 簡單的說，數(shù)據(jù)挖掘使用統(tǒng)計、分析等數(shù)學(xué)方法、以及電腦學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等人工智能方式，從大量的數(shù)據(jù)中，找尋數(shù) 據(jù)與數(shù)據(jù)之間的關(guān)系。 數(shù)據(jù)挖掘 正如在礦井中可以挖掘出珍貴的礦石，在數(shù)據(jù)倉庫的數(shù)據(jù)里也常?？梢酝诰虺鰳I(yè)務(wù)人員意想不到的信息。往往與多維分析工具配合，作為多維分析服務(wù)器的前臺界面。每一個分析的角度可以叫作一個維，因此，我們把多角度分析方式稱為多維分析。 數(shù)據(jù)倉庫：用于抽取、整合、分布、存儲有用的信息 一個企業(yè)的信息往往分布在不同的部門和分支機(jī)構(gòu)，管理者要綜觀全局、運(yùn)籌帷幄，必須能迅速地找到能反映真實(shí)情況的數(shù)據(jù)，這些數(shù)據(jù)也許是當(dāng)前的現(xiàn)實(shí)數(shù)據(jù)，也可能是過去的歷史 數(shù)據(jù)。 DB2 Warehouse Manager 中提供的 Information Catalog 通過描述性數(shù)據(jù)幫助用戶查找和理解數(shù)據(jù)倉庫中的數(shù)據(jù)， Intelligent Miner 用于數(shù)據(jù)挖掘以便幫助決策者預(yù)測或發(fā)現(xiàn)隱藏 的關(guān)系。例如， DB2 Warehouse Manager 既可獨(dú)立完成，又可結(jié)合 DataJoiner、 DataPropagator 實(shí)現(xiàn)對異構(gòu)數(shù)據(jù)和數(shù)據(jù)復(fù)制的處理。 圖 2 IBM數(shù)據(jù)倉庫架構(gòu) 上圖為 IBM 三層次數(shù)據(jù)倉庫結(jié)構(gòu)：從第一層 OLTP 業(yè)務(wù)系統(tǒng)到第二層數(shù)據(jù)倉庫為建倉過程，從第二層到第三層數(shù)據(jù)集市為按主題分類建立應(yīng)用的過程。該項目主要就是為了攻克數(shù)據(jù)倉庫領(lǐng)域的一些技術(shù)難題，例如優(yōu)化星型連接 (Starjoin)，實(shí)現(xiàn)多維分析。而數(shù)據(jù)倉庫正是匯總這些商用信息后，進(jìn)而支持?jǐn)?shù)據(jù)發(fā)掘、多維數(shù)據(jù)分析等當(dāng)今尖端技術(shù)和傳統(tǒng)的查詢及表報功能，這些對于在當(dāng)今激烈的商業(yè)競爭中保持領(lǐng)先是至關(guān)重要的。這一切都是為了降低成本、提高利潤率和擴(kuò)大市場分額。 商業(yè)智能的本質(zhì)，是提取收集到的數(shù)據(jù)，進(jìn)行智能化的分析，揭示企業(yè)運(yùn)作和市場情況，幫助管理層做出正確明智的經(jīng)營決定。在此背景下，利用信息技術(shù)的最新手段，利用業(yè)務(wù)數(shù)據(jù)進(jìn)行面向決策的分析這一方法紛紛被國內(nèi)外許多公司所采用。 XXX 公司 BI 系統(tǒng) 方案建議書 IBM 公司軟件部 二〇二〇年十一月 IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 IBM 中國公司非常榮幸有此機(jī)會向 XXX 公司 提交數(shù)據(jù)倉庫方案建議書。IBM 公司數(shù)據(jù)倉庫 /商業(yè)智能解決方案 目 錄 第一章 概述 ................................................................