【正文】 針對決策支持的優(yōu)化涉及到數(shù)據(jù)倉庫技術的索引機制、查詢優(yōu)化器、連接策略、數(shù)據(jù)排序和采樣等部分。普通關系數(shù)據(jù)庫采用 B類樹的索引，由于數(shù)據(jù)倉庫中各類數(shù)據(jù)表的數(shù)據(jù)量分布很不均勻，普通查詢優(yōu)化器所得出的最佳查詢路徑可能不是最優(yōu)的，因此面向決策支持的關系數(shù)據(jù)倉庫都在數(shù)據(jù)查詢優(yōu)化器上做了改進，根據(jù)索引的特性增加了多重索引的能力。擴充的關系數(shù)據(jù)倉庫還引入了位圖索引機制，以二進制表示宇段的狀態(tài)，將查詢過程變?yōu)楹Y選過程，單個計算機的基本操作便可以篩選多個記錄。另外數(shù)據(jù)倉庫在應用中會遇到大量的表間連接操作，擴充的關系數(shù)據(jù)倉庫對連接操作采用了連接索引技術。數(shù)據(jù)倉庫的查詢常常只需要數(shù)據(jù)倉庫中的部分記錄，而不必檢索整個數(shù)據(jù)倉庫，決策支持的數(shù)據(jù)倉庫還提供了數(shù)據(jù)采樣的功能，以滿足大容量數(shù)據(jù)環(huán)境下有足夠短的系統(tǒng)響應時間，在精確度允許的范圍內(nèi)，這一技術可大大地提高系統(tǒng)查詢效率。 數(shù)據(jù)的展現(xiàn)用戶在使用數(shù)據(jù)倉庫時的訪問方法與傳統(tǒng)關系數(shù)據(jù)庫有很大的不同，對數(shù)據(jù)倉庫的訪問往往不是簡單的表和記錄的查詢，而是基于用戶業(yè)務的分析模式，即聯(lián)機分析。它的特點是將數(shù)據(jù)想像成多維的立方體，用戶的查詢相當于在其中的部分維上添加條件，對立方體進行切片、分割，得到的結(jié)果則是數(shù)值的矩陣或向量，并將其制成圖表或輸入數(shù)理統(tǒng)計的算法。 數(shù)據(jù)的分析它們主要表現(xiàn)在多維分析、數(shù)理統(tǒng)計和數(shù)據(jù)挖掘方面。多維分析是數(shù)據(jù)倉庫的主要表現(xiàn)形式，由于多維OLAP（MOLAP）系統(tǒng)是專用的，因此，關于多維分析領域的工具和產(chǎn)品大多是 ROLAP工具。在實際工作中，客戶需要通過對數(shù)據(jù)的統(tǒng)計來驗證他們對某些事物的假設，以進行決策，而數(shù)據(jù)挖掘強調(diào)的不僅僅是驗證人們對數(shù)據(jù)特性的假設，而是更主動地尋找并發(fā)現(xiàn)蘊藏在數(shù)據(jù)之中的規(guī)律。在決策支持系統(tǒng)中，怎樣建立數(shù)據(jù)模型，怎樣才能夠充分利用一站服務系統(tǒng)中存儲的數(shù)據(jù)資源挖掘出所需的數(shù)據(jù)，是該系統(tǒng)成功建設的難點。 數(shù)據(jù)倉庫組成 數(shù)據(jù)倉庫數(shù)據(jù)庫是整個數(shù)據(jù)倉庫環(huán)境的核心，是數(shù)據(jù)存放的地方和提供對數(shù)據(jù)檢索的支持。相對于操縱型數(shù)據(jù)庫來說其突出的特點是對海量數(shù)據(jù)的支持和快速的檢索技術。 數(shù)據(jù)抽取工具把數(shù)據(jù)從各種各樣的存儲方式中拿出來，進行必要的轉(zhuǎn)化、整理，再存放到數(shù)據(jù)倉庫內(nèi)。對各種不同數(shù)據(jù)存儲方式的訪問能力是據(jù)抽取工具的關鍵，應能生成COBOL程序、MVS作業(yè)控制語言（JCL）、UNIX腳本、和SQL語句等，以訪問不同的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換都包括，刪除對決策應用沒有意義的數(shù)據(jù)段；轉(zhuǎn)換到統(tǒng)一的數(shù)據(jù)名稱和定義；計算統(tǒng)計和衍生數(shù)據(jù)；給缺值數(shù)據(jù)賦給默認值；把不同的數(shù)據(jù)定義方式統(tǒng)一。 元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)?？蓪⑵浒从猛镜牟煌譃閮深悾夹g元數(shù)據(jù)和商業(yè)元數(shù)據(jù)。技術元數(shù)據(jù)是數(shù)據(jù)倉庫的設計和管理人員用于開發(fā)和日常管理數(shù)據(jù)倉庫時用的數(shù)據(jù)。包括 ：數(shù)據(jù)源信息，數(shù)據(jù)轉(zhuǎn)換的描述，數(shù)據(jù)倉庫內(nèi)對像和數(shù)據(jù)結(jié)構(gòu)的定義，數(shù)據(jù)清理和數(shù)據(jù)更新時用的規(guī)則，源數(shù)據(jù)到目的數(shù)據(jù)的映射，用戶訪問權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導人歷史記錄，信息發(fā)布歷史記錄等。商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務的角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)。包括 ：業(yè)務主題的描述，包含的數(shù)據(jù)、查詢、報表。元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個信息目錄（information directory），這個目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的和怎么訪問這些數(shù)據(jù)。是數(shù)據(jù)倉庫運行和維護的中心，數(shù)據(jù)倉庫服務器利用他來存儲和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)。OMG開發(fā)的公共倉庫元模型（CWM）為順利解決數(shù)據(jù)倉庫的集成問題提供了便利，從而解決了在組織中和組織之間共享數(shù)據(jù)的關鍵問題。 訪問工具訪問工具為用戶訪問數(shù)據(jù)倉庫提供手段。有數(shù)據(jù)查詢和報表工具，應用開發(fā)工具，管理信息系統(tǒng)（EIS）工具，在線分析（OLAP）工具，數(shù)據(jù)挖掘工具。 數(shù)據(jù)集市（Data Marts）為了特定的應用目的或應用范圍，而從數(shù)據(jù)倉庫中獨立出來的一部分數(shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)（subject area）。在數(shù)據(jù)倉庫的實施過程中往往可以從一個部門的數(shù)據(jù)集市著手，以后再用幾個數(shù)據(jù)集市組成一個完整的數(shù)據(jù)倉庫。需要注意的就是在實施不同的數(shù)據(jù)集市時，同一含義的字段定義一定要相容，這樣在以后實施數(shù)據(jù)倉庫時才不會造成大麻煩。 數(shù)據(jù)倉庫管理包括安全和特權(quán)管理；跟蹤數(shù)據(jù)的更新；數(shù)據(jù)質(zhì)量檢查；管理和更新元數(shù)據(jù)；審計和報告數(shù)據(jù)倉庫的使用和狀態(tài)；刪除數(shù)據(jù)；復制、分割和分發(fā)數(shù)據(jù)；備份和恢復；存儲管理。 信息發(fā)布系統(tǒng)把數(shù)據(jù)倉庫中的數(shù)據(jù)或其他相關的數(shù)據(jù)發(fā)送給不同的地點或用戶?；赪eb的信息發(fā)布系統(tǒng)是對付多用戶訪問的最有效方法。 實施數(shù)據(jù)倉庫方法 商業(yè)方面實施的步驟：先建數(shù)據(jù)集市后建數(shù)據(jù)倉庫，還是先建數(shù)據(jù)倉庫后建數(shù)據(jù)集市。實施中是外包，還是自建。 設計方面可能要用到很多類型的數(shù)據(jù)源，歷史數(shù)據(jù)可能很“老”，數(shù)據(jù)庫可能變得非常大。數(shù)據(jù)倉庫相對于 OLTP來說，更加是業(yè)務驅(qū)動（businessdriven）的而不是技術驅(qū)動的（ITdriven），需要和最終用戶不斷地交流，建立的過程可能永遠不會結(jié)束。設計要點是：（1）數(shù)據(jù)倉庫中應該包含細節(jié)數(shù)據(jù)（清理過的）。（2）用戶能看到的任何數(shù)據(jù)都應該在元數(shù)據(jù)中有對應的描述。（3）考慮當數(shù)據(jù)量迅速增長到一臺服務器放不下時，數(shù)據(jù)倉庫中的數(shù)據(jù)在各個服務器中如何分配，按主題、地理位置、還是時間？這些策略對整個數(shù)據(jù)倉庫的性能影響很大。（4）當選用數(shù)據(jù)倉庫設計工具時應注意，工具支持的元數(shù)據(jù)格式是否與數(shù)據(jù)倉庫支持的元數(shù)據(jù)格式相容？不同工具的元數(shù)據(jù)格式之間能否自由轉(zhuǎn)換？ （5）最終用戶對數(shù)據(jù)倉庫的使用方式對數(shù)據(jù)倉庫的性能影響很大，在設計數(shù)據(jù)倉庫模型時為了提高性能應將用戶對數(shù)據(jù)倉庫的使用方式考慮在內(nèi)。設計數(shù)據(jù)倉庫的 9個步驟是：（1）選擇合適的主題（所要解決問題的領域）；（2）定義維和維表，以及維表內(nèi)的層次結(jié)構(gòu)；（3）定義事實表，以及和維表的關系；（4）設計算法計算并存儲事實表中的衍生指標；（5）選擇數(shù)據(jù)倉庫的存儲策略；（6）設計維表的更新策略；（7）設計事實表的更新策略；（8）確定查詢優(yōu)先級和查詢模式；（9）確定分析的計算時間和頻度。 技術方面（1）硬件平臺。數(shù)據(jù)倉庫的硬盤容量通常要是操作數(shù)據(jù)庫硬盤容量的23倍。通常大型機具有更可靠的性能和穩(wěn)定性，也容易與歷史遺留的系統(tǒng)結(jié)合在一起；而PC服務器或UNIX服務器更加靈活，容易操作和提供動態(tài)生成查詢請求進行查詢的能力。選擇硬件平臺時要考慮的問題是，是否提供并行的I/O吞吐？ 對多CPU的支持能力如何？（2）測試標準：衡量硬件平臺的綜合測試方法主要是TPCH測試標準。TPCH模擬一種擁有大量數(shù)據(jù)并且需要與在線生產(chǎn)數(shù)據(jù)庫實現(xiàn)同步的決策支持系統(tǒng)。這項測試使用旨在回答真實商務問題（例如價格與促銷、供應與需求、利潤與收入以及市場份額等）的高度復雜性專用查詢語句。標準化報表生成性能應通過另一種不同的基準測試——TPCR加以測定。TPCH與 TPCR均是從目前已經(jīng)撤銷的TPCD基準測試發(fā)展而來的。TPCH基準測試具有五種類別：它們分別面向于容量為100GB、300GB、1TB、3TB和10TB的數(shù)據(jù)倉庫。（3）數(shù)據(jù)倉庫：存儲大數(shù)據(jù)量的能力、查詢的性能和對并行處理的支持如何。（4）網(wǎng)絡結(jié)構(gòu)：數(shù)據(jù)倉庫的實施在哪部分網(wǎng)絡段上會產(chǎn)生大量的數(shù)據(jù)通信，需不需要對網(wǎng)絡結(jié)構(gòu)進行改進。 實現(xiàn)方面建立數(shù)據(jù)倉庫是由以下步驟組成的：（1）搜集和分析業(yè)務需求；（2）建立數(shù)據(jù)模型和數(shù)據(jù)倉庫的物理設計；（3）定義數(shù)據(jù)源；（4）選擇數(shù)據(jù)倉庫技術和平臺；（5）從操作型數(shù)據(jù)庫中抽取、凈化和轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉庫；（6）選擇訪問和報表工具；（7）選擇數(shù)據(jù)庫連接軟件；（8）選擇數(shù)據(jù)分析和數(shù)據(jù)展示軟件；（9）更新數(shù)據(jù)倉庫。 數(shù)據(jù)抽取、清理、轉(zhuǎn)換和移植方面（1）數(shù)據(jù)轉(zhuǎn)換工具要能從各種不同的數(shù)據(jù)源中讀取數(shù)據(jù)；（2）支持平面文件、索引文件和 legacy DBMS；（3）能以不同類型數(shù)據(jù)源為輸入整合數(shù)據(jù)；（4）具有規(guī)范的數(shù)據(jù)訪問接口；（5）最好具有從數(shù)據(jù)字典中讀取數(shù)據(jù)的能力；（6）工具生成的代碼必須是在開發(fā)環(huán)境中可維護的；（7）能只抽取滿足指定條件的數(shù)據(jù)和源數(shù)據(jù)的指定部分；（8）能在抽取中進行數(shù)據(jù)類型轉(zhuǎn)換和字符集轉(zhuǎn)換；.（9）能在抽取的過程中計算生成衍生宇段；（10）能讓數(shù)據(jù)倉庫管理系統(tǒng)自動調(diào)用以定期進行數(shù)據(jù)抽取工作，或能將結(jié)果生成平面文件；（11）必須對軟件供應商的生命力和產(chǎn)品支持能力進行仔細評估。 數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘技術是目前新興的更高層次的對數(shù)據(jù)的抽像，其以知識的簡潔方式提供決策支持。 數(shù)據(jù)挖掘介紹數(shù)據(jù)挖掘（Data Mining）是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。隨著信息技術的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，動輒以 TB計，如何從海量的數(shù)據(jù)中提取有用的知識成為當務之急。數(shù)據(jù)挖掘就是為順應這種需要應運而生發(fā)展起來的數(shù)據(jù)處理技術，是知識發(fā)現(xiàn)（Knowledge Discovery in Database）的關鍵步驟。 數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘方法包括描述型數(shù)據(jù)挖掘和預測型數(shù)據(jù)挖掘。 描述型數(shù)據(jù)挖掘要想建立一個好的預言模型，用戶必須了解自己的數(shù)據(jù)。最基本的方法是計算各種統(tǒng)計變量（平均值、方差等）和查看數(shù)據(jù)的分布情況。用戶也可以用數(shù)據(jù)透視表察看多維數(shù)據(jù)。數(shù)據(jù)的種類可分為連續(xù)的，有一個用數(shù)字表示的值（比如銷售量）或離散的，分成一個個的類別（如紅、綠、藍）。離散數(shù)據(jù)可以進一步分為可排序的，數(shù)據(jù)間可以比較大小（如，高、中、低）和不可排序（如郵政編碼）。圖形和可視化工具在數(shù)據(jù)準備階段尤其重要，它能讓用戶快速直觀地分析數(shù)據(jù)，而不是給用戶枯燥乏味的文本和數(shù)字。它不僅讓用戶看到整個森林，還允許用戶拉近每一棵樹來查看細節(jié)。在圖形模式下人們很容易找到數(shù)據(jù)中可能存在的模式、關系、異常等，直接看數(shù)字則很難?？梢暬ぞ叩膯栴}是模型可能有很多維或變量，但是用戶只能在二維的屏幕或紙上展示它。比如，用戶可能要看的是信用風險與年齡、性別、婚姻狀況、參加工作時間的關系。因此，可視化工具必須用比較巧妙的方法在二維空間內(nèi)展示n維空間的數(shù)據(jù)。雖然目前有了一些這樣的工具，但它們都要用戶“訓練”過他們的眼睛后才能理解圖中畫的到底是什么東西。2．聚類聚類是把整個數(shù)據(jù)記錄，在記錄數(shù)據(jù)的多維空間內(nèi)分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個群之間的數(shù)據(jù)盡量相似。與分類不同（見后面的預測型數(shù)據(jù)挖掘），在開始聚類之前用戶不知道要把數(shù)據(jù)分成幾組，也不知道怎么分（依照哪幾個變量）。因此在聚類之后要有一個對業(yè)務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚類用戶得到的分群對用戶的業(yè)務來說可能并不好，這時用戶需要刪除或增加變量以影響分群的方式，經(jīng)過幾次反復之后才能最終得到一個理想的結(jié)果。神經(jīng)元網(wǎng)絡和Kmeans是比較常用的聚集算法。不要把聚集與分類混淆起來。在分類之前，用戶已經(jīng)知道要把數(shù)據(jù)分成哪幾類，每個類的性質(zhì)是什么，聚類則恰恰相反。關聯(lián)分析是尋找數(shù)據(jù)庫中值的相關性。兩種常用的技術是關聯(lián)規(guī)則和序列模式。關聯(lián)規(guī)則是尋找在同一個事件中出現(xiàn)的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，它尋找的是事件之間時間上的相關性，如對股票漲跌的分析。關聯(lián)規(guī)則可記為A=B，A稱為前提和左部（LHS），B稱為后續(xù)或右部（RHS）。如關聯(lián)規(guī)則“買錘子的人也會買釘子”，左部是“買錘子”，右部是“買釘子”。要計算包含某個特定項或幾個項的事務在數(shù)據(jù)庫中出現(xiàn)的概率只要在數(shù)據(jù)庫中直接統(tǒng)計即可。某一特定關聯(lián)（“錘子和釘子”）在數(shù)據(jù)庫中出現(xiàn)的頻率稱為支持度。比如在總共1000個事務中有15個事務同時包含了“錘子和釘子”， %。非常低的支持度（比如1百萬個事務中只有一個）可能意味著此關聯(lián)不是很重要，或出現(xiàn)了錯誤數(shù)據(jù)（如，“男性和懷孕”）。要找到有意義的規(guī)則，還要考察規(guī)則中項及其組合出現(xiàn)的相對頻率。當己有A時， B發(fā)生的概率是多少？也即概率論中的條件概率?；氐轿覀兊睦?，也就是問“當一個人已經(jīng)買了錘子，那他有多大的可能也會買釘子？”這個條件概率在數(shù)據(jù)挖掘中也稱為可信度，計算方法是求百分比：（A與B同時出現(xiàn)的頻率）/（A出現(xiàn)的頻率）。 預測型數(shù)據(jù)挖據(jù)數(shù)據(jù)挖掘的目的是生成可以據(jù)其所示的含義采取行動的知識，也就是建立一個現(xiàn)實世界的模型。建立這個模型可能需要各種各樣的源數(shù)據(jù)，包括交易記錄、顧客歷史數(shù)據(jù)、人口統(tǒng)計信息、進程控制數(shù)據(jù)和市場相關的外部數(shù)據(jù)等，比如：信用卡公司提供的數(shù)據(jù)、天氣數(shù)據(jù)等。模型是模式和數(shù)據(jù)間相關性的形式化描述。為了防止混淆，把數(shù)據(jù)挖掘概念劃分為幾個層次。（1）商業(yè)目標；（2）預言的種類；（3）模型的類型；（4）算法；（5）產(chǎn)品。最高層是商業(yè)目標：數(shù)據(jù)挖掘的最終目的是什么 ？比如：希望用數(shù)據(jù)挖掘技術留住用戶的有價值的客戶，用戶可能先要建立一個模型來預測每個客戶所能帶來的利潤，然后再建立一個模型來確定哪些客戶可能會離開。充分了解用戶所在企業(yè)的需求和目標有助于用戶建立這樣的目標。下一步是決定最合適的預言的種類。①分類：預測一個特定的客戶或事件屬于哪一類；②回歸（ regression）：預測一個變量的值（如果此變量隨事件變化，可成為時間序列預測）。在上面的例子中用戶可以用回歸來預測利潤的大小，用分類預測哪些客戶會離開。后面我們會詳細討論?，F(xiàn)在用戶可以選擇模型的類型：用神經(jīng)網(wǎng)絡來做回歸，決策樹做分類，還是用統(tǒng)計模型，如：邏輯回歸，偏差分析，普通線性模型等。每種模型都可以用不同的算法來實現(xiàn)，比如，可以用回饋函數(shù)或 radial basis函數(shù)來建立神經(jīng)網(wǎng)絡；決策樹有巳ART，, QUEST, CHAID等。在選擇數(shù)據(jù)挖掘軟件產(chǎn)品時，要注意這些軟件所采用的算法雖然名稱可能完全一樣，但他們的實現(xiàn)方法通常都是不一樣的。這些對算法的不同實現(xiàn)影響了軟件對內(nèi)存、硬盤的需求的不同及性能上的差異。大部分的商業(yè)目標都可以用各種不同的模型及相異的算法來解決。通常