【導讀】數(shù)據(jù)挖掘解決的典型商業(yè)問題。自從NCR公司為WalMart建立了第一個數(shù)據(jù)倉庫。1996年，加拿大的IDC公司調查了62家實現(xiàn)了數(shù)據(jù)。早期的數(shù)據(jù)倉庫：大都客戶/服務器結構。用程序中向用戶提供調用的接口。IBM的實驗室在數(shù)據(jù)倉庫方面已經進行了10多年的研。究，并將研究成果發(fā)展成為商用產品。其他數(shù)據(jù)庫廠商在數(shù)據(jù)倉庫領域也紛紛提出了各自的。IBM:在其DB2UDB發(fā)布一年后的1998年9月發(fā)布。的后臺服務器DB2OLAPServer外，一整套解決方案。中集成了代號為Plato的OLAP服務器。其與數(shù)據(jù)倉庫相關工具打包成WarehouseStudio。的一套較有特色的整體方案。Oracle公司:則推出從數(shù)據(jù)倉庫構建、OLAP到數(shù)據(jù)集。沒很好使用數(shù)據(jù)倉庫前端工具（如OLAP工具、數(shù)據(jù)。由于銀行商業(yè)化的步伐正在加大，各大中型銀行在入世的。全性和數(shù)據(jù)完整性。調的銷量便增加4萬臺。分析人員認為這并非偶然，經過深入分析得知，通常周。息和分析信息以指導我們的行動或幫助我們作決策。

　　

【正文】 模式 : OLTP系統(tǒng)的訪問主要由短的原子事務組成 . 這種系統(tǒng)需要并行和恢復機制 . OLAP系統(tǒng)的訪問大部分是只讀操作 . 為什么需要分離的數(shù)據(jù)倉庫 ? 分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要 原因是提高兩個系統(tǒng)的性能 .操作數(shù)據(jù)庫系統(tǒng)是為已知的任務和負載設計的 ,而數(shù)據(jù)倉庫的查詢通常是復雜的 ,涉及大量數(shù)據(jù)在匯總級的計算 ,在操作數(shù)據(jù)庫系統(tǒng)上處理 OLAP查詢 ,可能會大大降低操作任務的性能 . 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉庫和 OLAP工具基于多維數(shù)據(jù)模型 ,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式 ? 數(shù)據(jù)立方體允許以多維對數(shù)據(jù)建模和觀察 .具體圖形詳見 71頁圖 31 多維數(shù)據(jù)庫模式 星型 ,雪花和事實星座模式是主要的存在形式 ? 星型模式包含一個大的包含大批數(shù)據(jù)的事實表和一系列維表 .如 73頁圖 34 ? 雪花模式是星型模式的變種 ,不同的是將某些維表規(guī)范化 .如 74頁圖 35 ? 事實星座模式對應多個事實表共享維表 .如 74頁圖 36 定義模式的例子 定義圖 34的星型模式 : ? 定義立方體 : Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*) ? 定義維 Define dimension time as (time_key,day,day_of_week,month,quarter,year) 度量的分類和計算 ? 分布的 : 設數(shù)據(jù)被劃分為 n個集合 ,函數(shù)在每一部分上的計算得到一個聚集值 .如果將函數(shù)用于 n個聚集值得到的結果 ,與將函數(shù)用于所有數(shù)據(jù)得到的結果一樣則該度量是分布的 ,如 count(),sum()等 ? 代數(shù)的 : 如果一個聚集函數(shù)能夠由一個具有 M個參數(shù)的代數(shù)函數(shù)計算 ,且每個參數(shù)都可以用一個分布聚集函數(shù)求得 .如 avg()可以由sum()/count()計算 ,其中 sum()和 count()是分布聚集函數(shù) . ? 整體的 : 如果一個聚集函數(shù)無法用具有 M個參數(shù)的代數(shù)函數(shù)進行這一計算 ,則這個函數(shù)稱是整體的 ,如 rand()等 ? 許多度量可以用關系的聚集操作計算 對應圖 24,我們也可寫出 SQL語句 . 計算 dollars_sold和 units_sold Select sum(*) Sum() From time t,item i,branch b,location l,sales s, Where = and = and = and = Group by ,n_key 概念分層 全序相關 偏序相關 (具體見 3,4章 ) Country year City quarter month week Street day 多維數(shù)據(jù)模型的 OLAP操作 ? 上卷操作 ,通過維規(guī)約 ,在數(shù)據(jù)立方體上進行聚集 . ? 下鉆操作 ,是上卷操作的逆操作 ,由不太詳細的數(shù)據(jù)到更詳細的數(shù)據(jù) . ? 切片和切塊 ,切片在給定的數(shù)據(jù)立方體的一個維上進行選擇 ,切塊則是在兩個或兩個以上的維進行選擇 . ? 轉軸操作 ,轉動數(shù)據(jù)的視覺 ,是目視操作 . 如圖 210所示 數(shù)據(jù)倉庫的系統(tǒng)結構 ? 自頂向下視圖 ,使我們可以選擇數(shù)據(jù)倉庫所需的相關信息 . ? 數(shù)據(jù)源視圖 ,揭示被操作數(shù)據(jù)庫系統(tǒng)捕獲存儲和管理的信息 . ? 數(shù)據(jù)倉庫視圖 ,包括事實表和維表 . ? 商務查詢視圖 ,從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù) . 數(shù)據(jù)倉庫設計過程 ? 選取待建模的商務處理 ? 選取商務處理的粒度 ,例如單個事務 ,一天的快照等 ? 選取用于每個事實表記錄的維 . ? 選取將安放在事實表中的度量如圖 34中的 dollars_sold和 units_sold 三層數(shù)據(jù)倉庫結構 ? 底層數(shù)據(jù)倉庫服務器 ,使用稱作網(wǎng)間連接程序的應用程序 ,由操作數(shù)據(jù)庫和外部數(shù)據(jù)源提取數(shù)據(jù) . ? 中間層是 OLAP服務器 ,實現(xiàn)方法有 關系 OLAP模型 ,在多維數(shù)據(jù)上的操作映射為標準的關系操作 多維 OLAP模型 ,直接實現(xiàn)多維數(shù)據(jù)的操作 ? 頂層是客戶 ,它包括查詢和報告工具 ,分析工具和數(shù)據(jù)挖掘工具 (例如趨勢分析 ,預測等 ) 數(shù)據(jù)倉庫的類型 ? 企業(yè)倉庫 :企業(yè)倉庫收集了關于主題的所有信息 ,跨越整個組織 ,它提供企業(yè)范圍內的數(shù)據(jù)集成 . ? 數(shù)據(jù)集市 :包含企業(yè)范圍數(shù)據(jù)的一個子集 ,對于特定的用戶是有用的 ,其范圍限于選定的主題 . ? 虛擬倉庫 :是操作數(shù)據(jù)庫上的視圖集合 .為了有效地處理查詢 ,只有一些可能的匯總視圖被物化 ,虛擬倉庫易于建立 ,但需要操作數(shù)據(jù)庫服務器具有剩余能力 . OLAP服務器類型 ? 關系 OLAP(ROLAP)模型 ,使用關系或擴充關系 DBMS存放并管理數(shù)據(jù)倉庫 ? 多維 OLAP(MOLAP)服務器 ,這些服務器通過基于數(shù)組的多維存儲 ,支持數(shù)組的多維視圖 ? 混合 OLAP(HOLAP)服務器 ,結合 ROLAP和MOLAP技術 ,得宜于 ROLAP的可伸縮性 ,和MOLAP的快速計算 . ? 特殊的 SQL服務器 ,為了滿足在關系數(shù)據(jù)庫中日益增長的 OLAP需要 ,實現(xiàn)了特殊的SQL服務器 ,提供高級查詢語言和查詢處理 ,在星型和雪花模式上支持 SQL查詢 . 數(shù)據(jù)立方體的有效計算 ? 計算量 :對一個 n維數(shù)據(jù)立方體 ,第 i維的層次是 Li,則可能產生的立方體總數(shù)是T=(L1+1)*… *(Ln+1)如果 10維每維 4個層次產生的方體數(shù)是 5的 10次方=9800000. ? 預先計算并物化所有可能產生的方體是不現(xiàn)實的 ,較合理的是部分物化 數(shù)據(jù)倉庫實現(xiàn) 方體的選擇計算 ? 不物化 :導致運行時計算昂貴的多維聚集 ,速度極慢 . ? 全物化 :需要海量存儲空間 ,存放所有預先計算的方體 . ? 部分物化 :在存儲空間和響應時間二者之間提供了很好的折衷 . 多路數(shù)組聚集 ? 將數(shù)組分成塊 ,塊的大小能夠放入立方體計算時可用的內存 . ? 通過訪問立方體單元進行聚集 ,使得每個單元必須重新訪問的次數(shù)最小化 . 索引 OLAP數(shù)據(jù) ? 位圖索引 :如圖 317所示 ,與散列和樹索引相比 ,位圖索引將比較 ,連接和聚集都變成了位算術運算 ,大大減少了運行時間 . ? 連接索引 :源于關系數(shù)據(jù)庫的查詢處理 . ? 位圖連接索引 :將連接索引和位圖索引集成 . OLAP查詢的有效處理 ? 確定那些操作應當在可利用的方體上執(zhí)行 ,這涉及將查詢中的選擇投影上卷下鉆操作轉換成對應的 SQL或 OLAP操作 . ? 確定相關操作應當使用哪些物化的方體 ,這涉及到找出可能用于查詢的所有物化方體 . 具體步驟 ? 考察的方體必須與查詢具有相同的維集合 ,或是它的超集 . ? 選擇代價最小的方體 . 元數(shù)據(jù)存儲 元數(shù)據(jù)是定義數(shù)據(jù)倉庫對象的數(shù)據(jù) .元數(shù)據(jù) 的存儲包括 ? 數(shù)據(jù)倉庫結構的描述 ? 對元數(shù)據(jù)的操作 ? 匯總用的算法 ? 由操作環(huán)境到數(shù)據(jù)倉庫的映射 ? 關于系統(tǒng)性能的數(shù)據(jù) ? 商務元數(shù)據(jù) 數(shù)據(jù)倉庫后端工具 ? 數(shù)據(jù)提取 :從多個異種的外部數(shù)據(jù)源收集數(shù)據(jù) . ? 數(shù)據(jù)清理 :檢測錯誤 ,可能時修改錯誤 . ? 數(shù)據(jù)變換 :將數(shù)據(jù)轉換成數(shù)據(jù)倉庫格式 . ? 裝入 :排序 ,綜合 ,合并 ,計算視圖 ,檢查整體性 ,并建立索引和劃分 . ? 刷新 :傳播由數(shù)據(jù)源到數(shù)據(jù)倉庫的更新 . 數(shù)據(jù)倉庫的維護 ? 系統(tǒng)維護：是在系統(tǒng)已經交付使用之后為了改正錯誤和為了滿足新的需要而修改系統(tǒng)的過程。 ? 數(shù)據(jù)倉庫中數(shù)據(jù)的日常管理工作： ? 清除過時的、不再使用的數(shù)據(jù)； ? 定期從源數(shù)據(jù)中提取數(shù)據(jù)，刷新數(shù)據(jù)倉庫中的數(shù)據(jù)； ? 管理元數(shù)據(jù)等。 ? 數(shù)據(jù)倉庫系統(tǒng)的完善工作： ? 改正性維護：在數(shù)據(jù)倉庫設計與開發(fā)過程中，雖然已經進行了嚴格的測試，但對于一個大型的系統(tǒng)可能還潛藏著一些錯誤，改正性維護就是為了發(fā)現(xiàn)和改正這些錯誤而進行的過程。 ? 適應性維護：數(shù)據(jù)倉庫的構建是基于當時的技術條件的，由于計算機科學技術發(fā)展十分迅速，每隔一定的周期硬件設備和系統(tǒng)軟件都會發(fā)生重大的變革，適應性維護就是為了與變化了的環(huán)境相配合而進行的對系統(tǒng)進行修改的活動。 ? 完善性維護：因為數(shù)據(jù)倉庫系統(tǒng)一般是采用快速原型法開發(fā)的，需要在系統(tǒng)的運行過程中不斷地聽取用戶對已有功能的修改建議和增加新功能的需求，使系統(tǒng)日趨完善，這項工作稱為完善性維護。 ? 預防性維護：預防性維護則是指為了改進系統(tǒng)未來的性能和功能打下基礎而進行的修改工作。 進一步發(fā)展和探討 ? 發(fā)現(xiàn)驅動的探查 :預計算的度量指出數(shù)據(jù)異常 ,避免人工檢查數(shù)據(jù) . ? 擴充 SQL語句的實現(xiàn) (多粒度上的復雜聚集 ). ? 聯(lián)機聚集 ,可以顯示迄今為止所知道的 ,而不是等待查詢完全處理完 . ? 最高 N查詢 ,只查詢最高的 N項 ,而不是整個排序的表 ,這導致較快的響應時間并減少資源浪費 . 從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘 ? 信息處理 :支持查詢和基本的統(tǒng)計分析 ,并使用表或圖進行報告 . ? 分析處理 :支持基本的 OLAP操作 ,在匯總的和細節(jié)的歷史數(shù)據(jù)上操作 . ? 數(shù)據(jù)挖掘 :支持知識發(fā)現(xiàn) ,包括找出隱藏的模式和關聯(lián) ,構造分析模型 ,進行分類和預測 ,并用可視化工具提供挖掘結果 . 數(shù)據(jù)倉庫的應用 聯(lián)機分析挖掘 (OLAM) 將聯(lián)機分析處理與數(shù)據(jù)挖掘集成 ,有以下幾 個原因 : ? 數(shù)據(jù)倉庫中數(shù)據(jù)的高質量 :大部分數(shù)據(jù)挖掘工具需要在集成的一致的和清理過的數(shù)據(jù)上進行 ,經由這些預處理而構造的數(shù)據(jù)倉庫不僅用作 OLAP而且也用作數(shù)據(jù)挖掘的數(shù)據(jù)源 . ? 環(huán)繞數(shù)據(jù)倉庫的有價值的信息處理基礎設施 :謹慎的做法是盡量利用可用的基礎設施 ,而不是一切從頭做起 . ? 基于 OLAP的探測式數(shù)據(jù)分析 :有效的數(shù)據(jù)挖掘需要探測式數(shù)據(jù)分析 .用戶常常想在不同粒度上分析它們 .聯(lián)機分析挖掘提供在不同的數(shù)據(jù)子集和不同的抽象層上進行數(shù)據(jù)挖掘的工具 . ? 數(shù)據(jù)挖掘功能的聯(lián)機選擇 :用戶常常不知道想挖掘些什么 .通過將 OLAP與多種數(shù)據(jù)挖掘功能集成在一起 ,聯(lián)機分析挖掘為用戶選擇所期望的數(shù)據(jù)挖掘功能動態(tài)修改挖掘任務提供了靈活性