數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)(存儲版)
【正文】 數(shù)據(jù)倉庫 ? 分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要 原因是提高兩個系統(tǒng)的性能 .操作數(shù)據(jù)庫系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計的 ,而數(shù)據(jù)倉庫的查詢通常是復(fù)雜的 ,涉及大量數(shù)據(jù)在匯總級的計算 ,在操作數(shù)據(jù)庫系統(tǒng)上處理 OLAP查詢 ,可能會大大降低操作任務(wù)的性能 . 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉庫和 OLAP工具基于多維數(shù)據(jù)模型 ,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式 ? 數(shù)據(jù)立方體允許以多維對數(shù)據(jù)建模和觀察 .具體圖形詳見 71頁圖 31 多維數(shù)據(jù)庫模式 星型 ,雪花和事實星座模式是主要的存在形式 ? 星型模式包含一個大的包含大批數(shù)據(jù)的事實表和一系列維表 .如 73頁圖 34 ? 雪花模式是星型模式的變種 ,不同的是將某些維表規(guī)范化 .如 74頁圖 35 ? 事實星座模式對應(yīng)多個事實表共享維表 .如 74頁圖 36 定義模式的例子 定義圖 34的星型模式 : ? 定義立方體 : Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*) ? 定義維 Define dimension time as (time_key,day,day_of_week,month,quarter,year) 度量的分類和計算 ? 分布的 : 設(shè)數(shù)據(jù)被劃分為 n個集合 ,函數(shù)在每一部分上的計算得到一個聚集值 .如果將函數(shù)用于 n個聚集值得到的結(jié)果 ,與將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣則該度量是分布的 ,如 count(),sum()等 ? 代數(shù)的 : 如果一個聚集函數(shù)能夠由一個具有 M個參數(shù)的代數(shù)函數(shù)計算 ,且每個參數(shù)都可以用一個分布聚集函數(shù)求得 .如 avg()可以由sum()/count()計算 ,其中 sum()和 count()是分布聚集函數(shù) . ? 整體的 : 如果一個聚集函數(shù)無法用具有 M個參數(shù)的代數(shù)函數(shù)進(jìn)行這一計算 ,則這個函數(shù)稱是整體的 ,如 rand()等 ? 許多度量可以用關(guān)系的聚集操作計算 對應(yīng)圖 24,我們也可寫出 SQL語句 . 計算 dollars_sold和 units_sold Select sum(*) Sum() From time t,item i,branch b,location l,sales s, Where = and = and = and = Group by ,n_key 概念分層 全序相關(guān) 偏序相關(guān) (具體見 3,4章 ) Country year City quarter month week Street day 多維數(shù)據(jù)模型的 OLAP操作 ? 上卷操作 ,通過維規(guī)約 ,在數(shù)據(jù)立方體上進(jìn)行聚集 . ? 下鉆操作 ,是上卷操作的逆操作 ,由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù) . ? 切片和切塊 ,切片在給定的數(shù)據(jù)立方體的一個維上進(jìn)行選擇 ,切塊則是在兩個或兩個以上的維進(jìn)行選擇 . ? 轉(zhuǎn)軸操作 ,轉(zhuǎn)動數(shù)據(jù)的視覺 ,是目視操作 . 如圖 210所示 數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu) ? 自頂向下視圖 ,使我們可以選擇數(shù)據(jù)倉庫所需的相關(guān)信息 . ? 數(shù)據(jù)源視圖 ,揭示被操作數(shù)據(jù)庫系統(tǒng)捕獲存儲和管理的信息 . ? 數(shù)據(jù)倉庫視圖 ,包括事實表和維表 . ? 商務(wù)查詢視圖 ,從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù) . 數(shù)據(jù)倉庫設(shè)計過程 ? 選取待建模的商務(wù)處理 ? 選取商務(wù)處理的粒度 ,例如單個事務(wù) ,一天的快照等 ? 選取用于每個事實表記錄的維 . ? 選取將安放在事實表中的度量如圖 34中的 dollars_sold和 units_sold 三層數(shù)據(jù)倉庫結(jié)構(gòu) ? 底層數(shù)據(jù)倉庫服務(wù)器 ,使用稱作網(wǎng)間連接程序的應(yīng)用程序 ,由操作數(shù)據(jù)庫和外部數(shù)據(jù)源提取數(shù)據(jù) . ? 中間層是 OLAP服務(wù)器 ,實現(xiàn)方法有 關(guān)系 OLAP模型 ,在多維數(shù)據(jù)上的操作映射為標(biāo)準(zhǔn)的關(guān)系操作 多維 OLAP模型 ,直接實現(xiàn)多維數(shù)據(jù)的操作 ? 頂層是客戶 ,它包括查詢和報告工具 ,分析工具和數(shù)據(jù)挖掘工具 (例如趨勢分析 ,預(yù)測等 ) 數(shù)據(jù)倉庫的類型 ? 企業(yè)倉庫 :企業(yè)倉庫收集了關(guān)于主題的所有信息 ,跨越整個組織 ,它提供企業(yè)范圍內(nèi)的數(shù)據(jù)集成 . ? 數(shù)據(jù)集市 :包含企業(yè)范圍數(shù)據(jù)的一個子集 ,對于特定的用戶是有用的 ,其范圍限于選定的主題 . ? 虛擬倉庫 :是操作數(shù)據(jù)庫上的視圖集合 .為了有效地處理查詢 ,只有一些可能的匯總視圖被物化 ,虛擬倉庫易于
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1