2、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的olap技術(shù)-文庫(kù)吧資料
2025-01-15 16:10本頁(yè)面
【正文】 與使用 ? 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建包括一系列的數(shù)據(jù)預(yù)處理過(guò)程 ? 數(shù)據(jù)清理 ? 數(shù)據(jù)集成 ? 數(shù)據(jù)變換 ? 數(shù)據(jù)倉(cāng)庫(kù)的使用熱點(diǎn)是商業(yè)決策行為，例如： ? 增加客戶聚焦 ? 產(chǎn)品重定位 ? 尋找獲利點(diǎn) ? 客戶關(guān)系管理 數(shù)據(jù)倉(cāng)庫(kù)與異種數(shù)據(jù)庫(kù)集成 ? 異種數(shù)據(jù)庫(kù)的集成方法 ? 傳統(tǒng)的異種數(shù)據(jù)庫(kù)集成 :（ 查詢驅(qū)動(dòng) ） ? 在多個(gè)異種數(shù)據(jù)庫(kù)上建立包裝程序（ wrappers）和中介程序（ mediators ） ? 查詢驅(qū)動(dòng)方法 ——當(dāng)從客戶端傳過(guò)來(lái)一個(gè)查詢時(shí)，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫(kù)上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器 ? 數(shù)據(jù)倉(cāng)庫(kù) : （ 更新驅(qū)動(dòng) ） ? 將來(lái)自多個(gè)異種源的信息預(yù)先集成，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，供直接查詢和分析 查詢驅(qū)動(dòng)方法和更新驅(qū)動(dòng)方法的比較 ? 查詢驅(qū)動(dòng)的方法 ? 需要負(fù)責(zé)的信息過(guò)濾和集成處理 ? 與局部數(shù)據(jù)源上的處理競(jìng)爭(zhēng)資源 ? 對(duì)于頻繁的查詢，尤其是涉及聚集（匯總）操作的查詢，開(kāi)銷很大（決策支持中常見(jiàn)的查詢形式） ? 更新驅(qū)動(dòng)的方法（帶來(lái)高性能） ? 數(shù)據(jù)經(jīng)預(yù)處理后單獨(dú)存儲(chǔ)，對(duì)聚集操作提供良好支持 ? 不影響局部數(shù)據(jù)源上的處理 ? 集成歷史信息，支持負(fù)責(zé)的多維查詢 數(shù)據(jù)倉(cāng)庫(kù)與操作數(shù)據(jù)庫(kù)系統(tǒng) ? 操作數(shù)據(jù)庫(kù)系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP ? 日常操作 : 購(gòu)買，庫(kù)存，銀行，制造，工資，注冊(cè)，記帳等 ? 數(shù)據(jù)倉(cāng)庫(kù)的主要任務(wù)是聯(lián)機(jī)分析處理 OLAP ? 數(shù)據(jù)分析和決策支持，支持以不同的形式顯示數(shù)據(jù)以滿足不同的用戶需要 OLAP VS. OLTP (1) ? 用戶和系統(tǒng)的面向性 ? 面向顧客（事務(wù)） VS. 面向市場(chǎng)（分析） ? 數(shù)據(jù)內(nèi)容 ? 當(dāng)前的、詳細(xì)的數(shù)據(jù) VS. 歷史的、匯總的數(shù)據(jù) ? 數(shù)據(jù)庫(kù)設(shè)計(jì) ? 實(shí)體－聯(lián)系模型 (ER)和面向應(yīng)用的數(shù)據(jù)庫(kù)設(shè)計(jì) VS. 星型 /雪花模型和面向主題的數(shù)據(jù)庫(kù)設(shè)計(jì) OLAP VS. OLTP (2) ? 數(shù)據(jù)視圖 ? 當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù) VS. 經(jīng)過(guò)演化的、集成的數(shù)據(jù) ? 訪問(wèn)模式 ? 事務(wù)操作 VS. 只讀查詢（但很多是復(fù)雜的查詢） ? 任務(wù)單位 ? 簡(jiǎn)短的事務(wù) VS. 復(fù)雜的查詢 ? 訪問(wèn)數(shù)據(jù)量 ? 數(shù)十個(gè) VS. 數(shù)百萬(wàn)個(gè) OLAP VS. OLTP (3) ? 用戶數(shù) ? 數(shù)千個(gè) VS. 數(shù)百個(gè) ? 數(shù)據(jù)庫(kù)規(guī)模 ? 100M數(shù) GB VS. 100GB數(shù) TB ? 設(shè)計(jì)優(yōu)先性 ? 高性能、高可用性 VS. 高靈活性、端點(diǎn)用戶自治 ? 度量 ? 事務(wù)吞吐量 VS. 查詢吞吐量、響應(yīng)時(shí)間 為什么需要一個(gè)分離的數(shù)據(jù)倉(cāng)庫(kù) ? ? 提高兩個(gè)系統(tǒng)的性能 ? DBMS是為 OLTP而設(shè)計(jì)的：存儲(chǔ)方式 ,索引 , 并發(fā)控制 , 恢復(fù) ? 數(shù)據(jù)倉(cāng)庫(kù)是為 OLAP而設(shè)計(jì)：復(fù)雜的 OLAP查詢 , 多維視圖，匯總 ? 不同的功能和不同的數(shù)據(jù) : ? 歷史數(shù)據(jù) : 決策支持需要?dú)v史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫(kù)中一般不會(huì)去維護(hù) ? 數(shù)據(jù)匯總：決策支持需要將來(lái)自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總） ? 數(shù)據(jù)質(zhì)量 : 不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對(duì)這些數(shù)據(jù)進(jìn)行有效的分析需要將他們轉(zhuǎn)化后進(jìn)行集成 多維數(shù)據(jù)模型 (1) ? 數(shù)據(jù)倉(cāng)庫(kù)和 OLAP工具基于多維數(shù)據(jù)模型 ? 在多維數(shù)據(jù)模型中，數(shù)據(jù)以數(shù)據(jù)立方體 (data cube)的形式存在 ? 數(shù)據(jù)立方體 允許以多維數(shù)據(jù)建模和觀察。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征四 —— 數(shù)據(jù)不易丟失 ? 盡管數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)自于操作數(shù)據(jù)庫(kù)，但他們卻是在物理上分離保存的。 ? 操作數(shù)據(jù)庫(kù)系統(tǒng) : 主要保存當(dāng)前數(shù)據(jù)。 ? 當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉(cāng)庫(kù)時(shí)，它們要經(jīng)過(guò)轉(zhuǎn)化。 ? 關(guān)系數(shù)據(jù)庫(kù)，一般文件， 聯(lián)機(jī)事務(wù)處理記錄 ? 使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。 ? 排除對(duì)于決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的OLAP技術(shù) 數(shù)據(jù)倉(cāng)庫(kù)－數(shù)據(jù)挖掘的有效平臺(tái) ? 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)清理和數(shù)據(jù)集成，是數(shù)據(jù)挖掘的重要數(shù)據(jù)預(yù)處理步驟 ? 數(shù)據(jù)倉(cāng)庫(kù)提供 OLAP工具，可用于不同粒度的數(shù)據(jù)分析 ? 很多數(shù)據(jù)挖掘功能都可以和 OLAP操作集成，以提供不同概念層上的知識(shí)發(fā)現(xiàn) ? 分類 ? 預(yù)測(cè) ? 關(guān)聯(lián) ? 聚集 什么是數(shù)據(jù)倉(cāng)庫(kù) ? ? 數(shù)據(jù)倉(cāng)庫(kù)的定義很多，但卻很難有一種嚴(yán)格的定義 ? 它是一個(gè)提供決策支持功能的數(shù)據(jù)庫(kù)，它與公司的操作數(shù)據(jù)庫(kù)分開(kāi)維護(hù)。 ? 為統(tǒng)一的歷史數(shù)據(jù)分析提供堅(jiān)實(shí)的平臺(tái)，對(duì)信息處理提供支持 ? 數(shù)據(jù)倉(cāng)庫(kù)區(qū)別于其他數(shù)據(jù)存儲(chǔ)系統(tǒng) ? “數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、隨時(shí)間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過(guò)程 .” —W. H. Inmon 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征一 —— 面向主題 ? 面向主題，是數(shù)據(jù)倉(cāng)庫(kù)顯著區(qū)別于關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的一個(gè)特征 ? 圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等 ? 關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征二 —— 數(shù)據(jù)集成 ? 一個(gè)數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)集成多個(gè)異種數(shù)據(jù)源來(lái)構(gòu)造的。 ? 確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征三 —— 隨時(shí)間而變化 ? 數(shù)據(jù)倉(cāng)庫(kù)是從歷史的角度提供信息 ? 數(shù)據(jù)倉(cāng)庫(kù)的時(shí)間范圍比操作數(shù)據(jù)庫(kù)系統(tǒng)要長(zhǎng)的多。 ? 數(shù)據(jù)倉(cāng)庫(kù) :從歷史的角度提供信息（比如過(guò)去 510 年） ? 數(shù)據(jù)倉(cāng)庫(kù)中的每一個(gè)關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時(shí)間元素，而操作數(shù)據(jù)庫(kù)中的關(guān)鍵結(jié)構(gòu)可能就不包括時(shí)間元素。 ? 操作數(shù)據(jù)庫(kù)的更新操作不會(huì)出現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下。它由 維 和 事實(shí) 定義 ? 維 是關(guān)于一個(gè)組織想要記錄的視角或觀點(diǎn)。 ? 多維數(shù)據(jù)模型圍繞中心主題組織，該主題用 事實(shí)表 表示 ? 事實(shí)表 包括事實(shí)的名稱或度量以及每個(gè)相關(guān)維表的關(guān)鍵字 ? 事實(shí) 指的是一些數(shù)字度量 多維數(shù)據(jù)模型 (2) —— 示例 time_key day day_of_the_week month quarter year time 維表 location_key street city state_or_province country location 事實(shí)表 Sales 事實(shí)表 time_key item_key branch_key location_key units_sold dollars_sold avg_sales 度量 item_key item_name brand type supplier_type item 維表 branch_key branch_name branch_type branch 維表 多維數(shù)據(jù)模型 (3) ? 在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)立方體是 nD的 (n維） ? （關(guān)系表和電子表格是幾維的？） ? 示例 ? AllElectronics的銷售數(shù)據(jù)按維 time, item的 2D視圖 (P30, 表22) ? AllElectronics的銷售數(shù)據(jù)按維 time, item和 location的 3D視圖 (P30, 表 23) ? AllElectronics的銷售數(shù)據(jù)按維 time, item和 location的 3D視圖的 3D數(shù)據(jù)立方體表示 (P31, 圖 21) ?
語(yǔ)文相關(guān)推薦
鄂ICP備17016276號(hào)-1