數(shù)據(jù)挖掘2、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的olap技術(shù)(文件)
【正文】 ? 事實(shí) 指的是一些數(shù)字度量 多維數(shù)據(jù)模型 (2) ——示例 time_key day day_of_the_week month quarter year time 維表 location_key street city state_or_province country location 事實(shí)表 Sales 事實(shí)表 time_key item_key branch_key location_key units_sold dollars_sold avg_sales 度量 item_key item_name brand type supplier_type item 維表 branch_key branch_name branch_type branch 維表 多維數(shù)據(jù)模型 (3) ? 在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)立方體是 nD的 (n維） ? （關(guān)系表和電子表格是幾維的？） ? 示例 ? AllElectronics的銷售數(shù)據(jù)按維 time, item的 2D視圖 (P30, 表22) ? AllElectronics的銷售數(shù)據(jù)按維 time, item和 location的 3D視圖 (P30, 表 23) ? AllElectronics的銷售數(shù)據(jù)按維 time, item和 location的 3D視圖的 3D數(shù)據(jù)立方體表示 (P31, 圖 21) ? 銷售數(shù)據(jù)的 4D立方體表示 (P31, 圖 22) ? 多維數(shù)據(jù)模型為不同角度上的數(shù)據(jù)建模和觀察提供了一個(gè)良好的基礎(chǔ) 多維數(shù)據(jù)模型 (4) ? 在數(shù)據(jù)倉(cāng)庫(kù)的研究文獻(xiàn)中，一個(gè) n維的數(shù)據(jù)的立方體叫做 基本方體 。 ? 操作數(shù)據(jù)庫(kù)的更新操作不會(huì)出現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征三 ——隨時(shí)間而變化 ? 數(shù)據(jù)倉(cāng)庫(kù)是從歷史的角度提供信息 ? 數(shù)據(jù)倉(cāng)庫(kù)的時(shí)間范圍比操作數(shù)據(jù)庫(kù)系統(tǒng)要長(zhǎng)的多。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征二 ——數(shù)據(jù)集成 ? 一個(gè)數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)集成多個(gè)異種數(shù)據(jù)源來(lái)構(gòu)造的。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的OLAP技術(shù) 數(shù)據(jù)倉(cāng)庫(kù)－數(shù)據(jù)挖掘的有效平臺(tái) ? 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)清理和數(shù)據(jù)集成，是數(shù)據(jù)挖掘的重要數(shù)據(jù)預(yù)處理步驟 ? 數(shù)據(jù)倉(cāng)庫(kù)提供 OLAP工具，可用于不同粒度的數(shù)據(jù)分析 ? 很多數(shù)據(jù)挖掘功能都可以和 OLAP操作集成，以提供不同概念層上的知識(shí)發(fā)現(xiàn) ? 分類 ? 預(yù)測(cè) ? 關(guān)聯(lián) ? 聚集 什么是數(shù)據(jù)倉(cāng)庫(kù) ? ? 數(shù)據(jù)倉(cāng)庫(kù)的定義很多，但卻很難有一種嚴(yán)格的定義 ? 它是一個(gè)提供決策支持功能的數(shù)據(jù)庫(kù)，它與公司的操作數(shù)據(jù)庫(kù)分開維護(hù)。 ? 關(guān)系數(shù)據(jù)庫(kù)，一般文件， 聯(lián)機(jī)事務(wù)處理記錄 ? 使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。 ? 操作數(shù)據(jù)庫(kù)系統(tǒng) : 主要保存當(dāng)前數(shù)據(jù)。 ? 不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機(jī)制 ? 只需要兩種數(shù)據(jù)訪問(wèn) : ? 數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問(wèn)（讀操作） 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建與使用 ? 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建包括一系列的數(shù)據(jù)預(yù)處理過(guò)程 ? 數(shù)據(jù)清理 ? 數(shù)據(jù)集成 ? 數(shù)據(jù)變換 ? 數(shù)據(jù)倉(cāng)庫(kù)的使用熱點(diǎn)是商業(yè)決策行為，例如： ? 增加客戶聚焦 ? 產(chǎn)品重定位 ? 尋找獲利點(diǎn) ? 客戶關(guān)系管理 數(shù)據(jù)倉(cāng)庫(kù)與異種數(shù)據(jù)庫(kù)集成 ? 異種數(shù)據(jù)庫(kù)的集成方法 ? 傳統(tǒng)的異種數(shù)據(jù)庫(kù)集成 :（ 查詢驅(qū)動(dòng) ） ? 在多個(gè)異種數(shù)據(jù)庫(kù)上建立包裝程序（ wrappers）和中介程序（ mediators ） ? 查詢驅(qū)動(dòng)方法 ——當(dāng)從客戶端傳過(guò)來(lái)一個(gè)查詢時(shí)，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫(kù)上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器 ? 數(shù)據(jù)倉(cāng)庫(kù) : （ 更新驅(qū)動(dòng) ） ? 將來(lái)自多個(gè)異種源的信息預(yù)先集成，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，供直接查詢和分析 查詢驅(qū)動(dòng)方法和更新驅(qū)動(dòng)方法的比較 ? 查詢驅(qū)動(dòng)的方法 ? 需要復(fù)雜的信息過(guò)濾和集成處理 ? 與局部數(shù)據(jù)源上的處理競(jìng)爭(zhēng)資源 ? 對(duì)于頻繁的查詢，尤其是涉及聚集（匯總）操作的查詢，開銷很大（決策支持中常見的查詢形式） ? 更新驅(qū)動(dòng)的方法（帶來(lái)高性能） ? 數(shù)據(jù)經(jīng)預(yù)處理后單獨(dú)存儲(chǔ)，對(duì)聚集操作提供良好支持 ? 不影響局部數(shù)據(jù)源上的處理 ? 集成歷史信息，支持復(fù)雜的多維查詢 數(shù)據(jù)倉(cāng)庫(kù)與操作數(shù)據(jù)庫(kù)系統(tǒng) ? 操作數(shù)據(jù)庫(kù)系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP ? 日常操作 : 購(gòu)買，庫(kù)存，銀行，制造，工資，注冊(cè)，記帳等 ? 數(shù)據(jù)倉(cāng)庫(kù)的主要任務(wù)是聯(lián)機(jī)分析處理 OLAP ? 數(shù)據(jù)分析和決策支持，支持以不同的形式顯示數(shù)據(jù)以滿足不同的用戶需要 OLAP VS. OLTP (1) ? 用戶和系統(tǒng)的面向性 ? 面向顧客（事務(wù)） VS. 面向市場(chǎng)（分析） ? 數(shù)據(jù)內(nèi)容 ? 當(dāng)前的、詳細(xì)的數(shù)據(jù) VS. 歷史的、匯總的數(shù)據(jù) ? 數(shù)據(jù)庫(kù)設(shè)計(jì) ? 實(shí)體－聯(lián)系模型 (ER)和面向應(yīng)用的數(shù)據(jù)庫(kù)設(shè)計(jì) VS. 星型 /雪花模型和面向主題的數(shù)據(jù)庫(kù)設(shè)計(jì) OLAP VS. OLTP (2) ? 數(shù)據(jù)視圖 ? 當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù) VS. 經(jīng)過(guò)演化的、集成的數(shù)據(jù) ? 訪問(wèn)模式 ? 事務(wù)操作 VS. 只讀查詢（但很多是復(fù)雜的查詢） ? 任務(wù)單位 ? 簡(jiǎn)短的事務(wù) VS. 復(fù)雜的查詢 ? 訪問(wèn)數(shù)據(jù)量 ? 數(shù)十個(gè) VS. 數(shù)百萬(wàn)個(gè) OLAP VS. OLTP (3) ? 用戶數(shù) ? 數(shù)千個(gè) VS. 數(shù)百個(gè) ? 數(shù)據(jù)庫(kù)規(guī)模 ? 100M數(shù) GB VS. 100GB數(shù) TB ? 設(shè)計(jì)優(yōu)先性 ? 高性能、高可用性 VS. 高靈活性、端點(diǎn)用戶自治 ? 度量 ? 事務(wù)吞吐量 VS. 查詢吞吐量、響應(yīng)時(shí)間 為什么需要一個(gè)分離的數(shù)據(jù)倉(cāng)庫(kù) ? ? 提高兩個(gè)系統(tǒng)的性能 ? DBMS是為 OLTP而設(shè)計(jì)的：存儲(chǔ)方式 ,索引 , 并發(fā)控制 , 恢復(fù) ? 數(shù)據(jù)倉(cāng)庫(kù)是為 OLAP而設(shè)計(jì)：復(fù)雜的 OLAP查詢 , 多維視圖，匯總 ? 不同的功能和不同的數(shù)據(jù) : ? 歷史數(shù)據(jù) : 決策支持需要?dú)v史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫(kù)中一般不會(huì)去維護(hù) ? 數(shù)據(jù)匯總：決策支持需要將來(lái)自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總） ? 數(shù)據(jù)質(zhì)量 : 不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對(duì)這些數(shù)據(jù)進(jìn)行有效的分析需要將他們轉(zhuǎn)化后進(jìn)行集成 多維數(shù)據(jù)模型 (1) ? 數(shù)據(jù)倉(cāng)庫(kù)和 OLAP工具基于多維數(shù)據(jù)模型 ? 在多維數(shù)據(jù)模型中，數(shù)據(jù)以數(shù)據(jù)立方體 (data cube)的形式存在 ? 數(shù)據(jù)立方體 允許以多維數(shù)據(jù)建模和觀察。給定一個(gè)維的集合，我們可以構(gòu)造一個(gè) 方體的格 ，每個(gè)都在不同的匯總級(jí)或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體 。 ? 星型模式（ Star schema） : 事實(shí)表在中心，周圍圍繞地連接著維表（每維一個(gè)），事實(shí)表含有大量數(shù)據(jù)，沒有冗余。 ? (剛才的示例中用的是什么函數(shù)？ ) ? 度量可以根據(jù)其所用的聚集函數(shù)分為三類： ? 分布的 (distributive)：將函數(shù)用于 n個(gè)聚集值得到的結(jié)果和將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣。比如： location維的定義，officecitycountryregion；這些屬性 按一個(gè)全序相關(guān)，形成一個(gè)層次結(jié)構(gòu)： year day quarter month week 維的屬性也可以組成一個(gè)偏序，形成一個(gè)格： 概念分層 (3) ——使用 ? 概念分層為不同級(jí)別上的數(shù)據(jù)匯總提供了一個(gè)良好的基礎(chǔ) ? 綜合概念分層和多維數(shù)據(jù)模型的潛力，可以對(duì)數(shù)據(jù)獲得更深入的洞察力
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1