數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的olap技術(shù)-文庫(kù)吧資料
2024-08-28 12:12本頁(yè)面
【正文】 據(jù) 方法：小波變換、主成分分析（ PCA） 數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示數(shù)據(jù) 方法：有參方法 回歸和對(duì)數(shù)線性模型 無參方法 直方圖 聚類 抽樣 2020/9/16 67 離散化和概念分層 原始值用區(qū)間值或較高 層的概念替換 離散化：原始值劃分為有限個(gè)區(qū)間，減少了連續(xù)屬性值的個(gè)數(shù) 概念分層：原始值用較高層的概念替換 2020/9/16 68 離散化和概念分層： 對(duì)數(shù)值數(shù)據(jù) ：分箱 直方圖分析 聚類分析 基于熵的離散化 (entropy) 通過信息增益方法確定區(qū)間邊界 使用類信息，更可能將區(qū)間邊界定義準(zhǔn)確 基于卡方分析的區(qū)間合并 通過自然劃分分段 345規(guī)則 (P58)：將數(shù)值數(shù)據(jù)劃分成相對(duì)一致的區(qū)間 2020/9/16 69 對(duì)分類數(shù)據(jù) : ? 分類數(shù)據(jù)是離散數(shù)據(jù)。 ? 完善性維護(hù)：因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)一般是采用快速原型法開發(fā)的，需要在系統(tǒng)的運(yùn)行過程中不斷地聽取用戶對(duì)已有功能的修改建議和增加新功能的需求，使系統(tǒng)日趨完善，這項(xiàng)工作稱為完善性維護(hù)。 ? 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的完善工作： ? 改正性維護(hù)：在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與開發(fā)過程中，雖然已經(jīng)進(jìn)行了嚴(yán)格的測(cè)試，但對(duì)于一個(gè)大型的系統(tǒng)可能還潛藏著一些錯(cuò)誤，改正性維護(hù)就是為了發(fā)現(xiàn)和改正這些錯(cuò)誤而進(jìn)行的過程。 事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別 事務(wù)型處理數(shù)據(jù) 分析型處理數(shù)據(jù) 細(xì)節(jié)的 綜合的，或提煉的 在存取瞬間是準(zhǔn)確的 代表過去的數(shù)據(jù) 可更新 不可更新，只讀的 操作需求事先可知道 操作需求事先不知 生命周期符合 SDLC 完全不同的生命周期 對(duì)性能要求高 對(duì)性能要求寬松 一個(gè)時(shí)刻操作一個(gè)單元 一個(gè)時(shí)刻操作一個(gè) 事務(wù)驅(qū)動(dòng) 分析驅(qū)動(dòng) 面向應(yīng)用 面向分析 一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大 支持日常操作 支持管理需求 OLTP和 OLAP的區(qū)別 ? 用戶和系統(tǒng)的面向性 : OLTP是面向顧客的 ,用于事務(wù)和查詢處理 OLAP是面向市場(chǎng)的 ,用于數(shù)據(jù)分析 ? 數(shù)據(jù)內(nèi)容 : OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù) . OLAP系統(tǒng)管理大量歷史數(shù)據(jù) ,提供匯總和 聚集機(jī)制 . ? 數(shù)據(jù)庫(kù)設(shè)計(jì) : OLTP采用實(shí)體 聯(lián)系 ER模型和面向應(yīng)用的 數(shù)據(jù)庫(kù)設(shè)計(jì) . OLAP采用星型或雪花模型和面向主題的數(shù) 據(jù)庫(kù)設(shè)計(jì) . ? 視圖 : OLTP主要關(guān)注一個(gè)企業(yè)或部門內(nèi)部的當(dāng)前 數(shù)據(jù) ,不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù) OLAP則相反 . ? 訪問模式 : OLTP系統(tǒng)的訪問主要由短的原子事務(wù)組成 . 這種系統(tǒng)需要并行和恢復(fù)機(jī)制 . OLAP系統(tǒng)的訪問大部分是只讀操作 . 為什么需要分離的數(shù)據(jù)倉(cāng)庫(kù) ? 分離操作數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)的主要 原因是提高兩個(gè)系統(tǒng)的性能 .操作數(shù)據(jù)庫(kù)系統(tǒng)是為已知的任務(wù)和負(fù)載設(shè)計(jì)的 ,而數(shù)據(jù)倉(cāng)庫(kù)的查詢通常是復(fù)雜的 ,涉及大量數(shù)據(jù)在匯總級(jí)的計(jì)算 ,在操作數(shù)據(jù)庫(kù)系統(tǒng)上處理 OLAP查詢 ,可能會(huì)大大降低操作任務(wù)的性能 . 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉(cāng)庫(kù)和 OLAP工具基于多維數(shù)據(jù)模型 ,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式 ? 數(shù)據(jù)立方體允許以多維對(duì)數(shù)據(jù)建模和觀察 .具體圖形詳見 71頁(yè)圖 31 多維數(shù)據(jù)庫(kù)模式 星型 ,雪花和事實(shí)星座模式是主要的存在形式 ? 星型模式包含一個(gè)大的包含大批數(shù)據(jù)的事實(shí)表和一系列維表 .如 73頁(yè)圖 34 ? 雪花模式是星型模式的變種 ,不同的是將某些維表規(guī)范化 .如 74頁(yè)圖 35 ? 事實(shí)星座模式對(duì)應(yīng)多個(gè)事實(shí)表共享維表 .如 74頁(yè)圖 36 定義模式的例子 定義圖 34的星型模式 : ? 定義立方體 : Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*) ? 定義維 Define dimension time as (time_key,day,day_of_week,month,quarter,year) 度量的分類和計(jì)算 ? 分布的 : 設(shè)數(shù)據(jù)被劃分為 n個(gè)集合 ,函數(shù)在每一部分上的計(jì)算得到一個(gè)聚集值 .如果將函數(shù)用于 n個(gè)聚集值得到的結(jié)果 ,與將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣則該度量是分布的 ,如 count(),sum()等 ? 代數(shù)的 : 如果一個(gè)聚集函數(shù)能夠由一個(gè)具有 M個(gè)參數(shù)的代數(shù)函數(shù)計(jì)算 ,且每個(gè)參數(shù)都可以用一個(gè)分布聚集函數(shù)求得 .如 avg()可以由sum()/count()計(jì)算 ,其中 sum()和 count()是分布聚集函數(shù) .
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1