【正文】 按小數(shù)定標(biāo) ? 屬性構(gòu)造 數(shù)據(jù)變換 2020/9/16 65 數(shù)據(jù)歸約 歸約數(shù)據(jù)集小、近似保持原數(shù)據(jù)的完整性 數(shù)據(jù)立方體聚集：聚集數(shù)據(jù)立方體 使用與給定任務(wù)相關(guān)的最小方體 屬性子集選擇 檢測(cè)、刪除不相關(guān) 弱相關(guān) 冗于的屬性和維 方法：逐步向前、逐步向后、向前向后結(jié)合 決策樹(shù)歸納：信息增益法 2020/9/16 66 數(shù)據(jù)歸約 歸約數(shù)據(jù)集小、近似保持原數(shù)據(jù)的完整性 數(shù)據(jù)壓縮：編碼機(jī)制壓縮數(shù)據(jù) 方法：小波變換、主成分分析（ PCA） 數(shù)值壓縮：用替代的、較小的數(shù)據(jù)表示數(shù)據(jù) 方法：有參方法 回歸和對(duì)數(shù)線性模型 無(wú)參方法 直方圖 聚類 抽樣 2020/9/16 67 離散化和概念分層 原始值用區(qū)間值或較高 層的概念替換 離散化：原始值劃分為有限個(gè)區(qū)間，減少了連續(xù)屬性值的個(gè)數(shù) 概念分層：原始值用較高層的概念替換 2020/9/16 68 離散化和概念分層： 對(duì)數(shù)值數(shù)據(jù) ：分箱 直方圖分析 聚類分析 基于熵的離散化 (entropy) 通過(guò)信息增益方法確定區(qū)間邊界 使用類信息，更可能將區(qū)間邊界定義準(zhǔn)確 基于卡方分析的區(qū)間合并 通過(guò)自然劃分分段 345規(guī)則 (P58)：將數(shù)值數(shù)據(jù)劃分成相對(duì)一致的區(qū)間 2020/9/16 69 對(duì)分類數(shù)據(jù) : ? 分類數(shù)據(jù)是離散數(shù)據(jù)。分析型處理經(jīng)常要訪問(wèn)大量的歷史數(shù)據(jù)，支持復(fù)雜的查詢。因此數(shù)據(jù)倉(cāng)庫(kù)必須不斷捕捉 OLTP數(shù)據(jù)庫(kù)中變化的數(shù)據(jù)，生成數(shù)據(jù)庫(kù)的快照，經(jīng)集成后增加到數(shù)據(jù)倉(cāng)庫(kù)中去；另外數(shù)據(jù)倉(cāng)庫(kù)還需要隨時(shí)間的變化刪去過(guò)期的、對(duì)分析沒(méi)有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。 ? 隨著數(shù)據(jù)庫(kù)技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫(kù)管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來(lái)越多，但缺乏挖掘數(shù)據(jù)中隱藏的知識(shí)的手段，導(dǎo)致了“ 數(shù)據(jù)爆炸但知識(shí)貧乏的 ” 現(xiàn)象。第 3章 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的 OLAP技術(shù) 本章要點(diǎn) ? 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 ? 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)結(jié)構(gòu) ? 數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn) ? 數(shù)據(jù)立方體技術(shù)的近一步發(fā)展 ? 從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)挖掘 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展 ? 自從 NCR公司為 Wal Mart建立了第一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。 數(shù)據(jù)挖掘的發(fā)展 ? 數(shù)據(jù)挖掘是與數(shù)據(jù)倉(cāng)庫(kù)密切相關(guān)的一個(gè)信息技術(shù)新領(lǐng)域，它是信息技術(shù)自然演化的結(jié)果。 時(shí)變性 ? 時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢(shì)做出預(yù)測(cè)，對(duì)發(fā)展趨勢(shì)的分析需要訪問(wèn)歷史數(shù)據(jù)。它幫助決策者分析數(shù)據(jù)以察看趨向、判斷問(wèn)題。一個(gè)分類屬性可能有有限個(gè)不同的值。它是事件驅(qū)動(dòng)、面向應(yīng)用的，通常是對(duì)一個(gè)或一組記錄的增、刪、改以及簡(jiǎn)單查詢等。因此，數(shù)據(jù)倉(cāng)庫(kù)在提取數(shù)據(jù)時(shí)必須經(jīng)過(guò)數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。Trees（前端報(bào)表工具）構(gòu)成的一套較有特色的整體方案。 ? IBM的實(shí)驗(yàn)室在數(shù)據(jù)倉(cāng)庫(kù)方面已經(jīng)進(jìn)行了 10多年的研究，并將研究成果發(fā)展成為商用產(chǎn)品。 ? 數(shù)據(jù)倉(cāng)庫(kù)是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合。因此，數(shù)據(jù)倉(cāng)庫(kù)的功能是支持管理層進(jìn)行科學(xué)決策，而不是事務(wù)處理。 事務(wù)型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別 事務(wù)型處理數(shù)據(jù) 分析型處理數(shù)據(jù) 細(xì)節(jié)的 綜合的，或提煉的 在存取瞬間是準(zhǔn)確的 代表過(guò)去的數(shù)據(jù) 可更新 不可更新，只讀的 操作需求事先可知道 操作需求事先不知 生命周期符合 SDLC 完全不同的生命周期 對(duì)性能要求高 對(duì)性能要求寬松 一個(gè)時(shí)刻操作一個(gè)單元 一個(gè)時(shí)刻操作一個(gè) 事務(wù)驅(qū)動(dòng) 分析驅(qū)動(dòng) 面向應(yīng)用 面向分析 一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大 支持日常操作 支持管理需求 OLTP和 OLAP的區(qū)別 ? 用戶和系統(tǒng)的面向性 : OLTP是面向顧客的 ,用于事務(wù)和查詢處理 OLAP是面向市場(chǎng)的 ,用于數(shù)據(jù)分析 ? 數(shù)據(jù)內(nèi)容 : OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù) . OLAP系統(tǒng)管理大量歷史數(shù)據(jù) ,提供匯總和 聚集機(jī)制 . ? 數(shù)據(jù)庫(kù)設(shè)計(jì) : OLTP采用實(shí)體 聯(lián)系 ER模型和面向應(yīng)用的 數(shù)據(jù)庫(kù)設(shè)計(jì) . OLAP采用星型或雪花模型和面向主題的數(shù) 據(jù)庫(kù)設(shè)計(jì) . ? 視圖 : OLTP主要關(guān)注一個(gè)企業(yè)或部門內(nèi)部的當(dāng)前 數(shù)據(jù) ,不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù) OLAP則相反 . ? 訪問(wèn)模式 : OLTP系統(tǒng)的訪問(wèn)主要由短的原子事務(wù)組成 . 這種系統(tǒng)需要并行和恢復(fù)機(jī)制 . OLAP系統(tǒng)的訪問(wèn)大部分是只讀操作 . 為什么需要分離的數(shù)據(jù)倉(cāng)庫(kù) ? 分離操作數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)的主