數(shù)據(jù)挖掘2章數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的olap技術(shù)(更新版)
【正文】 數(shù)組的多維存儲(chǔ) ,支持?jǐn)?shù)組的多維視圖 ? 混合 OLAP(HOLAP)服務(wù)器 ,結(jié)合 ROLAP和MOLAP技術(shù) ,得宜于 ROLAP的可伸縮性 ,和MOLAP的快速計(jì)算 . ? 特殊的 SQL服務(wù)器 ,為了滿足在關(guān)系數(shù)據(jù)庫(kù)中日益增長(zhǎng)的 OLAP需要 ,實(shí)現(xiàn)了特殊的SQL服務(wù)器 ,提供高級(jí)查詢語言和查詢處理 ,在星型和雪花模式上支持 SQL查詢 . 數(shù)據(jù)立方體的有效計(jì)算 ? 計(jì)算量 :對(duì)一個(gè) n維數(shù)據(jù)立方體 ,第 i維的層次是 Li,則可能產(chǎn)生的立方體總數(shù)是T=(L1+1)*… *(Ln+1)如果 10維每維 4個(gè)層次產(chǎn)生的方體數(shù)是 5的 10次方=9800000. ? 預(yù)先計(jì)算并物化所有可能產(chǎn)生的方體是不現(xiàn)實(shí)的 ,較合理的是部分物化 數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn) 方體的選擇計(jì)算 ? 不物化 :導(dǎo)致運(yùn)行時(shí)計(jì)算昂貴的多維聚集 ,速度極慢 . ? 全物化 :需要海量存儲(chǔ)空間 ,存放所有預(yù)先計(jì)算的方體 . ? 部分物化 :在存儲(chǔ)空間和響應(yīng)時(shí)間二者之間提供了很好的折衷 . 多路數(shù)組聚集 ? 將數(shù)組分成塊 ,塊的大小能夠放入立方體計(jì)算時(shí)可用的內(nèi)存 . ? 通過訪問立方體單元進(jìn)行聚集 ,使得每個(gè)單元必須重新訪問的次數(shù)最小化 . 索引 OLAP數(shù)據(jù) ? 位圖索引 :如圖 317所示 ,與散列和樹索引相比 ,位圖索引將比較 ,連接和聚集都變成了位算術(shù)運(yùn)算 ,大大減少了運(yùn)行時(shí)間 . ? 連接索引 :源于關(guān)系數(shù)據(jù)庫(kù)的查詢處理 . ? 位圖連接索引 :將連接索引和位圖索引集成 . OLAP查詢的有效處理 ? 確定那些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行 ,這涉及將查詢中的選擇投影上卷下鉆操作轉(zhuǎn)換成對(duì)應(yīng)的 SQL或 OLAP操作 . ? 確定相關(guān)操作應(yīng)當(dāng)使用哪些物化的方體 ,這涉及到找出可能用于查詢的所有物化方體 . 具體步驟 ? 考察的方體必須與查詢具有相同的維集合 ,或是它的超集 . ? 選擇代價(jià)最小的方體 . 元數(shù)據(jù)存儲(chǔ) 元數(shù)據(jù)是定義數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的數(shù)據(jù) .元數(shù)據(jù) 的存儲(chǔ)包括 ? 數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述 ? 對(duì)元數(shù)據(jù)的操作 ? 匯總用的算法 ? 由操作環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)的映射 ? 關(guān)于系統(tǒng)性能的數(shù)據(jù) ? 商務(wù)元數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)后端工具 ? 數(shù)據(jù)提取 :從多個(gè)異種的外部數(shù)據(jù)源收集數(shù)據(jù) . ? 數(shù)據(jù)清理 :檢測(cè)錯(cuò)誤 ,可能時(shí)修改錯(cuò)誤 . ? 數(shù)據(jù)變換 :將數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉(cāng)庫(kù)格式 . ? 裝入 :排序 ,綜合 ,合并 ,計(jì)算視圖 ,檢查整體性 ,并建立索引和劃分 . ? 刷新 :傳播由數(shù)據(jù)源到數(shù)據(jù)倉(cāng)庫(kù)的更新 . 數(shù)據(jù)倉(cāng)庫(kù)的維護(hù) ? 系統(tǒng)維護(hù)：是在系統(tǒng)已經(jīng)交付使用之后為了改正錯(cuò)誤和為了滿足新的需要而修改系統(tǒng)的過程。事務(wù)型處理的應(yīng)用程序和數(shù)據(jù)是緊緊圍繞著所管理的事件來構(gòu)造的。因此，數(shù)據(jù)倉(cāng)庫(kù)的功能是支持管理層進(jìn)行科學(xué)決策，而不是事務(wù)處理。經(jīng)過數(shù)據(jù)集成后，數(shù)據(jù)倉(cāng)庫(kù)所提供的信息比數(shù)據(jù)庫(kù)提供的信息更概括、更本質(zhì)。 ? 數(shù)據(jù)倉(cāng)庫(kù)是與操作型系統(tǒng)相分離的、基于標(biāo)準(zhǔn)企業(yè)模型集成的、帶有時(shí)間屬性的、面向主題及不可更新的數(shù)據(jù)集合。 ； ? Oracle公司 : 則推出從數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建、 OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如 Oracle Warehouse Builder、 Oracle Express、 DataMart Suit等）。 ? IBM的實(shí)驗(yàn)室在數(shù)據(jù)倉(cāng)庫(kù)方面已經(jīng)進(jìn)行了 10多年的研究，并將研究成果發(fā)展成為商用產(chǎn)品。近年來分布式對(duì)象技術(shù)飛速發(fā)展，整個(gè)數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)從功能上劃分為若干個(gè)分布式對(duì)象，這些分布式對(duì)象不僅可以直接用于建立數(shù)據(jù)倉(cāng)庫(kù)，還可以在應(yīng)用程序中向用戶提供調(diào)用的接口。Trees（前端報(bào)表工具）構(gòu)成的一套較有特色的整體方案。 ? 數(shù)據(jù)倉(cāng)庫(kù)是作為 DSS服務(wù)基礎(chǔ)的分析型 DB， 用來存放大容量的只讀數(shù)據(jù)，為制定決策提供所需要的信息。因此，數(shù)據(jù)倉(cāng)庫(kù)在提取數(shù)據(jù)時(shí)必須經(jīng)過數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。數(shù)據(jù)挖掘則以數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)庫(kù)中的數(shù)據(jù)為基礎(chǔ)，發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和進(jìn)行預(yù)測(cè)。它是事件驅(qū)動(dòng)、面向應(yīng)用的，通常是對(duì)一個(gè)或一組記錄的增、刪、改以及簡(jiǎn)單查詢等。分析型處理過程中經(jīng)常用到外部數(shù)據(jù)，這部分?jǐn)?shù)據(jù)不是由事務(wù)型處理系統(tǒng)產(chǎn)生的，而是來自于其他外部數(shù)
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號(hào)-1