數(shù)據(jù)倉庫與數(shù)據(jù)挖掘簡介-在線瀏覽
2025-04-10 13:13本頁面
【正文】 原始文件處理 ? 數(shù)據(jù)庫管理系統(tǒng) (20世紀 70年代 ) 層次、網(wǎng)狀、關系數(shù)據(jù)庫系統(tǒng) 數(shù)據(jù)建模工具：實體 聯(lián)系 (E－ R)模型等 索引和數(shù)據(jù)組織技術 查詢語言 :SQL 、用戶界面 :表單、報告等 查詢處理和查詢優(yōu)化、事務并發(fā)控制等 聯(lián)機事務處理 (OLTP) 數(shù)據(jù)庫技術的發(fā)展 ? 高級數(shù)據(jù)庫系統(tǒng) ( 80年代中期 —現(xiàn)在 ) 高級數(shù)據(jù)模型 : 擴充關系、面向對象、對象 關系 面向應用：空間的、時間的、多媒體的、主動的、 科學的、知識庫 ? 數(shù)據(jù)倉庫和數(shù)據(jù)挖掘 (80年代后期 —現(xiàn)在 ) 數(shù)據(jù)倉庫和 OLAP技術 數(shù)據(jù)挖掘和知識發(fā)現(xiàn) ? 基于 Web的數(shù)據(jù)庫系統(tǒng) (90年代 —現(xiàn)在 ) 基于 XML的數(shù)據(jù)庫系統(tǒng) Web 挖掘 數(shù)據(jù)庫應用中存在的問題 “數(shù)據(jù)豐富，信息貧乏 ”。 存儲了大量數(shù)據(jù)的數(shù)據(jù)庫變成了“數(shù)據(jù)墳墓” ——難以再訪問的數(shù)據(jù)檔案； ? 在大型數(shù)據(jù)庫中快速增長著海量數(shù)據(jù)， 理解數(shù)據(jù)的含義已經(jīng)遠遠超出了人的能力 ； ? 領導者的重要決策 往往 無法、及時獲得信息 ，因為 缺乏從海量數(shù)據(jù)中提取有價值知識的工具 ；若在當前運行的操作數(shù)據(jù)庫中獲取信息，則影響數(shù)據(jù)庫的使用和性能 海量數(shù)據(jù)要求強有力的數(shù)據(jù)分析工具 ? 以前的專家系統(tǒng) 依賴用戶或某領域的專家人工地將知識輸入知識庫 ；這一過程常常有偏差和錯誤 ，并且 耗時 、 費用高； ? 使用數(shù)據(jù)挖掘工具進行數(shù)據(jù)分析；可以 發(fā)現(xiàn)重要的數(shù)據(jù)模式 ，對商務決策、知識庫、科學和醫(yī)學研究作出了巨大貢獻； ? 數(shù)據(jù)和信息之間的差距，要求系統(tǒng)地開發(fā)數(shù)據(jù)挖掘工具， 將沉寂的數(shù)據(jù)轉換成寶貴的知識 。 ? DW是一個 面向主題 的、 集成 的、 不更新 的、隨時間變化 的數(shù)據(jù)集合，用于 支持管理部門的 決策過程 。 數(shù)據(jù)倉庫的主要特征 ? 面向 主題的 ( subject – oriented ) : (1) 所謂 主題 （宏觀領域），如顧客、供應商、產(chǎn)品和銷售組織；是在高層次上將企業(yè) IS中的數(shù)據(jù)綜合、歸類并進行分析利用的抽象。 (2) DW關注決策者的 數(shù)據(jù)建模與分析 ，而傳統(tǒng)數(shù)據(jù)庫是面向應用的，集中于組織機構的日常操作和事務處理。 數(shù)據(jù)倉庫的主要特征 (4) 傳統(tǒng)數(shù)據(jù)庫使用 OLTP聯(lián)機事務處理方式 ，進行數(shù)據(jù)組織時考慮記錄每一筆業(yè)務的情況； 數(shù)據(jù)倉庫使用 OLAP聯(lián)機分析處理方式 ，進行數(shù)據(jù)分析處理，以主題為單位組織數(shù)據(jù)，例如：供應商、商品、顧客等。 數(shù)據(jù)倉庫的主要特征 ? 集成的 (integrated): (1) 構造數(shù)據(jù)倉庫 是將 多個不同的數(shù)據(jù)源 ，如關系數(shù)據(jù)庫、一般文件和聯(lián)機事務處理記錄，集成 在一起。 使用 數(shù)據(jù)清理和數(shù)據(jù)集成技術 ，確保命名約定、編碼結構、屬性等的數(shù)據(jù)結構 一致性 。 數(shù)據(jù)倉庫的主要特征 ? 不更新的 (nonvolatile): （ 1）訪問數(shù)據(jù)倉庫主要是兩種方式： 數(shù)據(jù)的插入和查詢 。 （ 2） DW的 數(shù)據(jù) 與操作環(huán)境下的應用數(shù)據(jù)分開存放 。 數(shù)據(jù)倉庫的主要特征 ? 隨時間變化的 （ timevariant): （ 1） 數(shù)據(jù)倉庫 記錄了從 過去某一時間到目前的各個階段的信息 ，通過這些信息，可以表明發(fā)展歷程并對未來的趨勢作出定量分析和預測。 （ 3） DW隨時間變化不斷增加新的數(shù)據(jù)內容 ；去掉超過時限 （例如： 5－ 10年） 的數(shù)據(jù) 。 操作型數(shù)據(jù)庫系統(tǒng)與數(shù)據(jù)倉庫的區(qū)別 ? 操作型數(shù)據(jù)庫系統(tǒng) 的主要任務是 執(zhí)行聯(lián)機事務和查詢處理 ，稱為聯(lián)機事務處理 (OLTP) 系統(tǒng)。 ? DW在數(shù)據(jù)分析和決策方面為決策者提供服務。這種系統(tǒng)稱為 聯(lián)機分析處理 (OLAP)系統(tǒng)。 該模型將數(shù)據(jù)看作 數(shù)據(jù)立方體 （ data cube）形式。 維 是關于一個組織想要記錄的透視或實體。 多維數(shù)據(jù)模型 通常有 星型 和 雪花型 兩種形式。例如：時間維是商品銷售隨時間推移發(fā)生的變化；地理維是商品在不同地區(qū)的銷售分布情況。 3. 維成員 維的一個取值是該維的一個成員。例如： （上海， 2023年 2月，批發(fā)， 2188） OLTP和 OLAP的主要 區(qū)別 服務 對象 ： OLTP是 面向顧客 的，用于辦事員、客戶和信息技術專業(yè)人員的事務和查詢處理。 數(shù)據(jù)內容 ： OLTP系統(tǒng)管理 當前數(shù)據(jù) 。 OLAP系統(tǒng)管理大量 歷史數(shù)據(jù) ，提供匯總和聚集機制，并在不同的粒度級別上存儲和管理信息。 OLTP和 OLAP的主要區(qū)別 ? 數(shù)據(jù)庫設計 ： ? OLTP系統(tǒng) 采用 ER(Entity Relationship Diagram)實體 聯(lián)系模型 和面向應用的數(shù)據(jù)庫設計。 ? OLAP系統(tǒng)由于組織的變化常常跨越數(shù)據(jù)庫模式的多個版本。由于數(shù)據(jù)量巨大， OLAP數(shù)據(jù)也存放在多個存儲介質上。這種系統(tǒng)需要并行控制和恢復機制。 ? OLTP和 OLAP的 其他區(qū)別 : 包括數(shù)據(jù)庫大小、操作的頻繁程度、性能度量等。 操作數(shù)據(jù)庫 是為已知的任務和負載設計的，如使用主關鍵字索引，檢索特定的記錄和優(yōu)化查詢； 數(shù)據(jù)倉庫 的查詢通常是復雜的，涉及大量數(shù)據(jù)在匯總級的計算，可能需要特殊的數(shù)據(jù)組織、存取方法和基于多維視圖的實現(xiàn)方法。 數(shù)據(jù)倉庫： 對數(shù)據(jù)記錄進行只讀訪問，以進行匯總和聚集。 總之，數(shù)據(jù)倉庫與操作數(shù)據(jù)庫分離是由于這兩種系統(tǒng)中數(shù)據(jù)的結構、內容和用法都不相同。 數(shù)據(jù)倉庫系統(tǒng) 用于決策支持需要歷史數(shù)據(jù)，將不同來源的數(shù)據(jù)統(tǒng)一 (如聚集和匯總 )，產(chǎn)生高質量、一致和集成的數(shù)據(jù)。 ? 由于兩個系統(tǒng)提供很不相同的 功能 ，需要不同類型的 數(shù)據(jù) ，因此需要維護 分離 的數(shù)據(jù)庫。該模型將數(shù)據(jù)看作 數(shù)據(jù)立方體 (data cube)形式。它由維和事實定義。
職業(yè)教育相關推薦
鄂ICP備17016276號-1