數(shù)據(jù)倉庫與數(shù)據(jù)挖掘簡介-免費閱讀
【正文】 這些工具可以識別出一些重要的活動關(guān)系和模式，有助于調(diào)查人員聚焦可疑線索，做進一步的處理。例如，與貸款償還風險相關(guān)的因素包括貸款率，貸款期限，負債率，收入比率，客戶收入水平，受教育水平，居住地區(qū)，信用歷史，等等。一個基因通常由成百個核苷按一定次序組織而成。 數(shù)據(jù)挖掘的兩種功能 ? 數(shù)據(jù)挖掘有兩種功能 ： (1)預測 /驗證功能 。 按知識的抽象層次 可分為歸納知識、原始級知識、多層次知識。 KDD是利用數(shù)據(jù)挖掘算法，按指定方式和閾值抽取有價值的知識，包括數(shù)據(jù)挖掘前對數(shù)據(jù)的預處理、抽樣及轉(zhuǎn)換和數(shù)據(jù)挖掘后對知識的評價解釋過程。 ? 類似地，星型模型中 location的單個維表被規(guī)范化成兩個表： 新的 location和 city。數(shù)據(jù)倉庫系統(tǒng)的性能可能受到影響。該模式包含一個中心事實表 sales，它包含四個維的關(guān)鍵字和兩個度量 dollars_sold銷售的款項和 units_sold銷售量。這種數(shù)據(jù)模型適用于聯(lián)機事務(wù)處理。例如， sales銷售數(shù)據(jù)倉庫的事實包括 dollars_sold(銷售的款項 )， units_sold(銷售量 )和amount_budgeted（預銷量）。它由維和事實定義。 總之，數(shù)據(jù)倉庫與操作數(shù)據(jù)庫分離是由于這兩種系統(tǒng)中數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容和用法都不相同。這種系統(tǒng)需要并行控制和恢復機制。 OLAP系統(tǒng)管理大量 歷史數(shù)據(jù) ，提供匯總和聚集機制，并在不同的粒度級別上存儲和管理信息。例如：時間維是商品銷售隨時間推移發(fā)生的變化；地理維是商品在不同地區(qū)的銷售分布情況。這種系統(tǒng)稱為 聯(lián)機分析處理 (OLAP)系統(tǒng)。 數(shù)據(jù)倉庫的主要特征 ? 隨時間變化的 （ timevariant): （ 1） 數(shù)據(jù)倉庫 記錄了從 過去某一時間到目前的各個階段的信息 ，通過這些信息，可以表明發(fā)展歷程并對未來的趨勢作出定量分析和預測。 數(shù)據(jù)倉庫的主要特征 ? 集成的 (integrated): (1) 構(gòu)造數(shù)據(jù)倉庫 是將 多個不同的數(shù)據(jù)源 ，如關(guān)系數(shù)據(jù)庫、一般文件和聯(lián)機事務(wù)處理記錄，集成 在一起。 ? DW是一個 面向主題 的、 集成 的、 不更新 的、隨時間變化 的數(shù)據(jù)集合，用于 支持管理部門的 決策過程 。 ? DWS允許 將各種應用系統(tǒng)集成 在一起為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理、決策提供支持。 (2) 將 多個系統(tǒng)的數(shù)據(jù)進行 計算和整理，保證DW的數(shù)據(jù)是 關(guān)于整個系統(tǒng)的 、 一致 的、 全局 的。 （ 2） DW的數(shù)據(jù)結(jié)構(gòu)，隱式或顯式地包含時間元素；其包含的大量綜合數(shù)據(jù)也與時間相關(guān)，例如：月產(chǎn)量。 數(shù)據(jù)倉庫的數(shù)據(jù)模型 數(shù)據(jù) 倉庫和 OLAP通常是基于 多維數(shù)據(jù)模型 。 2. 維的層次 某個維以下存在的對細節(jié)的多個描述方面，例如：時間維有年、季度、月、日等不同層次。數(shù)據(jù)易于用作中、高層的決策過程。 對 OLAP系統(tǒng)的訪問大部分是 只讀 操作 (由于大部分數(shù)據(jù)倉庫存放歷史數(shù)據(jù)，而不是當前數(shù)據(jù) )，盡管許多可能是復雜的查詢。 兩種系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、內(nèi)容和用法都不相同 ? 操作型 數(shù)據(jù)庫 一般不維護歷史數(shù)據(jù)，其數(shù)據(jù)很多，但對于決策是遠遠不夠的。 ? 維 是關(guān)于一個組織想要記錄的視圖或?qū)嶓w。 ? 事實表 包括事實的名稱，以及每個相關(guān)維表的關(guān)鍵字 。 ? 數(shù)據(jù)倉庫需要簡明的、 面向主題的模型 ，便于聯(lián)機數(shù)據(jù)分析。 多維數(shù)據(jù)模型 ? 在星型模式中，每一維只用一個表表示，每個表包含一組屬性。在數(shù)據(jù)倉庫設(shè)計中，雪花模式不如星型模式使用廣泛。新的 location表中的location_key現(xiàn)在連接到 city維。 數(shù)據(jù)挖掘的特點 ? 所處理的數(shù)據(jù)規(guī)模十分巨大 。一個靈活的規(guī)則挖掘系統(tǒng)能夠在多個層次上發(fā)現(xiàn)知識。用數(shù)據(jù)庫的若干已知字段預測或驗證其他未知字段值； (2)描述功能 指找到描述數(shù)據(jù)的可理解模式。核苷按不同的次序和序列可以形成不同的基因，幾乎是不計其數(shù)。 數(shù)據(jù)挖掘?qū)嵗? ? 分析客戶償還的歷史信息 ，可以發(fā)現(xiàn)，償還與收入比率可能是主導因素，而受教育水平和負債率則不是。 有用的工具包括 : 數(shù)據(jù)可視化工具 (用圖形方式按時間和一定人群顯示交易活動 )。 然后可以采用多種數(shù)據(jù)分析工具來找出異常模式，如在某段時間內(nèi)，通過某一組內(nèi)發(fā)生大量現(xiàn)金流量，等等。 數(shù)據(jù)挖掘的方法，如特征選擇和屬性相關(guān)性計算，有助于識別重要因素，剔除非相關(guān)因素。 數(shù)據(jù)挖掘?qū)嵗? ? 1 生物醫(yī)學和 DNA數(shù)據(jù)分析的數(shù)據(jù)挖掘 人類有約 10萬個基因。 OLAP可以作為一種廣義的數(shù)據(jù)挖掘方法，它旨在簡化和支持聯(lián)機分析，而數(shù)據(jù)挖掘的目的是使這一過程盡可能自動化。 數(shù)據(jù)挖掘的分類 ? (2) 按挖掘的知識類型分類 按挖掘的知識類型 可分為關(guān)聯(lián)規(guī)則、特征規(guī)則、分類規(guī)則、偏差規(guī)則、聚集規(guī)則、判別式規(guī)則及時序規(guī)則等。 數(shù)據(jù)挖掘是知識發(fā)現(xiàn) KDD的一個 關(guān)鍵步驟 ，它包括特定的數(shù)據(jù)挖掘算法，具有可接受的計算效率，生成特殊的模式。而supplier維表包含信息 supplier_key和 supplier_type。 ? 由于執(zhí)行查詢需要更多的 連接操作 ，雪花模型可能降低瀏覽的性能 。 sales有四個維，分別是 time， item， branch（分店）和 location。數(shù)據(jù)庫模式由實體的集合和它們之間的聯(lián)系組成。根據(jù)它們分析維之間的關(guān)系。 ? 數(shù) 據(jù)立方體 允許以多維對數(shù)據(jù)建模和觀察。 如果 OLTP和 OLAP都在操作型數(shù)據(jù)庫上運行，會大大降低數(shù)據(jù)庫系統(tǒng)的吞吐量。 OLTP和 OLAP的主要區(qū)別 ? 訪問模式 ： 對 OLTP系統(tǒng)的訪問主要由短的原子事務(wù)組成。這種數(shù)據(jù)太瑣碎，難以用于決策。 數(shù)據(jù)倉庫的數(shù)據(jù)模型 ? 1. 維 維是人們觀察數(shù)據(jù)的特定角度?？梢杂貌煌母袷饺ソM織和提供數(shù)據(jù)，以便滿足不同用戶的形形色色需求。因此，數(shù)據(jù)倉庫不需要在操作環(huán)境下事務(wù)處理、恢復和并發(fā)控制等機制。
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1