【文章內容簡介】 ：這是整個 KDD過程中很重要的一個步驟。運用前面選擇的算法，從數據庫中提取用戶感興趣的知識，并以一定的方式表示出來（如產生式規(guī)則等）是數據挖掘的目的。 ? ：對在數據挖掘步驟中發(fā)現的模式（知識）進行解釋。經過用戶或機器評估后，可能會發(fā)現這些模式中存在冗余或無關的模式，此時應該將其剔除。如果模式不能滿足用戶的要求，就需要返回到前面的某些處理步驟中反復提取。 KDD過程（續(xù)） ? ：將發(fā)現的知識以用戶能了解的方式呈現給用戶。 ?在上述步驟中，數據挖掘占據非常重要的地位，它主要是利用某些特定的知識發(fā)現算法，在一定的運算效率范圍內，從數據中發(fā)現出有關知識，決定了整個 KDD過程的效果與效率。 4. 數據挖掘功能 數據挖掘任務有兩類： 第一類是描述性挖掘任務：刻劃數據庫中數據的一般特性； 第二類是預測性挖掘任務：在當前數據上進行推斷，以進行預測。 概念 / 類描述：特征化和區(qū)分 ? 概念 / 類描述 (class / concept description)：用匯總的、簡潔的、精確的方式描述每個類和概念。 ? 數據特征化 (data characterization) ：是目標類數據的一般特征或特性的匯總。其中數據特征的輸出形式有：餅圖、條圖、曲線、多維數據立方體、多維表等。 ? 數據區(qū)分 (Data discrimination) ：是將目標類對象的一般特性與一個或多個對比類對象的一般特性比較。 關聯分析 （ 1） 定義：關聯分析 (association analysis)： 發(fā)現關聯規(guī)則，這些規(guī)則展示“屬性 —值”頻繁地在給定數據集中一起出現的條件。 關聯規(guī)則 (association rule)： “ X ? Y”，即 A1 ? A2 ? ? ? Am ? B1 ? B2 ? ? ? Bn 關聯規(guī)則分為兩類：一類是“ 多維關聯規(guī)則 ”（ multidimensional association rule）；另一類是“ 單維關聯規(guī)則 ” (singledimensional association rule)。 （ 2） 實例 age(x, “20..29”) ? ine(X, “20K..29K”) ? buys(X, “CD_player”) [support = 2%, confidence = 60%] （ 1） 定義 分類 (classification)： 是找出描述并區(qū)分數據類或概念的模型（或函數），以便能夠使用模型預測類標記未知的對象的過程。 注：導出模型（或函數）是基于對 訓練數據集 （即其類標記已知的數據對象）的分析。 （ 2） 分類模型的導出方式 分類規(guī)則（ IFTHEN）、決策樹、數學公式、神經網絡等。 （ 3） 相關分析 (relevance analysis) 一般情況下，相關分析需要在分類和預測之前進行，它試圖識別對于分類和預測無用的屬性，且這些屬性應被排除。 分類和預測 （ 1） 定義 聚類 (clustering)： 與 分類 和 預測 不同，它主要分析數據對象，而不考慮已知的類標記。 一般情況下，訓練數據中不提供類標記，因為不知道從何開始。聚類可以用于產生這種標記。 （ 2） 聚類或分組的原則 “最大化類內的相似性、最小化類間的相似性” 對象的簇（聚類）的形成辦法為：使得在一個簇中的對象具有很高的相似性，而與其它簇中的對象很不相似。所形成的每個簇可以看作一個對象類，由它可以導出規(guī)則。 聚類分析 （ 1） 定義 孤立點 (outlier)： 數據庫中的那些與數據的 一般行為 或 模型 不一致的 數據對象 。 大部分數據挖掘方法將孤立點視為噪聲或異常而將其丟棄，然而，在一些實際應用中（如欺騙檢測、軍事情報分析等），罕見點事件可能比正常出現的那些更有趣。孤立點數據分析稱為 孤立點挖掘 (outlier mining)。 （ 2） 孤立點的檢測方法 第一種方法： 統(tǒng)計試驗檢測方法 。假定一個數據分布或概率模型，并使用距離度量，到其它聚類的距離很大的對象被視為孤立點。 第二種方法： 基于偏差點方法 。通過考察一群對象主要特征上的差別識別孤立點。 孤立點分析 （ 1） 定義 數據演變分析 (evolution analysis)： 描述行為隨時間變化的對象的 規(guī)律 或 趨勢 ，并對其 建模 。 演變分析包括時間相關數據的特征化、區(qū)分、關聯、分類或聚類，最主要有三種演化分析方法： a) 時間序列數據分析 b) 序列或周期模式匹配 c) 基于類似性的數據分析 演變分析 數據挖掘過程模型是確保數據挖掘工作順利進行的關鍵 。 典型的過程模型有： （ 1） SPSS的 5A模型 ——評估 (Assess)、 訪問 (Access)、 分析(Analyze)、 行動 (Act)、 自動化 (Automate)。 (2)SAS的 SEMMA模型 ——采樣 (Sample)、 探索 (Explore)、 修正(Modify)、 建模 (Model)、 評估 (Assess)。 (3) 跨行業(yè)數據挖掘過程標準 CRISPDM——目前 CRISPDM仍在建立之中 。 (4) 此外， Two Crows公司的數據挖掘過程模型，它與正在建立的 CRISPDM有許多相似之處。 5. 數據挖掘過程模型 6. KDD的分類 ? 根據挖掘的數據庫類型分類 ? 根據挖掘的知識類型分類 ? 根據所用的技術分類 ? 根據應用分類 7. KDD的主要問題 ? 數據挖掘結果的表示和顯示 ? 處理噪聲和不完全數據 ? 模式評估 —— 興趣度問題 ? 數據挖掘算法的有效性和可伸縮性 ? 并行、分布式和增量挖掘算法 ? 異種數據庫和全球信息系統(tǒng)挖掘信息 E. 數據挖掘基本特征 ? KDD和數據挖掘可以應用在很多領域中，它們具有如下一些公共特征： ?海量數據集 ?數據利用非常不足 ?在開發(fā)知識發(fā)現系統(tǒng)時，領域專家對該領域的熟悉程度至關重要 ?最終用戶專門知識缺乏 有效的知識發(fā)現系統(tǒng) ? 為使知識發(fā)現系統(tǒng)更加有效，有幾個軟、硬件問題需要強調： ?為使數據服務更加詳盡，必須研究基礎的體系結構、算法和數據結構。 ?解決存儲管理中的新問題，開發(fā)有效的存儲機制 。 ?高層次的查詢語言成為重要的研究課題 。 ?描述多維對象的可視化工具在知識表示中將起重要作用 。 F. 數據挖掘的發(fā)展趨勢 ? 視頻和音頻數據挖掘 ? 科學和統(tǒng)計數據挖掘 ? 數據挖掘的應用探索 ? 可伸縮的數據挖掘方法 ? 數據挖掘與數據庫系統(tǒng)、數據倉庫和 Web數據庫系統(tǒng)的集成 ? 數據挖掘語言的標準化 ? 可視化數據挖掘 ? 復雜數據類型挖掘的方法 ? Web挖掘 ? 數據挖掘中的隱私保護與信息安全 可視化數據挖掘 ? 數據可視化 ? 數據挖掘結果可視化 ? 數據挖掘處理過程可視化 ? 交互式的可視化挖掘 數據可視化 數據挖掘結果可視化 Visualization of data mining results in SAS Enterprise Miner: scatter plots Visualization of association rules in MineSet Visualization of a decision tree in MineSet Visualization of cluster groupings in IBM Intelligent Miner 數據挖掘過程可視化 交互式的可視化挖掘 II. 數據挖掘系統(tǒng) ? 數據挖掘工具 ? 數據挖掘過程 ? 數據挖掘系統(tǒng) ? 如何選擇數據挖掘系統(tǒng) ? 數據挖掘系統(tǒng)發(fā)展趨勢 A. 數據挖掘工具 ? 目前，世界上比較有影響的典型數據挖掘系統(tǒng)有： ? SAS公司的 Enterprise Miner ? IBM公司的 Intelligent Miner ? SGI公司的 SetMiner ? SPSS公司的 Clementine ? Sybase公司的 Warehouse Studio ? RuleQuest Research公司的 See5 ? 還有 CoverStory、 EXPLORA、 Knowledge Discovery Workbench、 DBMiner、 Quest等。 B. 數據挖掘過程 步驟 步驟名稱 描述 1 數據倉庫 Data Warehouse 數據倉庫管理用于決策支持的數據。在該步驟內，數據從操作型系統(tǒng)以及第三方