【正文】 相關行業(yè) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 87 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 情況概覽 – 2020年 9月， Amazon上關于數(shù)據(jù)挖掘的書有251本 () – 目前有數(shù)百個數(shù)據(jù)挖掘軟件產(chǎn)品（ ） – 數(shù)據(jù)挖掘應用相對廣泛 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 88 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 2020/5/14—— 2020/5/24（ 實際） 2020/11/26—— 2020/12/9（ 預測） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 89 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 調(diào)查報告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 90 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀（ 國內(nèi)情況 ） ? 大部分處于科研階段 – 各大學和科研機構從事數(shù)據(jù)挖掘算法的研究 – 國內(nèi)著作的數(shù)據(jù)挖掘方面的書較少（翻譯的有） – 數(shù)據(jù)挖掘討論組（ ） ? 有一些公司在國外產(chǎn)品基礎上開發(fā)的特定的應用 – IBM Intelligent Miner – SAS Enterprise Miner ? 自主知識產(chǎn)權的數(shù)據(jù)挖掘軟件 – 復旦德門（ ） 等 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 91 四、數(shù)據(jù)挖掘應用 調(diào)查報告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 92 四、數(shù)據(jù)挖掘應用 ? 銀行 – 美國銀行家協(xié)會 (ABA)預測數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術在美國商業(yè)銀行的應用增長率是 ％。 – 這類軟件要求用戶對具體的算法和數(shù)據(jù)挖掘技術有相當?shù)牧私?，還要負責大量的數(shù)據(jù)預處理工作?；虺^預先指定的周期數(shù) . ? 防止訓練過度 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 54 神經(jīng)網(wǎng)絡的解釋 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 55 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 56 解釋過程 ? 對隱藏節(jié)點進行聚類 ,對于所有給定的輸入 ,輸出值分成幾個類 . ? 導出與輸出節(jié)點 O的一系列規(guī)則 ? 導出與輸入節(jié)點 I的一系列規(guī)則 ? 得到關于輸入和輸出的規(guī)則 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 57 靈敏度分析 ? 用于評估一個給定的變量對網(wǎng)絡輸出的影響 .改變該變量的輸入 ,其他變量固定 ,監(jiān)測網(wǎng)絡的輸出 . ? 得到的規(guī)則形如 :IF X 減少 5%, THEN Y 增加 8%的規(guī)則 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 58 基于關聯(lián)規(guī)則的分類 其他分類方法 K最臨近分類 基于案例的推理 遺傳算法 粗糙集算法 模糊集算法 預測 線性回歸和多元回歸 非線性回歸 其他回歸模型 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 59 分類法的準確性 評估分類法的準確率 提高分類法的準確率 準確率足夠判定分類法？ 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 60 第七章：分類和預測 什么是分類？什么是預測 關于分類和預測的一些問題 使用決策樹進行分類 貝葉斯分類 （向后傳播分類）帶回饋的分類 基于關聯(lián)規(guī)則的分類 其他分類方法 預測 分類法的準確性 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 61 主講人 朱揚勇 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 62 一、數(shù)據(jù)挖掘概念 定義 數(shù)據(jù)挖掘 從大量數(shù)據(jù)中尋找其規(guī)律的技術， 是統(tǒng)計學、數(shù)據(jù)庫技術和人工智能技術的綜合。P(hot|n)P(high|p) 數(shù)值字段：類標簽、頻率 187。 ? 在數(shù)據(jù)挖掘中為什么使用決策樹 ? – 相對比較快的學習速度 (和其它學習方法比較來說 ) – 能夠轉(zhuǎn)換成容易理解的分類規(guī)則 – 能夠使用 SQL語句查詢數(shù)據(jù)庫 – 分類的準確率也不差 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 24 Scalable Decision Tree Induction 數(shù)據(jù)挖掘中提出的方法 ? SLIQ (EDBT’96 — Mehta et al.) ? SPRINT (VLDB’96 — J. Shafer et al.) ? PUBLIC (VLDB’98 — Rastogi amp。 – 提供一組屬性，然后尋找出訓練集中存在類別或者聚集。使用該模型對新的數(shù)據(jù)進行分類 預測 : – 對連續(xù)性字段進行建模和預測。 ? 測試集和訓練集是獨立的。 那么這個分割的Gini就是 ? 提供最小 Ginisplit 就被選擇作為分割的標準 (對于每個屬性都要遍歷所有可以的分割方法 ). ???? nj p jTgini 1 21)()()()( 2211 Tg i n iNNTg i n iNNTg i n i s p l i t ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 18 幾種經(jīng)典算法介紹 ? CART min(P(c1),P(c2)) 2P(c1)P(c2) [P(c1)logP(c1)]+[P(c2)logP(c2)] (ID3) ? (ID3) ? 對種類字段處理時，缺省是對每個值作為一個分割 ? Gain和 Gain Ratio ? CHAID ? 在 Overfitting前停止樹的生成 ? 必須都是種類字段 ? 選擇分割。 類標簽 187。P(xk|C) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 37 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 38 ? 樣本 X = rain, hot, high, false ? P(X|p)6/94/5 – 第四代軟件能夠挖掘嵌入式系統(tǒng)、移動系統(tǒng)、和普遍存在（ ubiquitous） 計算設備產(chǎn)生的各種類型的數(shù)據(jù) 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報導， PKDD2020上 Kargupta發(fā)表了一篇在移動環(huán)境下挖掘決策樹的論文， Kargupta是馬里蘭巴爾的摩州立大學（ University of Maryland Baltimore County） 正在研制的 CAREER數(shù)據(jù)挖掘項目的負責人，該項目研究期限是 2020年 4月到 2020年 4月，目的是開發(fā)挖掘分布式和異質(zhì)數(shù)據(jù)（ Ubiquitous設備）的第四代數(shù)據(jù)挖掘系統(tǒng)。Choice(主要用于保險業(yè) ) ?HNC（ 欺詐行為偵測） ?Unica Model 1(主要用于市場營銷 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 86 二、數(shù)據(jù)挖掘軟件的發(fā)展 綜合的數(shù)據(jù)挖掘解決方案 （復旦的工作） 各行業(yè)電子商務網(wǎng)站 算 法 層 商 業(yè) 邏 輯 層 行 業(yè) 應 用 層 商業(yè)應用 商業(yè)模型 挖掘算法 CRM 產(chǎn)品推薦 客戶細分 客戶流失 客戶利潤 客戶響應 關聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡、偏差分析 … WEB挖掘 網(wǎng)站結(jié)構優(yōu)化 網(wǎng)頁推薦 商品推薦 。 – 常用技術：神經(jīng)元網(wǎng)絡、 K均值、最近鄰 … 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 98 四、數(shù)據(jù)挖掘應用 業(yè)務建摸 ? 異常檢測 – 及時發(fā)現(xiàn)有欺詐嫌疑的異常行為，正確進行欺詐問題的評估，對欺詐者實施控制和強制措施。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動物基因 特殊群體基因 ?基因序列 ?基因表達譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國內(nèi)地市場規(guī)模未來五年內(nèi)將達百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應用面已經(jīng)擴充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達到數(shù)十億元的盈利？ – 是一種增值服務（ Not breadandbutter） – 不能認為高不可攀，所以不去過問 – 是一門年輕的技術，需要和實際結(jié)合，解決現(xiàn)實問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應用 國內(nèi)應用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務模型構建困難 ? 缺少有經(jīng)驗的實施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應用 業(yè)務建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks