【正文】 相關(guān)行業(yè) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 87 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 情況概覽 – 2020年 9月， Amazon上關(guān)于數(shù)據(jù)挖掘的書有251本 () – 目前有數(shù)百個數(shù)據(jù)挖掘軟件產(chǎn)品（ ） – 數(shù)據(jù)挖掘應(yīng)用相對廣泛 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 88 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 2020/5/14—— 2020/5/24（ 實(shí)際） 2020/11/26—— 2020/12/9（ 預(yù)測） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 89 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 調(diào)查報告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 90 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀（ 國內(nèi)情況 ） ? 大部分處于科研階段 – 各大學(xué)和科研機(jī)構(gòu)從事數(shù)據(jù)挖掘算法的研究 – 國內(nèi)著作的數(shù)據(jù)挖掘方面的書較少（翻譯的有） – 數(shù)據(jù)挖掘討論組（ ） ? 有一些公司在國外產(chǎn)品基礎(chǔ)上開發(fā)的特定的應(yīng)用 – IBM Intelligent Miner – SAS Enterprise Miner ? 自主知識產(chǎn)權(quán)的數(shù)據(jù)挖掘軟件 – 復(fù)旦德門（ ） 等 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 91 四、數(shù)據(jù)挖掘應(yīng)用 調(diào)查報告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 92 四、數(shù)據(jù)挖掘應(yīng)用 ? 銀行 – 美國銀行家協(xié)會 (ABA)預(yù)測數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)在美國商業(yè)銀行的應(yīng)用增長率是 ％。 – 這類軟件要求用戶對具體的算法和數(shù)據(jù)挖掘技術(shù)有相當(dāng)?shù)牧私?，還要負(fù)責(zé)大量的數(shù)據(jù)預(yù)處理工作。或超過預(yù)先指定的周期數(shù) . ? 防止訓(xùn)練過度 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 54 神經(jīng)網(wǎng)絡(luò)的解釋 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 55 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 56 解釋過程 ? 對隱藏節(jié)點(diǎn)進(jìn)行聚類 ,對于所有給定的輸入 ,輸出值分成幾個類 . ? 導(dǎo)出與輸出節(jié)點(diǎn) O的一系列規(guī)則 ? 導(dǎo)出與輸入節(jié)點(diǎn) I的一系列規(guī)則 ? 得到關(guān)于輸入和輸出的規(guī)則 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 57 靈敏度分析 ? 用于評估一個給定的變量對網(wǎng)絡(luò)輸出的影響 .改變該變量的輸入 ,其他變量固定 ,監(jiān)測網(wǎng)絡(luò)的輸出 . ? 得到的規(guī)則形如 :IF X 減少 5%, THEN Y 增加 8%的規(guī)則 . 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 58 基于關(guān)聯(lián)規(guī)則的分類 其他分類方法 K最臨近分類 基于案例的推理 遺傳算法 粗糙集算法 模糊集算法 預(yù)測 線性回歸和多元回歸 非線性回歸 其他回歸模型 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 59 分類法的準(zhǔn)確性 評估分類法的準(zhǔn)確率 提高分類法的準(zhǔn)確率 準(zhǔn)確率足夠判定分類法？ 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 60 第七章：分類和預(yù)測 什么是分類？什么是預(yù)測 關(guān)于分類和預(yù)測的一些問題 使用決策樹進(jìn)行分類 貝葉斯分類 （向后傳播分類）帶回饋的分類 基于關(guān)聯(lián)規(guī)則的分類 其他分類方法 預(yù)測 分類法的準(zhǔn)確性 總結(jié) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 61 主講人 朱揚(yáng)勇 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 62 一、數(shù)據(jù)挖掘概念 定義 數(shù)據(jù)挖掘 從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)， 是統(tǒng)計學(xué)、數(shù)據(jù)庫技術(shù)和人工智能技術(shù)的綜合。P(hot|n)P(high|p) 數(shù)值字段：類標(biāo)簽、頻率 187。 ? 在數(shù)據(jù)挖掘中為什么使用決策樹 ? – 相對比較快的學(xué)習(xí)速度 (和其它學(xué)習(xí)方法比較來說 ) – 能夠轉(zhuǎn)換成容易理解的分類規(guī)則 – 能夠使用 SQL語句查詢數(shù)據(jù)庫 – 分類的準(zhǔn)確率也不差 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 24 Scalable Decision Tree Induction 數(shù)據(jù)挖掘中提出的方法 ? SLIQ (EDBT’96 — Mehta et al.) ? SPRINT (VLDB’96 — J. Shafer et al.) ? PUBLIC (VLDB’98 — Rastogi amp。 – 提供一組屬性，然后尋找出訓(xùn)練集中存在類別或者聚集。使用該模型對新的數(shù)據(jù)進(jìn)行分類 預(yù)測 : – 對連續(xù)性字段進(jìn)行建模和預(yù)測。 ? 測試集和訓(xùn)練集是獨(dú)立的。 那么這個分割的Gini就是 ? 提供最小 Ginisplit 就被選擇作為分割的標(biāo)準(zhǔn) (對于每個屬性都要遍歷所有可以的分割方法 ). ???? nj p jTgini 1 21)()()()( 2211 Tg i n iNNTg i n iNNTg i n i s p l i t ??2020年 9月 16日星期三 Data Mining: Concepts and Techniques 18 幾種經(jīng)典算法介紹 ? CART min(P(c1),P(c2)) 2P(c1)P(c2) [P(c1)logP(c1)]+[P(c2)logP(c2)] (ID3) ? (ID3) ? 對種類字段處理時，缺省是對每個值作為一個分割 ? Gain和 Gain Ratio ? CHAID ? 在 Overfitting前停止樹的生成 ? 必須都是種類字段 ? 選擇分割。 類標(biāo)簽 187。P(xk|C) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 37 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 38 ? 樣本 X = rain, hot, high, false ? P(X|p)6/94/5 – 第四代軟件能夠挖掘嵌入式系統(tǒng)、移動系統(tǒng)、和普遍存在（ ubiquitous） 計算設(shè)備產(chǎn)生的各種類型的數(shù)據(jù) 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報導(dǎo)， PKDD2020上 Kargupta發(fā)表了一篇在移動環(huán)境下挖掘決策樹的論文， Kargupta是馬里蘭巴爾的摩州立大學(xué)（ University of Maryland Baltimore County） 正在研制的 CAREER數(shù)據(jù)挖掘項目的負(fù)責(zé)人，該項目研究期限是 2020年 4月到 2020年 4月，目的是開發(fā)挖掘分布式和異質(zhì)數(shù)據(jù)（ Ubiquitous設(shè)備）的第四代數(shù)據(jù)挖掘系統(tǒng)。Choice(主要用于保險業(yè) ) ?HNC（ 欺詐行為偵測） ?Unica Model 1(主要用于市場營銷 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 86 二、數(shù)據(jù)挖掘軟件的發(fā)展 綜合的數(shù)據(jù)挖掘解決方案 （復(fù)旦的工作） 各行業(yè)電子商務(wù)網(wǎng)站 算 法 層 商 業(yè) 邏 輯 層 行 業(yè) 應(yīng) 用 層 商業(yè)應(yīng)用 商業(yè)模型 挖掘算法 CRM 產(chǎn)品推薦 客戶細(xì)分 客戶流失 客戶利潤 客戶響應(yīng) 關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析 … WEB挖掘 網(wǎng)站結(jié)構(gòu)優(yōu)化 網(wǎng)頁推薦 商品推薦 。 – 常用技術(shù)：神經(jīng)元網(wǎng)絡(luò)、 K均值、最近鄰 … 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 98 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 ? 異常檢測 – 及時發(fā)現(xiàn)有欺詐嫌疑的異常行為，正確進(jìn)行欺詐問題的評估，對欺詐者實(shí)施控制和強(qiáng)制措施。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動物基因 特殊群體基因 ?基因序列 ?基因表達(dá)譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國內(nèi)地市場規(guī)模未來五年內(nèi)將達(dá)百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應(yīng)用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術(shù)的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應(yīng)用面已經(jīng)擴(kuò)充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達(dá)到數(shù)十億元的盈利？ – 是一種增值服務(wù)（ Not breadandbutter） – 不能認(rèn)為高不可攀，所以不去過問 – 是一門年輕的技術(shù)，需要和實(shí)際結(jié)合，解決現(xiàn)實(shí)問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應(yīng)用 國內(nèi)應(yīng)用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務(wù)模型構(gòu)建困難 ? 缺少有經(jīng)驗的實(shí)施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks