【導(dǎo)讀】–基于訓(xùn)練集形成一個(gè)模型，訓(xùn)練集中的類標(biāo)簽是已知的。–對(duì)連續(xù)性字段進(jìn)行建模和預(yù)測(cè)。果和實(shí)際值進(jìn)行比較。測(cè)試集和訓(xùn)練集是獨(dú)立的。有監(jiān)督學(xué)習(xí)(分類). 無監(jiān)督學(xué)習(xí)(聚集). –對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，消除噪音和丟失值。–對(duì)模型的可理解和解釋的程度。決策樹生成算法分成兩個(gè)步驟。開始，數(shù)據(jù)都在根節(jié)點(diǎn)。去掉一些可能是噪音或者異常的數(shù)據(jù)

　　

【正文】 星期三 Data Mining: Concepts and Techniques 84 二、數(shù)據(jù)挖掘軟件的發(fā)展 縱向的數(shù)據(jù)挖掘解決方案 （ 99年開始） – 在證券系統(tǒng)中嵌入神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)功能 – 在欺詐檢測(cè)系統(tǒng)中嵌入欺詐行為的分類 /識(shí)別模型 – 在客戶關(guān)系管理系統(tǒng)中嵌入客戶成簇 /分類功能或客戶行為分析功能 – 在機(jī)器維護(hù)系統(tǒng)中嵌入監(jiān) /檢測(cè)或識(shí)別難以定性的設(shè)備故障功能 – 在數(shù)據(jù)庫營(yíng)銷中嵌入選擇最可能購買產(chǎn)品的客戶功能 – 在機(jī)場(chǎng)管理系統(tǒng)中嵌入旅客人數(shù)預(yù)測(cè) 、 貨運(yùn)優(yōu)化功能 – 在基因分析系統(tǒng)中嵌入 DNA識(shí)別功能 – 在制造 /生產(chǎn)系統(tǒng)中嵌入質(zhì)量控制功能等 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 85 二、數(shù)據(jù)挖掘軟件的發(fā)展 縱向的數(shù)據(jù)挖掘解決方案 （ 99年開始） ?KD1（ 主要用于零售業(yè)） ?Optionsamp。Choice(主要用于保險(xiǎn)業(yè) ) ?HNC（ 欺詐行為偵測(cè)） ?Unica Model 1(主要用于市場(chǎng)營(yíng)銷 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 86 二、數(shù)據(jù)挖掘軟件的發(fā)展 綜合的數(shù)據(jù)挖掘解決方案 （復(fù)旦的工作） 各行業(yè)電子商務(wù)網(wǎng)站 算 法 層 商 業(yè) 邏 輯 層 行 業(yè) 應(yīng) 用 層 商業(yè)應(yīng)用 商業(yè)模型 挖掘算法 CRM 產(chǎn)品推薦 客戶細(xì)分 客戶流失 客戶利潤(rùn) 客戶響應(yīng) 關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析 … WEB挖掘 網(wǎng)站結(jié)構(gòu)優(yōu)化 網(wǎng)頁推薦 商品推薦 。 基因挖掘 基因表達(dá)路徑分析 基因表達(dá)相似性分析 基因表達(dá)共發(fā)生分析 。 銀行 電信 零售 保險(xiǎn) 制藥 生物信息 科學(xué)研究 。 相關(guān)行業(yè) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 87 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 情況概覽 – 2020年 9月， Amazon上關(guān)于數(shù)據(jù)挖掘的書有251本 () – 目前有數(shù)百個(gè)數(shù)據(jù)挖掘軟件產(chǎn)品（ ） – 數(shù)據(jù)挖掘應(yīng)用相對(duì)廣泛 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 88 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 2020/5/14—— 2020/5/24（ 實(shí)際） 2020/11/26—— 2020/12/9（ 預(yù)測(cè)） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 89 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀 調(diào)查報(bào)告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 90 三、數(shù)據(jù)挖掘軟件的現(xiàn)狀（ 國(guó)內(nèi)情況 ） ? 大部分處于科研階段 – 各大學(xué)和科研機(jī)構(gòu)從事數(shù)據(jù)挖掘算法的研究 – 國(guó)內(nèi)著作的數(shù)據(jù)挖掘方面的書較少（翻譯的有） – 數(shù)據(jù)挖掘討論組（ ） ? 有一些公司在國(guó)外產(chǎn)品基礎(chǔ)上開發(fā)的特定的應(yīng)用 – IBM Intelligent Miner – SAS Enterprise Miner ? 自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)挖掘軟件 – 復(fù)旦德門（ ） 等 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 91 四、數(shù)據(jù)挖掘應(yīng)用 調(diào)查報(bào)告（ ） 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 92 四、數(shù)據(jù)挖掘應(yīng)用 ? 銀行 – 美國(guó)銀行家協(xié)會(huì) (ABA)預(yù)測(cè)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)在美國(guó)商業(yè)銀行的應(yīng)用增長(zhǎng)率是 ％。 – 分析客戶使用分銷渠道的情況和分銷渠道的容量 ；建立利潤(rùn)評(píng)測(cè)模型；客戶關(guān)系優(yōu)化；風(fēng)險(xiǎn)控制等 ? 電子商務(wù) – 網(wǎng)上商品推薦；個(gè)性化網(wǎng)頁；自適應(yīng)網(wǎng)站 … ? 生物制藥、基因研究 – DNA序列查詢和匹配； 識(shí)別基因序列的共發(fā)生性 … ? 電信 – 欺詐甄別；客戶流失 … ? 保險(xiǎn)、零售。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險(xiǎn)客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲(chǔ)蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動(dòng)物基因 特殊群體基因 ?基因序列 ?基因表達(dá)譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國(guó)內(nèi)地市場(chǎng)規(guī)模未來五年內(nèi)將達(dá)百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應(yīng)用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術(shù)的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應(yīng)用面已經(jīng)擴(kuò)充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達(dá)到數(shù)十億元的盈利？ – 是一種增值服務(wù)（ Not breadandbutter） – 不能認(rèn)為高不可攀，所以不去過問 – 是一門年輕的技術(shù)，需要和實(shí)際結(jié)合，解決現(xiàn)實(shí)問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應(yīng)用 國(guó)內(nèi)應(yīng)用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務(wù)模型構(gòu)建困難 ? 缺少有經(jīng)驗(yàn)的實(shí)施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Ine$40K Q Q Q Q I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神經(jīng)網(wǎng)絡(luò) Neural Networks 聚類分析 Clustering Open Ac’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 決策樹 Decision Trees ? 傾向性分析 ? 客戶保留 ? 客戶生命周期管理 ? 目標(biāo)市場(chǎng) ? 價(jià)格彈性分析 ? 客戶細(xì)分 ? 市場(chǎng)細(xì)分 ? 傾向性分析 ? 客戶保留 ? 目標(biāo)市場(chǎng) ? 欺詐檢測(cè) 關(guān)聯(lián)分析 Association ? 市場(chǎng)組合分析 ? 套裝產(chǎn)品分析 ? 目錄設(shè)計(jì) ? 交叉銷售 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 97 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 ? 聚集（ Cluster） – 聚集是把整個(gè)數(shù)據(jù)庫分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。 – 常用技術(shù)：神經(jīng)元網(wǎng)絡(luò)、 K均值、最近鄰 … 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 98 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 ? 異常檢測(cè) – 及時(shí)發(fā)現(xiàn)有欺詐嫌疑的異常行為，正確進(jìn)行欺詐問題的評(píng)估，對(duì)欺詐者實(shí)施控制和強(qiáng)制措施。 – 技術(shù)：決策樹，神經(jīng)元網(wǎng)絡(luò)，異常因子 LOF檢測(cè) 客戶消費(fèi)異常行為分析模型 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 99 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 ? 客戶分析業(yè)務(wù)模型 – 交叉銷售 – 客戶響應(yīng) – 客戶流失 – 客戶利潤(rùn) ? 信用卡分析業(yè)務(wù)模型 – 客戶信用等級(jí)評(píng)估 – 客戶透支分析 – 客戶利潤(rùn)分析 – 客戶消費(fèi)行為分析 – 客戶消費(fèi)異常行為分析 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 100 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 MIS ERP CRM E_Business CDW 客戶數(shù)據(jù)倉庫 數(shù)據(jù)挖掘 算法庫 模型庫 組件庫 產(chǎn)品推薦 客戶細(xì)分 客戶流失 客戶利潤(rùn) 客戶響應(yīng) … 行業(yè)應(yīng)用 知識(shí) CIAS應(yīng)用服務(wù)器 信息系統(tǒng) 行業(yè)分析 數(shù)據(jù)挖掘應(yīng)用平臺(tái) CIAS 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 101 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 客戶響應(yīng)模型 — 基本概念 ? 響應(yīng)率分析 : – 分析客戶對(duì)某種新服務(wù)或者新產(chǎn)品的感興趣情況 . ? 為什么要進(jìn)行響應(yīng)率分析 : – 通過響應(yīng)率分析能夠有效的降低市場(chǎng)推廣的費(fèi)用 ,同時(shí)能夠更加有針對(duì)性的面對(duì)目標(biāo)市場(chǎng) .達(dá)到以最小的投入獲得最佳效果的目的 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 102 四、數(shù)據(jù)挖掘應(yīng)用 業(yè)務(wù)建摸 用哪一種數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)？ ? 響應(yīng)率分析是為了對(duì)某項(xiàng)市場(chǎng)營(yíng)銷（新產(chǎn)品銷售）活動(dòng)找到最合適的響應(yīng)客戶，需要預(yù)測(cè)哪些客戶能夠響應(yīng)，以及響應(yīng)的可能性是多少。 ? 因此，需要構(gòu)建預(yù)言模型 ? 分類是預(yù)言模型的一種技術(shù)，可以利用分類技術(shù)構(gòu)建客戶響應(yīng)率模型 – 決策樹 – 神經(jīng)網(wǎng)絡(luò) – 貝葉斯分類 –… 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 103 五、數(shù)據(jù)挖掘未來發(fā)展 ? 與數(shù)據(jù)庫數(shù)據(jù)倉庫系統(tǒng)集成 ? 與預(yù)言模型系統(tǒng)集成 ? 挖掘各種復(fù)雜類型的數(shù)據(jù) ? 與應(yīng)用相結(jié)合 ? 研制和開發(fā)數(shù)據(jù)挖掘標(biāo)準(zhǔn) ? 支持移動(dòng)環(huán)境 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 104 聯(lián)系方式 朱揚(yáng)勇 202033上海邯鄲路 220號(hào) 復(fù)旦大學(xué)計(jì)算機(jī)與信息技術(shù)系 02165555410, 13601675231 謝 謝！