【正文】 ? 因此，需要構(gòu)建預言模型 ? 分類是預言模型的一種技術(shù)，可以利用分類技術(shù)構(gòu)建客戶響應率模型 – 決策樹 – 神經(jīng)網(wǎng)絡(luò) – 貝葉斯分類 –… 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 103 五、數(shù)據(jù)挖掘未來發(fā)展 ? 與數(shù)據(jù)庫數(shù)據(jù)倉庫系統(tǒng)集成 ? 與預言模型系統(tǒng)集成 ? 挖掘各種復雜類型的數(shù)據(jù) ? 與應用相結(jié)合 ? 研制和開發(fā)數(shù)據(jù)挖掘標準 ? 支持移動環(huán)境 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 104 聯(lián)系方式 朱揚勇 202033上海邯鄲路 220號 復旦大學計算機與信息技術(shù)系 02165555410, 13601675231 謝 謝！ 。 – 常用技術(shù)：神經(jīng)元網(wǎng)絡(luò)、 K均值、最近鄰 … 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 98 四、數(shù)據(jù)挖掘應用 業(yè)務(wù)建摸 ? 異常檢測 – 及時發(fā)現(xiàn)有欺詐嫌疑的異常行為，正確進行欺詐問題的評估，對欺詐者實施控制和強制措施。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 93 四、數(shù)據(jù)挖掘應用 數(shù)據(jù)挖掘 客 戶 分 析 析 基 分 因 其他 保險客戶 證券客戶 銀行客戶 電信客戶 零售客戶 ?信用卡 ?儲蓄卡 ?存折 ?按揭 ?借貸 人類基因 植物基因 動物基因 特殊群體基因 ?基因序列 ?基因表達譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘中國內(nèi)地市場規(guī)模未來五年內(nèi)將達百億 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 94 四、數(shù)據(jù)挖掘應用 為什么沒有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 – 技術(shù)的研究和開發(fā)已經(jīng)走在很前沿的地方 – 數(shù)據(jù)挖掘應用面已經(jīng)擴充了很多 ? 但是仍然沒有希望的高，為什么？ – 希望在多少年內(nèi)達到數(shù)十億元的盈利？ – 是一種增值服務(wù)（ Not breadandbutter） – 不能認為高不可攀，所以不去過問 – 是一門年輕的技術(shù)，需要和實際結(jié)合，解決現(xiàn)實問題 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 95 四、數(shù)據(jù)挖掘應用 國內(nèi)應用存在的問題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務(wù)模型構(gòu)建困難 ? 缺少有經(jīng)驗的實施者 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 96 四、數(shù)據(jù)挖掘應用 業(yè)務(wù)建摸 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Ine$40K Q Q Q Q I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神經(jīng)網(wǎng)絡(luò) Neural Networks 聚類分析 Clustering Open Ac’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 決策樹 Decision Trees ? 傾向性分析 ? 客戶保留 ? 客戶生命周期管理 ? 目標市場 ? 價格彈性分析 ? 客戶細分 ? 市場細分 ? 傾向性分析 ? 客戶保留 ? 目標市場 ? 欺詐檢測 關(guān)聯(lián)分析 Association ? 市場組合分析 ? 套裝產(chǎn)品分析 ? 目錄設(shè)計 ? 交叉銷售 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 97 四、數(shù)據(jù)挖掘應用 業(yè)務(wù)建摸 ? 聚集（ Cluster） – 聚集是把整個數(shù)據(jù)庫分成不同的群組。 – 分析客戶使用分銷渠道的情況和分銷渠道的容量 ；建立利潤評測模型；客戶關(guān)系優(yōu)化；風險控制等 ? 電子商務(wù) – 網(wǎng)上商品推薦；個性化網(wǎng)頁；自適應網(wǎng)站 … ? 生物制藥、基因研究 – DNA序列查詢和匹配； 識別基因序列的共發(fā)生性 … ? 電信 – 欺詐甄別；客戶流失 … ? 保險、零售。 銀行 電信 零售 保險 制藥 生物信息 科學研究 。Choice(主要用于保險業(yè) ) ?HNC（ 欺詐行為偵測） ?Unica Model 1(主要用于市場營銷 ) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 86 二、數(shù)據(jù)挖掘軟件的發(fā)展 綜合的數(shù)據(jù)挖掘解決方案 （復旦的工作） 各行業(yè)電子商務(wù)網(wǎng)站 算 法 層 商 業(yè) 邏 輯 層 行 業(yè) 應 用 層 商業(yè)應用 商業(yè)模型 挖掘算法 CRM 產(chǎn)品推薦 客戶細分 客戶流失 客戶利潤 客戶響應 關(guān)聯(lián)規(guī)則、序列模式、分類、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析 … WEB挖掘 網(wǎng)站結(jié)構(gòu)優(yōu)化 網(wǎng)頁推薦 商品推薦 。 – 隨著數(shù)據(jù)量的增加，需要利用數(shù)據(jù)庫或者數(shù)據(jù)倉庫技術(shù)進行管理，所以數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)庫和數(shù)據(jù)倉庫結(jié)合是自然的發(fā)展。比如 ， 平行坐標可視化（ parallelcoordinate visualization）。 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報導 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 78 二、數(shù)據(jù)挖掘軟件的發(fā)展 數(shù)據(jù)挖掘軟件發(fā)展的三個階段 ? 獨立的數(shù)據(jù)挖掘軟件 ? 橫向的數(shù)據(jù)挖掘工具集 ? 縱向的數(shù)據(jù)挖掘解決方案 Gregory PiatetskyShapiro的觀點 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 79 二、數(shù)據(jù)挖掘軟件的發(fā)展 獨立的數(shù)據(jù)挖掘軟件 （ 95年以前） ? 特點 – 獨立的數(shù)據(jù)挖掘軟件對應第一代系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術(shù)發(fā)展早期，研究人員開發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個軟件。 – 第四代軟件能夠挖掘嵌入式系統(tǒng)、移動系統(tǒng)、和普遍存在（ ubiquitous） 計算設(shè)備產(chǎn)生的各種類型的數(shù)據(jù) 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見報導， PKDD2020上 Kargupta發(fā)表了一篇在移動環(huán)境下挖掘決策樹的論文， Kargupta是馬里蘭巴爾的摩州立大學（ University of Maryland Baltimore County） 正在研制的 CAREER數(shù)據(jù)挖掘項目的負責人，該項目研究期限是 2020年 4月到 2020年 4月，目的是開發(fā)挖掘分布式和異質(zhì)數(shù)據(jù)（ Ubiquitous設(shè)備）的第四代數(shù)據(jù)挖掘系統(tǒng)。 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 70 二、數(shù)據(jù)挖掘軟件的發(fā)展 第一代數(shù)據(jù)挖掘軟件 CBA 新加坡國立大學。 ?數(shù)據(jù)挖掘與統(tǒng)計學 ?數(shù)據(jù)挖掘與人工智能 ?數(shù)據(jù)挖掘與數(shù)據(jù)庫技術(shù) 數(shù)據(jù)挖掘與 KDD 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 63 一、數(shù)據(jù)挖掘概念 原由 國民經(jīng)濟和社會的信息化 ?社會信息化后，社會的運轉(zhuǎn)是軟件的運轉(zhuǎn) ?社會信息化后，社會的歷史是數(shù)據(jù)的歷史 因此政府提出 “信息化”和“發(fā)展軟件產(chǎn)業(yè)” 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 64 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)挖掘 數(shù)據(jù)庫越來越大 有價值的知識 可怕的數(shù)據(jù) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 65 一、數(shù)據(jù)挖掘概念 原由 數(shù)據(jù)爆炸，知識貧乏 苦惱 : 淹沒在數(shù)據(jù)中 。5/14 = ? 樣本 X 分配給 類 n (don’t play) 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 39 貝葉斯網(wǎng)絡(luò) ? 樸素貝葉斯算法假定類條件獨立 ,當假定成立時 ,該算法是最精確的 .然而實踐中 ,變量之間的依賴可能存在 . ? 貝葉斯網(wǎng)絡(luò)解決了這個問題 ,它包括兩部分 ,有向無環(huán)圖和條件概率表 (CPT). 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 40 貝葉斯信念網(wǎng)絡(luò) Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea LC ~LC (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) 有向無環(huán)圖 The conditional probability table for the variable LungCancer 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 41 ? 一旦 FamilyHistory和 Smoker確定 ,LungCancer就確定和其他的無關(guān) . P(LungCancer=―yes‖| FamilyHistory=―yes‖ Smoker=―yes‖)= P(LungCancer=―no‖| FamilyHistory=―no‖ Smoker=―no‖)= 2020年 9月 16日星期三 Data Mining: Concepts and Techniques 42 訓練貝葉斯網(wǎng)絡(luò) ? 梯度 ? 其中 s個訓練樣本 X1,…Xs,Wijk表示具有雙親 Ui=uik的變量 Yi=yij的 CPT項 .比如 Yi是LungCancer,yij是其值 “ yes‖,Ui列出 Yi的雙親 (FH,S),uik是其值 (―yes‖,‖yes‖) 2020年 9月 16日星期三 Data Mining: Concepts an