【正文】 代數(shù)據(jù)挖掘系統(tǒng)，比如 IBM Intelligent Score Service。第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見(jiàn)報(bào)導(dǎo) 數(shù)據(jù)挖掘軟件的發(fā)展 數(shù)據(jù)挖掘軟件發(fā)展的三個(gè)階段 ? 獨(dú)立的數(shù)據(jù)挖掘軟件 ? 橫向的數(shù)據(jù)挖掘工具集 ? 縱向的數(shù)據(jù)挖掘解決方案 數(shù)據(jù)挖掘軟件的發(fā)展 獨(dú)立的數(shù)據(jù)挖掘軟件（ 95年以前） ? 特點(diǎn) ? 獨(dú)立的數(shù)據(jù)挖掘軟件對(duì)應(yīng)第一代系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術(shù)發(fā)展早期，研究人員開(kāi)發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個(gè)軟件。 ? 這類(lèi)軟件要求用戶(hù)對(duì)具體的算法和數(shù)據(jù)挖掘技術(shù)有相當(dāng)?shù)牧私猓€要負(fù)責(zé)大量的數(shù)據(jù)預(yù)處理工作。比如 ，平行坐標(biāo)可視化（ parallelcoordinate visualization）。 數(shù)據(jù)挖掘軟件的發(fā)展 橫向的數(shù)據(jù)挖掘工具集（ 95年開(kāi)始） ? 發(fā)展原因 ? 隨著數(shù)據(jù)挖掘應(yīng)用的發(fā)展，人們逐漸認(rèn)識(shí)到數(shù)據(jù)挖掘軟件需要和以下三個(gè)方面緊密結(jié)合： 1）數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)； 2）多種類(lèi)型的數(shù)據(jù)挖掘算法； 3）數(shù)據(jù)清洗、轉(zhuǎn)換等預(yù)處理工作。 ? 隨著數(shù)據(jù)量的增加，需要利用數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)技術(shù)進(jìn)行管理，所以數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)結(jié)合是自然的發(fā)展。 ? 現(xiàn)實(shí)領(lǐng)域的問(wèn)題是多種多樣的，一種或少數(shù)數(shù)據(jù)挖掘算法難以解決 ? 挖掘的數(shù)據(jù)通常不符合算法的要求，需要有數(shù)據(jù)清洗、轉(zhuǎn)換等數(shù)據(jù)預(yù)處理的配合，才能得出有價(jià)值的模型 數(shù)據(jù)挖掘軟件的發(fā)展 橫向的數(shù)據(jù)挖掘工具集（ 95年開(kāi)始） ? 發(fā)展過(guò)程 ? 隨著這些需求的出現(xiàn)， 1995年左右軟件開(kāi)發(fā)商開(kāi)始提供稱(chēng)之為 “ 工具集 ” 的數(shù)據(jù)挖掘軟件 ? 特點(diǎn) ? 此類(lèi)工具集的特點(diǎn)是提供多種數(shù)據(jù)挖掘算法 ? 包括數(shù)據(jù)的轉(zhuǎn)換和可視化 ? 由于此類(lèi)工具并非面向特定的應(yīng)用，是通用的算法集合，可以稱(chēng)之為橫向的數(shù)據(jù)挖掘工具（ Horizontal Data Mining Tools） ? 由于此類(lèi)工具并非面向特定的應(yīng)用，是通用的算法集合，所以 稱(chēng)之為橫向的數(shù)據(jù)挖掘工具 ? 典型的橫向工具有 IBM Intelligent Miner、 SPSS的Clementine、 SAS的 Enterprise Miner、 SGI的 MineSet、Oracle Darwin等 數(shù)據(jù)挖掘軟件的發(fā)展 橫向的數(shù)據(jù)挖掘工具集（ 95年開(kāi)始） ?IBM Intelligent Miner ?SPSS的 Clementine ?SAS的 Enterprise Miner ?SGI的 MineSet ?Oracle Darwin 數(shù)據(jù)挖掘軟件的發(fā)展 縱向的數(shù)據(jù)挖掘解決方案（ 99年開(kāi)始） ? 發(fā)展原因 ? 隨著橫向的數(shù)據(jù)挖掘工具的使用日漸廣泛，人們也發(fā)現(xiàn)這類(lèi)工具只有精通數(shù)數(shù)據(jù)挖掘算法的專(zhuān)家才能熟練使用，如果對(duì)算法不了解，難以得出好的模型 ? 從 1999年開(kāi)始，大量的數(shù)據(jù)挖掘工具研制者開(kāi)始提供縱向的數(shù)據(jù)挖掘解決方案（ Vertical Solution），即針對(duì)特定的應(yīng)用提供完整的數(shù)據(jù)挖掘方案 ? 對(duì)于縱向的解決方案，數(shù)據(jù)挖掘技術(shù)的應(yīng)用多數(shù)還是為了解決某些特定的難題，而嵌入在應(yīng)用系統(tǒng)中 數(shù)據(jù)挖掘軟件的發(fā)展 縱向的數(shù)據(jù)挖掘解決方案（ 99年開(kāi)始） ? 在證券系統(tǒng)中嵌入神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)功能 ? 在欺詐檢測(cè)系統(tǒng)中嵌入欺詐行為的分類(lèi) /識(shí)別模型 ? 在客戶(hù)關(guān)系管理系統(tǒng)中嵌入客戶(hù)成簇 /分類(lèi)功能或客戶(hù)行為分析功能 ? 在機(jī)器維護(hù)系統(tǒng)中嵌入監(jiān) /檢測(cè)或識(shí)別難以定性的設(shè)備故障功能 ? 在數(shù)據(jù)庫(kù)營(yíng)銷(xiāo)中嵌入選擇最可能購(gòu)買(mǎi)產(chǎn)品的客戶(hù)功能 ? 在機(jī)場(chǎng)管理系統(tǒng)中嵌入旅客人數(shù)預(yù)測(cè) 、 貨運(yùn)優(yōu)化功能 ? 在基因分析系統(tǒng)中嵌入 DNA識(shí)別功能 ? 在制造 /生產(chǎn)系統(tǒng)中嵌入質(zhì)量控制功能等 數(shù)據(jù)挖掘軟件的發(fā)展 縱向的數(shù)據(jù)挖掘解決方案（ 99年開(kāi)始） ?KD1（主要用于零售業(yè)） ?Optionsamp。Choice(主要用于保險(xiǎn)業(yè) ) ?HNC（欺詐行為偵測(cè)） ?Unica Model 1(主要用于市場(chǎng)營(yíng)銷(xiāo) ) 數(shù)據(jù)挖掘軟件的發(fā)展 各行業(yè)電子商務(wù)網(wǎng)站 算 法 層 商 業(yè) 邏 輯 層 行 業(yè) 應(yīng) 用 層 商業(yè)應(yīng)用 商業(yè)模型 挖掘算法 CRM 產(chǎn)品推薦 客戶(hù)細(xì)分 客戶(hù)流失 客戶(hù)利潤(rùn) 客戶(hù)響應(yīng) 關(guān)聯(lián)規(guī)則、序列模式、分類(lèi)、聚集、神經(jīng)元網(wǎng)絡(luò)、偏差分析 … WEB挖掘 網(wǎng)站結(jié)構(gòu)優(yōu)化 網(wǎng)頁(yè)推薦 商品推薦 。 基因挖掘 基因表達(dá)路徑分析 基因表達(dá)相似性分析 基因表達(dá)共發(fā)生分析 。 銀行 電信 零售 保險(xiǎn) 制藥 生物信息 科學(xué)研究 。 相關(guān)行業(yè) 數(shù)據(jù)挖掘軟件的現(xiàn)狀 情況概覽 ? 2022年 9月， Amazon上關(guān)于數(shù)據(jù)挖掘的書(shū)有 251本() ? 目前有數(shù)百個(gè)數(shù)據(jù)挖掘軟件產(chǎn)品（ ） ? 數(shù)據(jù)挖掘應(yīng)用相對(duì)廣泛 數(shù)據(jù)挖掘軟件的現(xiàn)狀 ? 國(guó)內(nèi)大部分處于科研階段 ? 各大學(xué)和科研機(jī)構(gòu)從事數(shù)據(jù)挖掘算法的研究 ? 國(guó)內(nèi)著作的數(shù)據(jù)挖掘方面的書(shū)較少（翻譯的有） ? 數(shù)據(jù)挖掘討論組（ ） ? 有一些公司在國(guó)外產(chǎn)品基礎(chǔ)上開(kāi)發(fā)的特定的應(yīng)用 ? IBM Intelligent Miner ? SAS Enterprise Miner ? 自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)挖掘軟件 ? 復(fù)旦德門(mén)（ ）等 八、數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘應(yīng)用 ? 銀行 ? 美國(guó)銀行家協(xié)會(huì) (ABA)預(yù)測(cè)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)在美國(guó)商業(yè)銀行的應(yīng)用增長(zhǎng)率是 ％。 ? 分析客戶(hù)使用分銷(xiāo)渠道的情況和分銷(xiāo)渠道的容量 ；建立利潤(rùn)評(píng)測(cè)模型；客戶(hù)關(guān)系優(yōu)化；風(fēng)險(xiǎn)控制等 ? 電子商務(wù) ? 網(wǎng)上商品推薦；個(gè)性化網(wǎng)頁(yè)；自適應(yīng)網(wǎng)站 … ? 生物制藥、基因研究 ? DNA序列查詢(xún)和匹配； 識(shí)別基因序列的共發(fā)生性 … ? 電信 ? 欺詐甄別；客戶(hù)流失 … ? 保險(xiǎn)、零售。 數(shù)據(jù)挖掘應(yīng)用 數(shù)據(jù)挖掘 客 戶(hù) 分 析 析 基 分 因 其他 保險(xiǎn)客戶(hù) 證券客戶(hù) 銀行客戶(hù) 電信客戶(hù) 零售客戶(hù) ?信用卡 ?儲(chǔ)蓄卡 ?存折 ?按揭 ?借貸 人類(lèi)基因 植物基因 動(dòng)物基因 特殊群體基因 ?基因序列 ?基因表達(dá)譜 ?基因功能 ?基因制藥 ………... 數(shù)據(jù)挖掘應(yīng)用 為什么沒(méi)有廣泛使用？ ? 數(shù)據(jù)挖掘正在快速的發(fā)展 ? 技術(shù)的研究和開(kāi)發(fā)已經(jīng)走在很前沿的地方 ? 數(shù)據(jù)挖掘應(yīng)用面已經(jīng)擴(kuò)充了很多 ? 但是仍然沒(méi)有希望的高，為什么？ ? 希望在多少年內(nèi)達(dá)到數(shù)十億元的盈利？ ? 是一種增值服務(wù)（ Not breadandbutter） ? 不能認(rèn)為高不可攀，所以不去過(guò)問(wèn) ? 是一門(mén)年輕的技術(shù)，需要和實(shí)際結(jié)合，解決現(xiàn)實(shí)問(wèn)題 數(shù)據(jù)挖掘應(yīng)用 國(guó)內(nèi)應(yīng)用存在的問(wèn)題 ? 數(shù)據(jù)積累不充分、不全面 ? 業(yè)務(wù)模型構(gòu)建困難 ? 缺少有經(jīng)驗(yàn)的實(shí)施者 數(shù)據(jù)挖掘應(yīng)用 Debt10% of Ine Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Ine$40K Q?Q?Q?Q?I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神經(jīng)網(wǎng)絡(luò) Neural Networks 聚類(lèi)分析 Clustering Open Ac’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 決策樹(shù) Decision Trees ? 傾向性分析 ? 客戶(hù)保留 ? 客戶(hù)生命周期管理 ? 目標(biāo)市場(chǎng) ? 價(jià)格彈性分析 ? 客戶(hù)細(xì)分 ? 市場(chǎng)細(xì)分 ? 傾向性分析 ? 客戶(hù)保留 ? 目標(biāo)市場(chǎng) ? 欺詐檢測(cè) 關(guān)聯(lián)分析 Association ? 市場(chǎng)組合分析 ? 套裝產(chǎn)品分析 ? 目錄設(shè)計(jì) ? 交叉銷(xiāo)售 數(shù)據(jù)挖掘應(yīng)用 ? 聚集（ Cluster） – 聚集是把整個(gè)數(shù)據(jù)庫(kù)分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。 – 常用技術(shù)：神經(jīng)元網(wǎng)絡(luò)、 K均值、最近鄰 … 數(shù)據(jù)挖掘應(yīng)用 ? 異常檢測(cè) – 及時(shí)發(fā)現(xiàn)有欺詐嫌疑的異常行為，正確進(jìn)行欺詐問(wèn)題的評(píng)估，對(duì)欺詐者實(shí)施控制和強(qiáng)制措施。 – 技術(shù)：決策樹(shù)，神經(jīng)元網(wǎng)絡(luò)，異常因子 LOF檢測(cè) 客戶(hù)消費(fèi)異常行為分析模型 數(shù)據(jù)挖掘應(yīng)用 ? 客戶(hù)分析業(yè)務(wù)模型 ? 交叉銷(xiāo)售 ? 客戶(hù)響應(yīng) ? 客戶(hù)流失 ? 客戶(hù)利潤(rùn) ? 信用卡分析業(yè)務(wù)模型 ? 客戶(hù)信用等級(jí)評(píng)估 ? 客戶(hù)透支分析 ? 客戶(hù)利潤(rùn)分析 ? 客戶(hù)消費(fèi)行為分析 ? 客戶(hù)消費(fèi)異常行為分析 數(shù)據(jù)挖掘應(yīng)用 MIS ERP CRM E_Business CDW 客戶(hù)數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)挖掘 算法庫(kù) 模型庫(kù) 組件庫(kù) 產(chǎn)品推薦 客戶(hù)細(xì)分 客戶(hù)流失 客戶(hù)利潤(rùn) 客戶(hù)響應(yīng) … 行業(yè)應(yīng)用 知識(shí) CIAS應(yīng)用服務(wù)器 信息系統(tǒng) 行業(yè)分析 數(shù)據(jù)挖掘應(yīng)用平臺(tái) CIAS 數(shù)據(jù)挖掘應(yīng)用 客戶(hù)響應(yīng)模型 — 基本概念 ? 響應(yīng)率分析 : ? 分析客戶(hù)對(duì)某種新服務(wù)或者新產(chǎn)品的感興趣情況 . ? 為什么要進(jìn)行響應(yīng)率分析 : ? 通過(guò)響應(yīng)率分析能夠有效的降低市場(chǎng)推廣的費(fèi)用 ,同時(shí)能夠更加有針對(duì)性的面對(duì)目標(biāo)市場(chǎng) .達(dá)到以最小的投入獲得最佳效果的目的 數(shù)據(jù)挖掘應(yīng)用 用哪一種數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)？ ? 響應(yīng)率分析是為了對(duì)某項(xiàng)市場(chǎng)營(yíng)銷(xiāo)（新產(chǎn)品銷(xiāo)售）活動(dòng)找到最合適的響應(yīng)客戶(hù)，需要預(yù)測(cè)哪些客戶(hù)能夠響應(yīng)，以及響應(yīng)的可能性是多少。 ? 因此，需要構(gòu)建預(yù)言模型 ? 分類(lèi)是預(yù)言模型的一種技術(shù)，可以利用分類(lèi)技術(shù)構(gòu)建客戶(hù)響應(yīng)率模型 ? 決策樹(shù) ? 神經(jīng)網(wǎng)絡(luò) ? 貝葉斯分類(lèi) ? … 數(shù)據(jù)挖掘未來(lái)發(fā)展 ? 與數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)集成 ? 與預(yù)言模型系統(tǒng)集成 ? 挖掘各種復(fù)雜類(lèi)型的數(shù)據(jù) ? 與應(yīng)用相結(jié)合 ? 研制和開(kāi)發(fā)數(shù)據(jù)挖掘標(biāo)準(zhǔn) ? 支持移動(dòng)環(huán)境 數(shù)據(jù)挖掘應(yīng)用 —— 時(shí)間序列模式挖掘 工業(yè)過(guò)程變量時(shí)間序列 1. 生產(chǎn)過(guò)程的類(lèi)型 ? 連續(xù)過(guò)程：工藝參數(shù)（設(shè)定值）均為常量。 ? 批量過(guò)程：工藝參數(shù)（設(shè)定值）通常為變量。 2. 工藝參數(shù)的數(shù)據(jù)類(lèi)型 ? 數(shù)值型、邏輯型、枚舉型 3. 產(chǎn)品質(zhì)量的數(shù)據(jù)類(lèi)型 ? 邏輯型：只判斷產(chǎn)品的好壞 ? 數(shù)值型：給出產(chǎn)品質(zhì)量好壞的程度 生產(chǎn)過(guò)程 工藝參數(shù) 1 （連續(xù)型時(shí)間序列） 工藝參數(shù) 2 （離散型時(shí)間序列） 產(chǎn)品質(zhì)量 （離散型時(shí)間序列） 批量型生產(chǎn)過(guò)程 質(zhì)量檢驗(yàn)！ t 0 t1 t2 t3 T 預(yù)熱階段 加熱階段 均熱階段 T 連續(xù)型生產(chǎn)過(guò)程 T1 T2 T3 v x1 x2 x3 質(zhì)量檢驗(yàn)！ 0 x 預(yù)熱區(qū) 加熱區(qū) 均熱區(qū) t 0 t1 t2 t3 質(zhì)量檢驗(yàn)！ T T1 T3 T2 數(shù)據(jù)挖掘?qū)ο蟮幕緲?gòu)成 生產(chǎn)過(guò)程 X：工藝參數(shù)時(shí)間序列 Y：質(zhì)量檢測(cè)結(jié)果 t X t Y 樣本的抽?。ㄅ可a(chǎn)過(guò)程） t t x1(t) y1 y2 y3 x2(t) x3(t) X Y 1 , 2 , ,{( ( ) , ) }i i i nx t y ?樣本 1 11( ( ), )x t y樣本 2 22( ( ), )x t y樣本 3 33( ( ), )x t y…… 連續(xù)生產(chǎn)過(guò)程的樣本抽取 連續(xù)過(guò)程 ? 批量過(guò)程 T1 T2 T3 v x1 x2 x3 t T3 T2 T1 0 質(zhì)量檢驗(yàn)！ 0 T1 T2 T3 T t t1＝ x1 / v t2＝ x2 / v t3＝ x3 / v 0 質(zhì)量檢驗(yàn)！ t1 t2 t3 如何“組裝”時(shí)間序列？ T1 T3 T2 質(zhì)量檢驗(yàn)！ t T3 T2 T1 0 t1 t2 t3 質(zhì)量檢驗(yàn)！ T 組裝前 t 0 t1 t2 t3 T 組裝后 樣本 關(guān)于生產(chǎn)質(zhì)量改變的模式假設(shè) ? 生產(chǎn)質(zhì)量不良的原因是工藝參數(shù)設(shè)計(jì)或控制有問(wèn)題： 1. 設(shè)計(jì)階段：工藝參數(shù)設(shè)計(jì)有錯(cuò)誤； 2. 控制階段：工藝參數(shù)未能控制在設(shè)計(jì)值； ? 上述因素都可通過(guò)生產(chǎn)過(guò)程中工藝參數(shù)的時(shí)間序列實(shí)測(cè)樣本反映出來(lái)。 ?