【正文】 ] [ 7 , 7 ]20 [ 1 1 , 2 0 ] [ 2 2 , 5 0 ] [ 2 0 , 2 2 ]22 [ 2 1 , 3 0 ] [ 5 1 , 5 3 ] [ 5 0 , 5 3 ]50 [ 3 1 , 4 0 ]51 [ 4 1 , 5 0 ]53 [ 5 1 , 6 0 ]169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 關(guān)聯(lián)規(guī)則可視化 Using Plane Graph 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 關(guān)聯(lián)規(guī)則可視化 Using Rule Graph 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 六、序列模式挖掘 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式概念 ? 序列模式的概念最早是由 Agrawal和 Srikant 提出的 ? 序列模式定義：給定一個(gè)由不同序列組成的集合，其中，每個(gè) 序列由不同的元素按順序有序排列，每個(gè) 元素 由不同 項(xiàng)目 組成，同時(shí)給定一個(gè)用戶指定的最小支持度閾值，序列模式挖掘就是找出所有的頻繁子序列，即該子序列在序列集中的出現(xiàn)頻率不低于用戶指定的最小支持度閾值 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式實(shí)例 ? 例 1：在兩年前購(gòu)買(mǎi)了 Ford 牌轎車(chē)的顧客，很有可能在今年采取貼舊換新的購(gòu)車(chē)行動(dòng) ? 例 2：在購(gòu)買(mǎi)了自行車(chē)和購(gòu)物籃的所有客戶中，有 70%的客戶會(huì)在兩個(gè)月后購(gòu)買(mǎi)打氣筒 ? 例 3：工業(yè)過(guò)程控制領(lǐng)域：過(guò)程變量采樣值時(shí)時(shí)間序列；變量之間的關(guān)系是動(dòng)態(tài)的；系統(tǒng)故障模式；等等 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式應(yīng)用領(lǐng)域 ? 應(yīng)用領(lǐng)域： ? 客戶購(gòu)買(mǎi)行為模式預(yù)測(cè) ? Web訪問(wèn)模式預(yù)測(cè) ? 疾病診斷 ? 自然災(zāi)害預(yù)測(cè) ? DNA序列分析 ? 工業(yè)控制 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式表示 ? 符號(hào)化表示： ? 項(xiàng)目集 (Itemset)是各種項(xiàng)目組成的集合 ? 序列 (Sequence)是不同項(xiàng)目集 (ItemSet)的有序排列，序列 s可以表示為 s = s1s2…s l， sj(1 = j = l)為項(xiàng)目集(Itemset)，也稱(chēng)為序列 s的元素 ? 序列的元素 (Element)可表示為 (x1x2…x m)， xk(1 = k = m)為不同的項(xiàng)目，如果一個(gè)序列只有一個(gè)項(xiàng)目，則括號(hào)可以省略 ? 一個(gè)序列包含的所有項(xiàng)目的個(gè)數(shù)稱(chēng)為序列的長(zhǎng)度。長(zhǎng)度為 l的序列記為 l序列 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式表示 ? 符號(hào)化表示： ? 設(shè) ? = a1a2…a n， ? = b1b2…b m，如果存在整數(shù) 1 = j1 j2 … j n = m，使得 a1 ? bj1， a2 ? bj2， … ， an ? bjn，則稱(chēng)序列 ?為序列 ?的子序列，又稱(chēng)序列 ?包含序列 ?，記為 ? ? ? ? 序列 ?在序列數(shù)據(jù)庫(kù) S中的支持?jǐn)?shù)為序列數(shù)據(jù)庫(kù) S中包含序列 ?的序列個(gè)數(shù)，記為 Support(?) ? 給定支持度閾值 ?，如果序列 ?在序列數(shù)據(jù)庫(kù)中的支持?jǐn)?shù)不低于 ?，則稱(chēng)序列 ?為序列模式 ? 長(zhǎng)度為 l的序列模式記為 l模式 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式表示 ? 例子：設(shè)序列數(shù)據(jù)庫(kù)如下圖所示，并設(shè)用戶指定的最小支持度 minsupport = 2。 Sequence_id Sequence 10 a(abc)(ac)d(cf) 20 (ad)c(bc)(ae) 30 (ef)(ab)(df)cb 40 eg(af)cbc ? 序列 a(bc)df是序列 a(abc)(ac)d(cf)的子序列 ? 序列 (ab)c是長(zhǎng)度為 3的序列模式 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式挖掘 ? 問(wèn)題描述：給定序列數(shù)據(jù)庫(kù)和最小支持度閾值，序列模式挖掘就是要找出序列數(shù)據(jù)庫(kù)中所有的序列模式 ? 系統(tǒng)規(guī)定：由于同一個(gè)元素中的項(xiàng)目之間排列沒(méi)有順序，為了表達(dá)的唯一性，我們將同一個(gè)元素內(nèi)部的不同項(xiàng)目按照字典順序排列 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式挖掘算法 ? 序列模式挖掘的主要算法 ? GSP(Generalized Sequential Patterns)算法：類(lèi)似于 Apriori算法 ? PrefixSpan(Prefixproject Sequential Pattern mining)算法：采用分治的思想，不斷產(chǎn)生序列數(shù)據(jù)庫(kù)的多個(gè)更小的投影數(shù)據(jù)庫(kù)，然后在各個(gè)投影數(shù)據(jù)庫(kù)上進(jìn)行序列模式挖掘 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 序列模式挖掘算法 ? 上述算法存在的主要問(wèn)題： ? 缺少時(shí)間限制：用戶可能需要指定序列模式的相鄰元素之間的時(shí)間間隔。例如，一個(gè)序列模式可能會(huì)發(fā)現(xiàn)客戶在購(gòu)買(mǎi)了物品 A后的第三年購(gòu)買(mǎi)物品 B。我們需要的卻是給定時(shí)間間隔內(nèi)用戶的購(gòu)買(mǎi)意向 ? 事務(wù)的定義過(guò)于嚴(yán)格：一個(gè)事務(wù)中包含在客戶的一次購(gòu)買(mǎi)行為中所購(gòu)買(mǎi)的所有物品?？赡苄枰付ㄒ粋€(gè)滑動(dòng)時(shí)間窗口，客戶在滑動(dòng)時(shí)間窗口的時(shí)間段內(nèi)的所有的購(gòu)買(mǎi)行為均作為一個(gè)事務(wù) ? 缺少分類(lèi)層次：只能在項(xiàng)目的原始級(jí)別上進(jìn)行挖掘 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 七、數(shù)據(jù)挖掘軟件 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 代 特征 數(shù)據(jù)挖掘算法 集成 分布計(jì)算模型 數(shù)據(jù)模型 第一代 作為一個(gè)獨(dú)立的應(yīng)用 支持一個(gè)或者多個(gè)算法 獨(dú)立的系統(tǒng) 單個(gè)機(jī)器 向量數(shù)據(jù) 第二代 和數(shù)據(jù)庫(kù)以及數(shù)據(jù)倉(cāng)庫(kù)集成 多個(gè)算法：能夠挖掘一次不能放進(jìn)內(nèi)存的數(shù)據(jù) 數(shù)據(jù)管理系統(tǒng)，包括數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù) 同質(zhì)、局部區(qū)域的計(jì)算機(jī)群集 有些系統(tǒng)支持對(duì)象 ,文本和連續(xù)的媒體數(shù)據(jù) 第三代 和預(yù)言模型系統(tǒng)集成 多個(gè)算法 數(shù)據(jù)管理和預(yù)言模型系統(tǒng) intra/extra網(wǎng)絡(luò)計(jì)算 支持半結(jié)構(gòu)化數(shù)據(jù)和 web數(shù)據(jù) 第四代 和移動(dòng)數(shù)據(jù) /各種計(jì)算設(shè)備的數(shù)據(jù)聯(lián)合 多個(gè)算法 數(shù)據(jù)管理、預(yù)言模型、移動(dòng)系統(tǒng) 移動(dòng)和各種計(jì)算設(shè)備 普遍存在的計(jì)算模型 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第一代數(shù)據(jù)挖掘軟件 ? 特點(diǎn) ? 支持一個(gè)或少數(shù)幾個(gè)數(shù)據(jù)挖掘算法 ? 挖掘向量數(shù)據(jù)（ vectorvalued data） ? 數(shù)據(jù)一般一次性調(diào)進(jìn)內(nèi)存進(jìn)行處理 ? 典型的系統(tǒng)如 Salford Systems公司早期的 CART系統(tǒng)() ? 缺陷 ? 如果數(shù)據(jù)足夠大，并且頻繁的變化，這就需要利用數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)技術(shù)進(jìn)行管理，第一代系統(tǒng)顯然不能滿足需求。 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第一代數(shù)據(jù)挖掘軟件 CBA 新加坡國(guó)立大學(xué)。 基于關(guān)聯(lián)規(guī)則的分類(lèi)算法，能從關(guān)系數(shù)據(jù)或者交易數(shù)據(jù)中挖掘關(guān)聯(lián)規(guī)則，使用關(guān)聯(lián)規(guī)則進(jìn)行分類(lèi)和預(yù)測(cè) 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 二、數(shù)據(jù)挖掘軟件的發(fā)展 第二代數(shù)據(jù)挖掘軟件 ? 特點(diǎn) ? 與數(shù)據(jù)庫(kù)管理系統(tǒng)（ DBMS）集成 ? 支持?jǐn)?shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，和它們具有高性能的接口，具有高的可擴(kuò)展性 ? 能夠挖掘大數(shù)據(jù)集、以及更復(fù)雜的數(shù)據(jù)集 ? 通過(guò)支持?jǐn)?shù)據(jù)挖掘模式（ data mining schema）和數(shù)據(jù)挖掘查詢語(yǔ)言增加系統(tǒng)的靈活性 ? 典型的系統(tǒng)如 DBMiner，能通過(guò) DMQL挖掘語(yǔ)言進(jìn)行挖掘操作 ? 缺陷 ? 只注重模型的生成，如何和預(yù)言模型系統(tǒng)集成導(dǎo)致了第三代數(shù)據(jù)挖掘系統(tǒng)的開(kāi)發(fā) 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第二代數(shù)據(jù)挖掘軟件 DBMiner 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第二代軟件 SAS Enterprise Miner 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第三代數(shù)據(jù)挖掘軟件 ? 特點(diǎn) ? 和預(yù)言模型系統(tǒng)之間能夠無(wú)縫的集成，使得由數(shù)據(jù)挖掘軟件產(chǎn)生的模型的變化能夠及時(shí)反映到預(yù)言模型系統(tǒng)中 ? 由數(shù)據(jù)挖掘軟件產(chǎn)生的預(yù)言模型能夠自動(dòng)地被操作型系統(tǒng)吸收，從而與操作型系統(tǒng)中的預(yù)言模型相聯(lián)合提供決策支持的功能 ? 能夠挖掘網(wǎng)絡(luò)環(huán)境下（ Inter/Extra）的分布式和高度異質(zhì)的數(shù)據(jù)，并且能夠有效地和操作型系統(tǒng)集成 ? 缺陷 ? 不能支持移動(dòng)環(huán)境 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 第三代軟件 SPSS Clementine 以 PMML的格式提供與預(yù)言模型系統(tǒng)的接口 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 二、數(shù)據(jù)挖掘軟件的發(fā)展 第四代數(shù)據(jù)挖掘軟件 ? 特點(diǎn) ? 目前移動(dòng)計(jì)算越發(fā)顯得重要，將數(shù)據(jù)挖掘和移動(dòng)計(jì)算相結(jié)合是當(dāng)前的一個(gè)研究領(lǐng)域。 ? 第四代軟件能夠挖掘嵌入式系統(tǒng)、移動(dòng)系統(tǒng)、和普遍存在（ ubiquitous）計(jì)算設(shè)備產(chǎn)生的各種類(lèi)型的數(shù)據(jù) 第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見(jiàn)報(bào)導(dǎo)， PKDD2022上Kargupta發(fā)表了一篇在移動(dòng)環(huán)境下挖掘決策樹(shù)的論文，Kargupta是馬里蘭巴爾的摩州立大學(xué)（ University of Maryland Baltimore County）正在研制的 CAREER數(shù)據(jù)挖掘項(xiàng)目的負(fù)責(zé)人，該項(xiàng)目研究期限是 2022年 4月到 2022年 4月，目的是開(kāi)發(fā)挖掘分布式和異質(zhì)數(shù)據(jù)（ Ubiquitous設(shè)備）的第四代數(shù)據(jù)挖掘系統(tǒng)。 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 ? 第一代系統(tǒng)與第二代相比因?yàn)椴痪哂泻蛿?shù)據(jù)管理系統(tǒng)之間有效的接口，所以在數(shù)據(jù)預(yù)處理方面有一定缺陷 ? 第三、四代系統(tǒng)強(qiáng)調(diào)預(yù)測(cè)模型的使用和操作型環(huán)境的部署 ? 第二代系統(tǒng)提供數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)挖掘系統(tǒng)之間的有效接口 ? 第三代系統(tǒng)另外還提供數(shù)據(jù)挖掘系統(tǒng)和預(yù)言模型系統(tǒng)之間的有效的接口 ? 目前，隨著新的挖掘算法的研究和開(kāi)發(fā)，第一代數(shù)據(jù)挖掘系統(tǒng)仍然會(huì)出現(xiàn)，第二代系統(tǒng)是商業(yè)軟件的主流，部分第二代系統(tǒng)開(kāi)發(fā)商開(kāi)始研制相應(yīng)的第三代數(shù)據(jù)挖掘系統(tǒng)，比如 IBM Intelligent Score Service。第四代數(shù)據(jù)挖掘原型或商業(yè)系統(tǒng)尚未見(jiàn)報(bào)導(dǎo) 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 數(shù)據(jù)挖掘軟件發(fā)展的三個(gè)階段 ? 獨(dú)立的數(shù)據(jù)挖掘軟件 ? 橫向的數(shù)據(jù)挖掘工具集 ? 縱向的數(shù)據(jù)挖掘解決方案 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 獨(dú)立的數(shù)據(jù)挖掘軟件（ 95年以前） ? 特點(diǎn) ? 獨(dú)立的數(shù)據(jù)挖掘軟件對(duì)應(yīng)第一代系統(tǒng)，出現(xiàn)在數(shù)據(jù)挖掘技術(shù)發(fā)展早期，研究人員開(kāi)發(fā)出一種新型的數(shù)據(jù)挖掘算法，就形成一個(gè)軟件。 ? 這類(lèi)軟件要求用戶對(duì)具體的算法和數(shù)據(jù)挖掘技術(shù)有相當(dāng)?shù)牧私?，還要負(fù)責(zé)大量的數(shù)據(jù)預(yù)處理工作。比如 ，平行坐標(biāo)可視化（ parallelcoordinate visualization）。 169。 Copyright by Song Zhihuan 工業(yè)控制技術(shù)研究所 數(shù)據(jù)挖掘軟件的發(fā)展 橫向的數(shù)據(jù)挖掘工具集（ 95年開(kāi)始） ? 發(fā)展原因 ? 隨著數(shù)據(jù)挖掘應(yīng)用的發(fā)展，人們逐漸認(rèn)識(shí)到數(shù)據(jù)挖掘軟件需要和以下三個(gè)方面緊密結(jié)合： 1）數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)； 2）多種類(lèi)型的數(shù)據(jù)挖掘算法； 3）數(shù)據(jù)清洗、轉(zhuǎn)換等預(yù)處理工作。 ? 隨著數(shù)據(jù)量的增加，需要利用數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)技術(shù)進(jìn)行管理，所以數(shù)據(jù)挖掘系統(tǒng)與數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)結(jié)合是自然的發(fā)展。 ? 現(xiàn)實(shí)領(lǐng)域的問(wèn)題是多種多樣的，一種或少數(shù)數(shù)據(jù)挖掘算法難以解決 ? 挖掘的數(shù)據(jù)通常不符合算法的要求，需要有數(shù)據(jù)清洗、轉(zhuǎn)換等數(shù)據(jù)預(yù)處理的配合，才能得出有價(jià)值的模型 169。 Copyr