數(shù)據(jù)挖掘現(xiàn)階段最常用的算法(編輯修改稿)
2025-07-20 20:43 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 表到各臺(tái)機(jī)器上，在各臺(tái)機(jī)器上執(zhí)行本地的FP Growth，然后再將各臺(tái)機(jī)器上的結(jié)果匯總起來(lái)，得到最終的FP Growth的結(jié)果。所謂關(guān)系挖掘，值得是挖掘出各個(gè)項(xiàng)目之間的因果關(guān)系。關(guān)系挖掘的基礎(chǔ)是頻繁模式挖掘，通過(guò)頻繁模式挖掘，很容易得出關(guān)系，舉例就很容易明白，比如我們得到一個(gè)頻繁集合：那么通過(guò)排列組合可以得到l的子集集合：那么很容易得到下面的推理集合，也就是挖掘出的關(guān)系：所有的關(guān)系挖掘本質(zhì)上都是基于頻繁模式推導(dǎo)出來(lái)的。在關(guān)系挖掘中，有一種非常有用的關(guān)系模式挖掘:mining quantitative association rules。所謂quantitative association rules是這樣一種關(guān)系模式：該關(guān)系模式的挖掘，首先是確定我們所感興趣的屬性：quan1,quan2,cat，然后根據(jù)事先確定的間隔，將quan1，quan2按照一定的間隔劃分成一定的catorgory，然后進(jìn)行頻繁模式挖掘，得出一些關(guān)系，然后將這些關(guān)系按照grid進(jìn)行聚合，生成最后的關(guān)系模式。通過(guò)關(guān)系挖掘挖出的關(guān)系中往往有很多不是非常有用，因此需要通過(guò)另外的指標(biāo)排除一些這樣的關(guān)系，這個(gè)指標(biāo)就是correlation，如下：Correlation是用來(lái)衡量A，B之間的相關(guān)性，從而排除那些沒(méi)有意義的規(guī)則。對(duì)于上述所提到的關(guān)系挖掘，有一種稱之為constraintbased association mining，這是一種特殊的關(guān)系挖掘，它對(duì)于所挖掘出的條件加了一些限制條件，這些限制條件可能是由用戶提出的，其主要目的是排除一些不感興趣的關(guān)系。對(duì)于這種關(guān)系挖掘，最直接的辦法先按照最普通的關(guān)系挖掘方法進(jìn)行挖掘，然后利用條件來(lái)對(duì)結(jié)果進(jìn)行。但是還有更好的方法，就是在挖掘的過(guò)程中利用這些條件，從而縮小整個(gè)挖掘過(guò)程中的search space，從而提高效率。這些限制條件分為這么幾種：antimonotonic，monotonic，succinct，convertible，inconvertible，針對(duì)每一種的限制條件，都有一些通用的方法或策略來(lái)縮小挖掘的search space，可參閱相關(guān)資料。分類和預(yù)測(cè)分類樹(shù)分類樹(shù)是一種很常用的分類方法，它該算法的框架表述還是比較清晰的，從根節(jié)點(diǎn)開(kāi)始不斷得分治，遞歸，生長(zhǎng)，直至得到最后的結(jié)果。根節(jié)點(diǎn)代表整個(gè)訓(xùn)練樣本集,通過(guò)在每個(gè)節(jié)點(diǎn)對(duì)某個(gè)屬性的測(cè)試驗(yàn)證,。該算法是數(shù)據(jù)挖掘中常用的一類方法。貝葉斯分類器貝葉斯分類的思想很簡(jiǎn)單，就是計(jì)算屬性和分類之間的條件概率，選擇使得條件概率最大的分類作為最終的分類結(jié)果，這是一種基于統(tǒng)計(jì)的分類方法，得到了廣泛的引用。貝葉斯分類器分為兩種，一種是樸素貝葉斯分類器，它基于貝葉斯理論：其中X代表特征向量, .:樸素貝葉斯分類器最經(jīng)典的應(yīng)用場(chǎng)景就是垃圾郵件過(guò)濾。樸素貝葉斯分類器的升級(jí)版本就是貝葉斯網(wǎng)絡(luò)，因?yàn)闃闼刎惾~斯網(wǎng)絡(luò)假設(shè)樣本的特征向量的各個(gè)特征屬性是獨(dú)立的，但對(duì)于現(xiàn)實(shí)世界，這樣的建模未必合理，因此有人就提出了貝葉斯網(wǎng)絡(luò)，貝葉斯網(wǎng)絡(luò)假設(shè)各個(gè)屬性之間是存在條件概率的。貝葉斯網(wǎng)絡(luò)是一個(gè)各個(gè)屬性組成的有向拓?fù)渚W(wǎng)絡(luò)，每條邊代表?xiàng)l件概率，通過(guò)貝葉斯網(wǎng)絡(luò)能夠計(jì)算出各個(gè)屬性相互組合的條件概率?；谝?guī)則的分類器這種分類器利用IF THEN的規(guī)則來(lái)進(jìn)行分類。對(duì)于如何產(chǎn)生規(guī)則，有兩種方法：第一種方法，就是從決策樹(shù)中生成規(guī)則。因?yàn)闆Q策樹(shù)天然的就是規(guī)則。第二種方法，是采用Sequential Covering Algorithm，直接從訓(xùn)練樣本中生成規(guī)則集。該方法的思路是一種generaltospecific的方法，該方法從一個(gè)空規(guī)則開(kāi)始，然后向規(guī)則
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1