【文章內(nèi)容簡介】 論基礎(chǔ)是貝葉斯定理，可用式2．2．[1]表示。 p(c｜x)＝p(x｜c)p(c)/p(x) 2．2．[1]其中x是類標(biāo)號未知的數(shù)據(jù)樣本。設(shè)c為某種假定，如數(shù)據(jù)樣本I屬于某特定類民則P(c｜x)為c成立的概率，也稱為類c的先驗概率；P(x)為x的支持度。P(c｜x)是規(guī)定數(shù)據(jù)樣本x，假定c成立的概率，稱作類c的后驗概率。P(xvc)是假定c成立的情況下，樣本x的支持度，也稱為類條件概率。 準(zhǔn)確估計類標(biāo)號和屬性值的每一種可能組合的后驗概率非常困難，因為即便屬性數(shù)目不是很大，仍然需要很大的訓(xùn)練集。此時，貝葉斯定理很有用，因為它允許我們用先驗概率P(c)、類條件概率P(x｜c)和P(x)來表示后驗概率。 在比較不同類c的后驗概率時，分母P(x)總是常數(shù)，因此可以忽略。先驗概率P(c)可以通過計算訓(xùn)練集中屬于每個類的訓(xùn)練記錄所占的比例很容易地估計。因此類c的后驗概率P(x｜c)的確定取決于對類條件概率P(x｜c)的估計。對類條件概率P(x｜c)的估計，常使用兩種貝葉斯分類方法來實現(xiàn)：樸素貝葉斯分類和貝葉斯信念網(wǎng)絡(luò)。 2．3基于神經(jīng)網(wǎng)絡(luò)的分類 2．3．1基本思想。經(jīng)常用于分類的還有人工神經(jīng)網(wǎng)絡(luò)方法。神經(jīng)網(wǎng)絡(luò)[3]為解決大復(fù)雜度問題提供了一種相對來說比較有效的簡單方法，它是模仿人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和某些工作機(jī)制而建立的一種非線形預(yù)測模型，經(jīng)過學(xué)習(xí)進(jìn)行模式識別的。其工作機(jī)理是通過學(xué)習(xí)改變神經(jīng)元之間的連接強(qiáng)度。神經(jīng)網(wǎng)絡(luò)有前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等，在神經(jīng)網(wǎng)絡(luò)中，由權(quán)重和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)決定了它所能識別的模式類型。神經(jīng)網(wǎng)絡(luò)分類過程可以分為訓(xùn)練和分類兩個階段。在訓(xùn)練階段，首先定義網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，再對訓(xùn)練樣本中的每個屬性的值進(jìn)行規(guī)范化預(yù)處理，然后用神經(jīng)網(wǎng)絡(luò)對已預(yù)處理的輸入進(jìn)行學(xué)習(xí)。訓(xùn)練完畢后，用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對標(biāo)識樣本進(jìn)行分類。 最流行的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是后向傳播算法。后向傳播算法是在多層前饋神經(jīng)網(wǎng)絡(luò)上進(jìn)行學(xué)習(xí)的。這種神經(jīng)網(wǎng)絡(luò)具有一個輸入層和一個輸出層，在兩者之間可能包含多個中間層，這些中間層叫做隱藏層。后向傳播通過迭代地處理一組訓(xùn)練樣本，將每個樣本的網(wǎng)絡(luò)預(yù)測與實際知道的類標(biāo)號比較，進(jìn)行學(xué)習(xí)。對于每個訓(xùn)練樣本，修改權(quán)值，使得網(wǎng)絡(luò)預(yù)測和實際類之間的均方誤差最小。這種修改后向進(jìn)行，即由輸出層，經(jīng)由每個隱藏層，到第一個隱藏層。一般的，權(quán)將最終收斂，學(xué)習(xí)過程停止。算法的每一次迭代包括兩個階段：前向階段和后向階段。在前向階段，使用前一次迭代所得到的權(quán)值計算網(wǎng)絡(luò)中每一個神經(jīng)元的輸出值。計算是向前進(jìn)行的，先計算第k層神經(jīng)元的輸出，再計算第k＋1層的輸出。在后向階段，以相反的方向應(yīng)用權(quán)值更新公式，先更新k＋1層的權(quán)值，再更新第k層的權(quán)值。 2．3．2優(yōu)缺點。神經(jīng)網(wǎng)絡(luò)法的優(yōu)點是有較強(qiáng)的抗噪能力，對未經(jīng)訓(xùn)練的數(shù)據(jù)也具有較好的預(yù)測分類能力。神經(jīng)網(wǎng)絡(luò)的主要缺點是用加權(quán)鏈連結(jié)單元的網(wǎng)絡(luò)所表示的知識很難被人理解、學(xué)習(xí)時間較長，僅適用于時間容許的應(yīng)用場合；對于如網(wǎng)絡(luò)結(jié)構(gòu)等關(guān)鍵參數(shù)，通常需要經(jīng)驗方能有效確定。 2．4基于源自關(guān)聯(lián)規(guī)則挖掘概念的分類 2．4．1基本思想。關(guān)聯(lián)規(guī)則聚類系統(tǒng)是基于聚類挖掘關(guān)聯(lián)規(guī)則，然后使用規(guī)則進(jìn)行分類。挖掘形如Aquan1∧Aquan2→Acat的關(guān)聯(lián)規(guī)則；其中，Aquan1，Aquan2是在量化屬性區(qū)間上的測試，為給定訓(xùn)練數(shù)據(jù)的分類屬性指定一個類標(biāo)號。關(guān)聯(lián)規(guī)則畫在2D柵格上。算法掃描柵格，搜索規(guī)則的矩形聚類。由ARCS產(chǎn)生的聚類關(guān)聯(lián)規(guī)則用于分類，其準(zhǔn)確率與C4．5差不多，精確度比C4．5高一點。 關(guān)聯(lián)分類挖掘形如condset→y的規(guī)則，condset是項屬性一值對的集合，y是類標(biāo)號。若給定數(shù)據(jù)集中的樣本s％包含condset并且屬于類y，則規(guī)則的支持度為s。若規(guī)則滿足預(yù)先指定的最小支持度，則該規(guī)則是頻繁；若給定數(shù)據(jù)集中包含conset的樣本c％屬于類y，則規(guī)則的置信度為c；若滿足最小置信度，則該規(guī)則是精確的。如果一個規(guī)則項集具有相同的condset，則選擇具有最高置信度的規(guī)則作為可能規(guī)則，代表該集合。 2．4．2關(guān)聯(lián)分類方法由兩步組成。第一步是找出所有頻繁的、精確的PR集合。算法使用迭代方法，類似Apriori。第二步使用一種啟發(fā)式方法構(gòu)造分類，發(fā)現(xiàn)的規(guī)則按支持度和置信度遞減的優(yōu)先次序組織，用滿足新樣本滿足該樣