【文章內(nèi)容簡介】 論基礎是貝葉斯定理，可用式2．2．[1]表示。 p(c｜x)＝p(x｜c)p(c)/p(x) 2．2．[1]其中x是類標號未知的數(shù)據(jù)樣本。設c為某種假定，如數(shù)據(jù)樣本I屬于某特定類民則P(c｜x)為c成立的概率，也稱為類c的先驗概率；P(x)為x的支持度。P(c｜x)是規(guī)定數(shù)據(jù)樣本x，假定c成立的概率，稱作類c的后驗概率。P(xvc)是假定c成立的情況下，樣本x的支持度，也稱為類條件概率。 準確估計類標號和屬性值的每一種可能組合的后驗概率非常困難，因為即便屬性數(shù)目不是很大，仍然需要很大的訓練集。此時，貝葉斯定理很有用，因為它允許我們用先驗概率P(c)、類條件概率P(x｜c)和P(x)來表示后驗概率。 在比較不同類c的后驗概率時，分母P(x)總是常數(shù)，因此可以忽略。先驗概率P(c)可以通過計算訓練集中屬于每個類的訓練記錄所占的比例很容易地估計。因此類c的后驗概率P(x｜c)的確定取決于對類條件概率P(x｜c)的估計。對類條件概率P(x｜c)的估計，常使用兩種貝葉斯分類方法來實現(xiàn)：樸素貝葉斯分類和貝葉斯信念網(wǎng)絡。 2．3基于神經(jīng)網(wǎng)絡的分類 2．3．1基本思想。經(jīng)常用于分類的還有人工神經(jīng)網(wǎng)絡方法。神經(jīng)網(wǎng)絡[3]為解決大復雜度問題提供了一種相對來說比較有效的簡單方法，它是模仿人腦神經(jīng)網(wǎng)絡的結構和某些工作機制而建立的一種非線形預測模型，經(jīng)過學習進行模式識別的。其工作機理是通過學習改變神經(jīng)元之間的連接強度。神經(jīng)網(wǎng)絡有前向神經(jīng)網(wǎng)絡、反饋神經(jīng)網(wǎng)絡、自組織神經(jīng)網(wǎng)絡等，在神經(jīng)網(wǎng)絡中，由權重和網(wǎng)絡的拓撲結構決定了它所能識別的模式類型。神經(jīng)網(wǎng)絡分類過程可以分為訓練和分類兩個階段。在訓練階段，首先定義網(wǎng)絡的拓撲結構，再對訓練樣本中的每個屬性的值進行規(guī)范化預處理，然后用神經(jīng)網(wǎng)絡對已預處理的輸入進行學習。訓練完畢后，用訓練好的神經(jīng)網(wǎng)絡對標識樣本進行分類。 最流行的神經(jīng)網(wǎng)絡學習算法是后向傳播算法。后向傳播算法是在多層前饋神經(jīng)網(wǎng)絡上進行學習的。這種神經(jīng)網(wǎng)絡具有一個輸入層和一個輸出層，在兩者之間可能包含多個中間層，這些中間層叫做隱藏層。后向傳播通過迭代地處理一組訓練樣本，將每個樣本的網(wǎng)絡預測與實際知道的類標號比較，進行學習。對于每個訓練樣本，修改權值，使得網(wǎng)絡預測和實際類之間的均方誤差最小。這種修改后向進行，即由輸出層，經(jīng)由每個隱藏層，到第一個隱藏層。一般的，權將最終收斂，學習過程停止。算法的每一次迭代包括兩個階段：前向階段和后向階段。在前向階段，使用前一次迭代所得到的權值計算網(wǎng)絡中每一個神經(jīng)元的輸出值。計算是向前進行的，先計算第k層神經(jīng)元的輸出，再計算第k＋1層的輸出。在后向階段，以相反的方向應用權值更新公式，先更新k＋1層的權值，再更新第k層的權值。 2．3．2優(yōu)缺點。神經(jīng)網(wǎng)絡法的優(yōu)點是有較強的抗噪能力，對未經(jīng)訓練的數(shù)據(jù)也具有較好的預測分類能力。神經(jīng)網(wǎng)絡的主要缺點是用加權鏈連結單元的網(wǎng)絡所表示的知識很難被人理解、學習時間較長，僅適用于時間容許的應用場合；對于如網(wǎng)絡結構等關鍵參數(shù)，通常需要經(jīng)驗方能有效確定。 2．4基于源自關聯(lián)規(guī)則挖掘概念的分類 2．4．1基本思想。關聯(lián)規(guī)則聚類系統(tǒng)是基于聚類挖掘關聯(lián)規(guī)則，然后使用規(guī)則進行分類。挖掘形如Aquan1∧Aquan2→Acat的關聯(lián)規(guī)則；其中，Aquan1，Aquan2是在量化屬性區(qū)間上的測試，為給定訓練數(shù)據(jù)的分類屬性指定一個類標號。關聯(lián)規(guī)則畫在2D柵格上。算法掃描柵格，搜索規(guī)則的矩形聚類。由ARCS產(chǎn)生的聚類關聯(lián)規(guī)則用于分類，其準確率與C4．5差不多，精確度比C4．5高一點。 關聯(lián)分類挖掘形如condset→y的規(guī)則，condset是項屬性一值對的集合，y是類標號。若給定數(shù)據(jù)集中的樣本s％包含condset并且屬于類y，則規(guī)則的支持度為s。若規(guī)則滿足預先指定的最小支持度，則該規(guī)則是頻繁；若給定數(shù)據(jù)集中包含conset的樣本c％屬于類y，則規(guī)則的置信度為c；若滿足最小置信度，則該規(guī)則是精確的。如果一個規(guī)則項集具有相同的condset，則選擇具有最高置信度的規(guī)則作為可能規(guī)則，代表該集合。 2．4．2關聯(lián)分類方法由兩步組成。第一步是找出所有頻繁的、精確的PR集合。算法使用迭代方法，類似Apriori。第二步使用一種啟發(fā)式方法構造分類，發(fā)現(xiàn)的規(guī)則按支持度和置信度遞減的優(yōu)先次序組織，用滿足新樣本滿足該樣