文本分類中的特征提取和分類算法綜述-預(yù)覽頁
【正文】 自動(dòng)分類的兩大技術(shù)基礎(chǔ)，在組織和管理海量文本信息技術(shù)領(lǐng)域中文本分類是一種非常有效的技術(shù)手段[1]。特征降維是文本分類過程中的一個(gè)重要環(huán)節(jié)。 幾種經(jīng)典的特征提取方法 文檔頻率（DF）文檔頻率是指在訓(xùn)練文檔集中某詞條出現(xiàn)過的文檔總數(shù)[3]。是一種最簡(jiǎn)單的詞約簡(jiǎn)技術(shù)，常用于大規(guī)模的語料特征選擇中。信息增益法的缺點(diǎn)是，它考慮了特征未發(fā)生的情況，盡管特征不出現(xiàn)的情況也可能對(duì)文本分類的判別有積極作用，但這種積極作用往往要遠(yuǎn)小于考慮這種情況時(shí)對(duì)文本分類帶來的干擾?；バ畔⒅递^高的特征詞通常在某個(gè)類別中出現(xiàn)的概率高，而在其他文本類別中出現(xiàn)的概率低，也就更有可能被選作為文本類別的特征。當(dāng)特征詞與文本類別相互獨(dú)立時(shí)，此時(shí)特征不含有任何與文本類別有關(guān)的鑒別信息。 （式18）針對(duì)TFIDF算法的歸一化計(jì)算公式為： （式19） 文本分類方法文本分類方法主要分為兩大類：基于規(guī)則的分類方法和基于統(tǒng)計(jì)的分類方法。因其簡(jiǎn)單、穩(wěn)定、有效的特點(diǎn)，被廣泛應(yīng)用于模式識(shí)別系統(tǒng)中。當(dāng)兩個(gè)文本越相似時(shí)，的值越大。 樸素貝葉斯算法樸素貝葉斯算法[7]可應(yīng)用到大規(guī)模文本集合中，具有方法簡(jiǎn)單、速度快、分類準(zhǔn)確率高等優(yōu)點(diǎn)。那么，類別的先驗(yàn)概率為： （式23）其中，表示屬于類別的文本數(shù)目，表示訓(xùn)練集的文本總數(shù)。 支持向量機(jī)（SVM）支持向量機(jī)SVM算法是一種基于統(tǒng)計(jì)學(xué)理論的機(jī)器學(xué)習(xí)方法。其中，HH2是指在樣本集合中平行于H并且過離H最近的點(diǎn)的直線。大量實(shí)驗(yàn)結(jié)果表明，支持向量機(jī)的文本分類效果明顯優(yōu)于其它的文本分類算法[11]。具體的處理流程如下：（1） 將語料庫中的文本進(jìn)行預(yù)處理（去停頓詞、虛詞等處理）后，形成原始特征集和；（2） 在文本預(yù)處理模塊處理的結(jié)果的基礎(chǔ)上，循環(huán)讀取每個(gè)特征詞條，獲得其相關(guān)的詞頻以及文檔頻率等信息。因此，需通過特征降維實(shí)現(xiàn)對(duì)原始特征集的空間降維處理，以便提高文本分類系統(tǒng)的工作效率。統(tǒng)計(jì)結(jié)果如下： 出現(xiàn)次數(shù)大于等于1次的詞有87554個(gè) 出現(xiàn)次數(shù)大于等于2次的詞有49352個(gè) 出現(xiàn)次數(shù)大于等于3次的詞有36456個(gè) 出現(xiàn)次數(shù)大于等于4次的詞有30095個(gè)保留所有詞作為特征詞 共計(jì)87554個(gè)選取出現(xiàn)次數(shù)大于等于4次的詞作為特征詞共計(jì)30095個(gè) 文本分類模塊（1）樸素貝葉斯分類器樸素貝葉斯分類器有兩種模型 ：1） 多項(xiàng)式模型（以單詞為粒度）類條件概率P(tk|c)=(類c下單詞tk在各個(gè)文檔中出現(xiàn)過的次數(shù)之和+1)/ （類c下單詞總數(shù)+訓(xùn)練樣本中不重復(fù)特征詞總數(shù)）先驗(yàn)概率P(c)=類c下的單詞總數(shù)/整個(gè)訓(xùn)練樣本的單詞總數(shù) 2） 伯努利模型（以文件為粒度）類條件概率P(tk|c)=（類c下包含單詞tk的文件數(shù)+1）/(類c下單詞總數(shù)+2)先驗(yàn)概率P(c)=類c下文件總數(shù)/整個(gè)訓(xùn)練樣本的文件總數(shù) 由于多項(xiàng)式模型分類準(zhǔn)確率較高，故本文的樸素貝葉斯分類器采用多項(xiàng)式模型。其中，分類器主類如圖3所示圖3：樸素貝葉斯分類器主類Java代碼注解：1）計(jì)算概率用到了BigDecimal類實(shí)現(xiàn)任意精度計(jì)算；2）用交叉驗(yàn)證法做十次分類實(shí)驗(yàn)，對(duì)準(zhǔn)確率取平均值；3）根據(jù)正確類目文件和分類結(jié)果文計(jì)算混淆矩陣并且輸出；4）MapString,Double cateWordsProb key為“類目_單詞”, value為該類目下該單詞的出現(xiàn)次數(shù)，避免重復(fù)計(jì)算。 KNN算法的分類結(jié)果（混淆矩陣）如圖7所示：圖7：KNN分類器的分類結(jié)果表示 實(shí)驗(yàn)結(jié)果分析（1）貝葉斯分類結(jié)果與分析由不同的特征提取策略，可得貝葉斯分類器結(jié)果如下：方法一：取所有詞作為特征詞，共87554個(gè)。（2）KNN分類結(jié)果與分析由于KNN分類算法的復(fù)雜度較高，若選取所有詞作為特征詞進(jìn)行分類實(shí)驗(yàn)，則所需時(shí)間較長，為了適當(dāng)提高分類效率，考慮提取出現(xiàn)次數(shù)不小于4次的詞作為特征詞，分類結(jié)果如下： 取出現(xiàn)次數(shù)大于等于4次的詞共計(jì)30095個(gè)作為特征詞： %，用時(shí)1h55min，其中有3次實(shí)驗(yàn)準(zhǔn)確率超過80%。最后通過采用Newsgroups18828數(shù)據(jù)源以及java軟件環(huán)境搭建文本自動(dòng)分類的實(shí)驗(yàn)平臺(tái)，證明了文檔頻率（DF）和TFIDF特征提取方法的有效性，并對(duì)樸素貝葉斯分類算法和KNN分類算法的實(shí)驗(yàn)結(jié)果進(jìn)行比較，得出結(jié)論：在分類準(zhǔn)確率方面，KNN算法更優(yōu)；在分類速度方面，樸素貝葉斯算法更
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1