【正文】 立的哈希表 hashtable_probability 可以計算(|iPAt得知新到的郵件為垃圾郵件的可能性。當接收到新的郵件時，根據(jù)步驟②產(chǎn)生 Token 串。對比 hashtable_probability 的得到值，其為 Token 串的鍵值。為郵件共得到 N 個 Token 串， 為12,.nt 1212,.,(|,.)nnPAthashtable_probability 中的對應(yīng)的值。其表示在郵件中同時出現(xiàn)多個 Token 串 時，12,.nt那么它為垃圾郵件的概率 [31]。綜合后的概率公式可得 ()121212*.(|,.)*.().*(1)nnn nPPAtt P????當 的結(jié)果大于預(yù)定閾值(例如 )時，其為垃圾郵件。12|,.ntt2. 應(yīng)用舉例設(shè)有一封垃圾郵件 B 含有“法輪功”的字樣和一封合法郵件 C 含有“法律”的字樣，參照上一節(jié)中貝葉斯過濾算法的基本步驟，根據(jù)郵件 B 生成 hashtableb_bad，該哈希表中的存儲為：Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 18 法：1 次輪：1 次功：1 次計算得在本表中：法出現(xiàn)的概率為 輪出現(xiàn)的概率為 功出現(xiàn)的概率為 根據(jù)郵件 C 生成 hashtable_good。所以該哈希表中的存儲為：法：1律：1計算得在本表中：法出現(xiàn)的概率為 律出現(xiàn)的概率為 根據(jù)哈希表，有四個 Token 串：法 輪 功 律郵件中含有“法”時，其概率為： =.75+P?出現(xiàn)“輪”時： .103出現(xiàn)“功”時： .=+P?出現(xiàn)“律”時： 由此可得第三個哈希表可能性的數(shù)據(jù)為：法：輪：功：律：當郵件有“功律”時，計算得兩個 Token 串，功律查詢哈希表的概率為：P(垃圾郵件|功)=Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 19 P(垃圾郵件|律)=根據(jù)樸素貝葉斯算法得出其為垃圾郵件的可能性為： *9=.()(.1)P???若預(yù)定閾值為 ，則由此可推出該郵件為合法郵件。 本章小結(jié)當前在郵件過濾領(lǐng)域被廣泛研究和引用的是貝葉斯技術(shù)，依據(jù)基于統(tǒng)計的原則，把用戶認為的垃圾郵件和合法郵件進行統(tǒng)計然后計算，具有循序漸進的功能，可以逐漸取得好的效果。本章首先介紹了貝葉斯技術(shù)的相關(guān)背景知識和基本原理、公式，使我們對其有了大體的了解；接著，本章著重介紹了其中的樸素貝葉斯算法及其實際應(yīng)用。Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 20 4 郵件過濾系統(tǒng)的總體設(shè)計 系統(tǒng)設(shè)計及流程從目前的反垃圾郵件技術(shù)分析，基于內(nèi)容的反垃圾郵件技術(shù)效果最為理想，而在基于內(nèi)容的文本分類處理方法中，樸素貝葉斯算法明顯優(yōu)于其他文本分類算法。首先，在效率上樸素貝葉斯分類算法掃描所有訓(xùn)練樣本一遍，然后統(tǒng)計每個單詞在正常郵件和垃圾郵件中出現(xiàn)的次數(shù)，之后只需要再對每個Token查詢一次，最后對每個Token進行乘積或加和，而SVM方法、Boosting方法和遺傳方法都需要掃描多次訓(xùn)練樣本；其次，在存儲方面，樸素貝葉斯分類算法只需要存儲單詞的數(shù)目，而不是實際的郵件，這樣，占用的存儲空間很少，同時結(jié)果數(shù)據(jù)也可以在用戶之間共享而不必考慮郵件的私密性；再次，樸素貝葉斯分類方法隨著不斷地收到單個郵件進行增量更新，可以適應(yīng)垃圾郵件形式的進化。所以在本系統(tǒng)中，我們選取了樸素貝葉斯分類算法來構(gòu)造一個基于內(nèi)容的垃圾郵件過濾系統(tǒng)。本過濾系統(tǒng)的主要工作流程是將己知類別的郵件集(包括垃圾郵件集和正常郵件集)作為訓(xùn)練樣本集，分類器根據(jù)訓(xùn)練樣本集訓(xùn)練出特征詞庫，特征詞庫包括特征詞及其權(quán)重；當有未知類別的郵件到來時，運用分類器，將該郵件中的特征詞提取出來，與特征詞庫中的特征詞進行比對，如果匹配成功，那么就記錄該詞的權(quán)重，然后選出一定數(shù)目的單詞從未知郵件中存在于特征詞庫的所有特征詞中，最后將其權(quán)重相乘，得到該郵件屬于垃圾郵件的權(quán)重，若權(quán)重值大于給定閾值，則該郵件為垃圾郵件，否則為正常郵件。過濾器構(gòu)造過程具體包括以下三大部分：① 預(yù)處理過程，包括郵件內(nèi)容提取、郵件解碼、中文分詞、特征詞提取、生成特征詞庫等過程。② 訓(xùn)練過程，根據(jù)分類算法生成分類器，該分類器的輸入為己知類別的郵件文本集，輸出為分類器的特征詞庫。③ 分類過程，輸入為待分類郵件集，根據(jù)訓(xùn)練過程所生成的特征詞庫進行匹配，輸出為每封郵件的類別信息(垃圾郵件/正常郵件)。具體流程圖如圖 41 所示：Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 21 是訓(xùn)練郵件集S t a r t S t a r t測試郵件集文本表示特征選擇學(xué)習(xí)特征詞庫分類器郵件類別是否有待分郵件 ？E N D否圖 41 基于內(nèi)容垃圾郵件系統(tǒng)的整體流程 主要模塊設(shè)計垃圾郵件過濾系統(tǒng)主要有三個模塊：郵件預(yù)處理模塊、訓(xùn)練模塊和分類模塊下面分別就這三個模塊進行簡要介紹。 郵件預(yù)處理模塊1. 郵件內(nèi)容的提取本模塊通過分析電子郵件的字段值得到該郵件的郵件體內(nèi)容，內(nèi)容都是 text 文本文檔類型。2. 郵件解碼本系統(tǒng)處理的電子郵件來源是從網(wǎng)絡(luò)上抓取的郵件數(shù)據(jù)包，然后在 Snorts 環(huán)境下就行數(shù)據(jù)包重組而來的原始郵件，該郵件是未經(jīng)解碼的郵件，要對郵件進行文本分析必須先將對郵件進行解碼，翻譯成用戶能夠識別的文本文件，然后才能開展后繼的中文分詞，特征提取等。Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 22 電子郵件在傳送過程中一般都要對文件進行編碼，因為電子郵件僅能夠傳輸 7bit 編碼格式的字符信息，即 ASCII 碼格式。而對于非 7 位編碼格式的字符信息則必須經(jīng)過編碼處理，使其能夠正常傳輸。編碼以后的文本內(nèi)容會顯示為不可識別的字符串信息，接收方必須將接收到的字符串信息進行解碼才能得到用戶可識別的正常文本信息。若非如此就很可能出現(xiàn)截取 8 位編碼的前 7 位進行傳送，而將最后一位與下一字符的編碼歸并在一起，這樣會導(dǎo)致出現(xiàn)用戶不可是別的亂碼，不能正確傳送所要表達的信息，最常見的 8 位編碼格式的字符是漢字，必須要經(jīng)過編碼處理才能夠正確傳輸。本系統(tǒng)主要設(shè)計了 MIMEdecoder，MBCSdecoder ， MBCSinterpreter 三個類來實現(xiàn)一個郵件解碼器的功能。① MIMEdecoder 的作用是處理郵件中各種編碼格式，包括 Base64 編碼和 QuotedPrintable 編碼。它的輸入是編碼后的字符流，輸出時解碼后的二進制值，終止條件是當遇到 MIME 編碼中的 Boundary 行式的字符流。本類針對具體的編碼格式派生出了幾個子類，主要包括IdentityMIMEdecoder；SinkMIMEdecoder，Base64MIMEdecoder ，QuotedprintableMIMEdecoder。其中 IdentityMIMEdecoder 是用來處理不需解碼的字符流的，即以 7bit 編碼的字符流；SinkMIMEdecoder 是用來跳過我們并不感興趣的字符流的；Base64MIMEdecode：是用來對 Base64 編碼格式的字符流進行解碼的；QuotedprintableMIQuotedprintableMIMEdecoder 是用來對 Qutotedprintable 格式的字符流進行解碼的。② MBCSdecoder 的作用是根據(jù)具體的文本采用的字符集來對 MIMEdecoder 解碼后的二進制流進行解碼。常用的字符集有 GB2312(2 字節(jié))、GBK(2 字節(jié))、UTF8(3 字節(jié))、UTF16(2 字節(jié) )、Big5(2 字節(jié) )等。MBCSdecoder 根據(jù)這些字符集的編碼格式從字符流中選取適當長度的字節(jié)，然后運用十六進制表示。③ MBCSinterpreter 是將 MBCSdecoder 解碼后的十六進制字串與相應(yīng)字符集的字符集編碼表進行對應(yīng)，從中查找該字串對應(yīng)的漢字字符。至此，郵件中經(jīng)過編碼以后的用戶不可識別的字符串就轉(zhuǎn)化為用戶可以理解的漢字，郵件也被成功的轉(zhuǎn)化為文本文件，可以對文本文件進行接下來的分詞處理了。3. 中文分詞文本分詞方法與特定的語言相關(guān)，常見的有中文和英文兩種。對英文進行分詞，主要是以非字母符號隔開的，如標點符號、空格等，其分詞方法是連續(xù)讀字母字符直至出現(xiàn)非字母字符；對于中文分詞來說，情形就相對復(fù)雜多了，中文詞是沒有明顯界限的，并且中文詞具有詞性、同義詞、多義詞、上下文干擾等特征，所以中文分詞的難度要更Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 23 大。采用不同的分詞方法，也會有不同的效果，查全率、準確率等指標也會受影響。分詞的精度也會影響到系統(tǒng)準確率。為了能夠選擇分詞效果較好的算法，本系統(tǒng)對常用的分詞算法的優(yōu)缺點進行了分析與總結(jié)，分析如下：1) 最大匹配分詞法本算法是一種基于分詞詞典的分詞算法，簡單易懂，易于實現(xiàn)。分詞過程基本上不涉及詞性、語義或者上下文語境等因素。最大匹配分詞算法又分為正向最大匹配算法和逆向最大匹配算法，這兩種算法的基本思想是一樣的，只不過他們切分字串的方向不同。正向最大匹配法是從左到右進行切分的，而逆向最大匹配法是從右到左進行切分的。正向最大匹配算法的基本原理為：設(shè)分詞詞典中含有的最長詞的長度為 N，從待分詞文本中按序讀取含有 N 個漢字的字串，然后在分詞詞典中去查找，如果找到該字串，則分詞完成，繼續(xù)處理剩下的待分詞文；否則，去掉該字串的最后一個字作為新的匹配字串，繼續(xù)在分詞詞典中查找，若找到，分詞完成，否則再去掉匹配字串的最后一個字，如此下去直到找到該詞或者待分類文本為空。2) 全切分全切分算法的基本思想是列舉出所有可能的切分結(jié)果，但是這種方法運用起來不容易實現(xiàn)，尤其是當待分詞的文本很長時，全切分的結(jié)果會變得極其巨大，分詞速度也會非常慢，并且全切分所產(chǎn)生的分詞結(jié)果中大多數(shù)都是無用信息，對生成正確結(jié)果并沒有太大幫助，所以，本方法并不實用。3) 最大概率分詞法該分詞方法是一種統(tǒng)計的方法。通過計算相鄰字出現(xiàn)的次數(shù)信息，當其超過某個閾值時，這兩個字可能就組成一個詞的詞頻相乘求得最后的結(jié)果。經(jīng)過對以上分詞技術(shù)的分析與比較，正向匹配算法效率較高，并且實現(xiàn)起來也比較簡單，所以本系統(tǒng)采用了正向匹配算法作為分詞算法。4. 特征詞提取電子郵件經(jīng)過分詞處理后的詞的數(shù)量一般很大，可以利用特征提取技術(shù)，它的優(yōu)點是可以降低詞的維數(shù)，選擇對文本類別分別效率較大的詞，提高過濾效率。本系統(tǒng)為了選擇合適的特征詞提取算法對常見特征詞提取算法的效率進行了分析：1) 互信息互信息是指詞條和文本類之間的相關(guān)度，當互信息量越大的時候，詞條和文本類都出現(xiàn)的程度越大。但是它沒有考慮單詞的頻度及發(fā)生的頻度，而是傾向于稀有單詞，所以精度不是很高。2) 信息增益Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 24 該方法存在的問題是如果一個單詞在類 C1 中出現(xiàn)，而在類 C2 中不出現(xiàn)，這個單詞原本是很重要，但是根據(jù)要求，需要對各個 log 值求和后相互抵消，結(jié)果為 0，與某些詞無法區(qū)分，而解決這個問題的方法有兩種，分別為：一是對如 log 值取絕對值，二是省略 log 值小于 0 的情況。3) 基于文檔 頻度的特征選擇算法基于文檔頻度的特征選擇算法是指將文檔中出現(xiàn)的所有關(guān)鍵詞作為候選特征詞，并計算該詞在所有文檔中出現(xiàn)的次數(shù)，當次數(shù)小于某個閾值時表示該詞對文檔的類別特征影響較小，不用作特征詞。這種算法是最簡單的特征選擇算法。通過對以上特征提取方法的分析得出，基于文檔頻度的算法簡單高效、易于實現(xiàn)，因此本系統(tǒng)采用了這種算法來進行特征詞提取。 訓(xùn)練模塊本模塊的作用是主要是訓(xùn)練出特征詞庫。首先將郵件樣本集分為正常郵件集和垃圾郵件集，再通過統(tǒng)計特征詞在每個郵件集中出現(xiàn)的頻率來計算該詞的先驗信息，然后將所有特征詞及先驗信息寫入數(shù)據(jù)字典，最后導(dǎo)出到二進制文件形成特征詞庫。 分類模塊本模塊的作用是對待分類郵件進行分類。當新來一封郵件時，先對郵件進行預(yù)處理，然后將分詞結(jié)果在特征詞庫中進行查找并記錄先驗信息，按一定算法選取特定數(shù)量的詞作為特征詞，再根據(jù)貝葉斯算法計算，計算得出此郵件屬于垃圾郵件的概率，若概率值超過特定的閾值，則為垃圾郵件；否則為正常郵件。 本章小結(jié)本章主要介紹了郵件過濾系統(tǒng)的總體設(shè)計，第一節(jié)介紹了系統(tǒng)設(shè)計及流程，第二節(jié)主要介紹了本過濾系統(tǒng)的主要構(gòu)成模塊包括郵件預(yù)處理模塊、訓(xùn)練模塊、分類模塊。Inter 電子郵件過濾器的設(shè)計畢業(yè)論文 25 5 郵件過濾系統(tǒng)的實現(xiàn) 郵件樣本集的選取在對郵件進行分類前，分類器要先學(xué)習(xí)一個預(yù)先被人工正確分類的郵件集，提取出垃圾郵件類和正常郵件類的特征。這個供分類器學(xué)習(xí)的郵件集，叫做訓(xùn)練樣本集。在測試分類器的性能時，還需要測試樣本集。測試集中的郵件輸入到分類器，獲得分類器對該郵件的分類結(jié)果，將該分類結(jié)果與該郵件的實際類別進行比較。通過統(tǒng)計分類器對測試集所有郵件的分類結(jié)果與人工分類結(jié)果的比較，評價出該分類器的性能指標。系統(tǒng)中對于訓(xùn)練樣本集和測試樣本集的選取，來源于中國教育科研網(wǎng)絡(luò)中心計算機緊急響應(yīng)小組(CCERT)提供的 10000 封垃圾郵件和 9042 封正常郵件，系統(tǒng)從中提取出有代表性的 100 封郵件作為語料庫。將其中 100 封郵件(包括 50 封正常郵件 50 封垃圾郵件) 做為樣本訓(xùn)練集。 過濾模型的設(shè)計通過以上對于基于貝葉斯算法的分析，結(jié)合中文郵件過濾的特性，我們提出了基于樸素貝葉斯的算法模型，意在進一步提高中文郵件的全查率，這一模型系統(tǒng)圖如圖 51所示：基于樸素貝葉斯算法電子郵件訓(xùn)練樣本集郵件解碼