【文章內容簡介】 日益關注，研究人員紛紛提出了自己的技術方案：信譽評分技術、基于信號檢測理論、圖片識別 技術 、意圖分析技術和分布式郵件過濾技術等等。 由此得出結論 國內外 有關 垃圾郵件過濾的研究 現(xiàn)狀 ，可以分成兩種趨勢 [9]： ① 發(fā)達國家 (尤其 是英語國家，如美國、英國、加拿大、澳大利亞等，這些國家同時也是垃圾郵件的 重患 區(qū) )傾向于研究 反垃圾郵件基礎理論 知識 ， 將一些新理論與新方法融入到反垃圾郵件技術領 域。 ② 非英語發(fā)達國家和發(fā)展中國家 [10](如中國、德國、瑞士、韓國、日本、巴西 )則 更傾向于把反垃圾郵件的研究成果運用到生活中。但是，其中不乏一些國家對已經有的反垃圾郵件理論和技術進行改革與創(chuàng)造性的工作。 最新過濾技術 針對新的垃圾郵件的問題，也要有新的解決方案來解決這些新的問題。那么，相應的垃圾郵件過濾技術也應用而生了，主要有以下的新技術 [11]： ① 發(fā)件人特征識別技術 (Predictive Sender Profiling)。特征識別技術 是指那些盜用身份而發(fā)送郵件過濾的技術，這樣就需要對發(fā)信 者的身份進行驗證，并且要對發(fā)送垃圾郵件的發(fā)送者進行預測。如列出制造垃圾郵件者的行為特征， 加強對郵件的身份驗證等。 ② 信譽評分技術 (IP Reputation)。 對用戶使用電子郵件的情況分析并進行信譽評分。Inter 電子郵件過濾器的設計畢業(yè)論文 4 例如辦理手機卡一樣，如果信譽低，會被進入黑名單，不再予以辦理任何業(yè)務。因此，如果該電子郵件信譽差， 被列入黑名單，那么就不能收發(fā)電子郵件， 他所發(fā)送的郵件就被視為垃圾郵件而被拋棄。 ③ 多重圖片識別技術。垃圾郵件為了逃避基于內容的過濾技術，將文本內容改為圖片形式，把垃圾內容嵌入到圖片中進行發(fā)送，對于圖片郵件過 濾技術，主要有圖片垃圾郵件指紋識別技術。 主要是把新處理的圖片采用不同顏色 對比、文字背景 等進行組合統(tǒng)一進行比對，然后進行過濾 。 ④ 意圖分析技術 [12](Intention Analysis)。 主要是猜測垃圾發(fā)送者為什么要發(fā)送垃圾郵件 ，對垃圾郵件的 發(fā)送 意圖進行分析，分析它們發(fā)送的意圖和行為能夠更好地過濾郵件 。因為不同的時間，發(fā)送垃圾郵件的意圖是不同的，因此要 隨時洞察它的意圖 并 對其進行阻斷 ，所以分析意圖就更為重要了 。 大多數的垃圾郵件發(fā)送者的動機是想讓用戶點擊 某個 URL 地址 或各種廣告宣傳品等 ，垃圾郵件內容隱藏在了 URL 鏈接當中，其它的基于內容的過濾 技術 沒有辦法將其過濾，通過分析垃圾郵件的這個意圖 ，然后對 URL 的鏈接做出相應的處理來過濾電子郵件。所以要對常用的垃圾郵件網絡 URL 地址構成的數據庫進行更新與維護，這樣就 有利于對垃圾郵件的過濾，能夠通過該 URL 地址來阻斷垃圾郵件。 從而實現(xiàn)垃圾郵件過濾。 論文主要內容和章節(jié)安排 主要內容 本文主要設計實現(xiàn)基于內容的垃圾郵件過濾器，完成垃圾郵件過濾的功能。 本文的主要內容為 以下幾個方面： ① 垃圾郵件相關知識的研究 ， 首先概括了垃圾郵件的 研究背景，當前的現(xiàn)狀， 以 及危害，隨后研究了電子郵件的工作原理和相關郵件協(xié)議，并對三種垃圾郵件過濾手段進行歸納總結 。 ② 通過比較選用更加合理有效的郵件預處理技術 (包括郵件內容提取，郵件解碼，中文分詞，特征詞提取，特征庫等 )，從而更好的設計出垃圾郵件過濾器。 ③ 設計了垃圾郵件過濾系統(tǒng)的總體架構。 ④ 合理的設計了 郵件預處理過程，包括郵件內容的提取，電子郵件解碼的實現(xiàn)，中文分詞的實現(xiàn)，以及特征詞提取的實現(xiàn)。 ⑤ 完成并 實現(xiàn)了垃圾郵件過濾器，主要包括包括預處理過程、訓練過程、分類過程和測試過程。 Inter 電子郵件過濾器的設計畢業(yè)論文 5 章節(jié)安排 本文的章節(jié)安排如 下： 第一章為緒論，首先 概括 了垃圾郵件的 研究背景 ，其次簡述了垃圾郵件的研究意義，最后 概括了國內外垃圾郵件的過濾技術的的現(xiàn)狀和最新的過濾技術及常用的過濾技術。 第二章主要研究和總結了電子郵件的相關原理，包括電子郵件過濾的 基本理論 知識 、相關協(xié)議 (主要包括 SMTP 協(xié)議， POP3 協(xié)議、 IMAP 協(xié)議等重要協(xié)議 )和電子郵件編碼格式 (MIME 編碼、 Base64 編碼、 QP 編碼等 )等。并且對目前常見的幾種垃圾郵件過濾技術進行了簡要的概述。 第三章 主要研究了 貝葉斯技術，它基于統(tǒng)計的原則，根據用戶認為的垃圾郵件和合法郵件 的數量 進 行統(tǒng)計計算，具有循序漸進的功能，可以逐漸取得好的效果。本章首先介紹了貝葉斯技術的相關背景知識和基本原理、公式，使我們對其有了大體的了解 ， 接著，本章著重介紹了其中的樸素貝葉斯算法及其在垃圾郵件過濾領域中的實際應用。 第四章 主要介紹了郵件過濾系統(tǒng)的總體設計，第一節(jié) 簡單 介紹了系統(tǒng)的設計 及流程 ，第二節(jié)主要介紹了本過濾系統(tǒng)的 主要構成模塊 包括郵件預處理模塊、訓練模塊、分類模塊等。 第五章 主要設計和實現(xiàn)了預處理模塊，包括對漢字解碼 (先進行 MIME 解碼，再進行漢字解碼，最后進行漢字解析 )、特征詞提取 (本系統(tǒng)采用文檔頻率法實 現(xiàn) )、中文分詞 (本系統(tǒng)采用正向最大匹配算法實現(xiàn) )、去除停用詞等過程的設計實現(xiàn)，并給出了相應實現(xiàn)步驟和具體流程。最后進行了系統(tǒng)測試，給出了測試結果。 第六章總結與展望?？偨Y了本文的主要工作，分析了本系統(tǒng)的優(yōu)點和不足，并展望了系統(tǒng)可能的改進方法。 Inter 電子郵件過濾器的設計畢業(yè)論文 6 2 垃圾郵件過濾的基礎知識和相關技術 電子郵件是自 Inter 問世后最早的應用， 它 一出現(xiàn)就得到了廣泛的喜愛和青睞，用戶可以用非常低廉的價格 [13]，以非?？焖俚?方法 ，與世界上任何一個角落的網絡用戶聯(lián)系，使世界范圍內的即時通信變?yōu)榭赡埽⑶译S著技術的進步，電子郵 件不僅可以傳送文字，而且可以傳送圖象、聲音等各種音視頻文件 [14]。正是由于電子郵件的使用簡易、投遞迅速、收費低廉，易于保存、全球暢通無阻，使得電子郵件被廣泛地應用，它使人們的交流方式得到了極大的改變。 電子郵件過濾基礎知識 電子郵件工作原理 電子郵件的工作原理為 [15]：當用戶要發(fā)送電子郵件時， 首先， 通過 MUA(郵件用戶代理 )來編輯郵件，然后通過 MTA(郵件傳輸代理 )將郵件傳送到發(fā)送端郵件服務器上，發(fā)送端郵件服務器將該郵件存入自身的緩存區(qū)內，然后根據郵件的收件人地址通過域名解析得到接收 端服務器的 IP 地址，再通過 MTA(郵件傳輸代理 )傳送到接收端郵件服務器上，接收端郵件服務器收到該郵件后，根據郵件的收件人地址將郵件通過 MDA(郵件投遞代理 )投遞到收件人的郵箱，收件人通過 MUA(郵件用戶代理 )即可看到郵件信息。其傳輸過程如圖 21 所示。 郵 件 傳 輸 代 理 M T A 郵 件 傳 輸 代 理 M T A待 發(fā) 送 郵 件 隊 列 郵 件 投 遞 代 理 M D A用 戶 代 理 M U A終 端 用 戶用 戶 郵 箱用 戶 代 理 M U A終 端 用 戶 圖 21 電子郵件傳輸原理圖 Inter 電子郵件過濾器的設計畢業(yè)論文 7 下面補充解釋郵件傳輸過程中的重要概念。 MUA(Mail User Agent)，郵件用戶代理。 MUA 是用戶用來查閱或者編輯郵件的代理，所有的郵件都是由郵件用戶代理發(fā)出 的，在整個郵件系統(tǒng)中，用戶僅僅接觸到郵件用戶代理，并不需要了解郵件傳輸的內部過程 [16]。 MTA(Mail Transfer Agent)，郵件傳輸代理。 MTA 是郵件在網絡上用于傳輸的代理，可以在用戶與服務器或者服務器與服務器之間傳輸郵件，并通過目的地址選擇傳送郵件的合適路徑。 MDA(Mail Delivery Agent)，郵件投遞代理。 MDA 是服務器向收件人郵箱投遞郵件的程序，他根據收件人的郵箱地址信息找到收件人的郵箱，并將郵件投入郵箱中。 電子郵件相關協(xié)議 1. SMTP 協(xié)議 SMTP(Simple Mail Transfer Protocol)簡單郵件傳輸協(xié)議 [17]，是互聯(lián)網上傳輸電子郵件的標準協(xié)議，主要 是運用傳輸系統(tǒng)，然后提供傳輸郵件，并且對來信進行相關的通知。它屬于 TCP/IP 協(xié)議族，提供一種面向連接的可靠的服務，他控制著電子郵件從發(fā)送端地址到目的端地址的傳輸以及中轉機制。 SMTP 協(xié)議規(guī)定，若發(fā)送端服務器和接收端服務器同處于一個網絡之中，則允許直接傳遞，否則，必須經過中轉服務器進行傳遞。 SMTP是一種獨立的傳輸子系統(tǒng)，并且是特定的，必要的是要有可靠有序的數據 流信道支持。它使用 TCP 的 25 號端口做為默認端口進行傳輸。 2. POP3 協(xié)議 POP3 (Post Office Protocol)郵局協(xié)議 [18]，是目前應用最廣泛的郵件接收協(xié)議，規(guī)定了收件人如何從服務器接收郵件的規(guī)則，屬于離線式工作協(xié)議。在離線工作方式下，若用戶想發(fā)送或者接收一封郵件時，都需要首先要通過 POP3 客戶端代理來登錄支持 POP3的服務器，通過該 POP3 服務器發(fā)送或接收郵件 ， 當用戶要接收郵件時，需將全部郵件下載到本地，郵件服務器將隨后刪除這些郵件的信息。 POP3 支持離線的工作方式，并且支持在線的工作方式。 當在在線 工作方式下收發(fā)郵件時，用戶可以在郵件服務器上直接讀取郵件，不需下載到本地，而且郵件服務器也會繼續(xù)保留用戶的郵件，不會刪除。 3. IMAP 協(xié)議 IMAP ( Inter Message Access Protocol)網際消息訪問協(xié)議 [19]，也是一種郵件接收協(xié)議，他允許用戶通過查看郵件頭信息來決定是否讀取、刪除或者查找郵件，還允許用戶在服務器上新建或者修改文件夾。它不僅使用戶能夠有選擇的從郵件服務器接收郵件，并且能夠支持基于服務器的信息處理功能，還有 共享信箱 的 功能。 IMAP 能夠提供脫機工Inter 電子郵件過濾器的設計畢業(yè)論文 8 作，聯(lián)機工作 和斷連接工作方式。 IMAP4 的脫機方式下工作時，不會主動清除在郵件服務器上己被下載的郵件。 4. 電子郵件編碼格式 現(xiàn)在的電子郵件通常采用 MIME(Multipurpose Inter Mail Extensions)編碼 [20]，即多用途互聯(lián)網郵件擴展編碼， 它 使得一些超文本文件能夠在網絡上進行傳輸，如圖片、音頻、視頻等二進制流數據。利用 MIME 編碼方式?？梢栽试S郵件中含有不同編碼方式的文件，解決了原來只能傳送一種編碼格式的缺陷。 MIME 編碼格式不僅廣泛應用在電子郵件上，而且也己成為超文本傳輸協(xié)議的一 個組成部分。 MIME 協(xié)議誕生之前，電子郵件中只能傳輸 7bit 的 ASIIC 碼， 但是 8bit 內碼的字碼卻不能傳輸， 這使得一些不使用英語的國家不能使用電子郵件，所以計算機工作者們才發(fā)明了 MIME 編碼， 其設計思想是，在發(fā)送的的地方將 8bit 轉化為 7bit 的內碼， 在接收端進行解碼，將編碼后的字串還原為 8bit 的原碼。 MIME 編碼算法簡單，易于理解，己經成為當今主要的郵件編碼方式，不僅是用來傳送 8bit 的字符，也可以用來傳送二進制的文件，如郵件中包含的的圖片、視頻等信息。 MIME 主要定義了兩種編碼方法 Base64 和 QP(QuotePrintable)[21]。下面將分別進行介紹。 1) Base64 編碼 Base64 編碼操作簡單，易于理解，是目前網絡上使用最廣泛的一種編碼規(guī)則，尤其是在電子郵件的編碼處理方法中，它己經成為了主流方向。 Base64 的實現(xiàn)方法為 [22]：從字符流中依次取 3 個 8bit，然后平均分為四段，每段含有 6 個 bit，每 6 個 bit 前加兩個 0，形成新的 8bit 段，計算新形成的每個 8bit 段的十進制值，最后在 Base64 編碼表中查找對應的字符 (編碼表中包含 ‘ AZ’，‘ az’，‘ 09’，‘ +’，‘ /’， 這些字符分別對應十進制數 ‘ 064’， 還包含一個 ‘ =’ 用來作為補足碼 )，并用該字符表示，這樣就完成了 Base64 的編碼過程。當然還存在一種情況就是當字符流中僅有一個或者兩個 8bit 字符時，此時仍然從高位向低位每次取 6bit，當不足 6bit 時低位補 0，6bit 段的個數不足 4 個時，用 ‘ =’ 補足。這就是 Base64 完整的編碼過程。 2) QP 編碼 QP 即 QuotePrintable 的縮寫，多數情況下用于電子郵件的中的編碼格式，該方法實現(xiàn)起來最簡單但是編碼效率也最低。 QP 編碼原理是 ： 將 8bit 的字符用兩個 十六進制數來表示，并在編碼后的字符前加‘ =’， 所以在 QP 編碼后的文件中會含有大量的 ‘ =’ ，如： =BF=A1=C7=E5=A3=AC=C4=FA=BA。而 7bit 的字符則直接輸出，不需要編碼，不Inter 電子郵件過濾器的設計畢業(yè)論文 9 用編碼的字符的 ASCII 分布在 3360， 62126 的范圍內。 電子郵件過濾方法 郵件過濾從其本質上來講就是對郵件的一個分類，即將郵件分為合法郵件和不合法郵件兩類。根據對電子郵件系統(tǒng)的組成及工作原理的學習，我們可以從郵件中提取出一些幾個關鍵的地方：收件人、發(fā)件人、郵件頭、郵件正文。在進行郵件過濾的時候也就是 從郵件的這幾個部分提取特