【正文】 n the content of spam filters designed, through the analysis of the advantages and disadvantages of some mail filtering technology, finally choose the design on the theory of naive Bayes algorithm spam filters. Common in text categorization using Bayesian algorithm, it has extensive applicability, and spam filtering is essentially a text classification problem, so the article choose Bayesian algorithm design mail filters. Secondly, through the parison， choosing more reasonable effective Email pretreatment techniques (including mail content extraction, decoding, Chinese word segmentation, key words extraction, feature library, etc.), and thus designing better spam filters.Finally, using the Java language to realize the spam filtering system, and carring out the actual application layer surface test, the result of the experiment has reliability and practicability, the filtering spam classification and based on Chinese satisfactory results have been achieved.Key Words: Email。 Email filtering system。目前，無(wú)論是我們的生活還是工作，都離不開網(wǎng)絡(luò)技術(shù)，在這樣一個(gè)信息爆炸的時(shí)代，網(wǎng)絡(luò)所提供的巨大的信息量和查詢信息的方便性都帶給我們前所未有的預(yù)料。網(wǎng)絡(luò)的發(fā)展使人們社會(huì)生活中的交流越來(lái)越方便，越來(lái)越容易，信息的傳播越來(lái)越迅速，但是同時(shí)也產(chǎn)生了許多垃圾郵件信息，普遍稱之為垃圾郵件，1975 年垃圾郵件的概念首次被 JonPostel 提出了，但至今為止還沒(méi)有嚴(yán)格規(guī)范的定義。② 收件人不能拒絕接收的電子郵件。④ 含有不真實(shí)的信息，例如信息源、郵件發(fā)件人、郵件路由等信息的電子郵件。一些非法團(tuán)體和個(gè)人，利用網(wǎng)絡(luò)郵件服務(wù)存在的一些漏洞，大批發(fā)送電子郵件，造成了大量的垃圾郵件使整個(gè)網(wǎng)絡(luò)癱瘓，主要的垃圾郵件的危害有 [2]：① 他們占用了大量的網(wǎng)絡(luò)帶寬和用戶的郵箱存儲(chǔ)空間，導(dǎo)致郵件服務(wù)器的擁堵，從而降低了網(wǎng)絡(luò)運(yùn)行速度，嚴(yán)重會(huì)影響到郵件服務(wù)器和網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行，甚至阻礙了正常信息的傳送，造成了無(wú)法估計(jì)的經(jīng)濟(jì)損失。在國(guó)際上，頻繁轉(zhuǎn)發(fā)垃圾郵件的主機(jī)會(huì)被上級(jí)國(guó)際 ISP 列入國(guó)際垃圾郵件數(shù)據(jù)庫(kù)(黑名單)，從而導(dǎo)致該主機(jī)不能訪問(wèn)國(guó)外許多網(wǎng)絡(luò)。③ 大量的垃圾郵件造成收件人容易誤刪正常郵件，浪費(fèi)收件人的時(shí)間、金錢、精I(xiàn)nter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 2 力。⑤ 一些帶有反動(dòng)宣傳性質(zhì)內(nèi)容的垃圾郵件還可能危及到國(guó)家的穩(wěn)定和安全。這些特性帶來(lái)的后果，使人們的正常生活遭到干擾，浪費(fèi)用戶寶貴的時(shí)間與精力，甚至更為嚴(yán)重的是存在信息安全的隱患。垃圾郵件造成的主要危害如下 [4]：① 傳輸過(guò)程中浪費(fèi)了許多網(wǎng)絡(luò)資源。② 侵害了用戶的利益。③ 垃圾郵件損害 ISP 的市場(chǎng)形象，造成無(wú)形資產(chǎn)流失。④ 對(duì)網(wǎng)絡(luò)安全形成威脅。隨著垃圾郵件的演變，用惡意代碼或者監(jiān)視軟件等來(lái)支持垃圾郵件己經(jīng)明顯地增加，造成更嚴(yán)重的破壞性。⑤ 垃圾郵件會(huì)對(duì)現(xiàn)實(shí)的社會(huì)造成危害。隨著網(wǎng)絡(luò)應(yīng)用的普及，電子郵件的傳輸迅速、使用方便、價(jià)格低廉的特點(diǎn)使其成為現(xiàn)代社會(huì)主要通訊工具之一，也是互聯(lián)網(wǎng)上最重要、最普遍的應(yīng)用之一。所以，研究垃圾郵件過(guò)濾的方法，并且設(shè)計(jì)它是一件具有深遠(yuǎn)意義的事情。垃圾郵件制造者發(fā)送技巧有 [5]：Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 3 ① 盜取用戶身份，他們把全球各地的發(fā)信者 IP 地址收集起來(lái)，然后利用新垃圾郵件的域名，創(chuàng)建 URL 在垃圾郵件中，隱藏在其他“健康”URL 的后面以獲得好信譽(yù)，或利用如微博、郵箱、網(wǎng)頁(yè)鏈接等這些網(wǎng)絡(luò)資源來(lái)達(dá)到身份欺騙。② 圖片垃圾郵件及多層圖片垃圾郵件 [6]：發(fā)送者發(fā)送垃圾郵件會(huì)運(yùn)用各種方式方法來(lái)隱藏信息，他們使用圖片的格式來(lái)發(fā)送，而不是文本。③ 躲避全球 IP 監(jiān)控及信譽(yù)評(píng)分 [7]：信譽(yù)評(píng)分技術(shù)是指根據(jù)信譽(yù)篩選和檢索郵件的方法，按照寄件人行為進(jìn)行分析然后評(píng)比。此外，發(fā)送者對(duì) IP 地址進(jìn)入黑名單的地址也要盡量回避，因此，他們一直致力于搜尋新的僵尸服務(wù)器，從而發(fā)送垃圾郵件。這些非法新技術(shù)的擴(kuò)張性和隱蔽性導(dǎo)致垃圾郵件泛濫成災(zāi)，給人們?cè)斐闪撕芏嗬_。由此得出結(jié)論國(guó)內(nèi)外有關(guān)垃圾郵件過(guò)濾的研究現(xiàn)狀，可以分成兩種趨勢(shì) [9]：① 發(fā)達(dá)國(guó)家( 尤其是英語(yǔ)國(guó)家，如美國(guó)、英國(guó)、加拿大、澳大利亞等，這些國(guó)家同時(shí)也是垃圾郵件的重患區(qū))傾向于研究反垃圾郵件基礎(chǔ)理論知識(shí)，將一些新理論與新方法融入到反垃圾郵件技術(shù)領(lǐng)域。但是，其中不乏一些國(guó)家對(duì)已經(jīng)有的反垃圾郵件理論和技術(shù)進(jìn)行改革與創(chuàng)造性的工作。那么，相應(yīng)的垃圾郵件過(guò)濾技術(shù)也應(yīng)用而生了，主要有以下的新技術(shù) [11]：① 發(fā)件人特征識(shí)別技術(shù)(Predictive Sender Profiling)。如列出制造垃圾郵件者的行為特征，加強(qiáng)對(duì)郵件的身份驗(yàn)證等。對(duì)用戶使用電子郵件的情況分析并進(jìn)行信譽(yù)評(píng)分。因此，如果該電子郵件信譽(yù)差，被列入黑名單，那么就不能收發(fā)電子郵件，他所發(fā)送的郵件就被視為垃圾郵件而被拋棄。垃圾郵件為了逃避基于內(nèi)容的過(guò)濾技術(shù)，將文本內(nèi)容改為圖片形式，把垃圾內(nèi)容嵌入到圖片中進(jìn)行發(fā)送，對(duì)于圖片郵件過(guò)濾技術(shù)，主要有圖片垃圾郵件指紋識(shí)別技術(shù)。④ 意圖分析技術(shù) [12](Intention Analysis)。因?yàn)椴煌臅r(shí)間，發(fā)送垃圾郵件的意圖是不同的，因此要隨時(shí)洞察它的意圖并對(duì)其進(jìn)行阻斷，所以分析意圖就更為重要了。所以要對(duì)常用的垃圾郵件網(wǎng)絡(luò) URL 地址構(gòu)成的數(shù)據(jù)庫(kù)進(jìn)行更新與維護(hù)，這樣就有利于對(duì)垃圾郵件的過(guò)濾，能夠通過(guò)該 URL 地址來(lái)阻斷垃圾郵件。 論文主要內(nèi)容和章節(jié)安排 主要內(nèi)容本文主要設(shè)計(jì)實(shí)現(xiàn)基于內(nèi)容的垃圾郵件過(guò)濾器，完成垃圾郵件過(guò)濾的功能。② 通過(guò)比較選用更加合理有效的郵件預(yù)處理技術(shù)(包括郵件內(nèi)容提取，郵件解碼，中文分詞，特征詞提取，特征庫(kù)等)，從而更好的設(shè)計(jì)出垃圾郵件過(guò)濾器。④ 合理的設(shè)計(jì)了郵件預(yù)處理過(guò)程，包括郵件內(nèi)容的提取，電子郵件解碼的實(shí)現(xiàn)，Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 5 中文分詞的實(shí)現(xiàn)，以及特征詞提取的實(shí)現(xiàn)。 章節(jié)安排本文的章節(jié)安排如下：第一章為緒論，首先概括了垃圾郵件的研究背景，其次簡(jiǎn)述了垃圾郵件的研究意義，最后概括了國(guó)內(nèi)外垃圾郵件的過(guò)濾技術(shù)的的現(xiàn)狀和最新的過(guò)濾技術(shù)及常用的過(guò)濾技術(shù)。并且對(duì)目前常見的幾種垃圾郵件過(guò)濾技術(shù)進(jìn)行了簡(jiǎn)要的概述。本章首先介紹了貝葉斯技術(shù)的相關(guān)背景知識(shí)和基本原理、公式，使我們對(duì)其有了大體的了解，接著，本章著重介紹了其中的樸素貝葉斯算法及其在垃圾郵件過(guò)濾領(lǐng)域中的實(shí)際應(yīng)用。第五章主要設(shè)計(jì)和實(shí)現(xiàn)了預(yù)處理模塊，包括對(duì)漢字解碼(先進(jìn)行 MIME 解碼，再進(jìn)行漢字解碼，最后進(jìn)行漢字解析)、特征詞提取(本系統(tǒng)采用文檔頻率法實(shí)現(xiàn))、中文分詞(本系統(tǒng)采用正向最大匹配算法實(shí)現(xiàn))、去除停用詞等過(guò)程的設(shè)計(jì)實(shí)現(xiàn)，并給出了相應(yīng)實(shí)現(xiàn)步驟和具體流程。第六章總結(jié)與展望。Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 6 2 垃圾郵件過(guò)濾的基礎(chǔ)知識(shí)和相關(guān)技術(shù)電子郵件是自 Inter 問(wèn)世后最早的應(yīng)用，它一出現(xiàn)就得到了廣泛的喜愛和青睞，用戶可以用非常低廉的價(jià)格 [13]，以非?？焖俚姆椒ǎc世界上任何一個(gè)角落的網(wǎng)絡(luò)用戶聯(lián)系，使世界范圍內(nèi)的即時(shí)通信變?yōu)榭赡埽⑶译S著技術(shù)的進(jìn)步，電子郵件不僅可以傳送文字，而且可以傳送圖象、聲音等各種音視頻文件 [14]。 電子郵件過(guò)濾基礎(chǔ)知識(shí) 電子郵件工作原理電子郵件的工作原理為 [15]：當(dāng)用戶要發(fā)送電子郵件時(shí)，首先，通過(guò) MUA(郵件用戶代理) 來(lái)編輯郵件，然后通過(guò) MTA(郵件傳輸代理) 將郵件傳送到發(fā)送端郵件服務(wù)器上，發(fā)送端郵件服務(wù)器將該郵件存入自身的緩存區(qū)內(nèi)，然后根據(jù)郵件的收件人地址通過(guò)域名解析得到接收端服務(wù)器的 IP 地址，再通過(guò) MTA(郵件傳輸代理)傳送到接收端郵件服務(wù)器上，接收端郵件服務(wù)器收到該郵件后，根據(jù)郵件的收件人地址將郵件通過(guò) MDA(郵件投遞代理) 投遞到收件人的郵箱，收件人通過(guò) MUA(郵件用戶代理)即可看到郵件信息。郵件傳輸代理 M T A 郵件傳輸代理 M T A待發(fā)送郵件隊(duì)列 郵件投遞代理 M D A用戶代理 M U A終端用戶用戶郵箱用戶代理 M U A終端用戶圖 21 電子郵件傳輸原理圖Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 7 下面補(bǔ)充解釋郵件傳輸過(guò)程中的重要概念。MUA 是用戶用來(lái)查閱或者編輯郵件的代理，所有的郵件都是由郵件用戶代理發(fā)出的，在整個(gè)郵件系統(tǒng)中，用戶僅僅接觸到郵件用戶代理，并不需要了解郵件傳輸?shù)膬?nèi)部過(guò)程 [16]。MTA 是郵件在網(wǎng)絡(luò)上用于傳輸?shù)拇?，可以在用戶與服務(wù)器或者服務(wù)器與服務(wù)器之間傳輸郵件，并通過(guò)目的地址選擇傳送郵件的合適路徑。MDA 是服務(wù)器向收件人郵箱投遞郵件的程序，他根據(jù)收件人的郵箱地址信息找到收件人的郵箱，并將郵件投入郵箱中。它屬于 TCP/IP 協(xié)議族，提供一種面向連接的可靠的服務(wù)，他控制著電子郵件從發(fā)送端地址到目的端地址的傳輸以及中轉(zhuǎn)機(jī)制。SMTP 是一種獨(dú)立的傳輸子系統(tǒng)，并且是特定的，必要的是要有可靠有序的數(shù)據(jù)流信道支持。2. POP3 協(xié)議POP3 (Post Office Protocol)郵局協(xié)議 [18]，是目前應(yīng)用最廣泛的郵件接收協(xié)議，規(guī)定了收件人如何從服務(wù)器接收郵件的規(guī)則，屬于離線式工作協(xié)議。POP3 支持離線的工作方式，并且支持在線的工作方式。3. IMAP 協(xié)議IMAP ( Inter Message Access Protocol)網(wǎng)際消息訪問(wèn)協(xié)議 [19]，也是一種郵件接收協(xié)議，他允許用戶通過(guò)查看郵件頭信息來(lái)決定是否讀取、刪除或者查找郵件，還允許用戶在服務(wù)器上新建或者修改文件夾。IMAP 能夠提供脫機(jī)Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 8 工作，聯(lián)機(jī)工作和斷連接工作方式。4. 電子郵件編碼格式現(xiàn)在的電子郵件通常采用 MIME(Multipurpose Inter Mail Extensions)編碼 [20]，即多用途互聯(lián)網(wǎng)郵件擴(kuò)展編碼，它使得一些超文本文件能夠在網(wǎng)絡(luò)上進(jìn)行傳輸，如圖片、音頻、視頻等二進(jìn)制流數(shù)據(jù)?？梢栽试S郵件中含有不同編碼方式的文件，解決了原來(lái)只能傳送一種編碼格式的缺陷。MIME 協(xié)議誕生之前，電子郵件中只能傳輸 7bit 的 ASIIC 碼，但是 8bit 內(nèi)碼的字碼卻不能傳輸，這使得一些不使用英語(yǔ)的國(guó)家不能使用電子郵件，所以計(jì)算機(jī)工作者們才發(fā)明了 MIME 編碼，其設(shè)計(jì)思想是，在發(fā)送的的地方將 8bit 轉(zhuǎn)化為 7bit 的內(nèi)碼，在接收端進(jìn)行解碼，將編碼后的字串還原為 8bit 的原碼。MIME 主要定義了兩種編碼方法 Base64 和 QP(QuotePrintable)[21]。1) Base64 編碼Base64 編碼操作簡(jiǎn)單，易于理解，是目前網(wǎng)絡(luò)上使用最廣泛的一種編碼規(guī)則，尤其是在電子郵件的編碼處理方法中，它己經(jīng)成為了主流方向。當(dāng)然還存在一種情況就是當(dāng)字符流中僅有一個(gè)或者兩個(gè) 8bit 字符時(shí)，此時(shí)仍然從高位向低位每次取 6bit，當(dāng)不足 6bit 時(shí)低位補(bǔ) 0，6bit 段的個(gè)數(shù)不足 4 個(gè)時(shí)，用‘=’補(bǔ)足。2) QP 編碼QP 即 QuotePrintable 的縮寫，多數(shù)情況下用于電子郵件的中的編碼格式，該方法實(shí)現(xiàn)起來(lái)最簡(jiǎn)單但是編碼效率也最低。而 7bit 的字符則直接輸出，不需要編碼，不用編碼的字符的 ASCII 分布在 3360，62126 的范圍內(nèi)。根據(jù)對(duì)電子郵件系統(tǒng)的組成及工作原理的學(xué)習(xí)，我們可以從郵件中提取出一些幾個(gè)關(guān)鍵的地方：收件人、發(fā)件人、郵件頭、郵件正文。根據(jù)這種原理發(fā)展而來(lái)的郵件過(guò)濾方法主要由如下兩種：第一種是基于來(lái)源的方法。基于地址的方法主要有郵件地址過(guò)濾、郵件信頭過(guò)濾和郵件群發(fā)過(guò)濾。 基于來(lái)源的郵件過(guò)濾郵件來(lái)源過(guò)濾的基本技術(shù)方法有 [23]：IP黑/白名單、實(shí)時(shí)黑名單列表(RBL)。大部分的做法是創(chuàng)建一個(gè)黑、白名單列表，并收集IP 地址，當(dāng)發(fā)件人IP 地址已被加入到白名單中，則認(rèn)為從該IP發(fā)來(lái)的任何郵件都是合法郵件。而回復(fù)地址的信息大部分都是假的，所以就沒(méi)有人會(huì)接收到，假使他們回復(fù)了，并且是有用的地址，但他們一般不會(huì)響應(yīng)這個(gè)質(zhì)詢。當(dāng)一個(gè)已知垃圾郵件的地址已經(jīng)被添加到黑名單中時(shí)，當(dāng)新接收到一封郵件時(shí)，首先會(huì)到黑名單中去查找，如果能找到對(duì)應(yīng)的，那么這封郵件為垃圾郵件，就會(huì)被阻隔，不能發(fā)送。2. 實(shí)時(shí)黑名單列表(RBL)實(shí)時(shí)黑名單(Realtime Black hole List，簡(jiǎn)稱R