【正文】 繼續(xù)教育學(xué)院 畢業(yè)論文題目：基于貝葉斯算法的垃圾郵件過濾技術(shù)綜述學(xué)生姓名： 李達(dá)夫 學(xué) 號(hào)： 092028010027班 級(jí): CMU3097專 業(yè)： 指導(dǎo)教師： 鄒政2011 年 10 月基于貝葉斯算法的垃圾郵件過濾技術(shù)綜述摘要現(xiàn)在電子郵件成為一種快捷、成本少的通信技術(shù)手段，很大地方便了人們的通信與交流。但是，垃圾郵件的產(chǎn)生，影響了電子郵件的正常通信，占用的傳輸帶寬，并對(duì)系統(tǒng)安全造成了很大的威脅。因此，反垃圾郵件的研究問題已經(jīng)成為具有重大現(xiàn)實(shí)意義的全球性的課題。目前，對(duì)付垃圾郵件的主要方法和手段是通過反垃圾郵件立法和使用郵件過濾技術(shù)進(jìn)行處理，現(xiàn)已經(jīng)相繼出現(xiàn)了多種郵件過濾技術(shù)。常用的包括黑/白名單技術(shù)、基于內(nèi)容的分析方法以及基于規(guī)則的方法等?；趦?nèi)容分析的技術(shù)正逐步進(jìn)入郵件過濾技術(shù)當(dāng)中，并且成為當(dāng)前研究的熱點(diǎn)，其中，基于內(nèi)容分析的郵件過濾方法中的典型方法是基于貝葉斯算法的垃圾郵件過濾模型。本論文對(duì)中文垃圾郵件的特點(diǎn)進(jìn)行了比較系統(tǒng)的分析和研究，結(jié)合貝葉斯（Bayes）理論，構(gòu)造基于貝葉斯分類的垃圾郵件過濾模型，在特征提取方面，采用互信息值的方法，在分類方法上，引入了適合本文的分類方法，并采用了一種更加適合于貝葉斯計(jì)算的表示方法。關(guān)鍵詞：電子郵件；垃圾郵件；郵件過濾；貝葉斯理論目錄第一章 緒論 4 引言 4 垃圾郵件的定義及其危害 4 垃圾郵件定義 4 垃圾郵件危害 5 國(guó)內(nèi)外反垃圾郵件現(xiàn)狀 6 研究目標(biāo)與內(nèi)容 7第二章 垃圾郵件技術(shù) 8 電子郵件的概述 8 電子郵件的格式 8 郵件傳送過程 8 10第三章 基于標(biāo)準(zhǔn)郵件集構(gòu)造垃圾郵件分類向量 15 15 15 15 16 16 16 提取分類向量的過程 17 19 19第四章 實(shí)驗(yàn)結(jié)果及分析 22 22 23 23第五章 總結(jié)與展望 26 26 27參考文獻(xiàn) ……………………………………………………………………………28第一章 緒論 引言伴隨著電子郵件的迅速普及，越來越多的人使用電子郵件。但是，電子郵件在為人們提供極其方便的傳遞信息的同時(shí)，也成為垃圾郵件、病毒、惡意程序或包含敏感內(nèi)容郵件傳播的重要載體，對(duì)系統(tǒng)安全造成了嚴(yán)重的威脅。最早在 1975年的 RFC706“On the Junk Mail Problem”中就提到了垃圾郵件，首次關(guān)于垃圾郵件的記錄可以追溯到 1985 年 8 月的一封以電子郵件發(fā)送的連鎖信。歷史上比較著名的事件是1994年4月份，Canter 和 Siegel 的法律事務(wù)所把一封信發(fā)到 6000 多個(gè)新聞組，宣傳獲得美國(guó)國(guó)內(nèi)綠卡的法律支持。這是第一次使用 Spam（垃圾郵件）一詞，用來描述新聞或電子郵件的主動(dòng)性發(fā)布。一些商人開始學(xué)習(xí)Canter 和 Siegel，為商業(yè)公司提供廣告信件和發(fā)送服務(wù)。1995 年 5月，網(wǎng)上出現(xiàn)了歷史上第一個(gè)專用的垃圾郵件工具Floodgate，一次可以自動(dòng)把郵件發(fā)給很多人，垃圾郵件越來越多與商業(yè)聯(lián)系起來。1995年8月，第一次有人公開販賣200萬個(gè)郵箱地址，各種垃圾郵件網(wǎng)站和組織也相繼出現(xiàn)。隨著垃圾郵件的出現(xiàn)和泛濫，人們開始了反垃圾郵件的不懈努力。1996 年的1 月，第一個(gè)反垃圾郵件組織“自由騎士”成立；1996 年 7 月，著名的反垃圾郵件網(wǎng)站SpamHaus成立， 的工具來過濾郵件地址。近幾年來，垃圾郵件的泛濫是由于專門發(fā)送垃圾郵件的服務(wù)器大批涌現(xiàn)。根據(jù)中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件中心的統(tǒng)計(jì)，2005年以來幾乎每月我國(guó)都有100多臺(tái)服務(wù)器被國(guó)外權(quán)威反垃圾郵件組織列入黑名單。由于網(wǎng)絡(luò)的開放性，垃圾郵件成為互聯(lián)網(wǎng)上的一個(gè)日益嚴(yán)重的全球性安全問題，越來越得到社會(huì)大眾和研究人員的重視和關(guān)注。 垃圾郵件的定義及其危害 垃圾郵件定義垃圾郵件的英文名稱為 Spam或Junk Mail，一般使用Spam一詞。很多組織或機(jī)構(gòu)都給垃圾郵件下過定義。例如，著名的反垃圾組織spamhaus提出，垃圾郵件具備以下兩個(gè)特征：(1) 不請(qǐng)自來。用戶事先并未提出要求或者同意接收該郵件。(2) 批量性。該郵件的副本在短時(shí)間內(nèi)被大量發(fā)送給一個(gè)或多個(gè)用戶。2003 年，中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)在《中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件規(guī)范》中對(duì)垃圾郵件作了以下定義：(1) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件；(2) 收件人無法拒收的電子郵件；(3) 隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件；(4) 含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。從以上界定的郵件內(nèi)容上看，目前可以將垃圾郵件歸納為具有以下幾類特征的郵件：帶有商業(yè)廣告性質(zhì)的郵件；色情、暴力郵件；網(wǎng)上購(gòu)物及賺錢的郵件；帶有政治目的的郵件以及帶有病毒的郵件等。 垃圾郵件危害垃圾郵件的泛濫給人們帶來的危害和損失主要體現(xiàn)在以下幾個(gè)方面：(1) 垃圾郵件給網(wǎng)絡(luò)運(yùn)營(yíng)商造成了嚴(yán)重的損失。大量的垃圾郵件在網(wǎng)絡(luò)上傳播，占用了網(wǎng)絡(luò)帶寬，導(dǎo)致網(wǎng)絡(luò)通信質(zhì)量下降，甚至是網(wǎng)絡(luò)發(fā)生擁塞，干擾郵件系統(tǒng)的正常運(yùn)行，根據(jù)2001年的一份研究報(bào)告顯示，僅2000年垃圾郵件就給全球ISP造成了至少1000萬美元的損失。(2) 垃圾郵件侵害了用戶的隱私權(quán)。由于垃圾郵件的內(nèi)容不可控制，所以常常有很多有害的內(nèi)容。例如，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會(huì)對(duì)系統(tǒng)造成各種破壞。(3) 垃圾郵件給網(wǎng)絡(luò)帶來了各種安全性的問題。垃圾郵件會(huì)極大的影響網(wǎng)絡(luò)的安全和系統(tǒng)的穩(wěn)定性，特別是那些利用別人的服務(wù)器轉(zhuǎn)發(fā)郵件的情況。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā)。這樣做可以節(jié)省郵件發(fā)送者經(jīng)費(fèi)，但是會(huì)給被盜用者帶來很多危險(xiǎn)，如由于線路擁塞，造成系統(tǒng)的癱瘓。他就會(huì)讓被盜用的郵件服務(wù)器背上轉(zhuǎn)發(fā)垃圾郵件的黑鍋，影響正常的信件發(fā)送。 (4) 垃圾郵件成了計(jì)算機(jī)病毒新的、快速的傳播途徑。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補(bǔ)丁和安全升級(jí)的電子郵件發(fā)送給用戶，只要用戶點(diǎn)擊該郵件，該病毒就會(huì)被激活。由此可見，垃圾郵件的危害性是非常大的。必須重視垃圾郵件的危害性以及開展反垃圾郵件工作的重要性，與垃圾郵件進(jìn)行不懈的斗爭(zhēng)。 國(guó)內(nèi)外反垃圾郵件現(xiàn)狀雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個(gè)國(guó)際性的問題，很多學(xué)者和技術(shù)人員也開展了反垃圾郵件的研究工作。2008年7月24日，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布《第22次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2008年6月底，首次大幅度超過美國(guó)，躍居世界第一位。與此同時(shí)，垃圾郵件也越來越深入網(wǎng)民的日常生活，%，在網(wǎng)絡(luò)應(yīng)用中排名第六位。只有不到40％網(wǎng)民使用電子郵件過濾軟件，超過一半的網(wǎng)民沒有使用過濾軟件，數(shù)字顯示網(wǎng)民對(duì)于防范垃圾郵件的意識(shí)薄弱。我國(guó)反垃圾郵件的工作起步較晚，但發(fā)展很快。2005 年 12 月成立了一個(gè)政府資助的反垃圾郵件聯(lián)盟，以應(yīng)對(duì)越來越嚴(yán)重的垃圾郵件問題。2006年2月信息產(chǎn)業(yè)部頒布了中華人民共和國(guó)信息產(chǎn)業(yè)部第38號(hào)令《互聯(lián)網(wǎng)電子郵件服務(wù)管理辦法》，明確規(guī)定了對(duì)制造和傳播垃圾郵件者的處罰辦法。組織各網(wǎng)絡(luò)服務(wù)提供者、電子郵件服務(wù)商起草制訂并發(fā)布《中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)互聯(lián)網(wǎng)公共電子郵件服務(wù)規(guī)范》；連續(xù) 7 次對(duì)外公布垃圾郵件黑名單 IP 地址；推出反垃圾郵件專業(yè)門戶網(wǎng)站－中國(guó)反垃圾郵件中心()等等一系列的具體而實(shí)際的反垃圾郵件治理工作，以減少垃圾郵件的泛濫。國(guó)內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書，建立各種加密郵件