【文章內(nèi)容簡介】 圾郵件中心的統(tǒng)計(jì)， 2020 年以來幾乎每月我國都有 100 多臺服務(wù)器被國外權(quán)威反垃圾郵件組織列入黑名單 [3]。中國是電子郵件大國，由于網(wǎng)絡(luò)的開放性，垃圾郵件成為互聯(lián)網(wǎng)上的一個日益嚴(yán)重的全球性安全問題，越來越得到社會大眾和研究人員的重視和關(guān)注。因此，針對這一問題盡快尋找解決方案的需求也更加迫切。 垃圾郵件的定義及其危害 垃圾郵件定義 垃圾郵件的英文名稱為 Spam或 Junk Mail，一般使用 Spam一詞。 很多組織或機(jī)構(gòu)都給垃圾郵件下過定義。例如，著名的反垃圾組織 spamhaus 提出，垃圾郵件具備以下兩個特征： (1) 不請自來。用戶事先并 未 提出要求或者同意接收該郵件。 長春工業(yè)大學(xué)碩士學(xué)位論文 2 (2) 批量性。該郵件 的副本在短時(shí)間內(nèi)被大量發(fā)送給一個或多個用戶。 2020 年，中國互聯(lián)網(wǎng)協(xié)會在《中國互聯(lián)網(wǎng)協(xié)會反垃圾郵件規(guī)范》中對垃圾郵件作了以下定義 [4]： (1) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件； (2) 收件人無法拒收的電子郵件； (3) 隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件； (4) 含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。 從以上界定的郵件內(nèi)容上看，目前可以將垃圾郵件歸納為具有以下幾類特征的郵件：帶有商業(yè)廣告性質(zhì)的郵件；色情、暴力郵件；網(wǎng)上購物及 賺錢的郵件；帶有政治目的的郵件以及帶有病毒的郵件等。 垃圾郵件危害 [5] 垃圾郵件的泛濫給人們帶來的危害和損失主要體現(xiàn)在以下幾個方面： (1) 垃圾郵件給網(wǎng)絡(luò)運(yùn)營商 （ ISP） 造成了嚴(yán)重的損失。大量的垃圾郵件在網(wǎng)絡(luò)上傳播，占用了網(wǎng)絡(luò)帶寬，導(dǎo)致網(wǎng)絡(luò)通信質(zhì)量下降，甚至是網(wǎng)絡(luò)發(fā)生擁塞，干擾郵件系統(tǒng)的正常運(yùn)行，根據(jù) 2020 年的一份研究報(bào)告顯示，僅 2020 年垃圾郵件就給全球 ISP造成了至少 1000 萬美元的損失。 最新的調(diào)查顯示，企業(yè)收到的電子郵件中，竟有 28%為垃圾郵件。英國電郵防毒企業(yè) Message Labs 在調(diào)查中發(fā)現(xiàn)，有三分之一的企業(yè)抱怨他們收到了不想收到的電子郵件，有三分之二的企業(yè)表示他們正試圖通過修改有關(guān)政策解決垃圾郵件泛濫的問題。調(diào)查報(bào)告指出企業(yè)雇員通常每日花費(fèi) 10 分鐘的時(shí)間清理收件箱內(nèi)的垃圾郵件。照這一數(shù)字計(jì)算，每日由此造成的損失可達(dá)每 100 位雇員 萬英鎊。 Message Labs 公司指出，通過調(diào)查可以看出，越來越多的企業(yè)已經(jīng)開始意識到垃圾郵件會浪費(fèi)企業(yè) IT 資源，降低生產(chǎn)效率。一些企業(yè)己經(jīng)采取了解決方案。一項(xiàng)統(tǒng)計(jì)報(bào)告指出 ISP 業(yè)者為了對抗垃圾郵件，平均每個用戶必須花費(fèi) 2 元 美金成本 ； 該項(xiàng)報(bào)告還 指出垃圾郵件將影響傳輸速度 30%以上。 (2) 垃圾郵件侵害了用戶的隱私權(quán)。由于垃圾郵件的內(nèi)容不可控制，所以常常有很多有害的內(nèi)容。例如，一些廣告的垃圾郵件推廣一些危險(xiǎn)甚至是非法的盈利手段，如賭博或傳銷等 ； 還有一些色情的郵件，含有大量不健康的內(nèi)容，特別是當(dāng)收件人是未成年人時(shí)危害更大。尤其危害大的是，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會對系統(tǒng)造成各種破壞。垃圾郵件占用了用戶郵箱空間，嚴(yán)重時(shí)導(dǎo)致用戶無法收取有用郵件；有的垃圾郵件還盜用他人的電子郵件地址做發(fā)信地址，嚴(yán)重?fù)p害了用戶的信譽(yù) 。 (3) 垃圾郵件給網(wǎng)絡(luò)帶來了各種安全性的問題。垃圾郵件會極大的影響網(wǎng)絡(luò)的安全長春工業(yè)大學(xué)碩士學(xué)位論文 3 和系統(tǒng)的穩(wěn)定性，特別是那些利用別人的服務(wù)器轉(zhuǎn)發(fā)郵件的情況。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā) （ OPEN RELAY） 。這樣做可以節(jié)省郵件發(fā)送者經(jīng)費(fèi)，但是會給被盜用者帶來很多危險(xiǎn)，如由于線路擁塞 ，造成系統(tǒng)的癱瘓。他就會讓被盜用的郵件服務(wù)器背上轉(zhuǎn)發(fā)垃圾郵件的 黑鍋，影響正常的信件發(fā)送。例如早些時(shí)候 ， 為了制止來自中國的垃圾郵件泛濫的趨勢，中國電子郵件面臨被 歐洲 全面封殺、由于技術(shù)落后和缺乏相應(yīng)安全措施，美洲 的垃圾郵件制造者通過 中國的郵件服務(wù)器發(fā)送垃圾郵件，而中國國內(nèi)的 郵件服務(wù)器配置很差，很難記錄它們是從哪兒傳來的信件。這些郵件服務(wù)器正是被西方垃圾郵件制造者用來轉(zhuǎn)發(fā)垃圾郵件，這就是所謂“瞎子式轉(zhuǎn)發(fā)”（ Blind Relay） ，并被他們彼此以幾百美元的價(jià)格互相買賣這種服務(wù)器的地址，最終歐美的很多 ISP 服務(wù)提供商封鎖了中國的 IP 地址段。從那時(shí)起，國際反垃圾郵件(MailAbuse)等組織的黑名單上就沒少出現(xiàn)中國互聯(lián)網(wǎng)企業(yè)的名字，新浪、網(wǎng)易、搜狐 、163 郵局、 26 21 等國內(nèi)主要郵件服務(wù)都曾上榜。據(jù)統(tǒng)計(jì)，我國網(wǎng)上用戶約為 3370萬，平均每個用戶擁有 Email 賬號 個。隨著中國加入世界貿(mào)易組織，中國的對外交流活動將呈上升趨勢，對外郵件也將大幅增加，如果中國電子郵件遭遇全 面 封殺的話，對國外企業(yè)與組織也是巨大的損失。 (4) 垃圾郵件成了計(jì)算機(jī)病毒新的、快速的傳播途徑。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補(bǔ)丁和安全升級的電子郵件發(fā)送給用戶，只要用戶點(diǎn)擊該郵件，該病毒就會被激活。 由此可見，垃圾郵件的危害性是非常大的。必須重視垃圾郵件的危害性以及開展反垃圾郵件工作的重要性，與垃圾郵件進(jìn)行不懈的斗爭。 國內(nèi)外反垃 圾郵件現(xiàn)狀 雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個國際性的問題 [6]，很多學(xué)者和技術(shù)人員也開展了反垃圾郵件的研究工作。 2020 年 7月 24 日 ，中國互聯(lián)網(wǎng)絡(luò)信息中心 （ CNNIC） 在京發(fā)布《第 22 次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示 ， 截至 2020 年 6 月底，我國網(wǎng)民數(shù)量達(dá)到了 億，首次大幅度超過美國，躍居世界第一位。 與此同時(shí)，垃圾郵件也越來越深入網(wǎng)民的日常生活，電子郵件的使用率為 %，在網(wǎng)絡(luò)應(yīng)用中排名第六位。只有不到 40％網(wǎng)民使用電子郵件過濾軟件，超過五成的網(wǎng)民沒有使 用過濾軟件，數(shù) 字 顯示網(wǎng)民 對于防范 垃圾郵件的意識薄弱 [7]。 我國反垃圾郵件的工作起步較晚，但發(fā)展迅速。 2020 年 12 月成立了一個政府資助的反垃圾郵件聯(lián)盟，以應(yīng)對越來越嚴(yán)重的垃圾郵件問題 [8]。 2020 年 2 月信息產(chǎn)業(yè)部頒布了中華人民共和國信息產(chǎn)業(yè)部第 38 號令《互聯(lián)網(wǎng)電子郵件服務(wù)管理辦法》，明確規(guī)定了對制造和傳播垃圾郵件者的處罰辦法。組織各網(wǎng)絡(luò)服務(wù)提供者、電子郵件服務(wù)商起草制訂并發(fā)布《中國互聯(lián)網(wǎng)協(xié)會互聯(lián)網(wǎng)公共電子郵件服務(wù)規(guī)范》 [9]；連續(xù) 7 次對長春工業(yè)大學(xué)碩士學(xué)位論文 4 外公布垃圾郵件黑名單 IP 地址；推出反垃圾郵件專業(yè)門戶網(wǎng) 站－中國反垃圾郵件中心 ()等等一系列的具體而實(shí)際的反垃圾郵件治理工作，以減少垃圾郵件的泛濫。 國內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書，建立各種加密郵件協(xié)議和標(biāo)準(zhǔn)，研究郵件防病毒技術(shù)和垃圾郵件過濾技術(shù)等；同時(shí)，不少國家都出臺了電子郵件應(yīng)用相關(guān)的法律法規(guī)，如電子簽名法、反垃圾郵件 立 法等，對其進(jìn)行約束和規(guī)范。為了保證電子郵件在 Inter 上安全的運(yùn)行，在理想狀態(tài)下，應(yīng)該 有一個 Inter 電子郵件的安全標(biāo)準(zhǔn)。所有的郵件作者和廠商都要執(zhí)行它 ，那么我們在 Inter 上將具有安全的電子郵件。安全電子郵件先后提出了不同的標(biāo)準(zhǔn)： PGP、 PEM 和 S/MIME。目前國際上有兩大類流行的郵件安全系統(tǒng)標(biāo)準(zhǔn)：端到端安全郵件標(biāo)準(zhǔn)（ PGP）和傳輸層安全郵件標(biāo)準(zhǔn) S/MIME。 隨著我國政府電子政務(wù)的建設(shè)，中國加入 WTO，越來越多的企事業(yè)單位會建設(shè)自己的郵件系統(tǒng) /自動化辦公系統(tǒng)，提高無紙化辦公，實(shí)現(xiàn)電子商務(wù)。用戶需要安全的電子郵件系統(tǒng)產(chǎn)品，能夠迅速構(gòu)建安全可靠、高性能的電子郵件系統(tǒng)，并且維護(hù)管理和使用都比較方便簡單。安全電子郵件系統(tǒng)有著廣泛的市場前景。 研 究目標(biāo)與內(nèi)容 本文的研究目標(biāo)是基于貝葉斯 算法 ，構(gòu)造垃圾郵件過濾模型，并對相關(guān)算法進(jìn)行分析、比較、驗(yàn)證和測試，最后基于改進(jìn)的貝葉斯算法，實(shí)現(xiàn)對垃圾郵件的過濾。 本文的主要工作是研究探討基于內(nèi)容分析的郵件過濾方法，分析貝葉斯算法及其改進(jìn)算法的原理和實(shí)現(xiàn)方法，并研究過濾原型系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)方法。主要工作內(nèi)容如下： (1) 對當(dāng)前現(xiàn)有過濾技術(shù)發(fā)展現(xiàn)狀、基本原理、 基本方法和過程進(jìn)行研究和分析，并對主要過濾技術(shù)的優(yōu)缺點(diǎn)進(jìn)行比較 。 (2) 將垃圾郵件樣本集分類， 基于已分好類別的垃圾郵件樣本集進(jìn)行研究 ，提取每個類別中垃圾郵 件的關(guān)鍵詞，該 關(guān)鍵詞是垃圾郵件中的敏感字符，是一個類別中能表達(dá)該類別文本內(nèi)容的詞條 ，即分類向量。計(jì)算每個分類向量在各類別中出現(xiàn)的概率，即得到特征向量。 (3) 本文采用互信息的方法 進(jìn)行 特征 選取 ， 計(jì)算每個 關(guān)鍵詞 的 RMI 值，利用 RMI值確定特征向量的分量詞條。 (4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對實(shí)現(xiàn)過濾器的關(guān)鍵技術(shù)中，主要針對基于樸素貝葉斯方法基礎(chǔ)上對改進(jìn)的貝葉斯算法進(jìn)行深入研究，設(shè)計(jì)和實(shí)現(xiàn)基于貝葉斯算法分類的反垃圾郵件系統(tǒng)的改進(jìn)的過濾系統(tǒng)，完成郵件過濾過程。 長春工業(yè)大學(xué)碩士學(xué)位論文 5 第二章 垃圾郵件技術(shù) 根據(jù)用戶對反垃圾規(guī)則的可控性，本章根據(jù)電子郵件的原理，分析電子郵件技術(shù)及相關(guān)協(xié)議的不足，列舉了當(dāng)前的一些常用的反垃圾郵件技術(shù)，以便用戶合理的選擇反垃圾郵件技術(shù)。 電子郵件工作原理簡介 電子郵件的概述 電子郵件（ 簡稱 EMail）又稱電子信箱、電子郵政，它是 — 種用電子手段提供信息交換的通信方式。它是全球多種網(wǎng)絡(luò)上使用最普遍的一項(xiàng)服務(wù)。這種非交互式的通信，加速了信息的交流及數(shù)據(jù)傳送，它是 — 個簡易、快速的方法。通過連接全世界的Inter，實(shí)現(xiàn)各類信號的傳送、接收 、存儲等處理，將郵件送到世界的各個角落。 到目前為止，可以說電子郵件是 Inter 資源使用最多的一種服務(wù)，電子郵件不只局限于信件的傳遞，還可用來傳遞文件、聲音及圖形、圖 像 等不同類型的信息。 Inter 問世后的最初應(yīng)用就是電子郵件。雖然今天 Inter 的應(yīng)用范圍得到了極大的拓展，電子郵件仍然是最為廣泛的應(yīng)用之一。在過去的若干年里，電子郵件的功能已經(jīng)豐富了很多。據(jù) 2020 年 3 月份 MessagingOnline 的一份數(shù)據(jù)顯示， Inter 上有 億個郵箱，平均每個 Inter 用戶有 個 ?！吨袊ヂ?lián)網(wǎng)發(fā)展大事記》中記載“ 1987年 9 月 20 日，錢天白教授發(fā)出我國第一封郵件‘超過長城， 走 向世界’，揭開了中國人 使用 Inter 的序幕”。今天，電子郵件已經(jīng)成為商業(yè)、政府、教育等行業(yè)最基本的通信工具。 為了創(chuàng)建一個世界范圍的電子郵件系統(tǒng)， 1984 年 ISO(國際標(biāo)準(zhǔn)化組織）和 ITU（國際電信聯(lián)盟 ） 發(fā)布了一個新的信件傳遞標(biāo)準(zhǔn)，這就是 [10]，但由于它的規(guī)模和復(fù)雜性，并沒有在全球范圍內(nèi)流行。后來，郵件的協(xié)議和內(nèi)容格式也是由 RFC(Request or Comments)幾個文檔規(guī)定的。 RFC821[11] 規(guī)定 SMTP(Simple Mail Transfer Protocol， 簡單郵件傳輸協(xié)議 )，定義發(fā)送郵件的機(jī)制。 RFC1725[12]規(guī)定了 POP3(Post Office Protocol 3，郵局協(xié)議版本 3)，定義了從 POP3 服務(wù)器收取郵件的機(jī)制。 RFC822[13]協(xié)議主要定義郵件格式。根據(jù)需要傳送各種非文本文件（例如圖像文件、 word 文件、 pdf 文件、zip 文件等），人們又定義了 MIME 標(biāo)準(zhǔn)，作為 RFC822 的補(bǔ)充。 MIME 即 Multipurpose Inter Mail Extensions，多用途互聯(lián)網(wǎng)郵件擴(kuò)展協(xié)議，它由 RFC2045 到 RFC2049 幾個標(biāo)準(zhǔn)構(gòu)成。目前幾乎所有的郵件服務(wù)系統(tǒng)都支持 MIME 標(biāo)準(zhǔn) [14]。 電子郵件的格式 一個完整的電子郵件地址格式如下： 即：用戶名 @主機(jī)名 .域名 ， @表示 “(at)”的意思， @的長春工業(yè)大學(xué)碩士學(xué)位論文 6 左邊是電子郵件用戶的登錄名，右邊是完整的主機(jī)名，它由主機(jī)名與域名組成。其中，域名由幾部分組成，每一部分稱為一個子域 (Subdomain)，各子域之間用圓點(diǎn)“ .”分隔 ，每個子域都會告訴用戶一些有關(guān)這臺郵件服務(wù)器的信息。 在 RFC2822《 Inter 信息格式》 中規(guī)定了電子郵件的標(biāo)準(zhǔn)格式。電子郵件 是由 一行行文本組成，每行以回車符 (CR)和換行符 (LF)結(jié)束，一封完整的電子郵件包括兩部分：信封 (郵件頭 )和內(nèi)容 (郵件體 )，郵件頭和郵件體之間以一個空行來分隔。 下面是一封簡單的郵件： (1) From: (2) To: (3) Subject:郵件格式 (4) Date: Thu, 8 Dec 2020. 11:21:19 GMT (5) (6) Hi, user1 (7) 郵件格式 (8) Thanks (9) User2 其中 1 至 4 行是信頭， 6 至 9 行是信體，第 5 行是必須加的空行。 RFC 為信頭定義了 20 多個標(biāo)準(zhǔn)字段，包括 Date、 From、 To、 CC、 BCC 等一些必須和非必須的字段，另外，信頭在傳輸過程中并不是一成不變的，隨著郵件的傳輸， MUA 和 MTA 會在信頭上增加一些路徑信息，它們合在一起構(gòu)成收到的信件的信頭部分。下面簡單介紹幾