【文章內(nèi)容簡(jiǎn)介】 ，每日由此造成的損失可達(dá)每 100 位雇員 萬(wàn)英鎊。Message Labs 公司指出，通過(guò)調(diào)查可以看出，越來(lái)越多的企業(yè)已經(jīng)開(kāi)始意識(shí)到垃圾郵件會(huì)浪費(fèi)企業(yè) IT資源，降低生產(chǎn)效率。一些企業(yè)己經(jīng)采取了解決方案。一項(xiàng)統(tǒng)計(jì)報(bào)告指出 ISP 業(yè)者為了對(duì)抗垃圾郵件，平均每個(gè)用戶(hù)必須花費(fèi) 2 元美金成本；該項(xiàng)報(bào)告還指出垃圾郵件將影響傳輸速度 30%以上。(2) 垃圾郵件侵害了用戶(hù)的隱私權(quán)。由于垃圾郵件的內(nèi)容不可控制，所以常常有很多有害的內(nèi)容。例如，一些廣告的垃圾郵件推廣一些危險(xiǎn)甚至是非法的盈利手段，7如賭博或傳銷(xiāo)等；還有一些色情的郵件，含有大量不健康的內(nèi)容，特別是當(dāng)收件人是未成年人時(shí)危害更大。尤其危害大的是，很多垃圾郵件的附件中帶有病毒，一旦收件人打開(kāi)郵件，附件中的病毒就會(huì)對(duì)系統(tǒng)造成各種破壞。垃圾郵件占用了用戶(hù)郵箱空間，嚴(yán)重時(shí)導(dǎo)致用戶(hù)無(wú)法收取有用郵件；有的垃圾郵件還盜用他人的電子郵件地址做發(fā)信地址，嚴(yán)重?fù)p害了用戶(hù)的信譽(yù)。(3) 垃圾郵件給網(wǎng)絡(luò)帶來(lái)了各種安全性的問(wèn)題。垃圾郵件會(huì)極大的影響網(wǎng)絡(luò)的安全和系統(tǒng)的穩(wěn)定性，特別是那些利用別人的服務(wù)器轉(zhuǎn)發(fā)郵件的情況。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā)（OPEN RELAY） 。這樣做可以節(jié)省郵件發(fā)送者經(jīng)費(fèi)，但是會(huì)給被盜用者帶來(lái)很多危險(xiǎn)，如由于線(xiàn)路擁塞，造成系統(tǒng)的癱瘓。他就會(huì)讓被盜用的郵件服務(wù)器背上轉(zhuǎn)發(fā)垃圾郵件的黑鍋，影響正常的信件發(fā)送。例如早些時(shí)候，為了制止來(lái)自中國(guó)的垃圾郵件泛濫的趨勢(shì)，中國(guó)電子郵件面臨被歐洲全面封殺、由于技術(shù)落后和缺乏相應(yīng)安全措施，美洲的垃圾郵件制造者通過(guò)中國(guó)的郵件服務(wù)器發(fā)送垃圾郵件，而中國(guó)國(guó)內(nèi)的郵件服務(wù)器配置很差，很難記錄它們是從哪兒傳來(lái)的信件。這些郵件服務(wù)器正是被西方垃圾郵件制造者用來(lái)轉(zhuǎn)發(fā)垃圾郵件，這就是所謂“瞎子式轉(zhuǎn)發(fā)” （Blind Relay） ，并被他們彼此以幾百美元的價(jià)格互相買(mǎi)賣(mài)這種服務(wù)器的地址，最終歐美的很多 ISP 服務(wù)提供商封鎖了中國(guó)的 IP 地址段。從那時(shí)起，國(guó)際反垃圾郵件(MailAbuse)等組織的黑名單上就沒(méi)少出現(xiàn)中國(guó)互聯(lián)網(wǎng)企業(yè)的名字，新浪、網(wǎng)易、搜狐、163 郵局、2621 等國(guó)內(nèi)主要郵件服務(wù)都曾上榜。據(jù)統(tǒng)計(jì)，我國(guó)網(wǎng)上用戶(hù)約為 3370 萬(wàn)，平均每個(gè)用戶(hù)擁有 Email 賬號(hào) 個(gè)。隨著中國(guó)加入世界貿(mào)易組織，中國(guó)的對(duì)外交流活動(dòng)將呈上升趨勢(shì)，對(duì)外郵件也將大幅增加，如果中國(guó)電子郵件遭遇全面封殺的話(huà)，對(duì)國(guó)外企業(yè)與組織也是巨大的損失。(4) 垃圾郵件成了計(jì)算機(jī)病毒新的、快速的傳播途徑。有些病毒利用瀏覽器的漏洞，以郵件的形式把自己偽裝成補(bǔ)丁和安全升級(jí)的電子郵件發(fā)送給用戶(hù)，只要用戶(hù)點(diǎn)擊該郵件，該病毒就會(huì)被激活。由此可見(jiàn)，垃圾郵件的危害性是非常大的。必須重視垃圾郵件的危害性以及開(kāi)展反垃圾郵件工作的重要性，與垃圾郵件進(jìn)行不懈的斗爭(zhēng)。 國(guó)內(nèi)外反垃圾郵件現(xiàn)狀雖然垃圾郵件問(wèn)題是最初從西方開(kāi)始，以英文垃圾郵件為主，但是它越來(lái)越成為一個(gè)國(guó)際性的問(wèn)題 [6]，很多學(xué)者和技術(shù)人員也開(kāi)展了反垃圾郵件的研究工作。2022 年7 月 24 日，中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）在京發(fā)布《第 22 次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至 2022 年 6 月底，我國(guó)網(wǎng)民數(shù)量達(dá)到了 億，首次大幅度超過(guò)美國(guó)，躍居世界第一位。與此同時(shí)，垃圾郵件也越來(lái)越深入網(wǎng)民的日常生活，電子郵件的使用率為 %，在網(wǎng)絡(luò)應(yīng)用中排名第六位。只有不到 40％網(wǎng)民使用電子郵件過(guò)濾軟件，超過(guò)五成的網(wǎng)民沒(méi)有使用過(guò)濾軟件，數(shù)字顯示網(wǎng)民對(duì)于防范垃圾郵件8的意識(shí)薄弱 [7]。我國(guó)反垃圾郵件的工作起步較晚，但發(fā)展迅速。2022 年 12 月成立了一個(gè)政府資助的反垃圾郵件聯(lián)盟，以應(yīng)對(duì)越來(lái)越嚴(yán)重的垃圾郵件問(wèn)題 [8]。2022 年 2 月信息產(chǎn)業(yè)部頒布了中華人民共和國(guó)信息產(chǎn)業(yè)部第 38 號(hào)令《互聯(lián)網(wǎng)電子郵件服務(wù)管理辦法》 ，明確規(guī)定了對(duì)制造和傳播垃圾郵件者的處罰辦法。組織各網(wǎng)絡(luò)服務(wù)提供者、電子郵件服務(wù)商起草制訂并發(fā)布《中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)互聯(lián)網(wǎng)公共電子郵件服務(wù)規(guī)范》 [9]；連續(xù) 7 次對(duì)外公布垃圾郵件黑名單 IP 地址；推出反垃圾郵件專(zhuān)業(yè)門(mén)戶(hù)網(wǎng)站－中國(guó)反垃圾郵件中心()等等一系列的具體而實(shí)際的反垃圾郵件治理工作，以減少垃圾郵件的泛濫。國(guó)內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書(shū)，建立各種加密郵件協(xié)議和標(biāo)準(zhǔn)，研究郵件防病毒技術(shù)和垃圾郵件過(guò)濾技術(shù)等；同時(shí)，不少?lài)?guó)家都出臺(tái)了電子郵件應(yīng)用相關(guān)的法律法規(guī)，如電子簽名法、反垃圾郵件立法等，對(duì)其進(jìn)行約束和規(guī)范。為了保證電子郵件在 Inter 上安全的運(yùn)行，在理想狀態(tài)下，應(yīng)該有一個(gè) Inter 電子郵件的安全標(biāo)準(zhǔn)。所有的郵件作者和廠(chǎng)商都要執(zhí)行它，那么我們?cè)?Inter 上將具有安全的電子郵件。安全電子郵件先后提出了不同的標(biāo)準(zhǔn)：PGP、PEM 和 S/MIME。目前國(guó)際上有兩大類(lèi)流行的郵件安全系統(tǒng)標(biāo)準(zhǔn)：端到端安全郵件標(biāo)準(zhǔn)（PGP ）和傳輸層安全郵件標(biāo)準(zhǔn) S/MIME。隨著我國(guó)政府電子政務(wù)的建設(shè)，中國(guó)加入 WTO，越來(lái)越多的企事業(yè)單位會(huì)建設(shè)自己的郵件系統(tǒng)/自動(dòng)化辦公系統(tǒng)，提高無(wú)紙化辦公，實(shí)現(xiàn)電子商務(wù)。用戶(hù)需要安全的電子郵件系統(tǒng)產(chǎn)品，能夠迅速構(gòu)建安全可靠、高性能的電子郵件系統(tǒng)，并且維護(hù)管理和使用都比較方便簡(jiǎn)單。安全電子郵件系統(tǒng)有著廣泛的市場(chǎng)前景。 研究目標(biāo)與內(nèi)容本文的研究目標(biāo)是基于貝葉斯算法，構(gòu)造垃圾郵件過(guò)濾模型，并對(duì)相關(guān)算法進(jìn)行分析、比較、驗(yàn)證和測(cè)試，最后基于改進(jìn)的貝葉斯算法，實(shí)現(xiàn)對(duì)垃圾郵件的過(guò)濾。本文的主要工作是研究探討基于內(nèi)容分析的郵件過(guò)濾方法，分析貝葉斯算法及其改進(jìn)算法的原理和實(shí)現(xiàn)方法，并研究過(guò)濾原型系統(tǒng)的設(shè)計(jì)、實(shí)現(xiàn)方法。主要工作內(nèi)容如下：(1) 對(duì)當(dāng)前現(xiàn)有過(guò)濾技術(shù)發(fā)展現(xiàn)狀、基本原理、基本方法和過(guò)程進(jìn)行研究和分析，并對(duì)主要過(guò)濾技術(shù)的優(yōu)缺點(diǎn)進(jìn)行比較。(2) 將垃圾郵件樣本集分類(lèi)，基于已分好類(lèi)別的垃圾郵件樣本集進(jìn)行研究，提取每個(gè)類(lèi)別中垃圾郵件的關(guān)鍵詞，該關(guān)鍵詞是垃圾郵件中的敏感字符，是一個(gè)類(lèi)別中能表達(dá)該類(lèi)別文本內(nèi)容的詞條，即分類(lèi)向量。計(jì)算每個(gè)分類(lèi)向量在各類(lèi)別中出現(xiàn)的概率，即得到特征向量。(3) 本文采用互信息的方法進(jìn)行特征選取，計(jì)算每個(gè)關(guān)鍵詞的 RMI 值，利用 RMI9值確定特征向量的分量詞條。(4) 解決基于向量空間模型的郵件文本信息表示、文本分類(lèi)中的特征向量的選擇等問(wèn)題，在對(duì)實(shí)現(xiàn)過(guò)濾器的關(guān)鍵技術(shù)中，主要針對(duì)基于樸素貝葉斯方法基礎(chǔ)上對(duì)改進(jìn)的貝葉斯算法進(jìn)行深入研究，設(shè)計(jì)和實(shí)現(xiàn)基于貝葉斯算法分類(lèi)的反垃圾郵件系統(tǒng)的改進(jìn)的過(guò)濾系統(tǒng)，完成郵件過(guò)濾過(guò)程。第二章 垃圾郵件技術(shù)根據(jù)用戶(hù)對(duì)反垃圾規(guī)則的可控性，本章根據(jù)電子郵件的原理，分析電子郵件技術(shù)及相關(guān)協(xié)議的不足，列舉了當(dāng)前的一些常用的反垃圾郵件技術(shù)，以便用戶(hù)合理的選擇反垃圾郵件技術(shù)。 電子郵件工作原理簡(jiǎn)介 電子郵件的概述電子郵件（簡(jiǎn)稱(chēng) EMail）又稱(chēng)電子信箱、電子郵政，它是—種用電子手段提供信息交換的通信方式。它是全球多種網(wǎng)絡(luò)上使用最普遍的一項(xiàng)服務(wù)。這種非交互式的通信，加速了信息的交流及數(shù)據(jù)傳送，它是—個(gè)簡(jiǎn)易、快速的方法。通過(guò)連接全世界的Inter，實(shí)現(xiàn)各類(lèi)信號(hào)的傳送、接收、存儲(chǔ)等處理，將郵件送到世界的各個(gè)角落。到目前為止，可以說(shuō)電子郵件是 Inter 資源使用最多的一種服務(wù)，電子郵件不只局限于信件的傳遞，還可用來(lái)傳遞文件、聲音及圖形、圖像等不同類(lèi)型的信息。Inter 問(wèn)世后的最初應(yīng)用就是電子郵件。雖然今天 Inter 的應(yīng)用范圍得到了極大的拓展，電子郵件仍然是最為廣泛的應(yīng)用之一。在過(guò)去的若干年里，電子郵件的功能已經(jīng)豐富了很多。據(jù) 2022 年 3 月份 MessagingOnline 的一份數(shù)據(jù)顯示，Inter 上有 億個(gè)郵箱，平均每個(gè) Inter 用戶(hù)有 個(gè)。 《中國(guó)互聯(lián)網(wǎng)發(fā)展大事記》中記載“1987 年 9 月 20 日，錢(qián)天白教授發(fā)出我國(guó)第一封郵件‘超過(guò)長(zhǎng)城，走向世界’ ，揭開(kāi)了中國(guó)人使用 Inter 的序幕” 。今天，電子郵件已經(jīng)成為商業(yè)、政府、教育等行業(yè)最基本的通信工具。為了創(chuàng)建一個(gè)世界范圍的電子郵件系統(tǒng)，1984 年 ISO(國(guó)際標(biāo)準(zhǔn)化組織）和ITU（國(guó)際電信聯(lián)盟）發(fā)布了一個(gè)新的信件傳遞標(biāo)準(zhǔn)，這就是 [10]，但由于它的規(guī)模和復(fù)雜性，并沒(méi)有在全球范圍內(nèi)流行。后來(lái)，郵件的協(xié)議和內(nèi)容格式也是由RFC(Request or Comments)幾個(gè)文檔規(guī)定的。RFC821 [11] 規(guī)定 SMTP(Simple Mail Transfer Protocol，簡(jiǎn)單郵件傳輸協(xié)議)，定義發(fā)送郵件的機(jī)制。RFC1725 [12]規(guī)定了POP3(Post Office Protocol 3，郵局協(xié)議版本 3)，定義了從 POP3 服務(wù)器收取郵件的機(jī)制。RFC822 [13]協(xié)議主要定義郵件格式。根據(jù)需要傳送各種非文本文件（例如圖像文10件、word 文件、 pdf 文件、zip 文件等） ，人們又定義了 MIME 標(biāo)準(zhǔn)，作為 RFC822 的補(bǔ)充。MIME 即 Multipurpose Inter Mail Extensions，多用途互聯(lián)網(wǎng)郵件擴(kuò)展協(xié)議，它由 RFC2045 到 RFC2049 幾個(gè)標(biāo)準(zhǔn)構(gòu)成。目前幾乎所有的郵件服務(wù)系統(tǒng)都支持 MIME 標(biāo)準(zhǔn) [14]。 電子郵件的格式一個(gè)完整的電子郵件地址格式如下： 即：，@表示“(at)”的意思，@的左邊是電子郵件用戶(hù)的登錄名，右邊是完整的主機(jī)名，它由主機(jī)名與域名組成。其中，域名由幾部分組成，每一部分稱(chēng)為一個(gè)子域(Subdomain)，各子域之間用圓點(diǎn)“.”分隔，每個(gè)子域都會(huì)告訴用戶(hù)一些有關(guān)這臺(tái)郵件服務(wù)器的信息。在 RFC2822《Inter 信息格式》中規(guī)定了電子郵件的標(biāo)準(zhǔn)格式。電子郵件是由一行行文本組成，每行以回車(chē)符(CR)和換行符(LF)結(jié)束，一封完整的電子郵件包括兩部分：信封(郵件頭) 和內(nèi)容 (郵件體) ，郵件頭和郵件體之間以一個(gè)空行來(lái)分隔。下面是一封簡(jiǎn)單的郵件：(1) From: (2) To: (3) Subject:郵件格式(4) Date: Thu, 8 Dec 2022. 11:21:19 GMT(5)(6) Hi, user1(7) 郵件格式(8) Thanks(9) User2其中 1 至 4 行是信頭，6 至 9 行是信體，第 5 行是必須加的空行。RFC 為信頭定義了 20 多個(gè)標(biāo)準(zhǔn)字段，包括 Date、From 、To 、CC、BCC 等一些必須和非必須的字段，另外，信頭在傳輸過(guò)程中并不是一成不變的，隨著郵件的傳輸，MUA 和 MTA 會(huì)在信頭上增加一些路徑信息，它們合在一起構(gòu)成收到的信件的信頭部分。下面簡(jiǎn)單介紹幾個(gè)常用字段：(1) From：表示發(fā)信件的人；(2) To：指出收件人；(3) Subject：郵件主題；(4) ReplyTo：發(fā)信人希望的回復(fù)地址；(5) MessageID：標(biāo)識(shí)一個(gè)信件，該字段由 MUA 或者第一個(gè) MTA 產(chǎn)生；(6) Received：一個(gè)特定的 MTA 處理記錄，處理信件的每個(gè) MTA 必須在每個(gè)信11件頭的上面加上這個(gè)字段，用于跟蹤?quán)]件；(7) 以 X 開(kāi)頭的字段：不是 RFC822 中要求的字段，是 SMTP 服務(wù)器擴(kuò)展的字段，由軟件廠(chǎng)商自行定義。 郵件傳送過(guò)程在通常的情況下，一封電子郵件的發(fā)送需要經(jīng)過(guò)郵件用戶(hù)代理 MUA(Mail User Agent)、郵件傳輸代理 MTA(Mail Transfer Agent)和郵件投遞代理(Mail Delivery Agent)等三個(gè)程序的參與。用戶(hù)代理 MUA 接受用戶(hù)輸入的各種指令，將用戶(hù)的郵件傳送至信件傳輸理或者通過(guò) POP 協(xié)議或者是 IMAP 協(xié)議將信件從傳輸代理服務(wù)器處取到本機(jī)常見(jiàn)的用戶(hù)代理有“Foxmail” ， “Outlook Express”等郵件客戶(hù)程序。傳輸代理 MTA 軟件負(fù)責(zé)處理所有接收和發(fā)送的郵件。對(duì)每一個(gè)外發(fā)的郵件 MTA決定接收方的目的地。若目的地主機(jī)是本機(jī)，則 MTA 將郵件直接發(fā)送到地郵箱或交本地 MDA 進(jìn)行投遞；若目的地主機(jī)是遠(yuǎn)程郵件服務(wù)器，則 MTA 必使用 SMTP 協(xié)議在互聯(lián)網(wǎng)上同遠(yuǎn)程主機(jī)通信，將信件在服務(wù)器之間傳輸并且將收到的郵件緩沖或者提交給最終投遞程序。常用的 MTA 程序有 Sendmail、Qmail 和 Postfix。投遞代理 MDA 程序則從信件傳輸代理取得信件傳送至最終用戶(hù)的郵箱。顯然，最終用戶(hù)只能看到用戶(hù)投遞代理。常見(jiàn)的投遞代理包括 procmail 等。整個(gè)郵件傳輸過(guò)程如下（如圖 21 所示）：服務(wù)器發(fā)件方 收件方服務(wù)器InterDNS MDA 郵箱SMTP SMTPPOP/IMAP圖 21 電子郵件傳輸過(guò)程(1) 郵件發(fā)送者利用本地的 MUA1，按照簡(jiǎn)單郵件傳輸協(xié)議 SMTP(Sim Mail Transfer Protocol)把郵件發(fā)送給本域 MTA1；(2) MTA1 根據(jù)郵件的接收地址中的域名去查詢(xún)域名服務(wù)器 DNS(Dom Name Server)獲得接收者的 MTA2 的 IP 地址；(3) MTA1 與 MTA2 按照 SMTP 協(xié)議通訊，把郵件轉(zhuǎn)發(fā)到 MTA2；(4) MTA2 發(fā)現(xiàn)郵件是本地郵件，則把郵件轉(zhuǎn)發(fā)給 MDA；12(5) MDA 把郵件分發(fā)到對(duì)應(yīng)的郵箱中；(6) 郵件接收者按照郵局協(xié)議 POP3(Post Office Proto version 3)或 Inter 郵件訪(fǎng)問(wèn)協(xié)議 IMAP4(Inter Message Access Proto version 4)從郵箱中獲取郵件。由于目前使用的 SMTP 協(xié)