【正文】 。 這些電子郵件雖然每封的信息量不一定很大，但是郵件內(nèi)容不是大多數(shù)用戶需要甚至是令大多數(shù)用戶討厭的。鋪天蓋地的宣傳郵件不僅侵犯了用戶的私人空間，而且干擾了大多數(shù)用戶正常使用電子郵件功能，同時(shí)給用戶帶來了上網(wǎng)時(shí)間和上網(wǎng)資金上的浪費(fèi)，因此被稱為“垃圾郵件”。國際互聯(lián)網(wǎng)上的常見名詞 SPAM、 UCE（ Unsolicited Commercial Email 不請自來的商業(yè)電子郵件）和 UBE（ Unsolicited Bulk Email 不請自來的批量電子郵件）與通常所稱的垃圾郵件是一樣的。反垃圾郵件技術(shù)的研究是一項(xiàng)長期而艱巨的任務(wù)，經(jīng)歷了以下幾個(gè)時(shí)代： 表 11 反垃圾郵件的歷史 第一代 第二代 第三代 第四代 基礎(chǔ) MTA 控制 實(shí)時(shí)黑名單 貝葉斯過濾 多技術(shù)整和分層過濾 白名單和黑名單 電子簽名 人工智能 簡單的關(guān)鍵字搜索 機(jī)器語言學(xué)習(xí) 信件頭測試 標(biāo)題過濾 簡單的 DNS 測試 當(dāng)前的反垃圾郵件技術(shù)可以分為 4 大類：過濾器（ Filter）、反向查詢(Reverse lookup)、挑戰(zhàn) (challenges)和密碼術(shù) (cryptography),這些解決辦法都可以減少垃圾郵件問題，但是都有它們的局限性。其中過濾又包括關(guān)鍵詞過濾、黑白名單、 HASH 技術(shù)、基于規(guī)則的過濾、智能和概率系統(tǒng)、貝葉斯算法，驗(yàn)證查詢技術(shù)分為反向查詢技術(shù)、 DKIM 技術(shù)、 SenderID 技術(shù)、 FairUCE 技術(shù)，挑戰(zhàn)分為挑戰(zhàn) 響應(yīng)、計(jì)算性挑戰(zhàn)。 2 電子郵件的工作原理 2． 1 電子郵件的結(jié)構(gòu) 電子郵件可視為半結(jié)構(gòu)化的文本文件。 RFC822 明確的把郵件劃分為兩部分 ：第 1 部分稱為郵件頭，郵件頭中包含若干數(shù)據(jù)字段，其作用是標(biāo)識郵件的重要 第 3 頁 共 22 頁 部分，例如發(fā)送者、接收者、主題和注釋。郵件頭字段應(yīng)出現(xiàn)在郵件體之前，兩部分間使用一個(gè)空行分隔。第 2 部分就是郵件體（ body），郵件體（ body）是發(fā)送用戶發(fā)給接收用戶郵件的內(nèi)容。 2． 2 電子郵件的傳輸 電子郵件與普通信件有類似的地方，發(fā)信者注明收件人的姓名與地址（即郵件地址），發(fā)送方服務(wù)器把郵件傳到收件方服務(wù)器，收件方服務(wù)器再把郵件發(fā)到收件人的郵箱中，如下圖所示： 圖 21 高層 SMTP接口模型 電子郵件系統(tǒng)主要由以下 3 部分組成： MUA (Mail UserAgent)，郵件用戶代理，是幫助用戶讀和寫郵件； MTA (MailTransport Agent)，郵件傳輸代理，負(fù)責(zé)將郵件從一個(gè)服務(wù)器傳到另一個(gè)服務(wù)器； MDA(MailDeliveryAgent)，郵件投遞代理，將郵件分發(fā)到用戶的郵箱里。整個(gè)郵件傳輸過程如下圖所示： 圖 22 郵件傳輸中的代理 3 需求分析 3． 1 數(shù)據(jù)庫需求分析 該系統(tǒng)采用 Microsoft SQL Server 2021 數(shù)據(jù)庫，數(shù)據(jù)庫的名稱 mail。對系統(tǒng)功能的分析繪制了系統(tǒng)總體 ER 圖，如圖 31 所示： MUA MTA MDA 發(fā)件方 MTA MDA 郵箱 接收方 SMTP 用戶 郵件服務(wù)器 SMTP 郵件服務(wù)器 用戶 第 4 頁 共 22 頁 圖 31 系統(tǒng) ER圖 為了消除數(shù)據(jù)的冗于在表中采取了主關(guān)鍵字。 根據(jù)數(shù)據(jù)庫功能模塊的不同，所做需求分析的不同建立了以下表，它們分別是： 1. 用于保存郵件夾內(nèi)郵件信息的數(shù)據(jù)表， 具體設(shè)計(jì)如表 31所示： 表 31 mail數(shù)據(jù) 表 字段名稱 字段說明 字段類型 主關(guān)鍵字 mailitem 郵件編號 int * mailfrom 發(fā)件人地址 varchar mailto 收件人地址 varchar maildate 發(fā)件日期 datetime mailsubject 郵件主題 varchar mailbody 郵件內(nèi)容 varchar 2. 用于保存所添加的黑白名單郵件地址的數(shù)據(jù)表， 具體設(shè)計(jì)如表所示： 表 32 black_mailadd數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * Mailadd 黑名單郵件地址 varchar 表 33 white_mailadd數(shù) 據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * Mailadd 白名單郵件地址 varchar 3. 用于保存用戶添加的主題關(guān)鍵字的信息表，具體設(shè)計(jì)如表所示： 表 34 key_word數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * word 被過濾的關(guān)鍵字 varchar 寫郵件 郵件 發(fā)送 接收 屬于 收件夾 垃圾郵件 正常郵件 顯示 垃圾郵件過濾 n 1 1 1 n 1 1 1 1 第 5 頁 共 22 頁 4. 貝葉斯過濾所要用到的數(shù)據(jù)表，具體設(shè)計(jì)如表所示： 表 35 drop_word數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * word 不做分析的常用字 varchar 表 36 bayes_field數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * value 閾值 int 表 37 hash_all數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * token 獨(dú)立字串 varchar good_time 出現(xiàn)在合法郵件中次數(shù) int good_pro 出現(xiàn)在合法郵件中概率 float bad_time 出現(xiàn)在垃圾郵件中次數(shù) int bad_pro 出現(xiàn)在垃圾郵件中概率 float 表 38 hash_pro數(shù)據(jù)表 字段名稱 字段說明 字段類型 主關(guān)鍵字 ID 編號 int * token 獨(dú)立字串 varchar token_pro 垃圾郵件綜合概率 float 3． 2 開發(fā)環(huán)境需求 安裝此系統(tǒng)所需的基本軟、硬件環(huán)境為： ? Windows9 Windows98 或 WindowsNT/2021/XP。 ? Microsoft SQL Server 2021 數(shù)據(jù)庫 ? Pentium100 及以上檔次的 IBM PC 及其兼容機(jī)。 ? 128M 以上內(nèi)存。 ? 5000M 以上可用硬盤 空間。 ? 高密軟盤驅(qū)動器。 ? VGA 顯示器。 ? CD—— ROM驅(qū)動器。 ? 本程序在 Windows2021 Professional 操作系統(tǒng)下，以中文Dreamweaver MX 2021 為前臺開發(fā)工具，用中文版 Microsoft SQL Server 2021 數(shù)據(jù)庫 為后臺數(shù)據(jù)庫。 第 6 頁 共 22 頁 4 系統(tǒng)功能和技術(shù)描述 4． 1 系統(tǒng)功能模塊設(shè)計(jì) 本系統(tǒng)分為三個(gè)大模塊，每個(gè)大模塊下有不同的功能劃分，模塊結(jié)構(gòu)圖如圖41 所示： 圖 41 系統(tǒng)功能模塊結(jié)構(gòu)圖 1. 日常操作模塊 這個(gè)模塊 分為收郵件和寫郵件兩部分，用戶可以通過這個(gè)模塊收發(fā)電子郵件，完成正常郵件和垃圾郵件的接收，本系統(tǒng)是采用從本地?cái)?shù)據(jù)庫讀取數(shù)據(jù)，為反垃圾技術(shù)的研究提供測試環(huán)境。 2. 郵件夾 此模塊建立了兩個(gè)文件夾，分別是收件夾和垃圾郵件夾，經(jīng)過過濾的正常郵件顯示在收件夾中，過濾后得到的垃圾郵件顯示在垃圾郵件夾中。并可以對郵件進(jìn)行刪除和查看操作。 3. 垃圾郵件過濾 此模塊是本設(shè)計(jì)的核心部分，采用了黑名單 、 白名單 、 主題關(guān)鍵字 、 貝葉斯過濾技術(shù)來過濾垃圾郵件，用戶可以通過過濾設(shè)置來啟動和停止這些過濾規(guī)則。 4． 2 基本功能 通過黑名單 、 白名單 、 主題關(guān)鍵字、貝葉斯過濾技術(shù)完成客戶端的垃圾郵件過濾，每個(gè)過濾規(guī)則在對郵件進(jìn)行處理判斷后，若可以確定郵件的屬性，即為垃圾郵件或非垃圾郵件就可以直接把郵件顯示在垃圾郵件夾和收件夾?？蛻舳死蠢]件管理系統(tǒng) 日常操作 郵件夾 垃圾郵件過濾 收郵件 寫 郵件 收件夾 垃圾郵件夾 過濾設(shè)置 黑名單管理 白名單管理 主題關(guān)鍵字管理 貝葉斯策略 第 7 頁 共 22 頁 郵件過濾模型如下圖所示： 圖 42 客戶端垃圾郵件過濾模型 4． 3 黑白名單技術(shù) 黑名單是一個(gè)簡單有效最常用的過濾方法，它首先檢查郵件頭，如果發(fā)送者在黑名單內(nèi)，就拒絕接收該郵件。黑名單可以是發(fā)送垃圾郵件的服務(wù)器 、 開放的代理 、 開放的中繼以及發(fā)送者郵箱地址。現(xiàn)在有很多組織都 在做 *bl(block list)，將那些經(jīng)常發(fā)送垃圾郵件的 IP 地址 (甚至 IP 地址范圍 )收集在一起，做成 block list。 白名單過濾的方法是在郵件過濾系統(tǒng)中維持一張白名單表，其中收錄了用戶認(rèn)可的郵件地址。當(dāng)收到的郵件其發(fā)送者在用戶的白名單中，該郵件就被判定為正常郵件。這種方法能 100%的屏蔽垃圾郵件，但是同時(shí)也會過濾掉很多第一次與收件人通信的正常郵件，而這些用戶不在收件人的白名單中。 目前很多郵件接收端都采用了黑白名單的方式來處理垃圾郵件，包括 MUA和 MTA，當(dāng)然在 MTA 中使用得更廣泛，這樣可以有效地 減少服務(wù)器的負(fù)擔(dān)。本文中 黑名單和白名單分別是已知的垃圾郵件發(fā)送者或可信任的郵件發(fā)送者的郵件地址， 這種技術(shù)手段是最傳統(tǒng)的方式，它通過黑名單技術(shù)對垃圾郵件進(jìn)行屏蔽，通過白名單技術(shù)對允許的郵件進(jìn)行放行。 4． 4 關(guān)鍵字過濾技術(shù) 這種技術(shù)是根據(jù)在郵件頭 、 郵件主題或者郵件正文中是否含有設(shè)定的關(guān)鍵字符來判斷郵件是否為垃圾郵件，然后采取處理措施。這種技術(shù)非常簡單易行，現(xiàn)在的郵件客戶端一般都提供這種技術(shù)。根據(jù)調(diào)查顯示，采用基于關(guān)鍵字符技術(shù)的郵件過濾器能夠捕獲到 60%的垃圾郵件。但是這種當(dāng)郵件中含有某類的關(guān)鍵字符Email POP3 Black list filter (Subject keyword filter) Allow list filter Nonspam spam Bayesian filter White list filter Start End 第 8 頁 共 22 頁 時(shí)就判定郵件 為垃圾郵件的技術(shù)缺點(diǎn)非常致命，它的誤確認(rèn)率特別高。例如將單詞 free設(shè)置為過濾關(guān)鍵字，那么所有包含有這個(gè)單詞的郵件都會被過濾掉，不管這封郵件來自于你的朋友還是垃圾郵件制造者。本文中是設(shè)置要過濾的郵件標(biāo)題關(guān)鍵字，對標(biāo)題中含有這些關(guān)鍵字的郵件進(jìn)行過濾。 4． 5 貝葉斯過濾技術(shù) 貝葉斯過濾算法的基本步驟 第一步：通過收集大量的郵件，按規(guī)則分為垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集，相當(dāng)于兩個(gè)數(shù)據(jù)庫； 第二步：提取郵件主題和郵件正文中的獨(dú)立字串，如商品、易趣等作為 TOKEN串，并統(tǒng)計(jì)提取出 的 TOKEN 串出現(xiàn)的次數(shù)，即字頻，按照上述方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件； 第三步：每一個(gè)郵件集對應(yīng)一個(gè)哈希表， hashtable_good 對應(yīng)非垃圾郵件集而 hashtable_bad 對應(yīng)垃圾郵件集。表中存儲 TOKEN 串到字頻的映射關(guān)系。如下所示 : TOKEN 串 出現(xiàn)次數(shù) 商品 N1 易趣 N2 法輪功 N3 色情 N4 第四步：計(jì)算每個(gè)哈希表中 TOKEN 串出 現(xiàn)的概率 P={(某 TOKEN 串的字頻 )/(對應(yīng)哈希表的長度 )}。 第五步：綜合考慮 hashtable_good 和 hashtable_bad，推斷當(dāng)新來的郵件中出現(xiàn)某個(gè) TOKEN 串時(shí)，該郵件作為垃圾郵件的概率。存在事件 S：該郵件為垃圾郵件，ｔ 1 ｔ 2 ? ,ｔ n 代表 TOKEN 串，則 P{S/ｔ i}表示在郵件中出現(xiàn) TOKEN 串ｔ i時(shí)，該郵件為垃圾郵件的概率。 第六步：建立新的哈希表 hashtable_probability 存儲 TOKEN 串ｔ i 到 P{S/ｔi}的映射，如下所示 : TOKEN 串 垃圾郵件的概率 商品 P{S/ｔ 1} 易趣 P{S/ｔ 2} 法輪功 P{S/ｔ 3} 色情 P{S/ｔ 4} 重復(fù)此步驟直到得到出現(xiàn)某字串的郵件為垃圾郵件的概率，垃圾郵件集和非垃圾郵件集的學(xué)習(xí)過程就算結(jié)束了。根據(jù)建立的哈希表 hashtable_probability 可 第 9 頁 共 22 頁 以估計(jì)一封新到的郵件為垃圾郵件的可能性，當(dāng)新到一封郵件時(shí)，