【正文】 ..........23 八、系統(tǒng)實(shí)現(xiàn) .....................................................................................................................24 （一）界面設(shè)計(jì)與實(shí)現(xiàn) ................................................................................................24 （二）垃圾郵件識(shí)別策略 .............................................................................................30 九、系統(tǒng)測(cè)試 .....................................................................................................................32 （一）測(cè)試的主要目的 ................................................................................................32 （二）測(cè)試環(huán)境 ...........................................................................................................32 （三） 測(cè)試及測(cè)試結(jié)果 ..............................................................................................32 （四） 測(cè)試結(jié)果分析及評(píng)價(jià) .......................................................................................33 十、結(jié)論 ............................................................................................................................34 致 謝 .................................................................................................................................35 參考文獻(xiàn) ............................................................................................................................36 1 一、緒論 （一）課題背景 隨著互聯(lián)網(wǎng)的快速發(fā)展，電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪兄匾耐ㄐ欧绞健＞W(wǎng)民對(duì)互聯(lián)網(wǎng)中垃圾郵件的反感度達(dá) ％，垃圾郵件已成為繼電腦病毒之后的主要網(wǎng)絡(luò)安全問(wèn)題。因此，研究有效的防治垃圾郵件的技術(shù)具有重要的現(xiàn)實(shí)意義。英文垃圾郵件的過(guò)濾己經(jīng)達(dá)到了比較高的準(zhǔn)確率，但受中文分詞的影響，對(duì)于中文垃圾郵件過(guò)濾，往往效果并不理想。 2 (2) 垃圾詞匯不易識(shí)別 反垃圾郵件技術(shù)進(jìn)步的同時(shí)，垃圾郵件偽裝技術(shù)也在不斷的發(fā)展，垃圾郵件制造者試圖制造更難識(shí)別的垃圾郵件。而對(duì)垃圾郵件過(guò)濾，垃圾郵件類(lèi)別是和用戶密切相關(guān)的，如一個(gè)產(chǎn)品宣傳廣告，有人認(rèn)為是垃圾郵件，但有人則認(rèn)為是正常郵件，因此郵件的分類(lèi)需更注重個(gè)性化。自從 20世紀(jì) 90年代初 Python 語(yǔ)言誕生至今，它逐漸被廣泛應(yīng)用于處理系統(tǒng)管理任務(wù)和 Web編 程。 Python 是從 ABC發(fā)展起來(lái)，主要受到了 Modula3（另一種相當(dāng)優(yōu)美且強(qiáng)大的語(yǔ)言，為小型團(tuán)體所設(shè)計(jì)的）的影響。 設(shè)計(jì)者開(kāi)發(fā)時(shí)總的指導(dǎo)思想是，對(duì)于一個(gè)特定的問(wèn)題，只要有一種最好的方法來(lái)解決就好了。例如麻省理工學(xué)院的計(jì)算機(jī)科學(xué)及編程導(dǎo)論課程就使用 Python語(yǔ)言講授。 國(guó)外知名視頻網(wǎng)站 YouTube就是使用 python處理非常高的并發(fā)訪問(wèn)量。 圖 21 python 安裝成功測(cè)試圖 （三） pyqt 簡(jiǎn)介 PyQt 是一個(gè) GUI 庫(kù)，是將 Python 和 Qt 結(jié)合在一起的產(chǎn)物。 QtCore 主要負(fù)責(zé)一些非 GUI 的功能，包括時(shí)間 (time)，文件 (files)和文件夾 (directories)，各種數(shù)據(jù)類(lèi)型 (data types)，流 (stream)， urls， mime 類(lèi)型，線程 (threads)和過(guò)程 (processes)。 QtSvg 提供了顯示 SVG 文件內(nèi)容的方法。 PyQt 提供了以下功能： （ 1） 窗口部件以及其他圖形化用戶接口控制 ； （ 2） 數(shù)據(jù)庫(kù)管理和查詢 ； （ 3） XML 處理 ； （ 4） 圖像和多媒體 ； （ 5） Web 瀏覽器集成和網(wǎng)絡(luò) 。這種非交互式的通信，加速了信息的交流及數(shù)據(jù)傳送，它是 — 個(gè)簡(jiǎn)易、快速的方法。這正是電子信箱系統(tǒng)的核心，利用存貯轉(zhuǎn)發(fā)可進(jìn)行非實(shí)時(shí)通信，屬異步通信方式。因?yàn)殡娮余]件是通過(guò)郵件服務(wù)器 (mai1 server)來(lái)傳遞檔的。 2) 電子郵件的基本原理，是在通信網(wǎng)上設(shè)立“電子信箱系統(tǒng)”，它實(shí)際上是一個(gè)計(jì)算機(jī)系統(tǒng)。存儲(chǔ)空間包含存放所收信件、編輯信件以及信件存盤(pán)三部分空間，用戶使用口令開(kāi)啟自己的信箱，并進(jìn)行發(fā)信、讀信、編輯、轉(zhuǎn)發(fā)、存檔等各種操作。郵件在信箱之間進(jìn)行傳遞和交換，也可以與另 — 個(gè)郵件系統(tǒng)進(jìn)行傳遞和交換。說(shuō)明信件的原始創(chuàng)建者，給出他的電子信箱地址。當(dāng)發(fā)信人與寫(xiě)信人不一樣時(shí)使用。 與收信方有關(guān)的信頭字段 TO： mailbox list 收信人字段。也可以使用郵箱地址列表，抄送給多個(gè)人。 其它的信頭字段 Date： datetime 日期字段： Date字段含有電子郵件創(chuàng)建的日期和時(shí)間。 Received:[fromdomain] 接受字段。 MessageID： msgid 信件標(biāo)識(shí)字段。 1. From：發(fā)送方地址； 2. To：接收方地址； 3. Cc：復(fù)制副本地址； 4. Date：信息創(chuàng)建日期； 5. Subject：信息主題； 6. ReplyTo：回復(fù)地址。 （ 3）隱藏發(fā)件人身份、地址、標(biāo) 題等信息的電子郵件。據(jù) Nucleus Research 公司的最新研究報(bào)告稱(chēng)， 2021 年垃圾郵件給全球的生產(chǎn)力造成的損失以及反垃圾郵件的投資預(yù)計(jì)將達(dá)到 700 億美元。另外，當(dāng)一些用戶利用郵件服務(wù)器對(duì)外發(fā)送垃圾郵件時(shí)，該服務(wù)器會(huì)被列入黑名單而遭到封殺。如果我們每天都要花費(fèi)一段時(shí)間來(lái)處理垃圾郵件，工作效率就要降低，對(duì)整個(gè)社會(huì)來(lái)說(shuō)，被浪費(fèi)的時(shí)間更是一大筆寶貴的財(cái)富。垃圾郵件還可以被病毒利用，成為它們的傳播途徑。 從郵件的發(fā)送形式上看，有直接發(fā)送和第三方轉(zhuǎn)發(fā)兩種。目前使用更多的是使用第三方服務(wù)器轉(zhuǎn)發(fā)。 4. 垃圾郵件采用的技術(shù) 垃圾郵件數(shù)量急劇增長(zhǎng)，其手段也不斷更新，掌握垃圾郵件采用的技術(shù)及其特點(diǎn)，對(duì)反垃圾郵件工作尤為重要。我們?cè)诘诙聦?duì)其進(jìn)行了一些分析。 OPEN RELAY是由歷史的原因遺留下來(lái)的郵件服務(wù)器的安全缺陷。 垃圾郵件發(fā)送者采用以上技術(shù)，使得垃圾郵件發(fā)送的方式越來(lái)越隱蔽，其特點(diǎn)主要表現(xiàn)在：發(fā)件人地址隨機(jī)變化、郵件主題隨機(jī)變化、偽造郵件頭干擾信息、信件主體內(nèi)容隨機(jī)變化、正文以圖片方式顯示等，造成了垃圾信息難以識(shí)別。下面我們簡(jiǎn)單介紹一下這兩個(gè)方面的研究工作。 但是，在網(wǎng)絡(luò)環(huán)境下確定垃圾郵件發(fā)送者身份很困難，另外，對(duì)垃圾郵件發(fā)送者的懲罰，不同國(guó)家的法律規(guī)定也不同，這些使得法律手段收效不大。這樣，垃圾郵件發(fā)送者將無(wú)利可圖，他們就不會(huì)熱衷于發(fā)送垃圾郵件了。 （ 1）基于 IP地址、域名和路由的過(guò)濾技術(shù) ①白名單、黑名單技術(shù) 黑名單 (Black List)是指已知 的垃圾郵件發(fā)送者地址，而白名單 (White List)是指可信任的郵件發(fā)送者的地址。 實(shí)時(shí)黑名單 (Realtime Black hole List，簡(jiǎn)稱(chēng) RBL)是目前最流行的黑白名單技術(shù)，也被稱(chēng)為 DNS． RBL。一個(gè)電子郵件從一臺(tái)服務(wù)器發(fā)送到另外一臺(tái)服務(wù)器，兩臺(tái)服務(wù)器之間需要建立一個(gè) TCP／ IP 連接。發(fā)件服務(wù)器對(duì)每一封電子郵件使用該服務(wù)器的私匙進(jìn)行簽名，收件服務(wù)器則使用公鑰驗(yàn)證發(fā)件服務(wù)器的簽名是否有效。 （ 2）基于內(nèi)容的過(guò)濾 簡(jiǎn)單的模式匹配是指系統(tǒng)預(yù)定義一些規(guī)則，對(duì)于一封郵件，系統(tǒng)根據(jù)匹配情況將其分類(lèi)。目前，通常使用基于規(guī)則或基于統(tǒng)計(jì)的過(guò)濾技術(shù)。簡(jiǎn)單的規(guī)則有拒絕主題中包含某個(gè)關(guān)鍵詞的郵件，或創(chuàng)建拒收郵件地址列表等，復(fù)雜的規(guī)則支持正則表達(dá)式匹配。一個(gè)人寫(xiě)出的規(guī)則可以提供給多個(gè)人使用，因此它的推廣性很強(qiáng)。 當(dāng) Spam Assassin 處理一封郵件時(shí)，它會(huì)對(duì)這封信件應(yīng)用各項(xiàng)規(guī)則，生成一個(gè)總的分值來(lái)表示其為垃圾郵件的可能性。 有很多文獻(xiàn)都提到了通過(guò)機(jī)器學(xué)習(xí)和文本統(tǒng)計(jì)的方法，來(lái)進(jìn)行內(nèi)容的學(xué)習(xí)和分類(lèi)。 （ 3）基于行為的過(guò)濾 ①過(guò)濾群發(fā)軟件所發(fā)送的郵件 其基本思想是根據(jù)郵件頭信息進(jìn)行判斷，如果該郵件為群發(fā)軟件所發(fā)，則判定其為垃圾郵件。如果發(fā)送方能夠成功的響應(yīng)該認(rèn)證請(qǐng)求，則該郵件通過(guò)過(guò)濾器，且所有由這個(gè)發(fā)送者發(fā)送的郵件都被允許通過(guò)。 但是這種方法也存在幾個(gè)缺點(diǎn)：第一，郵件發(fā)送方需要付出一些額外的精力去應(yīng)對(duì)接收方的挑戰(zhàn)，發(fā)送方只有通過(guò)了挑戰(zhàn)才能成功的發(fā)送郵件，如果萬(wàn)一發(fā)送方?jīng)]有響應(yīng)該挑戰(zhàn)，則該郵件就會(huì)被丟棄。 ④基于行為模式識(shí)別 基于行為模式識(shí)別的基本思想是分析發(fā)送垃圾郵件的行為特征，從而識(shí)別垃圾郵件。詞是自然語(yǔ)言中最小的有意義的構(gòu)成單位。 （ 1）機(jī)械分詞方法 這種方法又叫做基于字符串匹配的分詞方法，其主要思想是對(duì)待分詞的漢字字串 S，按照某種確定的原則切取 S 的子串，若該子串與詞庫(kù)中的某詞條相匹配，則該子串是詞，繼續(xù)分割剩余的部分，直到剩余部分為空；否則，該子串不是詞，轉(zhuǎn)向重新切取 S 的子串進(jìn)行匹配。若長(zhǎng)度為 2 的子串仍不能在詞典中找到，則取當(dāng)前漢字為詞，完成一輪匹配過(guò)程，指針后移一個(gè)漢字繼續(xù)匹配。 RMM 法的基本原理與 FMM 法相同，不同的是分詞的掃描方向，它是從右至左取子串進(jìn)行匹配。這種方法能夠有效地提取出詞典中不存在的詞，可以作為基于詞典分詞方法的有效補(bǔ)充。 （ 3）特征項(xiàng)的提取 特征項(xiàng)選取的任務(wù)就是要將信息量小、“不重要 的詞匯從特征項(xiàng)空間中刪除，從而減少特征項(xiàng)的個(gè)數(shù)。 特征項(xiàng)選取是文本自動(dòng)分類(lèi)系統(tǒng)中的一個(gè)關(guān)鍵步驟。 本文在對(duì)垃圾郵件進(jìn)行定量描述的基礎(chǔ)上，研究多層過(guò)濾，對(duì)黑白名單過(guò)濾和一種中文關(guān)鍵字匹配算法進(jìn)行了改進(jìn)，并研究了用戶反饋機(jī)制，設(shè)計(jì)了一種基于客戶端的郵件過(guò)濾系統(tǒng)，該系統(tǒng)能接收用戶反饋信息，體現(xiàn)用戶的個(gè)性化需求，可以較好 解決郵件判定標(biāo)準(zhǔn)問(wèn)題。第二層過(guò)濾采用基于規(guī)則過(guò)濾，依據(jù)權(quán)值和過(guò)濾算法對(duì)郵件的分值進(jìn)行計(jì)算。 表 41 垃圾郵件的信頭特征 Xi xi 的具體內(nèi)容 權(quán)值 X1 Received 字段個(gè)數(shù)大于等于 3 個(gè) X2 對(duì)郵件發(fā)送服務(wù)器做反 DNS查詢，發(fā)送服務(wù)器的域名與 IP不匹配 X3 發(fā)件人地址在黑名單中 查詢黑名單表 X4 發(fā)件人地址在白名單中 查詢白名單表 X5 郵件 的發(fā)件人和收件人地址相同 X6 郵件發(fā)送服務(wù)器的域名與郵件發(fā)件人的域名不同 X7 10 分鐘內(nèi)同一個(gè)發(fā)件人發(fā)送的郵件個(gè)數(shù)超過(guò)可接受值 3 對(duì)于一封郵件，根據(jù)表 41，查詢對(duì)應(yīng)的權(quán)值，計(jì)算這一層的分值 S1，并累計(jì)入總的分值 M 中。如一些發(fā)送廣告郵件的服務(wù)器，被列入了黑名單，如果采用 黑名單過(guò)濾，則對(duì)需要廣告郵件的用戶，就意味著正常郵件的丟失。 ②客戶端用戶使用的訓(xùn)練集可能不適合其需求，造成過(guò)濾效果不理想。 切詞破壞是指垃圾郵件發(fā)送者經(jīng)常采用一些方法來(lái)掩蓋敏感關(guān)鍵字，發(fā) 動(dòng)針對(duì)內(nèi)容過(guò)濾器的攻擊，如把文本中規(guī)范的敏感關(guān)鍵字替換為經(jīng)過(guò)變換后的“詞”。這里相對(duì)短和相對(duì)低是指和實(shí)現(xiàn)建議系統(tǒng)所需時(shí)間和成本相比較而 言?，F(xiàn)代計(jì)算機(jī)硬、軟件技術(shù)的飛速發(fā)展，為系統(tǒng)建設(shè)提供了技術(shù)條件。簡(jiǎn)單地說(shuō)，經(jīng)濟(jì)可行性研究是確定得自新系統(tǒng)的節(jié)省和利益，將這些利益和系統(tǒng)的實(shí)現(xiàn)成本相比較，如果利益超過(guò)成本，則開(kāi)發(fā)新系統(tǒng)的決策是肯定的；否則的話，除非有其他特殊原因，這個(gè)決策將是否定的。 4. 調(diào)度可行性 調(diào)度可行性指的是建議的計(jì)算機(jī)系統(tǒng)能否在規(guī)定的期限內(nèi)交付給用戶。分析并確認(rèn)各個(gè)功能的權(quán)重以及工作量。鼠標(biāo)點(diǎn)擊郵件標(biāo)題，能夠顯示郵件的內(nèi)容，包括郵件發(fā)件人信息，郵件時(shí)間，郵件正文內(nèi)容等。 2. 核心功能 為了能夠識(shí)別垃圾郵件 需要黑白名單和基于規(guī)則的識(shí)別機(jī)制，用戶可以自定義黑白名單和規(guī)則庫(kù)，系統(tǒng)能夠根據(jù)用戶設(shè)置的規(guī)則來(lái)識(shí)別出垃圾郵件。系統(tǒng)應(yīng)具備的功能主要有： (1)接收郵件和發(fā)送郵件的功能 本系統(tǒng)提供友好的界面，可以使用本系統(tǒng)訪問(wèn)并讀取用戶郵箱中的電子郵件。 另外，系統(tǒng)還應(yīng)該具備安裝簡(jiǎn)單，容易配置和使用，界面友好等特點(diǎn)，對(duì) 用戶目前的使用習(xí)慣也充分考慮。登陸成功，提示用戶登陸成果；如 果登陸失敗，根據(jù)服務(wù)器的