【正文】 .........................................26 標(biāo)準(zhǔn)郵件集 ................................................................................................................................................26 標(biāo)準(zhǔn)郵件集的背景 ........................................................................................................................26 標(biāo)準(zhǔn)郵件和正常郵件的收集 ....................................................................................................26 標(biāo)準(zhǔn)郵件 集的概述 ........................................................................................................................27 4. 2 基于標(biāo)準(zhǔn)郵件集的垃圾郵 件分類向量 ........................................................................................27 分類的實(shí)現(xiàn) .......................................................................................................................................27 提取分類向量的過程 ...................................................................................................................28 先驗(yàn)概率的計(jì)算方法 ...................................................................................................................31 特征提取的實(shí)現(xiàn) .............................................................................................................................31 基于 貝葉斯原理 的過濾系統(tǒng)的實(shí)現(xiàn) ..............................................................................................32 算法的實(shí)現(xiàn) ................................................................................................................................................33 第五章 實(shí)驗(yàn)結(jié)果及分析 .................................................................................................................................36 基于 貝葉 斯算法的過濾系統(tǒng) 實(shí)驗(yàn)環(huán)境 .........................................................................................36 基于 貝葉 斯算法的過濾系統(tǒng)總體結(jié)構(gòu)圖 ....................................................................................36 實(shí)驗(yàn)結(jié)果及性能分析 ............................................................................................................................37 系統(tǒng)實(shí)驗(yàn)結(jié)果的質(zhì)量評(píng)價(jià)指標(biāo) ...............................................................................................37 閾值的確定及對(duì)過濾精度的影響 ..........................................................................................38 實(shí) 驗(yàn)數(shù)據(jù) ............................................................................................................................................39 第 六 章 總結(jié)與展望 .............................................................................................................. 42 論文總結(jié) .....................................................................................................................................................42 待改進(jìn)的問題 ...........................................................................................................................................42 致謝 ...........................................................................................................................................................................44 參考文獻(xiàn) .................................................................................................................................................................45 攻讀學(xué)位期間 發(fā)表論文情況 .........................................................................................................................47 原創(chuàng)性聲明 ............................................................................................................................................................48 長(zhǎng)春工業(yè)大學(xué)碩士學(xué)位論文 1 第一章 緒論 引言 伴隨著 電子 郵件 的迅速普及，越來越多的人使用電子郵件 。 最早在 1975 年的 RFC706“ On the Junk Mail Problem” [1]中就提到了垃圾郵件，首次關(guān)于垃圾郵件的記錄可以追溯到 1985 年 8 月的一封以電子郵件發(fā)送的連鎖信。這是第一次使用 Spam（垃圾郵件）一詞，用來描述新聞或電子郵件的主動(dòng)性發(fā)布。 1995 年 5 月 ， 網(wǎng)上出現(xiàn)了歷史上第一個(gè)專用的垃圾郵件工具 Floodgate[2]，一次可以自動(dòng)把郵件發(fā)給很多人，垃圾郵件越來越多與商業(yè)聯(lián)系起來。 隨著垃圾郵件的出現(xiàn)和泛濫，人們開始了反垃圾郵件的不懈努力。隨著垃圾過濾郵件技術(shù)的發(fā)展以及人們對(duì)發(fā)送垃圾郵件者的譴責(zé)，垃圾郵件的制造者不得不采取更為隱蔽的技術(shù)，比如偽造信頭中的發(fā)件人、域名和郵件地址等。 近幾年來，垃圾郵件的泛濫是由于專門發(fā)送垃圾郵件的服務(wù)器大批涌現(xiàn)。中國是電子郵件大國，由于網(wǎng)絡(luò)的開放性，垃圾郵件成為互聯(lián)網(wǎng)上的一個(gè)日益嚴(yán)重的全球性安全問題，越來越得到社會(huì)大眾和研究人員的重視和關(guān)注。 垃圾郵件的定義及其危害 垃圾郵件定義 垃圾郵件的英文名稱為 Spam或 Junk Mail，一般使用 Spam一詞。例如，著名的反垃圾組織 spamhaus 提出，垃圾郵件具備以下兩個(gè)特征： (1) 不請(qǐng)自來。 長(zhǎng)春工業(yè)大學(xué)碩士學(xué)位論文 2 (2) 批量性。 2020 年，中國互聯(lián)網(wǎng)協(xié)會(huì)在《中國互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件規(guī)范》中對(duì)垃圾郵件作了以下定義 [4]： (1) 收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件； (2) 收件人無法拒收的電子郵件； (3) 隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件； (4) 含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。 垃圾郵件危害 [5] 垃圾郵件的泛濫給人們帶來的危害和損失主要體現(xiàn)在以下幾個(gè)方面： (1) 垃圾郵件給網(wǎng)絡(luò)運(yùn)營(yíng)商 （ ISP） 造成了嚴(yán)重的損失。 最新的調(diào)查顯示，企業(yè)收到的電子郵件中，竟有 28%為垃圾郵件。調(diào)查報(bào)告指出企業(yè)雇員通常每日花費(fèi) 10 分鐘的時(shí)間清理收件箱內(nèi)的垃圾郵件。 Message Labs 公司指出，通過調(diào)查可以看出，越來越多的企業(yè)已經(jīng)開始意識(shí)到垃圾郵件會(huì)浪費(fèi)企業(yè) IT 資源，降低生產(chǎn)效率。一項(xiàng)統(tǒng)計(jì)報(bào)告指出 ISP 業(yè)者為了對(duì)抗垃圾郵件，平均每個(gè)用戶必須花費(fèi) 2 元 美金成本 ； 該項(xiàng)報(bào)告還 指出垃圾郵件將影響傳輸速度 30%以上。由于垃圾郵件的內(nèi)容不可控制，所以常常有很多有害的內(nèi)容。尤其危害大的是，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會(huì)對(duì)系統(tǒng)造成各種破壞。 (3) 垃圾郵件給網(wǎng)絡(luò)帶來了各種安全性的問題。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā) （ OPEN RELAY） 。他就會(huì)讓被盜用的郵件服務(wù)器背上轉(zhuǎn)發(fā)垃圾郵件的 黑鍋，影響正常的信件發(fā)送。這些郵件服務(wù)器正是被西方垃圾郵件制造者用來轉(zhuǎn)發(fā)垃圾郵件，這就是所謂“瞎子式轉(zhuǎn)發(fā)”（ Blind Relay） ，并被他們彼此以幾百美元的價(jià)格互相買賣這種服務(wù)器的地址，最終歐美的很多 ISP 服務(wù)提供商封鎖了中國的 IP 地址段。據(jù)統(tǒng)計(jì)，我國網(wǎng)上用戶約為 3370萬，平均每個(gè)用戶擁有 Email 賬號(hào) 個(gè)。 (4) 垃圾郵件成了計(jì)算機(jī)病毒新的、快速的傳播途徑。 由此可見，垃圾郵件的危害性是非常大的。 國內(nèi)外反垃 圾郵件現(xiàn)狀 雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個(gè)國際性的問題 [6]，很多學(xué)者和技術(shù)人員也開展了反垃圾郵件的研究工作。 與此同時(shí)，垃圾郵件也越來越深入網(wǎng)民的日常生活，電子郵件的使用率為 %，在網(wǎng)絡(luò)應(yīng)用中排名第六位。 我國反垃圾郵件的工作起步較晚，但發(fā)展迅速。 2020 年 2 月信息產(chǎn)業(yè)部頒布了中華人民共和國信息產(chǎn)業(yè)部第 38 號(hào)令《互聯(lián)網(wǎng)電子郵件服務(wù)管理辦法》，明確規(guī)定了對(duì)制造和傳播垃圾郵件者的處罰辦法。 國內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書，建立各種加密郵件協(xié)議和標(biāo)準(zhǔn)，研究郵件防病毒技術(shù)和垃圾郵件過濾技術(shù)等；同時(shí)，不少國家都出臺(tái)了電子郵件應(yīng)用相關(guān)的法律法規(guī)，如電子簽名法、反垃圾郵件 立 法等，對(duì)其進(jìn)行約束和規(guī)范。所有的郵件作者和廠商都要執(zhí)行它 ，那么我們?cè)?Inter 上將具有安全的電子郵件。目前國際上有兩大類流行的郵件安全系統(tǒng)標(biāo)準(zhǔn)：端到端安全郵件標(biāo)準(zhǔn)（ PGP）和傳輸層安全郵件標(biāo)準(zhǔn) S/MIME。用戶需要安全的電子郵件系統(tǒng)產(chǎn)品，能夠迅速構(gòu)建安全可靠、高性能的電子郵件系統(tǒng)，并且維護(hù)管理和使用都比較方便簡(jiǎn)單。 研 究目標(biāo)與內(nèi)容 本文的研究目標(biāo)是基于貝葉斯 算法 ，構(gòu)造垃圾郵件過濾模型，并對(duì)相關(guān)算法進(jìn)行分析、比較、驗(yàn)證和測(cè)試，最后基于改進(jìn)的貝葉斯算法，實(shí)現(xiàn)對(duì)垃圾郵件的過濾。主要工作內(nèi)容如下： (1) 對(duì)當(dāng)前現(xiàn)有過濾技術(shù)發(fā)展現(xiàn)狀、基本原理、 基本方法和過程進(jìn)行研究和分析，并對(duì)主要過濾技術(shù)的優(yōu)缺點(diǎn)進(jìn)行比較 。計(jì)算每個(gè)分類向量在各類別中出現(xiàn)的概率，即得到特征向量。 (4) 解決基于向量空間模型的郵件文本信息表示、文本分類中的特征向量的選擇等問題，在對(duì)實(shí)現(xiàn)過濾器的關(guān)鍵技術(shù)中，主要針對(duì)基于樸素貝葉斯方法基礎(chǔ)上對(duì)改進(jìn)的貝葉斯算法進(jìn)行深入研究，設(shè)計(jì)和實(shí)現(xiàn)基于貝葉斯算法分類的反垃圾郵件系統(tǒng)的