【正文】 定義 ：特征向量就是通過對(duì)已經(jīng)分好類的樣本集進(jìn)行處理，通過詞頻統(tǒng)計(jì)來計(jì)算關(guān)鍵詞在每個(gè)類別中出現(xiàn)的概率。 垃圾郵件分類向量與特征向量的定義中文語言的特點(diǎn)和英語語言的特點(diǎn)在結(jié)構(gòu)上有很大的差別：英文最小的表達(dá)意義的單元是英文單詞（word） ，也是書寫上的基本單元，可以很明顯簡(jiǎn)單的從郵件中一個(gè)個(gè)分離出來；而對(duì)于中文語言來說，表達(dá)意義的最小單元是中文單詞，但是書寫上的基本單元是漢字，中文單詞無法直接從郵件中獲得，因?yàn)橹形膯卧~之間沒有明確的分隔符，而且中文單詞的變化及其復(fù)雜，若無人的參與，機(jī)器自動(dòng)進(jìn)行單詞的切分本身就是一個(gè)困難的問題。M 表示為郵件樣本集合，將郵件樣本集分為垃圾郵件集 M1 和非垃圾郵件集 M2 兩類，這種分類方法比較粗糙，容易丟失郵件特征細(xì)節(jié)，導(dǎo)致對(duì)郵件的誤判。而要讓這些系統(tǒng)增加回應(yīng)質(zhì)詢的能力，需要做大量額外的工作。(8) 質(zhì)詢－回應(yīng)技術(shù)質(zhì)詢－回應(yīng)技術(shù)是一種傳統(tǒng)的身份識(shí)別技術(shù)，這種技術(shù)就是識(shí)別方向被識(shí)別方問一些只有這兩方才可能知道正確答案的問題，通過被識(shí)別方回答的正誤來判斷被識(shí)別方的身份。(6) 分布協(xié)作的內(nèi)容指紋分析技術(shù)有些郵件使用假的郵件地址、偽造了郵件頭或利用了開放式轉(zhuǎn)發(fā)功能發(fā)送的。由此可以構(gòu)造一種基于貝葉斯算法來實(shí)現(xiàn)垃圾郵件過濾 [26]。這種匹配一般都支持正則表達(dá)式的匹配方法，從而提高了掃描的執(zhí)行效率。但在某些需要嚴(yán)格控制郵件內(nèi)容的場(chǎng)合，有一定的使用價(jià)值。該技術(shù)手段太單一，致命的弱點(diǎn)在于被放入黑名單的少量可疑主機(jī)數(shù)目和大量的垃圾郵件發(fā)送者不成比例，即使郵件服務(wù)器支持實(shí)時(shí)黑名單技術(shù)，依然會(huì)收到大量的垃圾郵件，無法全面封堵。黑名單技術(shù)的關(guān)鍵就是對(duì)黑名單列表的維護(hù)和更新。白名單技術(shù)的原理與黑名單正好相反，其中列出了可信的郵件地址，凡是發(fā)件人地址符合其中地址的郵件，都會(huì)被認(rèn)為是正常郵件而被放行。通過對(duì)這些信息的過濾，就可以把由同一地址發(fā)出的但收發(fā)信地址和主題隨機(jī)的垃圾郵件從眾多的郵件找出來。如果命中率超過了設(shè)置的閾值，就認(rèn)為是垃圾郵件。(3) 對(duì)郵件主題的過濾這個(gè)應(yīng)該算是比較重要的一個(gè)過濾了，一般一些垃圾郵件的主題還是有一些共同的特性的。這些郵件將被判斷為垃圾郵件。一般情況下，比較理想長(zhǎng)春工業(yè)大學(xué)碩士學(xué)位論文14的方法是，在郵件服務(wù)器端直接將垃圾郵件屏蔽掉，這樣不僅用戶不會(huì)受到垃圾郵件的騷擾，而且服務(wù)器可以減少郵件的處理量，節(jié)約處理器資源和帶寬流量。行業(yè)控制方面主要是利用實(shí)時(shí)的黑名單服務(wù)來限制垃圾郵件的傳播。針對(duì)目前的垃圾郵件泛濫的形勢(shì)，反垃圾郵件立法的呼聲越來越高，但是反垃圾郵件立法也面臨一系列的問題。 反垃圾郵件成為了當(dāng)前亟待解決的問題。同時(shí)，由于用戶查閱信息標(biāo)題和決定下載哪些附件，也需要一定時(shí)間，因此連接時(shí)間也比 POP 方式長(zhǎng)。現(xiàn)在，IMAP 為很多客戶端電子郵件軟件所采納，如 Outlook Express、Netscape Messenger 等，支持 IMAP 的服務(wù)器端的軟件也越來越多，如CriticalPath、Eudora、Sendmail 等。(2) 離線方式：郵件保留在 Mail 服務(wù)器端，客戶端可以對(duì)其進(jìn)行管理。客戶機(jī)可先閱讀郵件信息的標(biāo)題和發(fā)送者的名字再?zèng)Q定是否下載這個(gè)郵件。(2) 可選的 POP3 命令：APOP：指定郵箱的用戶名及其 MD5 摘要串，在“鑒別”狀態(tài)有效；TOP：用來獲取郵件頭及被預(yù)定義的一塊字符串，在“操作”狀態(tài)有效；UIDL：返回郵件的唯一標(biāo)識(shí)符。一旦接受鑒別，服務(wù)器就獲取與客戶郵件相關(guān)的資源，此時(shí)進(jìn)入“操作”狀態(tài)，用戶可以發(fā)送命令，檢索郵件的副本，或從永久郵箱中刪除郵件。所有響應(yīng)也是由CRLF 對(duì)結(jié)束。所有命令以一個(gè) CRLF 對(duì)結(jié)束。(6) 沒有規(guī)定如何加密傳輸?shù)奈谋?，文本?nèi)容以明文傳送，容易被竊聽。(4) Received 字段。end withCRLF.CRLFS:Blah blah blah...S:....S:CRLF.CRLFR:250 OKSMTP 協(xié)議本身是一個(gè)簡(jiǎn)化的郵件遞交協(xié)議，在協(xié)議制定的時(shí)候，并未考慮安全方面的需要，因此其存在著幾個(gè)安全缺陷 [18]：(1) 缺乏足夠的驗(yàn)證要求。please tryforwardpath452 Requested action not taken:insufficient system storage552 Requested mail action aborted:exceeded storage allocation553 Requested action not taken:mailbox name not allowed[.,mailbox syntax incorrect]354 Start mail input。發(fā)件方在發(fā)出這個(gè)命令并收到OK 答復(fù)前，也不得中斷連接。如果傳送接受，接收方回復(fù)OK。如果服務(wù)器同意轉(zhuǎn)發(fā)，它要更改郵件發(fā)送路徑，把最開始的目的地（該服務(wù)器）換成下一個(gè)服務(wù)器。這個(gè)命令會(huì)清空有關(guān)的緩沖區(qū)，為新的郵件做準(zhǔn)備。問候和確認(rèn)過程表明兩臺(tái)機(jī)器可以進(jìn)行通信，同時(shí)狀態(tài)參量被復(fù)位，緩沖區(qū)被清空。命令代碼是大小寫無關(guān)的，如 MAIL 和 mail、mAIL 是等效的。整個(gè)過程由發(fā)件方控制，有時(shí)需要確認(rèn)幾回才可以。收件方服務(wù)器確認(rèn)可以建立連接后，雙方就可以開始通信。在 TCP 上，它使用端口 25 進(jìn)行傳輸。2022 年 4月，RFC2821 [17]對(duì)該協(xié)議進(jìn)行了更新。由于目前使用的 SMTP 協(xié)議是存儲(chǔ)轉(zhuǎn)發(fā)協(xié)議，意味著它允許郵件通過一系的服務(wù)器發(fā)送到最終目的地。投遞代理 MDA 程序則從信件傳輸代理取得信件傳送至最終用戶的郵箱。傳輸代理 MTA 軟件負(fù)責(zé)處理所有接收和發(fā)送的郵件。RFC 為信頭定義了 20 多個(gè)標(biāo)準(zhǔn)字段，包括 Date、From 、To 、CC、BCC 等一些必須和非必須的字段，另外，信頭在傳輸過程中并不是一成不變的，隨著郵件的傳輸，MUA 和 MTA 會(huì)在信頭上增加一些路徑信息，它們合在一起構(gòu)成收到的信件的信頭部分。其中，域名由幾部分組成，每一部分稱為一個(gè)子域(Subdomain)，各子域之間用圓點(diǎn)“.”分隔，每個(gè)子域都會(huì)告訴用戶一些有關(guān)這臺(tái)郵件服務(wù)器的信息。根據(jù)需要傳送各種非文本文件（例如圖像文件、word 文件、 pdf 文件、 zip 文件等） ，人們又定義了 MIME 標(biāo)準(zhǔn)，作為 RFC822 的補(bǔ)充。后來，郵件的協(xié)議和內(nèi)容格式也是由RFC(Request or Comments)幾個(gè)文檔規(guī)定的。據(jù) 2022 年 3 月份 MessagingOnline 的一份數(shù)據(jù)顯示，Inter 上有 億個(gè)郵箱，平均每個(gè) Inter 用戶有 個(gè)。到目前為止，可以說電子郵件是 Inter 資源使用最多的一種服務(wù)，電子郵件不只局限于信件的傳遞，還可用來傳遞文件、聲音及圖形、圖像等不同類型的信息。 電子郵件工作原理簡(jiǎn)介 電子郵件的概述電子郵件（簡(jiǎn)稱 EMail）又稱電子信箱、電子郵政，它是—種用電子手段提供信息交換的通信方式。計(jì)算每個(gè)分類向量在各類別中出現(xiàn)的概率，即得到特征向量。 研究目標(biāo)與內(nèi)容本文的研究目標(biāo)是基于貝葉斯算法，構(gòu)造垃圾郵件過濾模型，并對(duì)相關(guān)算法進(jìn)行分析、比較、驗(yàn)證和測(cè)試，最后基于改進(jìn)的貝葉斯算法，實(shí)現(xiàn)對(duì)垃圾郵件的過濾。目前國(guó)際上有兩大類流行的郵件安全系統(tǒng)標(biāo)準(zhǔn)：端到端安全郵件標(biāo)準(zhǔn)（PGP ）和傳輸層安全郵件標(biāo)準(zhǔn) S/MIME。國(guó)內(nèi)外電子郵件系統(tǒng)相關(guān)各方都進(jìn)行了大量的工作，包括在電子郵件系統(tǒng)中引入數(shù)字證書，建立各種加密郵件協(xié)議和標(biāo)準(zhǔn)，研究郵件防病毒技術(shù)和垃圾郵件過濾技術(shù)等；同時(shí)，不少國(guó)家都出臺(tái)了電子郵件應(yīng)用相關(guān)的法律法規(guī)，如電子簽名法、反垃圾郵件立法等，對(duì)其進(jìn)行約束和規(guī)范。我國(guó)反垃圾郵件的工作起步較晚，但發(fā)展迅速。 國(guó)內(nèi)外反垃圾郵件現(xiàn)狀雖然垃圾郵件問題是最初從西方開始，以英文垃圾郵件為主，但是它越來越成為一個(gè)國(guó)際性的問題 [6]，很多學(xué)者和技術(shù)人員也開展了反垃圾郵件的研究工作。(4) 垃圾郵件成了計(jì)算機(jī)病毒新的、快速的傳播途徑。這些郵件服務(wù)器正是被西方垃圾郵件制造者用來轉(zhuǎn)發(fā)垃圾郵件，這就是所謂“瞎子式轉(zhuǎn)發(fā)” （Blind Relay） ，并被他們彼此以幾百美元的價(jià)格互相買賣這種服務(wù)器的地址，最終歐美的很多 ISP 服務(wù)提供商封鎖了中國(guó)的 IP 地址段。因?yàn)槟壳按蟛糠值睦]件是利用第三方服務(wù)器轉(zhuǎn)發(fā)（OPEN RELAY） 。尤其危害大的是，很多垃圾郵件的附件中帶有病毒，一旦收件人打開郵件，附件中的病毒就會(huì)對(duì)系統(tǒng)造成各種破壞。一項(xiàng)統(tǒng)計(jì)報(bào)告指出 ISP 業(yè)者為了對(duì)抗垃圾郵件，平均每個(gè)用戶必須花費(fèi) 2 元美金成本；該項(xiàng)報(bào)告還指出垃圾郵件將影響傳輸速度 30%以上。調(diào)查報(bào)告指出企業(yè)雇員通常每日花費(fèi) 10 分鐘的時(shí)間清理收件箱內(nèi)的垃圾郵件。 垃圾郵件危害 [5]垃圾郵件的泛濫給人們帶來的危害和損失主要體現(xiàn)在以下幾個(gè)方面：(1) 垃圾郵件給網(wǎng)絡(luò)運(yùn)營(yíng)商（ISP）造成了嚴(yán)重的損失。長(zhǎng)春工業(yè)大學(xué)碩士學(xué)位論文2(2) 批量性。 垃圾郵件的定義及其危害 垃圾郵件定義垃圾郵件的英文名稱為 Spam 或 Junk Mail，一般使用 Spam 一詞。近幾年來，垃圾郵件的泛濫是由于專門發(fā)送垃圾郵件的服務(wù)器大批涌現(xiàn)。隨著垃圾郵件的出現(xiàn)和泛濫，人們開始了反垃圾郵件的不懈努力。這是第一次使用 Spam（垃圾郵件）一詞，用來描述新聞或電子郵件的主動(dòng)性發(fā)布。 the standard sample data sets of a large number of Chinese spam and regular mail are collected and maintained by the Chinese Education and Research Net (CERNET). The author conducted a lot of testing towards the methods which are studied by this paper. The accuracy and misjudgment rate reached % and % respectively. The results show that the spam filtering system based on algorithm Bayesian plays a very good role to block spam.Key Words: , spam, mail filtering, Bayesian theory目 錄第一章 緒論 ......................................................................................................................................................1 引言 ...........................................................................................................................................................1 垃圾郵件的定義及其危害 ................................................................................................................1 垃圾郵件的定義 ...........................................................................................................................1 垃圾郵件的危害 ...........................................................................................................................2 國(guó)內(nèi)外反垃圾郵件現(xiàn)狀 .....................................................................................................................3 論文研究的目標(biāo)與內(nèi)容 .....................................................................................................................4第二章 垃圾郵件技術(shù) ...................................................................................................................................5 電子郵件工作原理簡(jiǎn)介 .....................................................................................................................5 電子郵件的概述 .................................................................................