【正文】 這些垃圾郵件不僅消耗了電子郵件網(wǎng)關(guān) 75%的處理能力，使垃圾郵件使得網(wǎng)絡(luò)線路繁忙，服務(wù)器性能大打折扣；而且也浪費(fèi)了員工的大量時(shí)間和精力。 反垃圾郵件成為了當(dāng)前亟待解決的問(wèn)題?，F(xiàn)在非技術(shù)手段有以下幾種：(1) 立法模式。立法模式是由國(guó)家和政府主導(dǎo)的模式，這種模式的基本做法是由國(guó)家通過(guò)立法的方法，從法律上確立網(wǎng)絡(luò)隱私保護(hù)的各項(xiàng)基本原則與各項(xiàng)具體的法律、規(guī)定和制度，并在此基礎(chǔ)上建立相應(yīng)的司法或者行政措施。例如，一旦確認(rèn)某個(gè)團(tuán)體或個(gè)人發(fā)送垃圾郵件，那他將面臨法律的制裁與處罰。針對(duì)目前的垃圾郵件泛濫的形勢(shì)，反垃圾郵件立法的呼聲越來(lái)越高，但是反垃圾郵件立法也面臨一系列的問(wèn)題。如垃圾郵件的定義，即到底什么樣的郵件是垃圾郵件。其次就是法律的執(zhí)行問(wèn)題，即給予什么樣的處罰才是得當(dāng)?shù)?，而且如果缺少?guó)際合作，即使發(fā)現(xiàn)來(lái)自境外的垃圾郵件，也無(wú)法制裁。(2) 行業(yè)自律模式。行業(yè)控制方面主要是利用實(shí)時(shí)的黑名單服務(wù)來(lái)限制垃圾郵件的傳播。(3) 利用垃圾郵件過(guò)濾技術(shù)。近年來(lái)，有關(guān)垃圾郵件過(guò)濾技術(shù)的研究開(kāi)始逐步興18起，相關(guān)的投入也越來(lái)越大，涌現(xiàn)了一大批相關(guān)產(chǎn)品，如果能從技術(shù)上解決垃圾郵件問(wèn)題，那是最理想的垃圾郵件解決方法了 [21]。 常用反垃圾郵件技術(shù) 一般來(lái)說(shuō)，反垃圾郵件的方法有服務(wù)器端和客戶端兩種。一般情況下，比較理想的方法是，在郵件服務(wù)器端直接將垃圾郵件屏蔽掉，這樣不僅用戶不會(huì)受到垃圾郵件的騷擾，而且服務(wù)器可以減少郵件的處理量，節(jié)約處理器資源和帶寬流量。但是，相當(dāng)多的電子郵件服務(wù)提供商，并沒(méi)有把這件事做好，特別是一些不夠規(guī)范的免費(fèi)電子郵件提供商(有些免費(fèi)的電子郵件服務(wù)提供商甚至向別的廠商和公司收取費(fèi)用直接往自己的免費(fèi)用戶郵箱里投放廣告郵件)。如果是這樣，我們只能在客戶端這最后的一道防線上去抵擋垃圾郵件的進(jìn)攻了。 客戶端垃圾郵件過(guò)濾技術(shù)在客戶端可以對(duì)以下幾種內(nèi)容進(jìn)行過(guò)濾 [22]：(1) 對(duì)發(fā)件人地址的過(guò)濾這項(xiàng)技術(shù)就是依據(jù)發(fā)件人地址進(jìn)行判斷是否是垃圾郵件，例如不合法的郵件地址就會(huì)認(rèn)為是垃圾郵件，如????@163. ，和一些不合規(guī)范的郵件地址及空地址，如lakdjfhkiu}lkdfnehgugnuoi,lkjsfuiern}。這些郵件將被判斷為垃圾郵件。(2) 對(duì)收件人地址的過(guò)濾大家可能會(huì)說(shuō)，收件地址不就是我的郵箱地址嗎?這還需要過(guò)濾? 當(dāng)然，收件人地址也是可以用來(lái)發(fā)送垃圾郵件的。這種情況就是考慮到郵件列表了，因?yàn)猷]件列表在發(fā)送的時(shí)候，收件人地址只是一個(gè)列表的名稱，所以，雖然有些郵件收件人不是你，但是，是以郵件列表的形式發(fā)送的，所以，你還是會(huì)收到的。對(duì)于收件人地址的檢查和過(guò)濾也是必要的。(3) 對(duì)郵件主題的過(guò)濾這個(gè)應(yīng)該算是比較重要的一個(gè)過(guò)濾了，一般一些垃圾郵件的主題還是有一些共同的特性的。比如前一段時(shí)間鬧的比較兇的 SoBig. F 病毒，一共以 9 個(gè)主題來(lái)發(fā)送病毒郵件，發(fā)件人和收件人地址都不確定，只要你過(guò)濾掉這 9 個(gè)主題，你就不會(huì)受到SoBig. F 病毒所發(fā)送的垃圾郵件騷擾了。(4) 對(duì)郵件內(nèi)容關(guān)鍵字的過(guò)濾郵件內(nèi)容的過(guò)濾一般以一個(gè)關(guān)鍵字詞或多個(gè)關(guān)鍵字詞為判斷依據(jù)。根據(jù)關(guān)鍵字詞的命中率來(lái)確認(rèn)這封郵件是否是垃圾郵件。如果命中率超過(guò)了設(shè)置的閾值，就認(rèn)為是垃圾郵件。同時(shí)關(guān)鍵字詞還可以是短語(yǔ)和短句。(5) 對(duì)郵件頭信息過(guò)濾郵件頭信息是記錄郵件投遞過(guò)程的原始信息，這一點(diǎn)對(duì)垃圾郵件有著非常重要的19意義。雖然垃圾郵件發(fā)送者在發(fā)送垃圾郵件的時(shí)候，可以利用各種的工具隨機(jī)偽造不同的收發(fā)件人、主題和內(nèi)容，但是在郵件頭信息中，這些郵件還是有一些共同的信息的，主要是 IP、主機(jī)名、X標(biāo)識(shí)。通過(guò)對(duì)這些信息的過(guò)濾，就可以把由同一地址發(fā)出的但收發(fā)信地址和主題隨機(jī)的垃圾郵件從眾多的郵件找出來(lái)。 服務(wù)器端垃圾郵件過(guò)濾技術(shù)在服務(wù)器端有以下幾種過(guò)濾技術(shù)：(1) 基于黑/白名單的過(guò)濾技術(shù) 黑名單技術(shù)的原理是管理員收集、歸納和整理垃圾郵件的發(fā)件人地址，并制作成一個(gè)地址列表，即所謂的黑名單。如果郵件的發(fā)件人與已知的垃圾郵件地址相同，就認(rèn)為該郵件是垃圾郵件，并拒收該郵件。該方法的缺點(diǎn)是垃圾郵件基本上都是采用了偽造和變換發(fā)件人地址的手段，單靠管理員的手工處理根本不可能構(gòu)造出一個(gè)及時(shí)有效的黑名單列表。白名單技術(shù)的原理與黑名單正好相反，其中列出了可信的郵件地址，凡是發(fā)件人地址符合其中地址的郵件，都會(huì)被認(rèn)為是正常郵件而被放行。該方法的缺點(diǎn)是如果用戶希望收到來(lái)自某一地址的電子郵件，用戶必須事先設(shè)置允許接收這一地址郵件的規(guī)則。如果以前獲得批準(zhǔn)的客戶改變了郵件地址，用戶必須將新地址寫(xiě)入白名單，否則就收不到來(lái)自這位客戶的電子郵件。(2) 實(shí)時(shí)黑名單技術(shù)黑名單技術(shù) [23]是人們收集垃圾郵件的地址，組成一個(gè)列表后應(yīng)用到郵件服務(wù)器，郵件服務(wù)器在轉(zhuǎn)發(fā)過(guò)程中丟棄那些地址來(lái)自黑名單的郵件。黑名單技術(shù)的關(guān)鍵就是對(duì)黑名單列表的維護(hù)和更新?，F(xiàn)在垃圾郵件大量增加，如果靠使用者手動(dòng)維護(hù)黑名單很難應(yīng)付，針對(duì)這種情況，實(shí)時(shí)黑名單(簡(jiǎn)稱 RBL)技術(shù)應(yīng)運(yùn)而生，該技術(shù)結(jié)合 DNS 查詢實(shí)現(xiàn)對(duì)黑名單的自動(dòng)更新。具體來(lái)說(shuō)一個(gè)使用 RBL 技術(shù)的軟件要確定某一 IP 地址是否應(yīng)該被列入黑名單，會(huì)向黑名單服務(wù)器發(fā)出 DNS 查詢，黑名單服務(wù)器查詢黑名單后會(huì)將結(jié)果反饋給查詢計(jì)算機(jī)。目前國(guó)內(nèi)支持地址黑名單的服務(wù)器比較多，很多郵件服務(wù)器軟件都是默認(rèn)支持實(shí)時(shí)黑名單技術(shù)，但從實(shí)際的角度來(lái)看，這種方式并不是非常有效。該技術(shù)手段太單一，致命的弱點(diǎn)在于被放入黑名單的少量可疑主機(jī)數(shù)目和大量的垃圾郵件發(fā)送者不成比例，即使郵件服務(wù)器支持實(shí)時(shí)黑名單技術(shù)，依然會(huì)收到大量的垃圾郵件，無(wú)法全面封堵。(3) 基于靜態(tài)內(nèi)容過(guò)濾 [24]技術(shù)靜態(tài)內(nèi)容過(guò)濾實(shí)際上只對(duì)“規(guī)矩”的垃圾郵件有效，這些規(guī)矩的垃圾郵件常常是網(wǎng)絡(luò)營(yíng)銷的廣告，有些更規(guī)矩的廣告在郵件主題上提示“ADV：” ，這種郵件其實(shí)反而不是最主要防范的郵件，如果用戶不想接收廣告郵件，只需簡(jiǎn)單過(guò)濾郵件主題，發(fā)現(xiàn) ADV 即拒收。例如一些詞匯“免費(fèi)”被變成“ 免…費(fèi)”或“免費(fèi)”,令垃圾郵件20過(guò)濾防不勝防，同時(shí)導(dǎo)致了正常郵件如果使用了這些詞匯也被拒絕。因此，基于關(guān)鍵詞的郵件內(nèi)容過(guò)濾技術(shù)在實(shí)用中會(huì)導(dǎo)致很高的誤判率。但在某些需要嚴(yán)格控制郵件內(nèi)容的場(chǎng)合，有一定的使用價(jià)值。(4) 郵件掃描技術(shù) [25] 如果郵件服務(wù)器能夠?qū)邮盏泥]件進(jìn)行掃描，并按照指定的規(guī)則對(duì)郵件進(jìn)行匹配，一旦接收的郵件和垃圾郵件匹配成功，就認(rèn)為本次接收的郵件是垃圾郵件并自動(dòng)刪除該郵件。目前，郵件掃描檢查三個(gè)方面：郵件主題、郵件內(nèi)容、郵件附件。郵件主題掃描的實(shí)現(xiàn)比較簡(jiǎn)單，就是掃描接收的每一個(gè)郵件，對(duì)郵件主題的關(guān)鍵字進(jìn)行過(guò)濾，凡是符合預(yù)定義關(guān)鍵字值的就認(rèn)為是垃圾郵件。這種匹配一般都支持正則表達(dá)式的匹配方法，從而提高了掃描的執(zhí)行效率。目前，市場(chǎng)上常用的反垃圾郵件軟件提供此郵件主題掃描和郵件附件掃描功能，支持郵件內(nèi)容掃描的反垃圾郵件軟件很少。在實(shí)施中很難對(duì)付會(huì)自動(dòng)變化主題的垃圾郵件，帶來(lái)了很高的誤判率。(5) 基于貝葉斯分析垃圾郵件過(guò)濾技術(shù)垃圾郵件的貝葉斯分析技術(shù)，就是利用貝葉斯定理，以已知垃圾郵件和非垃圾郵件為樣本，通過(guò)對(duì)樣本郵件內(nèi)容的分析和統(tǒng)計(jì)，來(lái)計(jì)算下一封郵件可能是垃圾郵件的概率。由此可以構(gòu)造一種基于貝葉斯算法來(lái)實(shí)現(xiàn)垃圾郵件過(guò)濾 [26]?？梢愿鶕?jù)特有的垃圾郵件和合法消息來(lái)進(jìn)行定制。由于貝葉斯算法預(yù)設(shè)的先驗(yàn)概率是通過(guò)經(jīng)驗(yàn)來(lái)確定的，由此其預(yù)設(shè)值未必是最合適的，所以應(yīng)增加自學(xué)習(xí)功能，通過(guò)不斷校正預(yù)設(shè)的先驗(yàn)概率來(lái)提高郵件過(guò)濾的準(zhǔn)確率。貝葉斯技術(shù)克服了傳統(tǒng)內(nèi)容分析技術(shù)準(zhǔn)確性低、誤判率高的缺陷，不需要預(yù)先搜集和編制關(guān)鍵詞表，可以實(shí)現(xiàn)對(duì)樣本的自動(dòng)采集和學(xué)習(xí)，貝葉斯過(guò)濾器是目前比較好的過(guò)濾器，我們將在本文第三章對(duì)它進(jìn)行詳細(xì)闡述。(6) 分布協(xié)作的內(nèi)容指紋分析技術(shù)有些郵件使用假的郵件地址、偽造了郵件頭或利用了開(kāi)放式轉(zhuǎn)發(fā)功能發(fā)送的。但每個(gè)收件人必須看了內(nèi)容以后才知道該郵件是垃圾郵件，利用分布協(xié)作的內(nèi)容指紋過(guò)濾方法對(duì)此類郵件有很好的過(guò)濾作用。 分布協(xié)作分析的主要原理：從郵件中提取出可以代表內(nèi)容的指紋數(shù)據(jù)，不同的內(nèi)容會(huì)產(chǎn)生不同的指紋，用這些指紋代表郵件，全球的兼容用戶會(huì)提交郵件的指紋，從服務(wù)器得到響應(yīng)，以知道有多好封相同的郵件在全球傳播，這樣來(lái)識(shí)別郵件是否為垃圾郵件。(7) 反向域名驗(yàn)證技術(shù)對(duì)收到郵件的來(lái)源 IP 地址采用反向 DNS 查找驗(yàn)證真實(shí)性，如果反向 DNS 查找提供的域與郵件上的來(lái)源 IP 地址相符合，該郵件被接受，如果不符合，系統(tǒng)認(rèn)定該郵件是垃圾郵件予以拒絕，但由于現(xiàn)在很多反向 DNS 目錄未被有效建立或無(wú)法正常21建立，造成反向域名驗(yàn)證產(chǎn)生不可接受的高誤報(bào)率。(8) 質(zhì)詢－回應(yīng)技術(shù)質(zhì)詢－回應(yīng)技術(shù)是一種傳統(tǒng)的身份識(shí)別技術(shù)，這種技術(shù)就是識(shí)別方向被識(shí)別方問(wèn)一些只有這兩方才可能知道正確答案的問(wèn)題，通過(guò)被識(shí)別方回答的正誤來(lái)判斷被識(shí)別方的身份。但這種技術(shù)要求反垃圾郵件系統(tǒng)預(yù)先和全部可能的發(fā)件人定下一個(gè)或多個(gè)秘密問(wèn)題及答案。很多系統(tǒng)會(huì)自動(dòng)產(chǎn)生郵件，而這些自動(dòng)產(chǎn)生郵件的系統(tǒng)，絕大多數(shù)都不具備回應(yīng)質(zhì)詢的能力。這就會(huì)是反垃圾郵件系統(tǒng)認(rèn)為這些系統(tǒng)自動(dòng)產(chǎn)生的郵件是偽裝過(guò)的郵件，被錯(cuò)誤的丟棄。而要讓這些系統(tǒng)增加回應(yīng)質(zhì)詢的能力，需要做大量額外的工作。第三章垃圾郵件分類向量與特征向量垃圾郵件過(guò)濾問(wèn)題可以看成是一個(gè)郵件分類問(wèn)題，即把郵件看作為樣本，預(yù)先使用訓(xùn)練樣本對(duì)分類器進(jìn)行有指導(dǎo)的學(xué)習(xí)，然后用訓(xùn)練好的分類器對(duì)新來(lái)的樣本進(jìn)行分類。本章將介紹分類向量、特征向量、分類算法等問(wèn)題。 垃圾郵件分類向量概述目前常用分類方法有兩種：(1) 第一種是粗略的分類方法。M 表示為郵件樣本集合，將郵件樣本集分為垃圾郵件集 M1 和非垃圾郵件集 M2 兩類，這種分類方法比較粗糙，容易丟失郵件特征細(xì)節(jié)，導(dǎo)致對(duì)郵件的誤判。(2) 第二種則是詳細(xì)的分類方法。本文采用詳細(xì)的分類方法，首先分析垃圾郵件樣本集的內(nèi)容對(duì)其進(jìn)行訓(xùn)練，根據(jù)內(nèi)容的性質(zhì)利用社會(huì)常識(shí)將垃圾郵件樣本集分為幾個(gè)類別，分別為C0、C C …C i…、C n1。例如廣告類、網(wǎng)上購(gòu)物類、網(wǎng)上賺錢(qián)類等，由于該樣本集中有重復(fù)和相似的郵件，利用訓(xùn)練集中的郵件與待分類的郵件內(nèi)容進(jìn)行匹配，如果匹配成功就把該郵件放到相應(yīng)的類別中，構(gòu)造每個(gè)類別中的分類向量并依據(jù)標(biāo)準(zhǔn)郵件集計(jì)算各類別的概率分布，在此基礎(chǔ)上，構(gòu)造垃圾郵件的判斷算法。 垃圾郵件分類向量與特征向量的定義中文語(yǔ)言的特點(diǎn)和英語(yǔ)語(yǔ)言的特點(diǎn)在結(jié)構(gòu)上有很大的差別：英文最小的表達(dá)意義的單元是英文單詞（word） ，也是書(shū)寫(xiě)上的基本單元，可以很明顯簡(jiǎn)單的從郵件中一個(gè)個(gè)分離出來(lái)；而對(duì)于中文語(yǔ)言來(lái)說(shuō)，表達(dá)意義的最小單元是中文單詞，但是書(shū)寫(xiě)上的基本單元是漢字，中文單詞無(wú)法直接從郵件中獲得，因?yàn)橹形膯卧~之間沒(méi)有明確的分隔符，而且中文單詞的變化及其復(fù)雜，若無(wú)人的參與，機(jī)器自動(dòng)進(jìn)行單詞的切分本22身就是一個(gè)困難的問(wèn)題。定義 ：關(guān)鍵詞是垃圾郵件中的敏感字符，是一個(gè)類別中能表達(dá)該類別文本內(nèi)容的詞條，即是該類別中具有代表性的詞條，我們把具有上述特征的關(guān)鍵詞稱為分類向量。表示方法為：C0 分類向量：(w 00，w 01,…w0i…w0k1)C1 分類向量：(w 10，w 11,…w1i…w1k1)C2 分類向量：(w 20，w 21,…w2i…w2k1)Cj 分類向量：(w j0，w j1,…wji…wjk1)…Cn1 分類向量：(w n10，w n11,…wn1i…wn1k1)其中 Ci 代表樣本集的類別，w ij 是類別中的關(guān)鍵詞。下面是一個(gè)組成分類向量的例子：廣告類（免費(fèi)、優(yōu)惠、招聘、商機(jī)、聯(lián)系人…）訂票類（免費(fèi)、優(yōu)惠、訂票、申請(qǐng)、價(jià)格…）購(gòu)物類（免費(fèi)、優(yōu)惠、購(gòu)物、訂購(gòu)、價(jià)格…）……上面的例子中是對(duì)已經(jīng)分好類的垃圾郵件樣本集進(jìn)行分類向量的提取，一封中文電子郵件是由漢字組成的，有些詞條可以表示郵件樣本的類別的特征，例如：在訂票類別中，訂票、價(jià)格、申請(qǐng)等詞條就作為訂票類別中的敏感字符，它能代表這個(gè)類別的特征，( 免費(fèi)、優(yōu)惠、訂票、申請(qǐng)、價(jià)格…)構(gòu)成了訂票類的分類向量。定義 ：特征向量就是通過(guò)對(duì)已經(jīng)分好類的樣本集進(jìn)行處理，通過(guò)詞頻統(tǒng)計(jì)來(lái)計(jì)算關(guān)鍵詞在每個(gè)類別中出現(xiàn)的概率。表示方法為：P(C0)特征：(PC 00, PC01,…PC0i…PC0k1)P(C1)特征：(PC 10, PC11,…PC1i…PC1k1)P(C2)特征：(PC 20, PC21,…PC2i…PC2k1)…PCj 特征：(PC j0, PCj1,…PCji…PCjk1)…PCn1 特征：(PC n10, PCn11,…PCn1i…PCn1k1)其中 P(C0)代表樣本集的類別，PC 00 表示關(guān)鍵詞在各類別中出現(xiàn)的概率。23 分類方法 文本量的表示方法郵件過(guò)濾首先是將郵件表示成機(jī)器可計(jì)算的形式。一般將郵件的內(nèi)容當(dāng)成文本串來(lái)處理，然后獲得這個(gè)文本串的形式化表示。不論是抽取文本特征形成一個(gè)向量還是抽取文本特征形成一個(gè)其它的特殊結(jié)構(gòu)，對(duì)文本的這種及其表示過(guò)程簡(jiǎn)稱為文本表示。郵件的文本內(nèi)容是指一封郵件中去掉頭格式后的郵件內(nèi)容，文本量是指一封郵件中去掉郵件頭后所有文本內(nèi)容的數(shù)量。以下面一封完整的郵件為例頭格式為：ReturnPath: Received: from ([])by (MIMEDefang) with ESMTP id NOQUEUEfor 。 Wed, 01 Jun 2022 22:36:28 +0800 (CST)MessageID: From: