【正文】 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 10 處在于，實(shí)時(shí)黑名單不需要手動(dòng)維護(hù)IP地址列表清單，而是采用 DNS方式(查詢(xún)和區(qū)域傳輸)來(lái)動(dòng)態(tài)的查找一個(gè)IP地址的某記錄是否存在。國(guó)內(nèi)外很多組織會(huì)提供一些垃圾制造者的黑名單，給用戶(hù)做出及時(shí)更新，但是狡猾的他們經(jīng)常改變IP地址，逃避檢測(cè)，所以這個(gè)技術(shù)只能起到補(bǔ)充作用。但是當(dāng)這個(gè)質(zhì)詢(xún)被合法的用戶(hù)恢復(fù)后，那么系統(tǒng)會(huì)把他的地址加入到“白名單”中，這樣就很方便以后來(lái)自同一地址的消息時(shí)，直接就自動(dòng)了通過(guò)了檢查。若列表中沒(méi)有該地址，那么會(huì)產(chǎn)生一個(gè)特殊的質(zhì)詢(xún)響應(yīng)，然后會(huì)發(fā)給發(fā)件人，這個(gè)質(zhì)詢(xún)消息包含讓發(fā)件人答復(fù)的指示，這樣就可以方便將其加到“白名單”中。1. IP黑白名單的過(guò)濾技術(shù)IP黑/白名單是一種很早以前就開(kāi)始研究的反垃圾郵件技術(shù)，它可以應(yīng)用在各個(gè)層次。而基于內(nèi)容的方法是，對(duì)其郵件的內(nèi)容進(jìn)行檢測(cè)，對(duì)侵害他人利益的電子郵件進(jìn)行過(guò)濾刪除。其主要原理是基于發(fā)送方的郵件地址和 IP 地址及特定的郵件發(fā)送人，拒絕接受不受歡迎的電子郵件，以此對(duì)付電子郵件的中繼和垃圾郵件的攻擊。在進(jìn)行郵件過(guò)濾的時(shí)候也就是從郵件的這幾個(gè)部分提取特征值，然后判斷該特征值是否符合不合法郵件的定義，這就是目前最常用的郵件過(guò)濾的原理。 電子郵件過(guò)濾方法郵件過(guò)濾從其本質(zhì)上來(lái)講就是對(duì)郵件的一個(gè)分類(lèi)，即將郵件分為合法郵件和不合法郵件兩類(lèi)。QP 編碼原理是：將 8bit 的字符用兩個(gè)十六進(jìn)制數(shù)來(lái)表示，并在編碼后的字符前加‘=’，所以在 QP 編碼后的文件中會(huì)含有大量的‘=’ ，如：Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 9 =BF=A1=C7=E5=A3=AC=C4=FA=BA。這就是 Base64 完整的編碼過(guò)程。Base64 的實(shí)現(xiàn)方法為 [22]：從字符流中依次取 3 個(gè) 8bit，然后平均分為四段，每段含有 6 個(gè) bit，每 6 個(gè) bit 前加兩個(gè) 0，形成新的 8bit 段，計(jì)算新形成的每個(gè) 8bit 段的十進(jìn)制值，最后在 Base64 編碼表中查找對(duì)應(yīng)的字符 (編碼表中包含 ‘AZ’， ‘a(chǎn)z’， ‘09’，‘+’， ‘/’，這些字符分別對(duì)應(yīng)十進(jìn)制數(shù)‘064’ ，還包含一個(gè) ‘=’用來(lái)作為補(bǔ)足碼)，并用該字符表示，這樣就完成了 Base64 的編碼過(guò)程。下面將分別進(jìn)行介紹。MIME 編碼算法簡(jiǎn)單，易于理解，己經(jīng)成為當(dāng)今主要的郵件編碼方式，不僅是用來(lái)傳送 8bit 的字符，也可以用來(lái)傳送二進(jìn)制的文件，如郵件中包含的的圖片、視頻等信息。MIME 編碼格式不僅廣泛應(yīng)用在電子郵件上，而且也己成為超文本傳輸協(xié)議的一個(gè)組成部分。利用 MIME 編碼方式。IMAP4 的脫機(jī)方式下工作時(shí)，不會(huì)主動(dòng)清除在郵件服務(wù)器上己被下載的郵件。它不僅使用戶(hù)能夠有選擇的從郵件服務(wù)器接收郵件，并且能夠支持基于服務(wù)器的信息處理功能，還有共享信箱的功能。當(dāng)在在線工作方式下收發(fā)郵件時(shí)，用戶(hù)可以在郵件服務(wù)器上直接讀取郵件，不需下載到本地，而且郵件服務(wù)器也會(huì)繼續(xù)保留用戶(hù)的郵件，不會(huì)刪除。在離線工作方式下，若用戶(hù)想發(fā)送或者接收一封郵件時(shí)，都需要首先要通過(guò) POP3 客戶(hù)端代理來(lái)登錄支持POP3 的服務(wù)器，通過(guò)該 POP3 服務(wù)器發(fā)送或接收郵件，當(dāng)用戶(hù)要接收郵件時(shí)，需將全部郵件下載到本地，郵件服務(wù)器將隨后刪除這些郵件的信息。它使用 TCP 的 25 號(hào)端口做為默認(rèn)端口進(jìn)行傳輸。SMTP 協(xié)議規(guī)定，若發(fā)送端服務(wù)器和接收端服務(wù)器同處于一個(gè)網(wǎng)絡(luò)之中，則允許直接傳遞，否則，必須經(jīng)過(guò)中轉(zhuǎn)服務(wù)器進(jìn)行傳遞。 電子郵件相關(guān)協(xié)議1. SMTP 協(xié)議SMTP(Simple Mail Transfer Protocol)簡(jiǎn)單郵件傳輸協(xié)議 [17]，是互聯(lián)網(wǎng)上傳輸電子郵件的標(biāo)準(zhǔn)協(xié)議，主要是運(yùn)用傳輸系統(tǒng)，然后提供傳輸郵件，并且對(duì)來(lái)信進(jìn)行相關(guān)的通知。MDA(Mail Delivery Agent)，郵件投遞代理。MTA(Mail Transfer Agent)，郵件傳輸代理。MUA(Mail User Agent)，郵件用戶(hù)代理。其傳輸過(guò)程如圖 21 所示。正是由于電子郵件的使用簡(jiǎn)易、投遞迅速、收費(fèi)低廉，易于保存、全球暢通無(wú)阻，使得電子郵件被廣泛地應(yīng)用，它使人們的交流方式得到了極大的改變?？偨Y(jié)了本文的主要工作，分析了本系統(tǒng)的優(yōu)點(diǎn)和不足，并展望了系統(tǒng)可能的改進(jìn)方法。最后進(jìn)行了系統(tǒng)測(cè)試，給出了測(cè)試結(jié)果。第四章主要介紹了郵件過(guò)濾系統(tǒng)的總體設(shè)計(jì)，第一節(jié)簡(jiǎn)單介紹了系統(tǒng)的設(shè)計(jì)及流程，第二節(jié)主要介紹了本過(guò)濾系統(tǒng)的主要構(gòu)成模塊包括郵件預(yù)處理模塊、訓(xùn)練模塊、分類(lèi)模塊等。第三章主要研究了貝葉斯技術(shù)，它基于統(tǒng)計(jì)的原則，根據(jù)用戶(hù)認(rèn)為的垃圾郵件和合法郵件的數(shù)量進(jìn)行統(tǒng)計(jì)計(jì)算，具有循序漸進(jìn)的功能，可以逐漸取得好的效果。第二章主要研究和總結(jié)了電子郵件的相關(guān)原理，包括電子郵件過(guò)濾的基本理論知識(shí)、相關(guān)協(xié)議( 主要包括 SMTP 協(xié)議，POP3 協(xié)議、IMAP 協(xié)議等重要協(xié)議) 和電子郵件編碼格式(MIME 編碼、 Base64 編碼、QP 編碼等)等。⑤ 完成并實(shí)現(xiàn)了垃圾郵件過(guò)濾器，主要包括包括預(yù)處理過(guò)程、訓(xùn)練過(guò)程、分類(lèi)過(guò)程和測(cè)試過(guò)程。③ 設(shè)計(jì)了垃圾郵件過(guò)濾系統(tǒng)的總體架構(gòu)。本文的主要內(nèi)容為以下幾個(gè)方面：① 垃圾郵件相關(guān)知識(shí)的研究，首先概括了垃圾郵件的研究背景，當(dāng)前的現(xiàn)狀，以及危害，隨后研究了電子郵件的工作原理和相關(guān)郵件協(xié)議，并對(duì)三種垃圾郵件過(guò)濾手段進(jìn)行歸納總結(jié)。從而實(shí)現(xiàn)垃圾郵件過(guò)濾。大多數(shù)的垃圾郵件發(fā)送者的動(dòng)機(jī)是想讓用戶(hù)點(diǎn)擊某個(gè) URL 地址或各種廣告宣傳品等，垃圾郵件內(nèi)容隱藏在了 URL 鏈接當(dāng)中，其它的基于內(nèi)容的過(guò)濾技術(shù)沒(méi)有辦法將其過(guò)濾，通過(guò)分析垃圾郵件的這個(gè)意圖，然后對(duì) URL的鏈接做出相應(yīng)的處理來(lái)過(guò)濾電子郵件。主要是猜測(cè)垃圾發(fā)送者為什么要發(fā)送垃圾郵件，對(duì)垃圾郵件的發(fā)送意圖進(jìn)行分析，分析它們發(fā)送的意圖和行為能夠更好地過(guò)濾郵件。主要是把新處理的圖片采用不同顏色對(duì)比、文字背景等進(jìn)行組合統(tǒng)一進(jìn)行比對(duì)，然后進(jìn)行過(guò)濾。③ 多重圖片識(shí)別技術(shù)。例如辦理手機(jī)卡一樣，如果信譽(yù)低，會(huì)被進(jìn)入黑名單，不再予以辦理任何業(yè)務(wù)。② 信譽(yù)評(píng)分技術(shù)(IP Reputation)。特征識(shí)別技術(shù)是指那些盜用身Inter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 4 份而發(fā)送郵件過(guò)濾的技術(shù)，這樣就需要對(duì)發(fā)信者的身份進(jìn)行驗(yàn)證，并且要對(duì)發(fā)送垃圾郵件的發(fā)送者進(jìn)行預(yù)測(cè)。 最新過(guò)濾技術(shù)針對(duì)新的垃圾郵件的問(wèn)題，也要有新的解決方案來(lái)解決這些新的問(wèn)題。② 非英語(yǔ)發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家 [10](如中國(guó)、德國(guó)、瑞士、韓國(guó)、日本、巴西 )則更傾向于把反垃圾郵件的研究成果運(yùn)用到生活中。隨著問(wèn)題的增多，人們對(duì)垃圾郵件產(chǎn)生的問(wèn)題日益關(guān)注，研究人員紛紛提出了自己的技術(shù)方案：信譽(yù)評(píng)分技術(shù)、基于信號(hào)檢測(cè)理論、圖片識(shí)別技術(shù)、意圖分析技術(shù)和分布式郵件過(guò)濾技術(shù)等等。④ 躲避文本內(nèi)容的過(guò)濾 [8]，附帶 URL 與一些不法圖片，大量的垃圾郵件發(fā)送者為躲避內(nèi)容過(guò)濾的引擎，將電子郵件裝飾為一封正常郵件，但是在郵件中附帶的 URL 地址與一些不法圖片是他們真正想要的結(jié)果。評(píng)比的標(biāo)準(zhǔn)按照幾項(xiàng)變數(shù)，例如收件人的申訴率、數(shù)量，收件人取消訂閱后，根據(jù)要求作出回應(yīng)。在檢索的所有垃圾郵件中，因?yàn)閳D像占用的存儲(chǔ)空間大約是普通文本郵件的 倍，所以發(fā)送者圖像垃圾郵件呈現(xiàn)上升趨勢(shì)，給電子郵件系統(tǒng)造成了無(wú)法估計(jì)的負(fù)擔(dān)。在發(fā)送電子郵件的過(guò)程中，他們使用免費(fèi)的資源將 URL 重新定位到己知垃圾郵件域名或 IP 地址中。 國(guó)內(nèi)外研究動(dòng)態(tài)隨著垃圾郵件過(guò)濾技術(shù)的發(fā)展，垃圾郵件的制造者采用一些更為隱蔽的方法與技術(shù)，這樣使得人們對(duì)垃圾郵件制造者更加厭惡。而與此同時(shí)，用戶(hù)收到的垃圾郵件數(shù)量呈上升趨勢(shì)，大大的占用了存儲(chǔ)空間、計(jì)算和網(wǎng)絡(luò)資源，降低了網(wǎng)絡(luò)使用率，占用了用戶(hù)太多的處理時(shí)間。大量的垃圾郵件被一些別有用心者利用散播各種有害信息和虛假信息，擾亂社會(huì)公共秩序，嚴(yán)重危害社會(huì)的團(tuán)結(jié)與穩(wěn)定。他們利用電子郵件系統(tǒng)發(fā)送數(shù)以?xún)|萬(wàn)計(jì)的垃圾郵件猛烈襲擊目標(biāo)，造成被攻擊網(wǎng)站網(wǎng)路堵塞，最終癱瘓，拒絕服務(wù)。垃圾郵件和黑客攻擊、病毒等結(jié)合也越來(lái)越密切。國(guó)外郵件服務(wù)商曾封殺中國(guó)郵件服務(wù)器 IP 地址一事，致使中國(guó)用戶(hù)蒙受了不可估量的損失。因垃圾郵件擁有強(qiáng)制性、不健康性、欺騙性和傳播速度快等特性，其特性產(chǎn)生的后果干擾了個(gè)人的正常生活。互聯(lián)網(wǎng)中，垃圾郵件在傳輸過(guò)程中，占用了大量的傳輸空間和運(yùn)算速度、存儲(chǔ)資源等，使網(wǎng)絡(luò)帶寬越來(lái)越窄，嚴(yán)重浪費(fèi)了網(wǎng)絡(luò)資源，從而使網(wǎng)絡(luò)的使用效率降低了，使收發(fā)郵件系統(tǒng)不能正常運(yùn)行。同時(shí)，垃圾郵件消耗了網(wǎng)絡(luò)資源，并且垃圾郵件帶來(lái)的網(wǎng)絡(luò)安全危害日益嚴(yán)重。 研究意義垃圾郵件有六個(gè)特點(diǎn)主要包括 [3]：數(shù)量多、可重復(fù)性、強(qiáng)制性的、欺騙的、不健康的，傳播速度快。④ 垃圾郵件可能裝載一些惡意軟件，如病毒，造成用戶(hù)的系統(tǒng)崩潰，以及跟蹤用戶(hù)網(wǎng)上行蹤的軟件，竊取用戶(hù)信息。中國(guó)有些企業(yè)的郵件服務(wù)器被外國(guó)的黑客利用來(lái)發(fā)送垃圾郵件，導(dǎo)致其被列入“黑名單 ”，以致很多無(wú)辜的中國(guó)企業(yè)郵件服務(wù)器不能向國(guó)外發(fā)送郵件。② 嚴(yán)重影響 ISP 的服務(wù)形象和侵害他人的名譽(yù)。電子郵件給人們帶來(lái)了許多生活中的便捷，但同時(shí)也帶來(lái)了各類(lèi)的麻煩，最為嚴(yán)重、造成了網(wǎng)絡(luò)一些重大災(zāi)難、使網(wǎng)絡(luò)擁堵的問(wèn)題就是垃圾郵件問(wèn)題。③ 通過(guò)隱藏發(fā)件人的信息，包括身份，郵件地址、郵件標(biāo)題等電子郵件?！吨袊?guó)互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件規(guī)范》中分析指出，垃圾郵件 [1]包括下列的屬性：① 收件人事先沒(méi)有意愿或要求接收廣告，電子刊物，各種形式的宣傳性的電子郵件。同時(shí)基于網(wǎng)絡(luò)技術(shù)的各種具體應(yīng)用也不斷增加，而在其中電子郵件技術(shù)(Email)就是其中應(yīng)用性最多、范圍最廣的一種。 naive Bayes algorithmInter 電子郵件過(guò)濾器的設(shè)計(jì)畢業(yè)論文 I 目 錄1 緒論 ..........................................................................................................................................1 選題背景和研究意義 ........................................................................................................1 選題背景 ....................................................................................................................1 研究意義 ....................................................................................................................2 國(guó)內(nèi)外研究動(dòng)態(tài) ................................................................................................................2 最新過(guò)濾技術(shù) ....................................................................................................................3 論文主要內(nèi)容和章節(jié)安排 ................................................................................................4 主要內(nèi)容 ....................................................................................................................4 章節(jié)安排 ....................................................................................................................42 垃圾郵件過(guò)濾的基礎(chǔ)知識(shí)和相關(guān)技術(shù) ..................................................................................6 電子郵件過(guò)濾基礎(chǔ)知識(shí) ....................................................................................................6 電子郵件工作原理 ....................................................................................................6 電子郵件相關(guān)協(xié)議 ....................................................................................................7 電子郵件過(guò)濾方法 ............................................................................................................9 基于來(lái)源的郵件過(guò)濾 .......................................