【正文】 料的管理已不僅限于各類紙張文擋，也包括各類來往的電子郵件。網(wǎng)絡(luò)信息內(nèi)容監(jiān)控包括許多方面，比如上網(wǎng)監(jiān)控、網(wǎng)頁瀏覽監(jiān)控、郵件監(jiān)控等。作為國家利益和公眾利益的代表，各國政府積極介入互聯(lián)網(wǎng)管理，成立專門機(jī)構(gòu)對網(wǎng)絡(luò)進(jìn)行管理。因此，為了遏制網(wǎng)絡(luò)犯罪，保障國家信息安全和減少經(jīng)濟(jì)損失，必須對網(wǎng)絡(luò)進(jìn)行監(jiān)管。人們利用互聯(lián)網(wǎng)的搜索引擎和網(wǎng)絡(luò)新聞獲取信息，使用網(wǎng)絡(luò)購物、團(tuán)購、網(wǎng)上支付、旅行預(yù)訂等進(jìn)行商務(wù)交易，使用即時(shí)通信、博客、微博、電子郵件進(jìn)行信息溝通，使用網(wǎng)上游戲、網(wǎng)絡(luò)視頻等進(jìn)行網(wǎng)上娛樂。截止2010年12月，%[1]。隨著英特網(wǎng)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)與人們的生活聯(lián)系越來越緊密。 總結(jié) 46167。 功能擴(kuò)展 44 功能延伸 44 協(xié)議擴(kuò)展 45167。 主體程序設(shè)計(jì) 34167。 32167。 本章小結(jié) 21第三章 網(wǎng)絡(luò)協(xié)議分析 22167。 數(shù)據(jù)包捕獲機(jī)制 10167。 3167。 1167。 PF_RING。 WebMail。關(guān)鍵詞：網(wǎng)絡(luò)監(jiān)控；WebMail；Libpcap；PF_RING。 針對WebMail內(nèi)容監(jiān)控的特點(diǎn)，介紹了監(jiān)控系統(tǒng)的主體程序框架，詳細(xì)說明了程序?qū)崿F(xiàn)中的幾個(gè)技術(shù)要點(diǎn)：HTTP報(bào)文重組、系統(tǒng)內(nèi)存回收、HTTP報(bào)文解壓縮、利用正則表達(dá)式和相應(yīng)的函數(shù)進(jìn)行內(nèi)容的提取以及消息體的編碼轉(zhuǎn)換等。 對數(shù)據(jù)包分析所需要的協(xié)議知識進(jìn)行了詳細(xì)的介紹，介紹了TCP/IP協(xié)議族的基本原理，和幀數(shù)據(jù)的各個(gè)協(xié)議頭部的數(shù)據(jù)結(jié)構(gòu)，在應(yīng)用層著重探討了WebMail的應(yīng)用層協(xié)議HTTP。本文正是在這一背景下，著重研究了對WebMail的內(nèi)容監(jiān)控。電子郵件作為網(wǎng)絡(luò)上一種廣泛應(yīng)用的信息交換工具，也成為了資料泄密和非法信息傳播的一種渠道。基于Linux下的網(wǎng)絡(luò)數(shù)據(jù)包捕獲及 WebMail報(bào)文監(jiān)測與重組技術(shù)的研究碩士生：余波 導(dǎo)師：羅忠文摘 要 在當(dāng)今這個(gè)信息化的社會，互聯(lián)網(wǎng)在人們的生活和工作中起著越來越重要的作用。參與了該公司網(wǎng)絡(luò)信息取證系統(tǒng)的研究和開發(fā)。 在攻讀碩士期間，完成了專業(yè)規(guī)定的碩士英語（口語、閱讀、聽力、寫作）、自然辯證法、計(jì)算幾何及現(xiàn)代圖形學(xué)、計(jì)算機(jī)應(yīng)用數(shù)學(xué)、算法設(shè)計(jì)與分析等共計(jì)11門學(xué)位課程，同時(shí)學(xué)習(xí)了空間數(shù)據(jù)庫、Windows組件技術(shù)與編程、高級管理學(xué)等共計(jì)6門選修課程，成績優(yōu)秀，學(xué)位課平均分84，選修課平均分80。學(xué)位論文作者（簽字）： 日期：　　年　　月　　日作者簡介余波，男，1979年8月生于湖北襄陽，1998年9月至2002年7月就讀于哈爾濱理工大學(xué)，本科專業(yè)是計(jì)算機(jī)及應(yīng)用。論文中除已注明部分外不包含他人已發(fā)表或撰寫過的研究成果，對論文的完成提供過幫助的有關(guān)人員已在文中說明并致以謝意。學(xué)校代碼：10491 研究生學(xué)號：120080963 中國地質(zhì)大學(xué)碩士學(xué)位論文基于Linux下的網(wǎng)絡(luò)數(shù)據(jù)包捕獲及 WebMail報(bào)文監(jiān)測與重組技術(shù)的研究碩 士 生：余波學(xué)科專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)指導(dǎo)教師：羅忠文 教授二○一一年五月A Dissertation Submitted to China Universityof Geosciences for the Master Degree of EngineeringStudy Of Linux_based Network Packet CaputuringAnd WebMail Monitoring And DefragmentationMaster Candidate：Yu BoMajor：Computer Science amp。 TechnologySupervisor：Luo Zhongwen ProfessorChina University of GeosciencesWuhan 430074 P. R. China中國地質(zhì)大學(xué)（武漢）研究生學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：本人所呈交的碩士學(xué)位論文《基于Linux下的網(wǎng)絡(luò)數(shù)據(jù)包捕獲及 WebMail報(bào)文監(jiān)測與重組技術(shù)的研究》，是本人在導(dǎo)師羅忠文教授的指導(dǎo)下，在中國地質(zhì)大學(xué)（武漢）攻讀碩士學(xué)位期間獨(dú)立進(jìn)行研究工作所取得的成果。本人所呈交的碩士學(xué)位論文沒有違反學(xué)術(shù)道德和學(xué)術(shù)規(guī)范，沒有侵權(quán)行為，并愿意承擔(dān)由此而產(chǎn)生的法律責(zé)任和法律后果。2008年9月考取中國地質(zhì)大學(xué)（武漢）信息工程學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)的碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)。 本人于2009年12月27日進(jìn)入上海白虹武漢研發(fā)中心實(shí)習(xí)。主要從事底層協(xié)議解析工作，負(fù)責(zé)抓取網(wǎng)絡(luò)數(shù)據(jù)包，進(jìn)行協(xié)議解析，獲取WebMail的詳細(xì)的通訊內(nèi)容，供應(yīng)用查詢。而利用網(wǎng)絡(luò)進(jìn)行的犯罪活動(dòng)也日益增多，資料泄密和非法信息的傳播就是其中的一種。為了保障信息的安全，并對犯罪活動(dòng)進(jìn)行有效監(jiān)控和取證，迫切需要對特定對象的網(wǎng)絡(luò)的內(nèi)容進(jìn)行監(jiān)控。 本文圍繞WebMail網(wǎng)絡(luò)內(nèi)容監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，研究了數(shù)據(jù)包的捕獲原理，詳細(xì)說明了不同網(wǎng)絡(luò)環(huán)境下的監(jiān)聽方式，介紹了Linux下伯克利包過濾(BPF)機(jī)制和常用的數(shù)據(jù)包捕獲函數(shù)庫Libpcap，針對Libpcap在高速網(wǎng)絡(luò)環(huán)境下的不足，提出了PF_RING這一解決方案。并以此為基礎(chǔ)，簡介了數(shù)據(jù)包的協(xié)議分析技術(shù)。 本系統(tǒng)雖然主要是針對WebMail的內(nèi)容監(jiān)控，但系統(tǒng)具有良好的擴(kuò)展性，可以根據(jù)不同的需要加入其它應(yīng)用層協(xié)議分析模塊。 Linux平臺Study Of Linux_based Network Packet CaputuringAnd WebMail Monitoring And Rebination Master Candidate：Yu Bo Supervisor：Luo ZhongwenABSTRACT In the modern information society, the Internet plays a more and more important role in people’s life. But criminal activities with the internet are increasing, for example data leakage and illegal dissemination of information. Email， as a widely used network information exchange tool, also bees a channel to data leakage and illegal dissemination of information. In order to ensure the security of information and monitor the criminal activities via the network for puter forensics, it is urgent to monitor network flow content to certain object. This paper，in this context, detailed discusses the WebMail content monitoring. This thesis designs and implements the WebMail monitoring system. It describes the the principle of packet capturing, details the packet capturing way under different network environment, introduces the berkeley packet filter (BPF) mechanism on the linux operation system, then illustrates the mon packet capturing function library Libpcap. As Libpcap does not work well under high traffic network, this paper presents the solution of PF_RING. The protocols needed for packet analysis are introduced, which includes the basic principles of TCP / IP protocol family and the data structures for the protocol headset used in the network frame data. The thesis talks about a lot the HTTP protocol which is a application layer protocol, as the WebMail application is bases on the HTTP protocol. The protocol analysis technique is introduced on the basis of the protocol knowledge. According to the characteristics of WebMail content monitoring, this thesis gives the main program frame for the monitoring system. Then it discusses the important parts for the implementation, such as HTTP packets rebination, system memory recall, HTTP message depression, getting the content with regular expression and the corresponding function library, and the code conversion of message body, etc. Although this system is mainly aimed at WebMail content monitoring, the system has good expansibility and can extended the application function by adding others application protocol analysis modules.Key Words: network monitoring。 Libpcap。 Linux platform目 錄第一章 緒論 1167。 2第二章 數(shù)據(jù)包的捕獲 3167。 4167。 數(shù)據(jù)包捕獲函數(shù)庫 14 Libpcap函數(shù)庫 15 PF_RING 20167。 TCP/IP基本原理 22 22 以太網(wǎng)首部 26 IP首部 26 TCP首部 27 UDP首部 29 HTTP應(yīng)用協(xié)議 30167。 33第四章 數(shù)據(jù)截獲和分析模塊的實(shí)現(xiàn) 34167。 程序?qū)崿F(xiàn)中的幾個(gè)要點(diǎn) 36 HTTP報(bào)文重組 36 內(nèi)存回收 39 HTTP報(bào)文解壓縮 40 郵件內(nèi)容的提取 41 消息體的編碼轉(zhuǎn)換 42167。 本章小結(jié) 45第五章 總結(jié)與展望 46167。 展望 46致 謝 47參考文獻(xiàn) 4847 / 62第一章 緒論167。而在中國，經(jīng)過十幾年的快速發(fā)展，互聯(lián)網(wǎng)不僅在政府、企業(yè)，學(xué)校里得到大力應(yīng)用，也早已走進(jìn)千家萬戶?；ヂ?lián)網(wǎng)的開發(fā)應(yīng)用也不斷增多。然而，互聯(lián)網(wǎng)絡(luò)也是一把雙刃劍，在人們享受網(wǎng)絡(luò)帶給人們的種種便利的同時(shí)，一些不法分子也利用網(wǎng)絡(luò)進(jìn)行各種違法犯罪活動(dòng)，如利用計(jì)算機(jī)實(shí)施金融詐騙、進(jìn)行盜竊、實(shí)施貪污、挪用公款、竊取國家秘密、電子訛詐、網(wǎng)上走私、網(wǎng)上非法交易等等。事實(shí)上，絕對的互聯(lián)網(wǎng)自由并不存在，實(shí)施必要管理，引導(dǎo)互聯(lián)網(wǎng)健康發(fā)展，這已成國際共識，任何一個(gè)負(fù)責(zé)任的國家都不會對本國的互聯(lián)網(wǎng)發(fā)展放任不管。網(wǎng)絡(luò)信息內(nèi)容監(jiān)控是網(wǎng)絡(luò)管理的一個(gè)重要方面。由于電子郵件的廣泛應(yīng)用，在給人們帶來巨大方便的同時(shí)，某些不法分子也利用其傳送非法信息。如果對電子郵件進(jìn)行管理、備份，企業(yè)可更有效地管理對內(nèi)對外的檔案。據(jù)調(diào)查，美國大約四分之三的大型企業(yè)，利用特殊軟件，檢查員工的電子郵件，防止泄漏公司機(jī)密。許多證券公司，都根據(jù)規(guī)定，將企業(yè)往來的電子郵件，儲存一段時(shí)間。網(wǎng)絡(luò)信息內(nèi)容監(jiān)控的一個(gè)重點(diǎn)就是郵件監(jiān)控。用戶使用用戶代理閱讀和發(fā)送電子郵件，而消息從源端傳送到目標(biāo)端則依靠消息傳輸代理完成。一般而言，WebMail系統(tǒng)可以收發(fā)郵件，在線服務(wù)用戶以及提供系統(tǒng)服務(wù)管理功能等。用戶接受和發(fā)送郵件也比較方便，只要能上網(wǎng)就可以使用WebMail，隨時(shí)隨地快捷的轉(zhuǎn)發(fā)郵件。本文將主要討論WebMail的監(jiān)控。 郵件監(jiān)控需要獲取一封郵件的信息，比如IP地址、收發(fā)時(shí)間、標(biāo)題、發(fā)送方、接收方、郵件正文等，它需要在應(yīng)用層對信息內(nèi)容進(jìn)行監(jiān)控。研究如何在各種復(fù)雜的網(wǎng)絡(luò)環(huán)境中快速準(zhǔn)確獲取各種協(xié)議的信息內(nèi)容。2. 還原信息內(nèi)容。分析還原時(shí)，需要提供會話重現(xiàn)功能，對捕獲到的數(shù)據(jù)包進(jìn)行重組、拼接，去除協(xié)商、應(yīng)答、重傳、包頭等網(wǎng)絡(luò)信息，獲取基于會話的完整記錄。 全文共有五章，各章節(jié)組織如下： 第一章是緒論，介紹了本文的研究背景和意義，和論文的主要研究工作于整體結(jié)構(gòu)。作為WebMail監(jiān)控系