【正文】 合規(guī)范，其后有18個(gè)字節(jié)的占位符用于滿足最少46字節(jié)的要求。CRC字段用于對(duì)幀內(nèi)數(shù)據(jù)進(jìn)行校驗(yàn)，保證數(shù)據(jù)傳輸?shù)恼_性，通常由硬件實(shí)現(xiàn)，例如在網(wǎng)卡設(shè)備中實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的CRC校驗(yàn)。 IP首部TCP/IP協(xié)議中最重要的協(xié)議是IP協(xié)議，它為上層協(xié)議如TCP、UDP等協(xié)議提供傳輸?shù)耐?。IP層的主要目的是提供子網(wǎng)的互聯(lián)，形成較大的網(wǎng)絡(luò)，使不同的子網(wǎng)之間能傳輸數(shù)據(jù)。IP層主要有如下作用：數(shù)據(jù)傳送：將數(shù)據(jù)從一個(gè)主機(jī)傳輸?shù)搅硪粋€(gè)主機(jī)。尋址：根據(jù)子網(wǎng)劃分和IP地址，發(fā)現(xiàn)正確的目的主機(jī)地址。路由選擇；現(xiàn)則數(shù)據(jù)在互聯(lián)網(wǎng)上的傳送路徑。數(shù)據(jù)報(bào)文的分段：當(dāng)傳送的數(shù)據(jù)大于MTU（以太網(wǎng)為1500），將數(shù)據(jù)進(jìn)行分段發(fā)送和接收并組裝。，不包含選項(xiàng)字段，其頭部的長(zhǎng)度為20字節(jié)。 IP數(shù)據(jù)報(bào)格式及首部中的各字段IP提供數(shù)據(jù)報(bào)傳送服務(wù)，IP傳送的特定是不可靠和無(wú)連接的。IP只提供最好的傳輸服務(wù)，對(duì)IP數(shù)據(jù)包是否能成功到達(dá)目的地并不能保證。路由器會(huì)丟棄不能到達(dá)目的地的IP數(shù)據(jù)報(bào)，并給發(fā)送該消息的源端發(fā)送ICMP消息。由上層某些協(xié)議來(lái)提供可靠性。IP獨(dú)立的處理每個(gè)數(shù)據(jù)報(bào)，并不對(duì)后續(xù)數(shù)據(jù)報(bào)的狀態(tài)信息進(jìn)行維護(hù)。因此，發(fā)送IP數(shù)據(jù)報(bào)時(shí)，可以不按順序。IP的正式規(guī)范文件是RFC791。 TCP首部傳輸控制協(xié)議，簡(jiǎn)稱TCP協(xié)議，它在原有IP協(xié)議的基礎(chǔ)上，增加了確認(rèn)重發(fā)、滑動(dòng)窗口和復(fù)用/解復(fù)用等機(jī)制，提供一種可靠的、面向連接的字節(jié)流服務(wù)。TCP協(xié)議的特點(diǎn)如下：字節(jié)流的服務(wù)：使用TCP協(xié)議進(jìn)行傳輸?shù)膽?yīng)用程序之間傳輸?shù)臄?shù)據(jù)可視為無(wú)結(jié)構(gòu)的字節(jié)流，基于字節(jié)流的服務(wù)沒(méi)有字節(jié)序問(wèn)題的困擾。面向連接的服務(wù)：在數(shù)據(jù)進(jìn)行傳輸之前，TCP協(xié)議需要先建立連接，之后的TCP報(bào)文在此基礎(chǔ)上傳輸可靠傳輸服務(wù)：基于校驗(yàn)和應(yīng)答重發(fā)機(jī)制保證傳輸?shù)目煽啃?，接收方?duì)接收到的報(bào)文進(jìn)行校驗(yàn)和計(jì)算，如果有誤，不發(fā)送確認(rèn)應(yīng)答，發(fā)送方在超時(shí)后會(huì)自動(dòng)重發(fā)此報(bào)文。緩沖傳輸：緩沖傳輸可以延遲傳送應(yīng)用層的數(shù)據(jù)，允許將應(yīng)用程序需要傳送的數(shù)據(jù)積攢到一定的數(shù)量才進(jìn)行集中的發(fā)送。全雙工傳輸：各主機(jī)TCP協(xié)議以全雙工的方式進(jìn)行數(shù)據(jù)流交換。流量控制：TCP協(xié)議的滑動(dòng)窗口機(jī)制，支持主機(jī)間的端到端的流量控制。TCP的數(shù)據(jù)格式：TCP在IP協(xié)議的基礎(chǔ)上進(jìn)行傳輸數(shù)據(jù)，： TCP數(shù)據(jù)在IP報(bào)文中的位置TCP報(bào)文包含頭部和數(shù)據(jù)兩部分。主要有源端口號(hào)、目的端口號(hào)、序列號(hào)、確認(rèn)號(hào)、頭部長(zhǎng)度、控制位、窗口尺寸、TCP校驗(yàn)和、緊急指針和選項(xiàng)等字段。 TCP報(bào)文中的數(shù)據(jù)格式（1） 源端口號(hào)和目的端口號(hào)表示發(fā)送端和接收端的端口，用于確認(rèn)發(fā)送端和接收端的應(yīng)用程序。發(fā)送端的IP地址和端口號(hào)及接收端的IP地址和端口號(hào)可以確認(rèn)一個(gè)在Internet上的TCP連接。（2） 序列號(hào)：序列號(hào)是一個(gè)32位長(zhǎng)度的字段，表示分配給TCP包的編號(hào)。序列號(hào)用來(lái)標(biāo)識(shí)應(yīng)用程序從TCP的發(fā)送端到接收端發(fā)送的字節(jié)流。（3） 確認(rèn)號(hào)：發(fā)送方對(duì)發(fā)送的首字節(jié)進(jìn)行了編號(hào)，當(dāng)接收方成功接收后，發(fā)送回接收成功的序列號(hào)加1表示確認(rèn)，發(fā)送方再次發(fā)送的時(shí)候從確認(rèn)號(hào)開(kāi)始。（4） 頭部長(zhǎng)度：表示TCP頭部的長(zhǎng)度，由于TCP的數(shù)據(jù)有可選字段，頭部長(zhǎng)度用于表示頭部的長(zhǎng)度。（5） 保留位： 6位長(zhǎng)度沒(méi)有使用，必須為0。（6） 控制位：用作控制位，可以一起設(shè)置多個(gè)位，含義如下所述。URG：表示緊急指針有效ACK：確認(rèn)序號(hào)有效PSH：表示接收方需要盡快將所收到的數(shù)據(jù)交給應(yīng)用層RST：連接有錯(cuò)，需要重建連接SYN：用于發(fā)起一個(gè)TCP的連接 FIN：用于表示將要斷開(kāi)TCP連接（7） 窗口尺寸：窗口尺寸也稱接收窗口的大小，表示本機(jī)上TCP協(xié)議可以接收的以字節(jié)為單位的數(shù)目。（8） 校驗(yàn)和：用于校驗(yàn)TCP傳輸數(shù)據(jù)的正誤，包括TCP頭和所有數(shù)據(jù)，TCP的數(shù)據(jù)必須強(qiáng)制校驗(yàn)。（9） 緊急指針：只有設(shè)置了URG位才有效，它指出了緊接緊急數(shù)據(jù)的字節(jié)的順序編號(hào)。（10） 選項(xiàng)：經(jīng)常使用的為最大分段長(zhǎng)度MSS。TCP連接通常在第一個(gè)通信的報(bào)文中指明這個(gè)選型，它指明當(dāng)前主機(jī)所能接收的最大報(bào)文長(zhǎng)度。 UDP首部UDP是一種基于IP協(xié)議的不可靠網(wǎng)絡(luò)傳輸協(xié)議，： UDP數(shù)據(jù)在IP數(shù)據(jù)的位置UDP協(xié)議是TCP/IP的傳輸協(xié)議的一部分，與TCP的傳輸不一樣，它提供無(wú)連接的不可靠的傳輸服務(wù)。UDP協(xié)議把應(yīng)用程序需要傳遞的數(shù)據(jù)發(fā)送出去，不提供發(fā)送數(shù)據(jù)包的順序；接收方不向發(fā)送方發(fā)送接收的確認(rèn)信息，如果出現(xiàn)丟包或者重包的現(xiàn)象，也不會(huì)向發(fā)送方發(fā)送反饋，因此不能保證使用UDP協(xié)議的程序發(fā)送的數(shù)據(jù)一定到達(dá)了接收方或者到達(dá)接收方的數(shù)據(jù)順序和發(fā)送方的一致性。：圖 UDP數(shù)據(jù)格式發(fā)送方和接收方的UDP端口用源端口號(hào)和目的端口號(hào)表示。UDP數(shù)據(jù)長(zhǎng)度表示UDP頭部和UDP數(shù)據(jù)段的長(zhǎng)度，單位為字節(jié)。由于UDP頭部為8個(gè)字節(jié)，因此發(fā)送UDP的長(zhǎng)度字段最少為8字節(jié)。UDP的長(zhǎng)度與IP協(xié)議的長(zhǎng)度有關(guān)聯(lián)性，UDP的長(zhǎng)度等于IP的長(zhǎng)度減去IP頭部的長(zhǎng)度。UDP校驗(yàn)和表示整個(gè)UDP字段的CRC16校驗(yàn)和，它的計(jì)算方法與IP字段是一致的。 HTTP應(yīng)用協(xié)議本文中論述的WebMail監(jiān)控系統(tǒng)在應(yīng)用層是基于HTTP[17][18]協(xié)議，因此這里將詳細(xì)介紹。HTTP是超文本傳輸協(xié)議，是客戶端瀏覽器或其他程序與Web服務(wù)器之間的應(yīng)用層通信協(xié)議，適用于分布式、協(xié)作的超媒體系統(tǒng)。它是通用的、無(wú)狀態(tài)的、面向?qū)ο蟮膮f(xié)議。通過(guò)擴(kuò)展它的請(qǐng)求方法，錯(cuò)誤編碼號(hào)和消息包頭，也能應(yīng)用到其它方面，比如域名服務(wù)器和分布式對(duì)象管理系統(tǒng)等。它從開(kāi)始使用到現(xiàn)在，經(jīng)過(guò)不斷發(fā)展和完善，已經(jīng)演化出多個(gè)版本。目前正在使用的是HTTP/。HTTP協(xié)議在客戶服務(wù)器模式中具有請(qǐng)求／響應(yīng)范式功能的協(xié)議。HTTP通訊多發(fā)生在TCP/IP的連接上。一個(gè)客戶機(jī)與服務(wù)器建立連接后，發(fā)送一個(gè)請(qǐng)求給服務(wù)器，請(qǐng)求方式的格式為，統(tǒng)一資源標(biāo)識(shí)符、協(xié)議版本號(hào)，后邊是MIME信息包括請(qǐng)求修飾符、客戶機(jī)信息和可能的內(nèi)容。服務(wù)器接到請(qǐng)求后，給予相應(yīng)的響應(yīng)信息，其格式為一個(gè)狀態(tài)行包括信息的協(xié)議版本號(hào)、一個(gè)成功或錯(cuò)誤的代碼，后邊是MIME信息包括服務(wù)器信息、實(shí)體信息和可能的內(nèi)容。HTTP報(bào)文由從客戶機(jī)到服務(wù)器的請(qǐng)求和從服務(wù)器到客戶機(jī)的響應(yīng)構(gòu)成。HTTP報(bào)文 = 請(qǐng)求 | 響應(yīng) ；HTTP/請(qǐng)求和響應(yīng)報(bào)文使用通用的報(bào)文格式（見(jiàn)RFC822）去傳輸實(shí)體信息。這兩種類型的報(bào)文由一個(gè)開(kāi)始行，零個(gè)或多個(gè)報(bào)頭，空行（以回車(chē)換行符CRLF為前綴，什么也沒(méi)有，這個(gè)空行表示報(bào)文頭得結(jié)束），和一個(gè)可能的報(bào)文正文組成。報(bào)文格式如下：通用報(bào)文 = 開(kāi)始行 報(bào)文頭 CRLF（零個(gè)或多個(gè)） CRLF [報(bào)文正文]（可能有）開(kāi)始行 = 請(qǐng)求行 | 狀態(tài)行請(qǐng)求報(bào)文的請(qǐng)求行的組成首先是請(qǐng)求方法，用SP（空格）與后面的內(nèi)容隔開(kāi)，接著是請(qǐng)求的統(tǒng)一資源標(biāo)識(shí)符（RequestURI）和協(xié)議版本，最后以CRLF結(jié)束，具體的格式如下：請(qǐng)求行 = 方法 SP 請(qǐng)求的URI HTTP版本 CRLF響應(yīng)報(bào)文的第一行是狀態(tài)行，它的組成是協(xié)議版本，然后跟著一個(gè)數(shù)字狀態(tài)編碼，最后是與狀態(tài)相關(guān)的文本描述，最后以CRLF結(jié)束。具體的格式如下：狀態(tài)行 = HTTP版本 SP 狀態(tài)編碼 SP 文本描述 CRLF下面將對(duì)請(qǐng)求報(bào)文和響應(yīng)報(bào)文的各個(gè)部分進(jìn)行概述請(qǐng)求報(bào)文的請(qǐng)求方法表示對(duì)由請(qǐng)求的URI標(biāo)識(shí)的資源所采取的方法，這個(gè)方法是大小寫(xiě)敏感的。有多種請(qǐng)求方法，比如：GET、POST、HEAD、PUT、DELETE、TRACE、CONNECT等，對(duì)各個(gè)方法進(jìn)行如下解釋：GET方法是獲得由請(qǐng)求URI標(biāo)識(shí)的信息；HEAD方法與GET相似，但服務(wù)器不會(huì)返回響應(yīng)的消息正文；POST方法用來(lái)要求服務(wù)器接收附在請(qǐng)求后面的消息實(shí)體，并把它作為請(qǐng)求行里請(qǐng)求URI標(biāo)識(shí)的資源的一個(gè)新的附屬部分。Post方法可以起到這樣的作用，對(duì)現(xiàn)有資源的注釋，向公告板，新聞組，郵件列表等添加消息，以表格的形式向數(shù)據(jù)處理進(jìn)程提交數(shù)據(jù)，通過(guò)添加操作擴(kuò)展一個(gè)數(shù)據(jù)庫(kù)。PUT方法請(qǐng)求將消息正文儲(chǔ)存在請(qǐng)求URI所標(biāo)識(shí)的位置DELETE方法要求服務(wù)器刪除請(qǐng)求URI標(biāo)識(shí)的資源。TRACE用于激發(fā)一個(gè)遠(yuǎn)程的，應(yīng)用層的請(qǐng)求消息的回饋，它不含有消息正文。CONNECT方法由協(xié)議保留，是為了用于能動(dòng)態(tài)切換到隧道的代理服務(wù)器。1xx：指示信息。這類狀態(tài)碼表示一個(gè)臨時(shí)的響應(yīng)，僅由狀態(tài)行和可選的頭域組成，由一個(gè)空行結(jié)束。其中100表示客戶端繼續(xù)它的請(qǐng)求。101表示切換協(xié)議。2xx：成功。這類狀態(tài)碼表示客戶端的請(qǐng)求被成功地接收，理解和接受。有多種，其中200 OK，表示請(qǐng)求成功。201 Created表示請(qǐng)求被成功實(shí)施，并且一個(gè)新的資源被創(chuàng)造。202 Accepted表示請(qǐng)求已被接受并正在進(jìn)行處理，但是處理還沒(méi)有完成。3xx 重定向。這類狀態(tài)碼表示為了完成請(qǐng)求，用戶代理需要采取進(jìn)一步的行動(dòng)。4xx 客戶端錯(cuò)誤。這類代碼用于客戶端似乎有錯(cuò)誤的情況。5xx 服務(wù)器錯(cuò)誤。這類代碼表示服務(wù)器意思到發(fā)生錯(cuò)誤或者不能執(zhí)行請(qǐng)求。HTTP消息頭遵循相同的由RFC 822規(guī)定的通用格式，包括通用報(bào)頭、請(qǐng)求報(bào)頭、響應(yīng)報(bào)頭和實(shí)體報(bào)頭。每個(gè)頭域由一個(gè)名稱，一個(gè)冒號(hào)和一個(gè)域值組成。通用報(bào)頭通用于請(qǐng)求和響應(yīng)報(bào)文，但不應(yīng)用于傳輸?shù)膶?shí)體，只用于傳輸?shù)南?。這里以CacheControl通用報(bào)頭為例來(lái)說(shuō)明：CacheControl：這個(gè)通用頭域常用于指定必須被請(qǐng)求/響應(yīng)鏈中所有緩沖機(jī)制必須遵守的具體指令。請(qǐng)求報(bào)頭允許客戶端向服務(wù)器傳送關(guān)于請(qǐng)求和客戶端自己的附加信息。這里以Accept請(qǐng)求報(bào)頭為例。Accept請(qǐng)求報(bào)頭用來(lái)規(guī)定響應(yīng)能夠接受的某種媒體類型。各個(gè)Accept報(bào)頭用來(lái)表示請(qǐng)求特別限定于一些期望的類型，例如一個(gè)內(nèi)嵌圖形的請(qǐng)求。響應(yīng)報(bào)頭應(yīng)許服務(wù)器傳遞響應(yīng)的額外信息，而這些信息不能放在狀態(tài)行。這些報(bào)頭給出服務(wù)器的信息和對(duì)請(qǐng)求URI標(biāo)識(shí)的資源進(jìn)行進(jìn)一步訪問(wèn)所需要的信息。這里以Age報(bào)頭為例。Age響應(yīng)報(bào)頭傳輸發(fā)送者對(duì)時(shí)間的估計(jì)，這個(gè)時(shí)間是自服務(wù)器產(chǎn)生響應(yīng)開(kāi)始計(jì)算的。實(shí)體報(bào)頭規(guī)定了實(shí)體主體的元信息，如果沒(méi)有實(shí)體主體，就規(guī)定了請(qǐng)求標(biāo)識(shí)的資源的元信息。這里以ContentEncoding為例。ContentEncoding實(shí)體報(bào)頭用作對(duì)媒體類型的修飾。當(dāng)此頭域出現(xiàn)時(shí)，它的數(shù)值表明對(duì)實(shí)體主體采用了什么樣的內(nèi)容編碼，以及因而可以使用何種解碼機(jī)制去獲得有ContentType頭域指明的媒體類型。167。網(wǎng)絡(luò)監(jiān)控系統(tǒng)在獲取網(wǎng)絡(luò)數(shù)據(jù)后需要立即對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行協(xié)議分析，為實(shí)際的應(yīng)用功能提供相關(guān)的數(shù)據(jù)。網(wǎng)絡(luò)監(jiān)控系統(tǒng)中的協(xié)議分析的具體繁簡(jiǎn)程度由網(wǎng)絡(luò)監(jiān)控的應(yīng)用目的所決定。但是不管其應(yīng)用目的是什么，其協(xié)議分析的基礎(chǔ)都是TCP/IP協(xié)議。首先面對(duì)的就是網(wǎng)絡(luò)以太幀，經(jīng)過(guò)處理成為IP數(shù)據(jù)包，而后根據(jù)實(shí)際的需要進(jìn)行進(jìn)一步的分析過(guò)濾得到TCP或UDP的數(shù)據(jù)包，再根據(jù)具體的應(yīng)用協(xié)議對(duì)于數(shù)據(jù)包的內(nèi)容進(jìn)行重新的拼接，整合恢復(fù)成實(shí)際的數(shù)據(jù)。以上簡(jiǎn)單敘述的是基于內(nèi)容進(jìn)行監(jiān)控的實(shí)現(xiàn)過(guò)程，而對(duì)流量進(jìn)行監(jiān)控的網(wǎng)絡(luò)監(jiān)控應(yīng)用而言其實(shí)現(xiàn)遠(yuǎn)沒(méi)有這么復(fù)雜，只需要對(duì)于協(xié)議進(jìn)行簡(jiǎn)單的分析，獲取數(shù)據(jù)包的類型、總長(zhǎng)度，有時(shí)候還需要獲取通信相關(guān)的IP地址等信息。就本文所要論述的WebMail內(nèi)容監(jiān)控系統(tǒng)而言，webmial在應(yīng)用層是基于HTTP協(xié)議的，所以，要對(duì)于HTTP通信進(jìn)行監(jiān)控，需要從鏈路層進(jìn)行協(xié)議分析，解析以太幀、IP數(shù)據(jù)包和TCP數(shù)據(jù)包直到HTTP應(yīng)用協(xié)議。在操作系統(tǒng)中網(wǎng)絡(luò)數(shù)據(jù)從進(jìn)入到到達(dá)應(yīng)用程序之前的內(nèi)核部分的處理都是在操作系統(tǒng)的協(xié)議棧中進(jìn)行的，網(wǎng)絡(luò)監(jiān)控系統(tǒng)完成的功能就是包括了協(xié)議棧和應(yīng)用程序。協(xié)議分析的大概過(guò)程可用下面的偽代碼進(jìn)行具體展示：get（packet）；//使用包獲取函數(shù)取得一幀數(shù)據(jù)，存入packetethhdr = （struct ethhdr*）packet；//獲得以太網(wǎng)頭部 analyse（ethhdr）； //分析以太頭，獲取信息如MACiphdr = (struct ip *)(ethhdr+ETH_HLEN)。//假設(shè)是以太網(wǎng)，可以從幀數(shù)據(jù)得到ip頭 analyse(iphdr)。 //分析ip頭，獲取信息如iptcphdr = （struct tcphdr*）（iphdr+IP_HLEN）。//假設(shè)運(yùn)輸層是tcp，獲得tcp頭， analyse（tcphdr）； //分析tcp頭，獲取信息如端口號(hào)data = （char*）tcphdr + TCP_HLEN；//獲得應(yīng)用層的數(shù)據(jù)信息 analyse（data）。 //根據(jù)具體的應(yīng)用要求對(duì)應(yīng)用數(shù)據(jù)盡心分析處理?？傊?，網(wǎng)絡(luò)監(jiān)控的實(shí)現(xiàn)原理就是TCP/IP協(xié)議，但是和操作系統(tǒng)中的協(xié)議棧的實(shí)現(xiàn)不同的是，網(wǎng)絡(luò)監(jiān)控主要是單向的數(shù)據(jù)拆包整合的過(guò)程，而且，從應(yīng)用的實(shí)際出發(fā)網(wǎng)絡(luò)監(jiān)控中的協(xié)議分析過(guò)遠(yuǎn)比實(shí)際的操作系統(tǒng)的協(xié)議棧簡(jiǎn)單。167。 本章介紹了TCP/IP的基本原理，由于本文所要論述的監(jiān)控系統(tǒng)主要是對(duì)WebMail進(jìn)行監(jiān)控，而WebMail在應(yīng)用層是基于HTTP協(xié)議的，故重點(diǎn)介紹了應(yīng)用層HTTP協(xié)議。然后概括性的介紹了基于內(nèi)容的網(wǎng)絡(luò)監(jiān)控中的協(xié)議分析技術(shù)。 第四章 數(shù)據(jù)捕獲和分析模塊的實(shí)現(xiàn)監(jiān)控系統(tǒng)主要實(shí)現(xiàn)的功能是：對(duì)利用HTTP協(xié)議收發(fā)的WebMail郵件內(nèi)容的捕獲和還原，并從中提取了收發(fā)雙方的IP地址、郵件主題、郵件內(nèi)容、收發(fā)時(shí)間等信息。本系統(tǒng)的設(shè)計(jì)是可擴(kuò)展的，根據(jù)需要可以增加對(duì)其它應(yīng)用層協(xié)議的數(shù)據(jù)還原內(nèi)容。數(shù)據(jù)捕獲和分析模塊在網(wǎng)絡(luò)監(jiān)控系統(tǒng)中占有非常重要的地位，該模塊從網(wǎng)絡(luò)中捕獲數(shù)據(jù)并對(duì)應(yīng)用層數(shù)據(jù)進(jìn)行分析，其處理結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)供以后的查詢。由于監(jiān)控系統(tǒng)的應(yīng)用環(huán)境很復(fù)雜，常常需要面對(duì)高速大流量的網(wǎng)絡(luò)環(huán)境，這就要求數(shù)據(jù)包的處理必須盡可能的快速和準(zhǔn)確。數(shù)據(jù)截獲和分析模塊是在Linux環(huán)境下實(shí)現(xiàn)的。首先利用PF_RING的數(shù)據(jù)包捕獲功能對(duì)需要監(jiān)控對(duì)象的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行捕獲，然后按照協(xié)議分析技術(shù)對(duì)數(shù)據(jù)包進(jìn)行分析，按照系統(tǒng)需