【文章內(nèi)容簡(jiǎn)介】 在這個(gè)系統(tǒng)正式投入使用后，如果出現(xiàn)這樣或那樣的問(wèn)題，應(yīng)該要有相應(yīng)的解決手段。如果出現(xiàn)有新的功能需求時(shí)，要求系統(tǒng)必須可以進(jìn)行擴(kuò)充和修改。從而保證整個(gè)局域網(wǎng)的可用性、可生存性。 （3）面對(duì)錯(cuò)綜復(fù)雜的龐大數(shù)據(jù)，要有較強(qiáng)的應(yīng)對(duì)能力，來(lái)保證計(jì)算機(jī)網(wǎng)絡(luò)的正常運(yùn)轉(zhuǎn)。 （4）監(jiān)測(cè)記錄的 Web 訪問(wèn)日志應(yīng)該具有覆蓋面廣，攔截準(zhǔn)確無(wú)誤的特點(diǎn)。 （5）整個(gè)系統(tǒng)人機(jī)交互界面友好，可操作性強(qiáng)，容錯(cuò)性強(qiáng)，軟件部分發(fā)生故障時(shí)應(yīng)能夠自動(dòng)恢復(fù)。 （6）系統(tǒng)支持即插即用方式，系統(tǒng)的實(shí)施不需要改變?cè)瓉?lái)現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)，簡(jiǎn)言之就是安裝這個(gè)系統(tǒng)并不影響網(wǎng)絡(luò)的流暢性性。 （1） 攔截服務(wù)器內(nèi)存至少2GB以上。（2） 網(wǎng)絡(luò)監(jiān)聽(tīng)服務(wù)器應(yīng)該具備的能力：700個(gè)并發(fā)HTTP鏈接，300Pps。（3） 存儲(chǔ)器最少應(yīng)該留有半年的訪問(wèn)數(shù)據(jù)。（4） 數(shù)據(jù)庫(kù)維護(hù)人員應(yīng)該實(shí)時(shí)關(guān)注黑名單的更新，做到不漏掉一個(gè)非法網(wǎng)址。 本系統(tǒng)的安全需求大致應(yīng)該有如下幾點(diǎn)： （1）該系統(tǒng)的用戶僅面向我單位的專業(yè)技術(shù)人員及其有關(guān)領(lǐng)導(dǎo)，不同的用戶應(yīng)該有不同的訪問(wèn)權(quán)限。 （2）該系統(tǒng)記錄所有用戶的登錄歷史、操作歷史等日志信息，為了確保系統(tǒng)的 安全，該類日志信息一次性寫入，不可刪除，一經(jīng)寫入不可更改。 （3）由于涉及到我單位的局域網(wǎng)絡(luò)、我單位用戶的隱私，因此必須保證記錄的Web 訪問(wèn)頁(yè)面文件證據(jù)的機(jī)密性，并控制其擴(kuò)散范圍。 （4）該系統(tǒng)的運(yùn)行前提是不影響我單位局域網(wǎng)的正常運(yùn)轉(zhuǎn)，更不能造成我單位局域網(wǎng)新的安全威脅。 （6） 每隔一段時(shí)間，就要把這些數(shù)據(jù)備份。并且要求備份數(shù)據(jù)的全面性和完整性。 4系統(tǒng)設(shè)計(jì)獲取經(jīng)過(guò)網(wǎng)卡的數(shù)據(jù)幀需要分三步完成:(1)創(chuàng)建socket套接字。(2)將網(wǎng)卡設(shè)置為混雜模式。(3)調(diào)用recvfromo函數(shù)接收數(shù)據(jù)。： 獲取數(shù)據(jù)包的流程圖建立初始套接字的函數(shù)如下：soeket(PF_PACKET,SOCK_RAW,ETH_P_IP)。完成socket套接字后,接著調(diào)用recvfromo函數(shù)來(lái)獲取幀。這個(gè)時(shí)候并不能獲取通過(guò)這個(gè)網(wǎng)卡的數(shù)據(jù)幀,對(duì)于不是發(fā)送到本機(jī)的數(shù)據(jù)幀，實(shí)行丟棄的方法，從而來(lái)減輕網(wǎng)卡的負(fù)擔(dān)。但是我們要得到經(jīng)過(guò)網(wǎng)卡的所有數(shù)據(jù)幀。所以正常下我們并不能達(dá)到監(jiān)聽(tīng)的目的。因此，要把網(wǎng)卡設(shè)置成混雜模式，這樣我們就可以獲取所有經(jīng)過(guò)網(wǎng)卡的數(shù)據(jù)幀。如果一個(gè)程序只是有一個(gè)或少數(shù)幾個(gè)進(jìn)程完成，處理器一方面要求分析模塊要提取有效信息，進(jìn)行網(wǎng)址匹配。另一方面還要繼續(xù)接收新來(lái)的數(shù)據(jù)幀。這種情況下很容易出現(xiàn)數(shù)據(jù)幀丟失的現(xiàn)象。因此，要采取多進(jìn)程的方式。一個(gè)程序的運(yùn)行可以使用多個(gè)進(jìn)程并發(fā)執(zhí)行。這樣可以使他們的工作最大程度上達(dá)到效率最高并且不會(huì)發(fā)生任何沖突，從而實(shí)現(xiàn)了資源利用率最高。套接字的建立、綁定的操作部分關(guān)鍵程序如下所示：m_sockCap = socket(AF_INET , SOCK_RAW , IPPROTO_IP)。//創(chuàng)建套接字bind(m_sockCap, (PSOCKADDR)amp。sa, sizeof(sa))。//綁定 setsockopt(m_sockCap, SOL_SOCKET, SO_REUSEADDR, (char*)amp。bopt, sizeof(bopt)) 。//設(shè)置操作setsockopt(m_sockCap, IPPROTO_IP, IP_HDRINCL, (char*)amp。bopt, sizeof(bopt)) 。//設(shè)置操作WSAIoctl(m_sockCap,SIO_RCVALL,amp。dwBufferInLen,sizeof(dwBufferInLen),dwBufferLen,sizeof(dwBufferLen),amp。dwBytesReturned,NULL,NULL)。//混雜模式m_hCapThread = CreateThread(NULL, 0, CaptureThread, this, 0, NULL)。//啟動(dòng)線程攔截策略控制模塊和消息服務(wù)器進(jìn)行通信,它監(jiān)聽(tīng)端口10000,然后接收消息服務(wù)器傳來(lái)的指令。消息服務(wù)器傳來(lái)的指令主要有兩種,開啟或關(guān)閉服務(wù)。當(dāng)傳輸開啟或關(guān)閉命令式,消息服務(wù)器要將用戶的IP地址一起發(fā)來(lái)。在這里要介紹“白名單”。假如用戶關(guān)閉網(wǎng)頁(yè)攔截功能,用戶策略模塊將用戶IP地址加入“白名單”中。假如是開啟攔截功能,那么將用戶IP地址從白名單中刪除。IP包過(guò)濾模塊將IP地址在“白名單”中的用戶的所有l(wèi)P包看作系統(tǒng)不感興趣的IP包,將其過(guò)丟棄。攔截方法模塊工作流程如圖 。圖4..2 攔截方法模塊流程圖 IP包分析模塊IP包過(guò)濾模塊起著承前啟后的作用，它位于網(wǎng)絡(luò)監(jiān)聽(tīng)模塊之后，IP網(wǎng)址匹配模塊之前。它負(fù)責(zé)去除幀的首部字段,只留下有用的IP部分，舍棄一些無(wú)用的IP包。由于獲取的數(shù)據(jù)可能有多種的類型，而我們只想要其中的一些例如HTTP協(xié)議的數(shù)據(jù)幀。因此只分析關(guān)于GET和POST的報(bào)文，將這些報(bào)文交給下一個(gè)模塊（網(wǎng)址匹配模塊）。沒(méi)有用的數(shù)據(jù)包采取舍棄的處理方式，這樣可以很大程度上減輕網(wǎng)址匹配模塊的工作量，使網(wǎng)址匹配模塊可以更加迅速的處理非法網(wǎng)址。 IP包過(guò)濾模塊流程圖如果IP包中含有POST或GET報(bào)文，需要取出它的URL地址。HTTP請(qǐng)求報(bào)文格式如圖。 HTTP請(qǐng)求報(bào)文對(duì)于GET報(bào)文和POST報(bào)文,處理方法不同,要分別進(jìn)行處理。(1) 處理GET報(bào)文當(dāng)我們要訪問(wèn),瀏覽器發(fā)送的請(qǐng)求報(bào)文格式如下:GET/HTTP/\r\nAeeePt:*/*\r\nAccePt一Language:zh一zh\\r\nHost:\r\n\r\n其中GET后面的U甩字段和HOST字段是含有網(wǎng)頁(yè)U肚信息的關(guān)鍵字段。一般HTTP/,主機(jī)的域名存放在Host字段中,但是也有的時(shí)候URL字段會(huì)存放包括主機(jī)地址和文件路徑及文件名的完整形式,而沒(méi)有Host字段。 大多數(shù)時(shí)候,想要要過(guò)濾掉某個(gè)非法網(wǎng)址,僅僅需要得到用戶所要訪問(wèn)的網(wǎng)站域名地址就可以了,不一定要得到具體訪問(wèn)某一個(gè)特定的文件下的內(nèi)容。有兩種情況不得不考慮進(jìn)去。一種是一個(gè)網(wǎng)站的一部分內(nèi)容時(shí)合法的另一部分內(nèi)容是不合法的。為了精確的過(guò)濾掉那部分非法內(nèi)容,因此必須了解用戶訪問(wèn)的是文件是哪一個(gè)。另一種是用戶直接輸入了某非法網(wǎng)頁(yè)的完整路徑,這種情況也需要用戶的具體訪問(wèn)的文件名。(2)處理POST報(bào)文由于網(wǎng)絡(luò)上混雜著一種可以進(jìn)行網(wǎng)頁(yè)代理的網(wǎng)站。它充當(dāng)了溝通用戶與不合法網(wǎng)站的紐帶。因此要進(jìn)行POST報(bào)文的處理。網(wǎng)頁(yè)代理的工作過(guò)程是這樣的: 它先是為用戶提供一個(gè)界面,大多數(shù)情況下,頁(yè)面都很簡(jiǎn)單,僅僅有1個(gè)記事本式的文本框,瀏覽器把要瀏覽網(wǎng)頁(yè)的URL地址輸入到這個(gè)文本框中，然后把這個(gè)文本框交給網(wǎng)頁(yè)代理的網(wǎng)站。這個(gè)代理網(wǎng)站與瀏覽器要訪問(wèn)的目標(biāo)網(wǎng)站發(fā)生請(qǐng)求聯(lián)系，請(qǐng)求成功后，代理網(wǎng)站把目標(biāo)網(wǎng)站發(fā)送給瀏覽器。用戶加入采取這種方式瀏覽網(wǎng)站,直接在請(qǐng)求報(bào)文中實(shí)體主體以上部分不能獲取用戶所請(qǐng)求的網(wǎng)頁(yè)的URL地址。在這個(gè)時(shí)候,請(qǐng)求報(bào)文的實(shí)體主體以上部分的URL字段和Host是關(guān)于提供網(wǎng)頁(yè)代理服務(wù)的網(wǎng)站的信息,而沒(méi)有用戶真正需要的網(wǎng)頁(yè)URL地址。網(wǎng)址匹配模塊把提取出的URL地址與數(shù)據(jù)庫(kù)中的URL進(jìn)行匹配，如果匹配成功的話，就把這個(gè)匹配結(jié)果告知下一個(gè)模塊，對(duì)這個(gè)網(wǎng)址予以攔截。這個(gè)系統(tǒng)是在混雜模式下進(jìn)行的，所有的網(wǎng)址都經(jīng)過(guò)網(wǎng)卡，預(yù)先設(shè)置的頁(yè)面一定將重定向報(bào)文在員工或?qū)W生要求瀏覽的網(wǎng)頁(yè)的前面到達(dá)員工或?qū)W生的電腦。其中重要的一點(diǎn)就是匹配速度要快。采取哈希算法，將URL按順序羅列起來(lái)，接著把它放在內(nèi)存的一個(gè)數(shù)組單元中。因?yàn)閮?nèi)存中對(duì)各個(gè)數(shù)組的訪問(wèn)都是可以隨機(jī)的，因此可以在O（1）時(shí)限內(nèi)完成，哈希算法可以做到提高工作效率的目的。算法如下:(l)給定兩個(gè)32位int x和int y,令x=0,y=0。(2)把URL 4個(gè)字節(jié)一組,與x異或。(3)得到的結(jié)果除以24,余數(shù)儲(chǔ)存在y中。哈希算法的C語(yǔ)言代碼:int51(ehar*s){unsignedintx,y:x=0。ehar*b=(ehar*)amp。x。for(i=0。istrlen(s)。i++)b[i%4]A=s[i]。retumx%0xl000000。}。最大程度的減少重復(fù)幾率,要在這個(gè)基礎(chǔ)上做一部分修改:多次計(jì)算字符串的散列值。在第一遍結(jié)束后,把數(shù)組對(duì)應(yīng)位置的值的第一個(gè)比特位置1,接著把字符串循環(huán)移位。然后進(jìn)行散列值計(jì)算,放到數(shù)組相應(yīng)位置的第2個(gè)比特位。以3次計(jì)算為例,步驟為:(l)計(jì)算URL的散列值,將相應(yīng)位置數(shù)組的值或上ox01。(2)將URL以字符為單位循環(huán)左移一位。(3)計(jì)算移位之后的URL地址,將相應(yīng)位置數(shù)組的值或上Ox02。(4)將URL以字符為單位循環(huán)左移一位。(5)計(jì)算移位之后的URL地址,將相應(yīng)位置數(shù)組的值或上0x04。當(dāng)網(wǎng)址匹配模塊發(fā)現(xiàn)該網(wǎng)址為非法網(wǎng)址時(shí)，就將這個(gè)消息告知網(wǎng)頁(yè)攔截模塊，并要求它進(jìn)行攔截。當(dāng)發(fā)現(xiàn)瀏覽器訪問(wèn)的是非法網(wǎng)址時(shí)，服務(wù)器就重定向到它預(yù)先設(shè)計(jì)的網(wǎng)頁(yè)上，達(dá)到警告用戶的目的。它的原理是:如果員工或?qū)W生用瀏覽器輸入網(wǎng)址時(shí)，就把GET報(bào)文發(fā)向了web服務(wù)器。在沒(méi)有web監(jiān)測(cè)系統(tǒng)的情況下，服務(wù)器會(huì)向?yàn)g覽器發(fā)送相應(yīng)的響應(yīng)報(bào)文，意思就是可以接受這個(gè)請(qǐng)求。但是web監(jiān)測(cè)系統(tǒng)所要做的工作就是用其網(wǎng)絡(luò)監(jiān)聽(tīng)模塊和IP包分析模塊，提取出URL地址時(shí)，發(fā)現(xiàn)這個(gè)地址是可疑的，網(wǎng)絡(luò)攔截模塊就要發(fā)揮作用了。它會(huì)假裝是web服務(wù)器向?yàn)g覽器發(fā)送一個(gè)重定向的響應(yīng)報(bào)文，并且使瀏覽器切換到系統(tǒng)預(yù)先設(shè)計(jì)的網(wǎng)頁(yè)上去，對(duì)用戶起到警告的作用。正因?yàn)榫W(wǎng)頁(yè)攔截模塊在web服務(wù)器與用戶瀏覽器之間，所以攔截模塊能在用戶訪問(wèn)非法網(wǎng)站之前就與用戶瀏覽器“握手”，及時(shí)的阻止用戶訪問(wèn)非法網(wǎng)站。重定向技術(shù)可以有如下幾步完成:(l)生成重定向報(bào)文作為HTTP眾多響應(yīng)報(bào)文的一個(gè),它要求用戶電腦顯示出它預(yù)先設(shè)計(jì)好的網(wǎng)頁(yè)。上圖的第一行稱之為狀態(tài)行。狀態(tài)行由三部分構(gòu)成,即HTTP的版本,狀態(tài)碼,以及CRLF。其中狀態(tài)碼有5種。例如:lxx:代表通知信息的,例如請(qǐng)求雖然在處理但還沒(méi)有處理完畢。2xx:代表成功,例如202代表請(qǐng)求雖然被接受，但是仍未處理。3xx:代表重定向,例如301代表要求的把URL轉(zhuǎn)換到了新的位置。4xx:代表用戶出現(xiàn)的操作錯(cuò)誤,例如400代表服務(wù)器不能正常識(shí)別。5xx:代表服務(wù)器出現(xiàn)的問(wèn)題。 (2)填寫各層首部字段(3)發(fā)送IP包在各層首部字段都填寫完畢后，把他們安裝TCP/IP封裝按順序?qū)懙骄彌_層中。發(fā)送完畢后，這些就要準(zhǔn)備發(fā)送到用戶的瀏覽器中。默認(rèn)的socket實(shí)例,tcp和ip首部是系統(tǒng)默認(rèn)情況下的,通過(guò)以下代碼，告知服務(wù)器由管理員自己填寫的tcp和ip首部：Int flag=1。setsoekopt(soek,IPPROTOIP,IP一DRINCL,amp。flag,sizeof(int)):接下來(lái)調(diào)用sendto()函數(shù)把已經(jīng)發(fā)送緩沖區(qū)的IP包發(fā)送到用戶瀏覽器。web訪問(wèn)監(jiān)控系統(tǒng)配備了專門的黑名單數(shù)據(jù)庫(kù),并把它存儲(chǔ)在數(shù)據(jù)庫(kù)服務(wù)器里3。數(shù)據(jù)更新模塊每過(guò)固定的一個(gè)時(shí)間就要與數(shù)據(jù)服務(wù)器完成核對(duì)是不是有新的網(wǎng)址需要拉進(jìn)到數(shù)據(jù)庫(kù)中。假如有新的網(wǎng)址,必須要把這個(gè)新的消息告訴到所有模塊,使得網(wǎng)址匹配模塊可以有新的數(shù)據(jù)比對(duì)過(guò)濾的URL地址。 數(shù)據(jù)庫(kù)的更新要用到FTP技術(shù)。數(shù)據(jù)庫(kù)服務(wù)器包含有一個(gè)FTP服務(wù)器,緊接著把含有非法網(wǎng)址的黑名單的副本通過(guò)TXT的形式存儲(chǔ)到FTP中,為數(shù)據(jù)更新模塊的隨時(shí)下載提供便利。更新時(shí)需要用的一些指令：USER:代表USER字段緊接著的是用戶名。PASS:代表PASS字段緊接著的是用戶密碼。PASV:采取被動(dòng)的模式。RETR:代表準(zhǔn)備下載的東西,RETR緊接著的的是目標(biāo)程序。QIUT:代表即將和服務(wù)器發(fā)生斷開連接。進(jìn)行文件的更新時(shí)候,。 FTP工作過(guò)程這個(gè)模塊在消息服務(wù)器上運(yùn)行，當(dāng)發(fā)現(xiàn)瀏覽器要訪問(wèn)非法網(wǎng)站時(shí)，網(wǎng)頁(yè)攔截模塊把瀏覽器的訪問(wèn)請(qǐng)求重定向到管理員提前設(shè)置好的網(wǎng)頁(yè)上，這個(gè)模塊的作用就是告知用戶，他所要訪問(wèn)的網(wǎng)頁(yè)是不被允許的。依據(jù)用戶的身份和等級(jí)，如果用戶是有通行密碼的，它可以通過(guò)輸入密碼完成對(duì)網(wǎng)頁(yè)的訪問(wèn)。同時(shí)將這個(gè)網(wǎng)址發(fā)送到數(shù)據(jù)庫(kù)的白名單中，等這個(gè)用戶下次訪問(wèn)的時(shí)候就可以不被阻止而直接訪問(wèn)。： 消息提示模塊流程圖 軟件需求：window xp 開發(fā)工具：Visual C++ 數(shù)據(jù)庫(kù)：SQL server 2000硬件需求：內(nèi)存 4GB以及更高處理器 :E6500 或者更高硬盤：1T（1）網(wǎng)絡(luò)監(jiān)聽(tīng)模塊的測(cè)試， 網(wǎng)絡(luò)監(jiān)聽(tīng)模塊 網(wǎng)絡(luò)監(jiān)聽(tīng)模塊(3) 網(wǎng)絡(luò)匹配模塊 （4）（5） 網(wǎng)絡(luò)的迅速發(fā)展可以說(shuō)既給人們的學(xué)習(xí)和生活帶來(lái)了極大的方便，但是其負(fù)面影響也是不是小覷的，它的危害已經(jīng)嚴(yán)重威脅到了社會(huì)的和諧穩(wěn)定，所以凈化網(wǎng)絡(luò)環(huán)境顯得極為迫切。而之前的防火墻那種過(guò)濾非法網(wǎng)站的方法在如今網(wǎng)民數(shù)量急速上升、網(wǎng)絡(luò)速度要求越來(lái)越高的大環(huán)境下顯得有些力不從心。因?yàn)榉阑饓θ菀自斐删W(wǎng)絡(luò)的延遲。因此基于旁路的web訪問(wèn)監(jiān)控系統(tǒng)就十分有必要替代傳統(tǒng)的防火墻，擔(dān)當(dāng)起網(wǎng)絡(luò)衛(wèi)士的職責(zé)。從今年3月份到6月初，三個(gè)月期間，經(jīng)過(guò)本人的學(xué)習(xí)和研究，加上指導(dǎo)教師和學(xué)長(zhǎng)的不斷督促，這個(gè)課題初步完成了。本文重點(diǎn)闡述了web訪問(wèn)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，主要分為網(wǎng)絡(luò)監(jiān)聽(tīng)模塊、攔截策略模塊、IP包過(guò)濾和網(wǎng)址匹配等模塊。 通過(guò)這次畢業(yè)設(shè)計(jì)，我不僅重新學(xué)習(xí)了與網(wǎng)絡(luò)原理相關(guān)的的很多知識(shí)，而且極大的提高了我的自主學(xué)習(xí)能力，這為我在以后的學(xué)習(xí)和工作中打下了良好的基礎(chǔ)。因此說(shuō)，這次