【文章內(nèi)容簡介】 后報(bào)警，通過管理員的操作和檢驗(yàn)后再對用戶 pc 加以處理。這樣的工作流程對于中小型企業(yè)來說是比較適用，只需要一個(gè) 監(jiān)測 軟件即可，設(shè)備的投入也不大 ，效果也比較好。 數(shù)據(jù)獲取 ： 互聯(lián)網(wǎng)論壇 監(jiān)測 系統(tǒng)呈現(xiàn)簡潔、歸一化的操作界面，多線程獲取網(wǎng)站發(fā)布數(shù)據(jù)。 在管理人員設(shè)定的遍歷層數(shù)范圍內(nèi)，系統(tǒng)遞歸獲取起始及隨后頁面中所有超鏈接所對應(yīng)的內(nèi)容。 系統(tǒng)在受限于上述遍歷層數(shù)的同時(shí)，還能接受管理人員對于最大下載字節(jié)數(shù)與每次請求間隔時(shí)間的設(shè)置，從而避免因其內(nèi)容獲取操作而造成目標(biāo)論壇的工作負(fù)載驟然增加。 接入互聯(lián)網(wǎng)，對定點(diǎn)網(wǎng)站、論壇進(jìn)行數(shù)據(jù)深入挖掘，基于發(fā)帖人、發(fā)帖時(shí)間、主題及正文進(jìn)行分類檢索與統(tǒng)計(jì)，對目標(biāo)站點(diǎn)的信息提取率達(dá)到 90%。專項(xiàng)針對目標(biāo)論壇的信息發(fā)布進(jìn)行 內(nèi)容獲取，對目標(biāo)論壇分組，基于論壇組進(jìn)行高效的輪詢式全文獲??；采用純文本方式存儲(chǔ)，以最大限度節(jié)約空間。 顯示當(dāng)前已經(jīng)獲取帖子的 發(fā)帖人 、 發(fā)帖時(shí)間 、 帖子位置 、 帖子標(biāo)題 、 帖 子URL 等基本信息 。 HUB 目標(biāo)論壇 監(jiān)聽機(jī) PC HUB PC 圖 6 系統(tǒng)總體結(jié)構(gòu) 內(nèi)容過濾功能： 包括 對不需要監(jiān)視的對象、內(nèi)容、行為進(jìn)行過濾（忽略監(jiān)視），可針對 3 種對象（整個(gè)網(wǎng)絡(luò)、分組、電腦） 。 全部監(jiān)視 /不監(jiān)視、只監(jiān)視部分應(yīng)用 。 根據(jù)不用管理需要，可設(shè)置為某些對象監(jiān)視 ,某些對象不監(jiān)視（比如管理員和老板沒有必要被監(jiān)視），某些用戶應(yīng)用監(jiān)視 ,某些應(yīng)用不監(jiān)視 。 由于網(wǎng)頁監(jiān)視很多廣告垃圾而且比較消耗硬盤空間等資 源 。 如果有人在觀看網(wǎng)站的帖子后，想發(fā)表評論，如果評論中包含色情和反動(dòng)的字眼就自動(dòng)刪除該帖子，并發(fā)出警報(bào)。 網(wǎng)站過濾白名單和黑名單功能 。 可設(shè)置只監(jiān)視具體的一些網(wǎng)站，也可以忽略監(jiān)視某些網(wǎng)站；比如一個(gè)公司里通常 SINA 這樣的網(wǎng)站可能同時(shí)所有的人都有去看，如果都監(jiān)視的話將相當(dāng)浪費(fèi)資源又內(nèi)容重復(fù) ， 實(shí)際上也無意義和必要 。 因此采用過濾方法模糊控制模式去忽略對一些公共的東西過濾 。 比如輸入 SINA，將過濾全部包含 SINA 的所有 URL 訪問 ，這叫做白名單過濾。對包含色情和反動(dòng)信息的過濾叫做黑名單過濾。 流量監(jiān)視與限制： 包 括 針對具體的對象，能夠詳細(xì)準(zhǔn)確監(jiān)視其 發(fā)生的流量 ， 并能夠限制其占據(jù)的流量帶寬 。 數(shù)據(jù)備份和配置管理 ： 包括 允許定義數(shù)據(jù)保存時(shí)間或刪除過時(shí)的數(shù)據(jù) 。 數(shù)據(jù)、配置和日志的查看、打印、備份恢復(fù)功能 。 簡單容易的數(shù)據(jù)備份方式和海量存儲(chǔ)模式 。 支持監(jiān)視內(nèi)容和配置文件的 海量模式備份、恢復(fù) 。 監(jiān)測 系統(tǒng) 功能模塊的描述 對 用戶 上網(wǎng)行為的 監(jiān)測和管理事實(shí)上要配合一個(gè)復(fù)雜的網(wǎng)絡(luò)系統(tǒng)體系去實(shí)現(xiàn)，首先要定義 網(wǎng)絡(luò)用戶的類型，普通用戶、管理員等都應(yīng) 有不同的網(wǎng)絡(luò)權(quán)限去獲得網(wǎng)絡(luò)的資源，因此就需要網(wǎng)管功能的軟硬件了 。 此外對 用戶 的數(shù)據(jù)的 監(jiān)測 就只能 通過流控設(shè)備去實(shí)現(xiàn)，了 解 所使用 的 各個(gè)服務(wù)的流量，對敏感的流量和服務(wù)有必要進(jìn)行抓包分析。特別是對技術(shù)含量較高的企業(yè) 有很大用途。 本系統(tǒng) 根據(jù)功能模塊化分為后臺(tái)和前臺(tái)軟件兩部分。后臺(tái)部分由主進(jìn)程和主線程完成。主進(jìn)程通過主控模塊實(shí)現(xiàn)。主線程通過包捕獲模塊、解碼模塊、模式匹配模塊和輸出模塊來完成。前臺(tái)部分包括圖形顯示模塊、命令模塊。 主控模塊實(shí)現(xiàn)的功能包括所有模塊的初始化、命令行解釋、配置文件解釋、建立主線程、關(guān)閉主線程。 包捕獲模塊是主線程 的主程序，它將數(shù)據(jù)包捕獲后的處理交給解碼模塊。解 碼模塊，定義不同的數(shù)據(jù)結(jié)構(gòu)取 得 IP地址、 TCP層的端口號(hào)以及信息實(shí)體等數(shù)據(jù)，在將這些數(shù)據(jù)填寫到數(shù)據(jù)結(jié)構(gòu)中供模式匹配模塊來使用。 解碼模塊把從網(wǎng)絡(luò)上抓取的原始數(shù)據(jù)包，從下向上沿各個(gè)協(xié)議棧進(jìn)行解碼并填充相應(yīng)的數(shù)據(jù)結(jié)構(gòu)，以便模式匹配模塊處理。 模式匹配模塊應(yīng)用 KWP算法將 匹配字庫與捕獲到的 IM信息進(jìn)行匹配，提取有害信息，對有害信息進(jìn)行定位。 輸出模塊接收模式匹配模塊匹配出的結(jié)果建立黑名單，根據(jù)輸出類型分別分發(fā)到圖形顯示模塊、日志模塊及提供黑名單給網(wǎng)關(guān)計(jì)算機(jī)以便于攔截計(jì)算機(jī)攔截有害內(nèi)容。 命令模塊將用戶的信息傳遞給主控模塊。 圖形顯示模塊顯示 目前的關(guān)鍵字和匹配成功的信息和信息的源 IP地址、目的IP地址、端口號(hào)、 ID號(hào)。 日志模塊實(shí)現(xiàn)各種報(bào)文日志功能，也就是把各種類型的報(bào)文記錄到各科類型的日志中。 系統(tǒng)功能模塊圖如下圖 7： 系統(tǒng)功能模塊主控模塊命令模塊輸 出 模 塊日 志 模 塊圖 形 顯 示 模 塊解 碼 模 塊匹 配 模 塊包 捕 獲 模 塊 圖 7 系統(tǒng)功能模塊 5 論壇監(jiān)測 軟件的實(shí)現(xiàn) 通過分析，后臺(tái)軟件選用 Red (Linux )作為開發(fā)平臺(tái)。主要因?yàn)?： 1. Linux網(wǎng)絡(luò)功能強(qiáng)大，其本身是依靠網(wǎng)絡(luò)技術(shù)發(fā)展的。 2. Linux libpcap支持的比較 好。并且可以得到 libpcap的更新版本。 3. 目前的幾種主流抓包軟件都有支持 Linux的版本，便于比較功能。 4. Linux下的軟件是開放式源代碼產(chǎn)品，便于學(xué)習(xí)。 5. 基于開放式源代碼的特性，系統(tǒng)中不會(huì)存在后門，安全性好。由于 Window系統(tǒng)的圖形開發(fā)功能強(qiáng)大，因此選擇在 Win2021professional上開發(fā)前臺(tái)軟件 。 服務(wù)器端建議用戶的計(jì)算機(jī)使用以下配置（或更高）： CPU： Intel 或兼容機(jī) 硬盤： 7200 轉(zhuǎn) /分，剩余空間 100M 內(nèi)存：建議 512MB 或更多 鼠標(biāo)： 3D 光電鼠 鍵盤：標(biāo)準(zhǔn) 104 鍵 Microsoft Windows NT Server 、 Windows 2021 Server、 Microsoft Windows NT Server 企業(yè)版、 Windows 2021 Advanced Server 及 Windows 2021 Data Center Server 或者更高軟件版本。 客戶端推薦配置 : 客戶端要求不高， 以上或者兼容版本。 本設(shè)計(jì) 預(yù)期成果 是完成互聯(lián)網(wǎng)論壇監(jiān)測的功能并能夠?qū)崿F(xiàn)通過身份驗(yàn)證，實(shí)現(xiàn)客戶端訪問服 務(wù)器時(shí)，可以通過服務(wù)器上的 監(jiān)測 系統(tǒng)，把客戶端的信息捕獲到 并實(shí)現(xiàn)過濾功能 。提供本畢業(yè)設(shè)計(jì)開發(fā)的軟件和畢業(yè)設(shè)計(jì)論文。 軟件模塊的實(shí)現(xiàn) 主控模塊 ： 主進(jìn)程功能通過主控模塊完成，主控模塊是系統(tǒng)的初始化進(jìn)程。 首先它負(fù)責(zé)解釋命令行，它調(diào)用了 getopt函數(shù)，來進(jìn)行命令行的解析。如果命令行給出的參數(shù)不正確，會(huì)提示用戶一個(gè)信息然后退出。如果命令行給出的參數(shù)正確，將參數(shù)相應(yīng)的數(shù)據(jù)放在一個(gè)全局的緩沖區(qū)內(nèi)。參數(shù)內(nèi)容即過濾規(guī)則供包捕獲模塊使用。 第二點(diǎn)建立 socket，主控模塊 socket的處理主要是完成接收命令模塊發(fā)送的消息，根據(jù)數(shù)據(jù)包的類型標(biāo)志位分別處理。 第三處理用戶命令。 啟動(dòng)抓包 ： 初始化抓包線程。 停止抓包 ： 關(guān)閉抓包線程。 查看當(dāng)前流量 ： 打開系統(tǒng)中 /pros//dev文件，從而獲得網(wǎng)絡(luò)接口 的流 量數(shù)據(jù)，然后將數(shù)據(jù)后發(fā)送給前臺(tái)軟件進(jìn)行顯示。 結(jié)束主程序 ： 最后等待用戶退出消息，結(jié)束該系統(tǒng)工作，完成應(yīng)用退出時(shí)的釋放資源工作。 包捕獲模塊 ： 包捕獲模塊是通過啟動(dòng)主線程來完成的。主線程啟動(dòng)后首先讀取存放關(guān)鍵詞的文件，將需要捕獲的關(guān)鍵詞放在一個(gè)全局的緩沖區(qū)內(nèi)。 第二步建立 socket，主線程中的 socket主要是完 成數(shù)據(jù)包的捕獲和匹配后，將信息按照定義的接 口發(fā)送信息。 第三步根據(jù)全局系統(tǒng)緩沖區(qū)中存放的命令參數(shù)，定義過濾規(guī)則，建立過濾器指令鏈表頭，該數(shù)據(jù)結(jié)構(gòu)詳細(xì)介紹在后面。過濾規(guī)則中包括數(shù)據(jù)鏈路層網(wǎng)絡(luò)傳輸類型、網(wǎng)絡(luò)層 IP地址范圍以及傳輸層使用的端口號(hào)。 第四步調(diào)用包捕獲模塊開始抓包。包捕獲模塊主要調(diào)用 Libpcap完成用戶層次的數(shù)據(jù)包截獲工作。 Libpcap 庫所提供的主要功能函數(shù)有pcap_open_live(),pcap_read(),pcap_pile(),pcap_setfilter(), pcap_close()。 這 5個(gè)接口函數(shù)的主要功能如下所述 ： 1. pcap_ open_live()，用來獲得一個(gè)數(shù)據(jù)截獲描述符，該描述符用于查看在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包 ； 2. pcap_read()，用于讀取底層數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)包，并對捕獲到的數(shù)據(jù)包用參數(shù)所設(shè)定的回調(diào)函數(shù)進(jìn)行處理 ； 3. pcap_pile()，用于生成過濾器指令鏈表 ； 4. pcap_setfilter(),用 于設(shè)定過濾器 ； 5. pcap close()， 關(guān)閉相關(guān)的文件井釋放對應(yīng)資源 。 打開數(shù)據(jù)包截獲設(shè)備，定義 t是指向 數(shù)據(jù)包截獲設(shè)備描述符結(jié)構(gòu) pcap的全局指針。該函 數(shù)由查詢當(dāng)前系統(tǒng)可用的數(shù)據(jù)包截獲設(shè)備，得到該設(shè)各描述符以及設(shè)置過濾器規(guī)則組成。 結(jié)構(gòu) pcap是實(shí)現(xiàn)數(shù)據(jù)包截獲機(jī)制的一個(gè)關(guān)鍵數(shù)據(jù)結(jié)構(gòu)。 Struct pcap { int fd。 文件描述符，這里指數(shù)據(jù)包的描述符，即底層過濾器特殊文件描述符 int snapshot。 快照，這里是所指定查看數(shù)據(jù)包的長度。 int linktype。 底層數(shù)據(jù)鏈路層接口類型。 int tzoff。 時(shí)區(qū)與格林尼治時(shí)區(qū)的偏移量。 int offset。 對應(yīng)于不同對齊方式的偏移量。 struct pcap_sf 。 表示數(shù)據(jù)包轉(zhuǎn)儲(chǔ)文件的文件結(jié)構(gòu)。 struct pcap_md 。 表示數(shù)據(jù)包截獲機(jī)制狀態(tài)和相關(guān)設(shè)備狀態(tài)的結(jié)構(gòu)。 int bufsize。 數(shù)據(jù)包緩沖區(qū)大小。 u char *buffer。 數(shù)據(jù)包緩沖區(qū)的首地址。 u char *bf。 緩沖區(qū)指針。 int cc。 用于計(jì)數(shù)目的的整數(shù)。 u_char *pkt。 用于特定函數(shù)目的的地址指針。 struct by program fcode。 為一指向過濾器程序代碼的指針 。 char errbuf [PCAP_ERRBUF_SIZE]。用于存放錯(cuò)誤信息字符串的數(shù)組。 }。 過濾器程序用 pcap_pile(), pcap_ setfilter()函數(shù)和 bpf_ program數(shù)據(jù)結(jié)構(gòu)來描述，該數(shù)據(jù)結(jié)構(gòu)如下所示 : Struct bpf_ program { U_ int bf_ len。 這定這段指令程序的長度。 Struct bpf_ insn *bf_ insns。 指向一個(gè)過濾器指令鏈表頭的指針值。 }。 程序的循環(huán)部分是讀取打開的截獲設(shè)備上的所有數(shù)據(jù)包，直到滿 足設(shè)置的最大 截獲數(shù)目。如果失敗返回，則顯示出錯(cuò)信息。由于最大截獲數(shù)目設(shè)置為 1，該函數(shù)在無錯(cuò)誤情況下，將進(jìn)入永久循環(huán)過程中。 解碼模塊 ： 包捕獲模塊中，定義了從網(wǎng)絡(luò)上抓取原始數(shù)據(jù)包后的處理函數(shù)。過程復(fù)雜，因此劃分出解碼模塊專門對捕獲的原始數(shù)據(jù)包進(jìn)行處理。 BPF是工作在數(shù)據(jù)鏈路層， 按照以太網(wǎng)頭結(jié)構(gòu)取得數(shù)據(jù)包在該層中的信息。以太網(wǎng)頭數(shù)據(jù)結(jié)構(gòu)定義如下。根據(jù)數(shù)據(jù)結(jié)構(gòu)中以太網(wǎng)類型一項(xiàng)可以繼續(xù)判斷是 IP傳輸。 struct EtherHdr { unsigned char ether_dst[6]: 目標(biāo)網(wǎng)卡地址。 unsigned char ether_src[6]。 源網(wǎng)卡地址。 unsigned char ether_type[6]。 以太網(wǎng)類型。 }。 去掉以太網(wǎng)頭部信息可以得到 IP層數(shù)據(jù)實(shí)體。 IP層頭部數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)定 義如下。分析該數(shù)據(jù)結(jié)構(gòu)，可以很容易取出該數(shù)據(jù)流的源 IP地址、目的 IP 地址、傳輸層協(xié)議類型。 struct ip { unsigned int ip version:4。 ipv4 unsigned int ip_length:4。 IP包頭 長度 unsigned char ip tos。 服務(wù)類型 unsigned short ip_total_ length IP數(shù)據(jù)包的總長度 unsigned short ip_flags。 標(biāo)志位 unsigned char ip_ttl。 生存期 unsigned char ip_protocol。 傳輸層協(xié)議類型 unsigned short ip_checksum。 IP頭的校驗(yàn)和 unsigned int ip_source。 源 IP地址 unsigned int ip_dest。 目的 IP地址 }。 當(dāng)解碼模塊按照 TCP/IP格式取得數(shù)據(jù)傳輸體中的實(shí)際數(shù)據(jù)時(shí) (數(shù)據(jù)實(shí)體 )，需要按照一定的協(xié)議格式進(jìn)行匹配處理。 模式匹配模塊 模式匹配模塊通過打開存取有害詞庫的文件提取并建立匹配字庫。將匹配字庫與從解碼模塊提取的信息實(shí)體內(nèi)容進(jìn)行字符串比較，比較算法