【正文】 Design and Implementation of the Inter Forum Detective System Abstract As the inter has been developing rapidly, the inter forum has brought many convenient to the people. But at the same time, it also has been having a series of questions, such as spreads the pornography, declares the reactionary opinion, divulges the secret of technology, etc. Therefore the requirement of the Inter forum detective system has been stared in the face, and thorough analysis for the system has the extremely vital significance. The thesis introduces the base knowledge of work, the principle of the work detecting and filter. Pointed out a method of how the data transport from the customer to the server. The thesis has analyzed the goal of inter forum detective system, the principle of system position and the function module. The important module includes the module of capture package, module of decode, module of matching. The system proposes the broadcast characteristic of Ether, using the BPF technology to gain the work information in the mon work environment. The system has base on Linux operation system, transferring a libpcap storeroom function to grasp the package, analyzing the content of the package and finding the bad message in order to realize the function of filter. The thesis uses the method which was referred just now to construct the system detective, and it realizes some of its functions. Key words: The forum detecting。其主要模塊包括包捕獲模塊、解碼模塊、模式匹配模塊。它在給人們帶來(lái)了諸多方便的同時(shí)也產(chǎn)生了諸如傳播色情暴力、發(fā)表反動(dòng) 言論和泄漏技術(shù)機(jī)密等一系列嚴(yán)重的問(wèn)題。因此人們對(duì)網(wǎng)絡(luò)論壇內(nèi)容監(jiān)測(cè) 的需求已經(jīng)迫在眉睫，而對(duì)它的深入分析和研究就更具有極為重要的意義。它還提出了利用以太網(wǎng)的廣播特性，在共享式網(wǎng)絡(luò)環(huán)境下使用 BPF 技術(shù)來(lái)獲取傳輸中的信息。 Libpcap。 通過(guò)設(shè)計(jì) 流量控制，身份驗(yàn)證，屏蔽各種端口等方法 對(duì)用 戶 上網(wǎng) 發(fā)信息到目標(biāo)論壇 進(jìn)行嚴(yán)格管理與控制 ， 有效預(yù)防 木馬 、 病毒 和用戶 進(jìn)行反動(dòng)，色情的信息傳遞 。 而隨之帶來(lái)的安全和管理問(wèn)題不得不受到用戶的重視。監(jiān)視實(shí)時(shí)通訊的信息 并提取有害 內(nèi)容 ， 而且 在不 影響網(wǎng)絡(luò)性能的基礎(chǔ)上提取信息體，并進(jìn)行高效的匹配從而建立有害信息庫(kù) ，為 進(jìn)一步攔截和做出統(tǒng)計(jì)分析做準(zhǔn)備。一種是通過(guò)偵測(cè)記錄信息進(jìn)行 監(jiān)測(cè) ，類似于木馬程序，這種監(jiān)測(cè)軟件通過(guò)抓屏、記錄鍵盤擊鍵信息或竊取 IM 記錄文件等方式能夠獲取 用戶信息。內(nèi)核空間部分 :負(fù)責(zé)從網(wǎng)絡(luò)中捕獲以及過(guò)濾數(shù)據(jù)包。數(shù)據(jù)包常規(guī)的傳輸路徑依次為網(wǎng)卡 、設(shè)備驅(qū)動(dòng)層、數(shù)據(jù)鏈路層、 IP 層、網(wǎng) 絡(luò) 緩沖區(qū) 過(guò)濾區(qū) 過(guò)濾區(qū) 緩沖區(qū) 傳輸層 網(wǎng)絡(luò)層 DLPI 接口 協(xié)議分析模塊 系統(tǒng)無(wú)關(guān)捕獲模塊 用戶交互模塊 其它監(jiān)測(cè) 程序 用戶程序 包 捕 獲 用戶層 核心層 圖 1監(jiān)測(cè)程序結(jié)構(gòu) 傳輸層、最后到達(dá)應(yīng)用程序。該過(guò)濾機(jī)制可以作用在鏈路層、網(wǎng)絡(luò)層和傳輸層這幾個(gè)層次。幀的目標(biāo)區(qū)域具有廣播地址 。如果符合本機(jī) 1P地址則交給傳輸層處理。當(dāng)網(wǎng)絡(luò)接口處于這種混雜模式時(shí)，該網(wǎng)絡(luò)接口具備“廣播地址”，它對(duì)所有接收到的幀都產(chǎn)生硬件中斷以提醒操作系統(tǒng)處理流經(jīng)該物理媒 體上的每一個(gè)報(bào)文 (絕大多數(shù)的網(wǎng)絡(luò)接口具備置成 promiscuous方式的能力 )。如果垃圾數(shù)據(jù)比重極大，將嚴(yán)重影響系 統(tǒng)工作效率。信息的簡(jiǎn)單過(guò)濾有如下幾種。 服務(wù)過(guò)濾 ： 根據(jù)端口篩選特定類型服務(wù)。同時(shí)企業(yè)如何能夠從海量的數(shù)據(jù)信息中獲取民眾焦點(diǎn)和社會(huì)輿論動(dòng)向已經(jīng)成為管理部門日常工作的重中之重。它是當(dāng)今網(wǎng)絡(luò)發(fā)展的必然產(chǎn)物，也是未來(lái)網(wǎng)絡(luò)的不可或缺的。 互聯(lián)網(wǎng)論壇 內(nèi)容監(jiān)測(cè) 系統(tǒng)能夠自動(dòng)獲取目標(biāo)論壇的發(fā)布內(nèi)容，系統(tǒng)針對(duì)發(fā)帖作者、發(fā)帖時(shí)間、帖子 URL、帖子標(biāo)題和帖子正文等關(guān)鍵字段開(kāi)放基于單個(gè)字段或是組合選項(xiàng)的熱點(diǎn)查詢功能，并能自動(dòng)生成數(shù)據(jù)報(bào)告，從而幫助系統(tǒng)使用者真正實(shí)現(xiàn)對(duì)于社會(huì)熱點(diǎn)的把握和社會(huì)動(dòng)向的預(yù)期。 數(shù)據(jù)報(bào)告生成平臺(tái)： 以海量信息為基礎(chǔ)，自動(dòng)聚成目標(biāo)論壇當(dāng)前熱點(diǎn)，并發(fā)布信息快照、生成數(shù)據(jù) 報(bào)告。 專項(xiàng)針對(duì)論壇發(fā)布內(nèi)容獲取 關(guān)注熱點(diǎn)查詢 自動(dòng)聚成目標(biāo)論壇當(dāng)前熱點(diǎn) 所以先介紹Libpcap： Libpcap接口支持基于 BSD數(shù)據(jù)包過(guò)濾器 (BPF: BerkeleyPaeket Filter)的數(shù)據(jù)過(guò)濾機(jī) 制。網(wǎng)卡部分監(jiān)視共享網(wǎng)絡(luò)中的所有包，BPF用過(guò)濾條件匹配監(jiān)視到的包，若匹配成功則將之從網(wǎng)卡驅(qū)動(dòng)的緩沖區(qū)復(fù)制到核心區(qū)。這樣的設(shè)計(jì)使用戶程序不需與網(wǎng)卡驅(qū)動(dòng)程序交互。管理用戶緩沖區(qū) (用戶程序不可見(jiàn) ) BPF 工作原理： 用戶程序 Llibpcap 庫(kù)函數(shù) 用戶緩沖區(qū) 用戶程序 Llibpcap 庫(kù)函數(shù) 用戶緩沖區(qū) 復(fù)制緩沖區(qū) 存儲(chǔ)緩沖區(qū) 過(guò)濾器 復(fù)制緩沖區(qū) 存儲(chǔ)緩沖區(qū) 過(guò)濾器 網(wǎng)絡(luò)接口卡 用戶級(jí) 內(nèi)核級(jí) 網(wǎng)絡(luò) 圖 4 Libpcap 工作流程圖 許多版本的 UNIX 都提供用戶級(jí)別的網(wǎng)絡(luò) 監(jiān)測(cè) 功能，因?yàn)?監(jiān)測(cè) 程序以用戶級(jí)別進(jìn)程工作。過(guò)濾器決定某一數(shù)據(jù)包是被接收還是拒絕，以及如果被接受，數(shù)據(jù)中的那些部分被拷貝給應(yīng)用程序。做服務(wù)器端的多臺(tái)機(jī)子在一個(gè)局域網(wǎng)內(nèi)，組成目標(biāo)論壇，接收來(lái)自其他網(wǎng)絡(luò)的客戶機(jī)的信息。該軟件就自動(dòng)刪除該帖子實(shí)現(xiàn)過(guò)濾功能。 由此可得到它的拓?fù)鋱D如下圖 6： 對(duì) 外部 網(wǎng)絡(luò)的 監(jiān)測(cè) ： 根據(jù)具體網(wǎng)絡(luò)大小和監(jiān)測(cè)應(yīng)用的范圍有所不同而 做 些修改即可。 互聯(lián)網(wǎng)論壇 監(jiān)測(cè) 系統(tǒng)呈現(xiàn)簡(jiǎn)潔、歸一化的操作界面，多線程獲取網(wǎng)站發(fā)布數(shù)據(jù)。 系統(tǒng)在受限于上述遍歷層數(shù)的同時(shí)，還能接受管理人員對(duì)于最大下載字節(jié)數(shù)與每次請(qǐng)求間隔時(shí)間的設(shè)置，從而避免因其內(nèi)容獲取操作而造成目標(biāo)論壇的工作負(fù)載驟然增加。 全部監(jiān)視 /不監(jiān)視、只監(jiān)視部分應(yīng)用 。 如果有人在觀看網(wǎng)站的帖子后，想發(fā)表評(píng)論，如果評(píng)論中包含色情和反動(dòng)的字眼就自動(dòng)刪除該帖子，并發(fā)出警報(bào)。 因此采用過(guò)濾方法模糊控制模式去忽略對(duì)一些公共的東西過(guò)濾 。 數(shù)據(jù)備份和配置管理 ： 包括 允許定義數(shù)據(jù)保存時(shí)間或刪除過(guò)時(shí)的數(shù)據(jù) 。 監(jiān)測(cè) 系統(tǒng) 功能模塊的描述 對(duì) 用戶 上網(wǎng)行為的 監(jiān)測(cè)和管理事實(shí)上要配合一個(gè)復(fù)雜的網(wǎng)絡(luò)系統(tǒng)體系去實(shí)現(xiàn)，首先要定義 網(wǎng)絡(luò)用戶的類型，普通用戶、管理員等都應(yīng) 有不同的網(wǎng)絡(luò)權(quán)限去獲得網(wǎng)絡(luò)的資源，因此就需要網(wǎng)管功能的軟硬件了 。后臺(tái)部分由主進(jìn)程和主線程完成。 主控模塊實(shí)現(xiàn)的功能包括所有模塊的初始化、命令行解釋、配置文件解釋、建立主線程、關(guān)閉主線程。 模式匹配模塊應(yīng)用 KWP算法將 匹配字庫(kù)與捕獲到的 IM信息進(jìn)行匹配，提取有害信息，對(duì)有害信息進(jìn)行定位。 日志模塊實(shí)現(xiàn)各種報(bào)文日志功能，也就是把各種類型的報(bào)文記錄到各科類型的日志中。并且可以得到 libpcap的更新版本。由于 Window系統(tǒng)的圖形開(kāi)發(fā)功能強(qiáng)大，因此選擇在 Win2021professional上開(kāi)發(fā)前臺(tái)軟件 。提供本畢業(yè)設(shè)計(jì)開(kāi)發(fā)的軟件和畢業(yè)設(shè)計(jì)論文。如果命令行給出的參數(shù)正確，將參數(shù)相應(yīng)的數(shù)據(jù)放在一個(gè)全局的緩沖區(qū)內(nèi)。 包捕獲模塊 ： 包捕獲模塊是通過(guò)啟動(dòng)主線程來(lái)完成的。過(guò)濾規(guī)則中包括數(shù)據(jù)鏈路層網(wǎng)絡(luò)傳輸類型、網(wǎng)絡(luò)層 IP地址范圍以及傳輸層使用的端口號(hào)。 這 5個(gè)接口函數(shù)的主要功能如下所述 ： 1. pcap_ open_live()，用來(lái)獲得一個(gè)數(shù)據(jù)截獲描述符，該描述符用于查看在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包 ； 2. pcap_read()，用于讀取底層數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)包，并對(duì)捕獲到的數(shù)據(jù)包用參數(shù)所設(shè)定的回調(diào)函數(shù)進(jìn)行處理 ； 3. pcap_pile()，用于生成過(guò)濾器指令鏈表 ； 4. pcap_setfilter(),用 于設(shè)定過(guò)濾器 ； 5. pcap close()， 關(guān)閉相關(guān)的文件井釋放對(duì)應(yīng)資源 。 Struct pcap { int fd。 底層數(shù)據(jù)鏈路層接口類型。 對(duì)應(yīng)于不同對(duì)齊方式的偏移量。 表示數(shù)據(jù)包截獲機(jī)制狀態(tài)和相關(guān)設(shè)備狀態(tài)的結(jié)構(gòu)。 數(shù)據(jù)包緩沖區(qū)的首地址。 用于計(jì)數(shù)目的的整數(shù)。 為一指向過(guò)濾器程序代碼的指針 。 過(guò)濾器程序用 pcap_pile(), pcap_ setfilter()函數(shù)和 bpf_ program數(shù)據(jù)結(jié)構(gòu)來(lái)描述，該數(shù)據(jù)結(jié)構(gòu)如下所示 : Struct bpf_ program { U_ int bf_ len。 }。 解碼模塊 ： 包捕獲模塊中，定義了從網(wǎng)絡(luò)上抓取原始數(shù)據(jù)包后的處理函數(shù)。根據(jù)數(shù)據(jù)結(jié)構(gòu)中以太網(wǎng)類型一項(xiàng)可以繼續(xù)判斷是 IP傳輸。 unsigned char ether_type[6]。 IP層頭部數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)定 義如下。 IP包頭 長(zhǎng)度 unsigned char ip tos。 傳輸層協(xié)議類型 unsigned short ip_checksum。 當(dāng)解碼模塊按照 TCP/IP格式取得數(shù)據(jù)傳輸體中的實(shí)際數(shù)據(jù)時(shí) (數(shù)據(jù)實(shí)體 )，需要按照一定的協(xié)議格式進(jìn)行匹配處理。匹配算法部分因?yàn)椴捎?KMP算法，所以編寫生成 NEXT數(shù)組函數(shù)和匹配函數(shù)組成。系統(tǒng)啟動(dòng)后，對(duì)網(wǎng)絡(luò)進(jìn)行初始化，與后臺(tái)軟件建立聯(lián)系。 BOOL bSuccess。 LPOVERLAPPED pCompletedOverlapped。 BOOL bSuccess。 LPOVERLAPPED pCompletedOverlapped。 // Use Send/Receive Key Instead Of pAdapter pAdapterm_hReadPort = CreateIoCompletionPort( 管理員 命令 日志 報(bào)警 顯示 前臺(tái)軟件 后臺(tái) 接收對(duì)象 報(bào)警 數(shù)據(jù) 圖 8 系統(tǒng)對(duì)象關(guān)系圖 INVALID_HANDLE_VALUE, //file handle to associate with I/O pletion port NULL, //optional handle to existing I/O pletion port (DWORD ) pAdapter, //pletion key 2 // of threads allowed to execute concurrently )。 0x18) define BPF_W 0x00 define BPF_H 0x08 define BPF_B 0x10 define BPF_MODE (code) ((code) amp。