【正文】 第 1 頁 共 25 頁 1 引 言 互聯(lián)網(wǎng) 發(fā)展迅速， 網(wǎng)絡(luò)論壇 不僅 逐漸 成為企業(yè)內(nèi)部的溝通橋梁，也是企業(yè)和外部進(jìn)行各類業(yè)務(wù)往來的重要管道。 本課題研究的意義 通過設(shè)計(jì) 流量控制，身份驗(yàn)證，屏蔽各種端口等方法 對(duì)用 戶 上網(wǎng) 發(fā)信息到目標(biāo)論壇 進(jìn)行嚴(yán)格管理與控制 ， 有效預(yù)防 木馬 、 病毒 和用戶 進(jìn)行反動(dòng)，色情的信息傳遞 。 本系統(tǒng)的開發(fā)首先分析互聯(lián)網(wǎng)論壇 監(jiān)測(cè) 系統(tǒng)軟件的相關(guān)功能，結(jié)合本次畢業(yè)設(shè)計(jì)的相關(guān)要求寫出需求分析；其次，綜合運(yùn)用以前所學(xué)的相關(guān)知識(shí)（包括計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、相關(guān)協(xié)議、信息安全相關(guān)知識(shí)等），選擇所熟悉的開發(fā)工具進(jìn)行本畢業(yè)設(shè)計(jì)的開發(fā)；在設(shè)計(jì)中以需求分析為基礎(chǔ)，寫出系統(tǒng)開發(fā)計(jì)劃、實(shí)現(xiàn)流程及相關(guān)問題的實(shí)現(xiàn)方法；同時(shí)，在開發(fā)設(shè)計(jì)與實(shí)現(xiàn)中，要保存好相關(guān)的設(shè)計(jì)文擋，為后面的畢業(yè)論文的寫作準(zhǔn)備材料；最后，系統(tǒng)開發(fā)完畢后，進(jìn)行調(diào)試和試運(yùn)行，做好調(diào)試和試運(yùn)行 的相關(guān)記錄，也為后面的畢業(yè)論文的寫作準(zhǔn)備材料。 而隨之帶來的安全和管理問題不得不受到用戶的重視。而 監(jiān)測(cè) 也僅僅是一種手段，必須和企業(yè)的管理機(jī)制掛鉤，有了比較好的銜接才能真正的實(shí)現(xiàn)事半功倍。監(jiān)視實(shí)時(shí)通訊的信息 并提取有害 內(nèi)容 ， 而且 在不影響網(wǎng)絡(luò)性能的基礎(chǔ)上提取信息體，并進(jìn)行 高效的匹配從而建立有害信息庫 ，為 進(jìn)一步攔截和做出統(tǒng)計(jì)分析做準(zhǔn)備。但隨著互連網(wǎng)的快速普及和網(wǎng)絡(luò)攻擊行為的頻繁出現(xiàn)，保護(hù)網(wǎng)絡(luò)的運(yùn)行安全也成為監(jiān)測(cè) 軟件的另一個(gè)重要目的。一種是通過偵測(cè)記錄信息進(jìn)行 監(jiān)測(cè) ，類似于木馬程序，這種監(jiān)測(cè)軟件通過抓屏、記錄鍵盤擊鍵信息或竊取 IM 記錄文件等方式能夠獲取用戶信息。 監(jiān)測(cè) 特指“ sniffer” (通常直譯為嗅探或窺探 )，即利用計(jì)算機(jī)網(wǎng)絡(luò)接口截獲目的地為其他計(jì)算機(jī)的數(shù)據(jù)報(bào)文。內(nèi)核空間部分 :負(fù)責(zé)從網(wǎng)絡(luò)中捕獲以及過濾數(shù)據(jù)包。用戶空間部分 :負(fù)責(zé)處理用戶界面、格式化、協(xié)議分析，此外如果核心層沒有進(jìn)行過濾的話，還必須負(fù)責(zé)過濾部分工作。數(shù)據(jù)包常規(guī)的傳輸路徑依次為網(wǎng)卡 、設(shè)備驅(qū)動(dòng)層、數(shù)據(jù)鏈路層、 IP 層、網(wǎng) 絡(luò) 緩沖區(qū) 過濾區(qū) 過濾區(qū) 緩沖區(qū) 傳輸層 網(wǎng)絡(luò)層 DLPI 接口 協(xié)議分析模塊 系統(tǒng)無關(guān)捕獲模塊 用戶交互模塊 其它監(jiān)測(cè) 程序 用戶程序 包 捕 獲 用戶層 核心層 圖 1監(jiān)測(cè)程序結(jié)構(gòu) 第 3 頁 共 25 頁 傳輸層、最后到達(dá)應(yīng)用程序。值得注意的是，包捕獲機(jī)制并不影響操作系統(tǒng)對(duì)數(shù)據(jù)包的網(wǎng)絡(luò)棧處理。該過濾機(jī)制可以作用在鏈路層、網(wǎng)絡(luò)層和傳輸層這幾個(gè)層次。幀的目標(biāo)區(qū)域具有和本地網(wǎng)絡(luò)接口相匹配的硬件地址。幀的目標(biāo)區(qū)域具有廣播地址 。而其他情況下數(shù)據(jù)幀 將被丟棄不作處理。如果符合本機(jī) 1P地址則交給傳輸層處理。要 監(jiān)測(cè) 到流經(jīng)網(wǎng)卡的不屬于自己主機(jī)的數(shù)據(jù)，必須繞過系統(tǒng)正常工作的處理機(jī)制，直接訪問網(wǎng)絡(luò)底層。當(dāng)網(wǎng)絡(luò)接口處于這種混雜模式時(shí)，該網(wǎng)絡(luò)接口具備“廣播地址”，它對(duì)所有接收到的幀都產(chǎn)生硬件中斷以提醒操作系統(tǒng)處理流經(jīng)該物理媒體上的每一個(gè)報(bào)文 (絕大多數(shù)的網(wǎng)絡(luò)接口具 備置成 promiscuous方式的能力 )。 監(jiān)測(cè) 程序工作在網(wǎng)絡(luò)環(huán)境中的底層，它會(huì)攔截所有的正在網(wǎng)絡(luò)上傳送的數(shù)據(jù)，并且通過相應(yīng)的軟件處理，可以實(shí)時(shí)分析這些數(shù)據(jù)的內(nèi)容，進(jìn)而分析所處的網(wǎng)絡(luò)狀態(tài)和整體布局。如果垃圾數(shù)據(jù)比重極大，將嚴(yán)重影響系統(tǒng)工作效率。低效率的過第 4 頁 共 25 頁 濾程序會(huì)導(dǎo)致數(shù)據(jù)包丟失、來不及分析處理等。信息的簡單過濾有如下幾種。 TCP數(shù)據(jù)而非 UDP數(shù)據(jù)。 服務(wù)過濾 ： 根據(jù)端口篩選特定類型服務(wù)。 本系統(tǒng)采用內(nèi) 容過濾的方法來實(shí)現(xiàn)論壇 監(jiān)測(cè) 。同時(shí)企業(yè)如何能夠從海量的數(shù)據(jù)信息中獲取民眾焦點(diǎn)和社會(huì)輿論動(dòng)向已經(jīng)成為管理部門日常工作的重中之重。 所以一 種能夠?qū)崟r(shí) 監(jiān)測(cè) 網(wǎng)絡(luò)流量和網(wǎng)絡(luò)傳輸信息，又能夠通過網(wǎng)絡(luò)信息中把色情 和反動(dòng)字眼的內(nèi)容過濾的軟件， 是我們迫切需要的。它是當(dāng)今網(wǎng)絡(luò)發(fā)展的必然產(chǎn)物，也是未來網(wǎng)絡(luò)的不可或缺的。 對(duì) 用戶 上網(wǎng)行為的 監(jiān)測(cè) 和管理事實(shí)上要配合一個(gè)復(fù)雜的網(wǎng)絡(luò)系統(tǒng)體系去實(shí)現(xiàn)，首先要定義出 了 網(wǎng)絡(luò)用戶的類型，普通用戶、管理員等都應(yīng) 有不同的網(wǎng)絡(luò)權(quán)限去獲得網(wǎng)絡(luò)的資源 。 互聯(lián)網(wǎng)論壇 內(nèi)容監(jiān)測(cè) 系統(tǒng)能夠自動(dòng)獲取目標(biāo)論壇的發(fā)布內(nèi)容，系統(tǒng)針對(duì)發(fā)帖作者、發(fā)帖時(shí)間、帖子 URL、帖子標(biāo)題和帖子正文等關(guān)鍵字段開放基于單個(gè)字段或是組合選項(xiàng)的熱點(diǎn)查詢功能，并能自動(dòng)生成數(shù)據(jù)報(bào)告，從而幫助系統(tǒng)使用者真正實(shí)現(xiàn)對(duì)于社會(huì)熱點(diǎn)的把握和社會(huì)動(dòng)向的預(yù)期。 其實(shí)這兩個(gè)平臺(tái)都是起到方便客戶查找的功能。 數(shù)據(jù)報(bào)告生成平臺(tái)： 以海量信息為基礎(chǔ)，自動(dòng)聚成目標(biāo)論壇當(dāng)前熱點(diǎn)，并發(fā)布信息快照、生成數(shù)據(jù)報(bào)告。 網(wǎng)絡(luò)終端瀏覽行為智能模擬 專項(xiàng)針對(duì)論壇發(fā)布內(nèi)容獲取 在這個(gè)定點(diǎn)網(wǎng)站中利用搜索， 提取 所需 的 信息。 關(guān)注熱點(diǎn)查詢 信息聚類生成數(shù)據(jù)報(bào)告 自動(dòng)聚成目標(biāo)論壇當(dāng)前熱點(diǎn) 系統(tǒng)的流程圖 由以上 對(duì)論壇 監(jiān)測(cè) 的系統(tǒng)分析，要實(shí)現(xiàn)這些功能，關(guān)鍵技術(shù)就是實(shí)現(xiàn)抓包和過濾，因此 得到該系統(tǒng)從 開始 抓包到最后匹配丟棄的一個(gè)流程圖。所以先介紹Libpcap： Libpcap接口支持基于 BSD數(shù)據(jù)包過濾器 (BPF: BerkeleyPaeket Filter)的數(shù)據(jù)過濾機(jī) 制。如 果主機(jī)上沒有 BPF機(jī)制，則所有的數(shù)據(jù)包都必須讀取到用戶空間后，再在 Libpcap庫中進(jìn)行過濾處理，這樣就會(huì)增加額外的處理負(fù)擔(dān)，導(dǎo)致性能的下降 。網(wǎng)卡部分監(jiān)視共享網(wǎng)絡(luò)中的所有包，BPF用過濾條件匹配監(jiān)視到的包，若匹配成功則將之從網(wǎng)卡驅(qū)動(dòng)的緩沖區(qū)復(fù)制到核心區(qū)。存儲(chǔ)緩沖區(qū)用于容納過濾匹配成功后的數(shù)據(jù)包，復(fù)制緩沖區(qū)用于將包從核心緩沖區(qū)復(fù)制到用戶緩沖區(qū)。這樣的設(shè)計(jì)使用戶程序不需與網(wǎng)卡驅(qū)動(dòng)程序交互。向用戶程序提供 抽象接口 管理用戶緩沖區(qū) (用戶程序不可見 ) 如法輪功，帶有色情的信息和圖片 。 BPF 工作原理： 用戶程序 Llibpcap 庫函數(shù) 用戶緩沖區(qū) 用戶程序 Llibpcap 庫函數(shù) 用戶緩沖區(qū) 復(fù)制緩沖區(qū) 存儲(chǔ)緩沖區(qū) 過濾器 復(fù)制緩沖區(qū) 存儲(chǔ)緩沖區(qū) 過濾器 網(wǎng)絡(luò)接口卡 用戶級(jí) 內(nèi)核級(jí) 網(wǎng)絡(luò) 圖 4 Libpcap 工 作流程圖 第 8 頁 共 25 頁 許多版本的 UNIX 都提供用戶級(jí)別的網(wǎng)絡(luò) 監(jiān)測(cè) 功能，因?yàn)?監(jiān)測(cè) 程序以用戶級(jí)別進(jìn)程工作。 BPF主要由兩大部分組成 : 網(wǎng)絡(luò)分接頭 (Network Tap)和數(shù)據(jù)包過濾器 (Packet Filter)。過濾器決定某一數(shù)據(jù)包是被接收還是拒絕，以及如果被接受，數(shù)據(jù)中的那些部分被拷貝給應(yīng)用程序。 當(dāng)數(shù)據(jù)包匹配成功后， 說明內(nèi)容為有害的 ，因此該信息丟棄，并發(fā)出報(bào)警聲。做服務(wù)器端的多臺(tái)機(jī)子在一個(gè)局域網(wǎng)內(nèi)，組成目標(biāo)論壇，接收來自其他網(wǎng)絡(luò)的客戶機(jī)的信息。服務(wù)器機(jī)子裝上這個(gè) 監(jiān)測(cè) 軟件后，可以捕獲到客戶端機(jī)子向這臺(tái)機(jī)子發(fā)的信息（帖子）實(shí)現(xiàn) 監(jiān)測(cè) 功能。該軟件就自動(dòng)刪除該帖子實(shí)現(xiàn)過濾功能?？蛻舳藱C(jī)子和服務(wù)器端機(jī)子分別在各自的路由器網(wǎng)關(guān)下構(gòu)成一個(gè)小型的內(nèi)部局域網(wǎng)。 由此可得到它的拓?fù)鋱D如下 圖 6： 監(jiān)測(cè) 軟件主要功能 對(duì) 外部 網(wǎng)絡(luò)的 監(jiān)測(cè) ： 根據(jù)具體網(wǎng)絡(luò)大小和 監(jiān)測(cè) 應(yīng)用的范圍有所不同而 做 些修改即可。這樣的工作流程對(duì)于中小型企業(yè)來說是比較適用，只需要一個(gè) 監(jiān)測(cè) 軟件即可，設(shè)備的投入也不大，效果也比較好。 互聯(lián) 網(wǎng)論壇 監(jiān)測(cè) 系統(tǒng)呈現(xiàn)簡潔、歸一化的操作界面，多線程獲取網(wǎng)站發(fā)布數(shù)據(jù)。 在管理人員設(shè)定的遍歷層數(shù)范圍內(nèi)，系統(tǒng)遞歸獲取起始及隨后頁面中所有超鏈接所對(duì)應(yīng)的內(nèi)容。 系統(tǒng)在受限于上述遍歷層數(shù)的同時(shí)，還能接受管理人員對(duì)于最大下載字節(jié)數(shù)與每次請(qǐng)求間隔時(shí)間的設(shè)置，從而避免因其內(nèi)容獲取操作而造成目標(biāo)論壇的工作負(fù)載驟然增加。 接入互聯(lián)網(wǎng)，對(duì)定點(diǎn)網(wǎng)站、論壇進(jìn)行數(shù)據(jù)深入挖掘，基于發(fā)帖人、發(fā)帖時(shí)間、主題及正文進(jìn)行分類檢索與統(tǒng)計(jì)，對(duì)目標(biāo)站點(diǎn)的信息提取率達(dá)到 90%。 HUB 目標(biāo)論壇 監(jiān)聽機(jī) PC HUB PC 圖 6 系統(tǒng)總體結(jié)構(gòu) 第 10 頁 共 25 頁 內(nèi)容過濾功能： 包括 對(duì)不需要監(jiān)視的對(duì)象、內(nèi)容、行為進(jìn)行過濾（忽略監(jiān)視），可針對(duì) 3 種對(duì)象（整個(gè)網(wǎng)絡(luò)、分組、電腦） 。 全部監(jiān)視 /不監(jiān)視、只監(jiān)視部分應(yīng)用 。 由于網(wǎng)頁監(jiān)視很多廣告垃圾而且比較消耗硬盤空間等資源 。 如果有人在觀看網(wǎng)站的帖子后，想 發(fā)表評(píng)論，如果評(píng)論中包含 色情 和反動(dòng)的字眼就自動(dòng)刪除該帖子，并發(fā)出警報(bào)。 網(wǎng)站過濾白名單和黑名單功能 。 因此采用過濾方法模糊控制模式去忽略對(duì)一些公共的東西過濾 。對(duì)包含色情和反動(dòng)信息的過濾叫做黑名單過濾。 數(shù)據(jù)備份和配置管理 ： 包括 允許定義數(shù)據(jù)保存時(shí)間或刪除過時(shí)的數(shù)據(jù) 。 簡單容易的數(shù)據(jù)備份方式和海量存儲(chǔ)模式 。 監(jiān)測(cè) 系統(tǒng) 功能模塊的描述 對(duì) 用戶 上網(wǎng)行為的 監(jiān)測(cè) 和管理事實(shí)上要配合一個(gè)復(fù)雜的網(wǎng)絡(luò)系統(tǒng)體系去實(shí)現(xiàn)，首先要定義 網(wǎng)絡(luò)用戶的類型，普通用戶、管理員等都應(yīng) 有不同的網(wǎng)絡(luò)權(quán)限去獲得網(wǎng)絡(luò)的資源，因此就需要網(wǎng)管功能的軟硬件了 。特別是對(duì)技術(shù)含量較高的企業(yè) 有很大用途。后臺(tái)部分由主進(jìn)程和主線程完成。主線程通過包捕獲模塊、解碼模塊、模式匹配模塊和輸出模塊來完成。 主控模塊實(shí)現(xiàn)的功能包括所有模塊的初始化、命令行解釋、配置文件解釋、建立主線程、關(guān)閉主線程。解第 11 頁 共 25 頁 碼模塊，定義不同的數(shù)據(jù)結(jié)構(gòu)取得 IP地址、 TCP層的端口號(hào)以及信息實(shí) 體等數(shù)據(jù)，在將這些數(shù)據(jù)填寫到數(shù)據(jù)結(jié)構(gòu)中供模式匹配模塊來使用。 模式匹配模塊應(yīng)用 KWP算法將 匹配字庫與捕獲到的 IM信息進(jìn)行匹配，提取有害信息，對(duì)有害信息進(jìn)行定位。 命令模塊將用戶的信息傳遞給主控模塊。 日志模塊實(shí)現(xiàn)各種報(bào)文日志功能，也就是把各種類型的報(bào)文記錄到各科類型的日志中。主要因?yàn)?： 1. Linux網(wǎng)絡(luò)功能強(qiáng)大，其本身是依靠網(wǎng)絡(luò)技術(shù)發(fā)展的。并且可以得到 libpcap的更新版本。 4. Linux下的軟件是開放式源代碼產(chǎn)品，便于學(xué)習(xí)。由于 Window系統(tǒng)的圖形開發(fā)功能強(qiáng)大，因此選擇在 Win2021professional上開發(fā)前臺(tái)軟件 。 客戶端推薦配置 : 客戶端要求不高， 以上或者兼容版本 。提供本畢業(yè)設(shè)計(jì)開發(fā)的軟件和畢業(yè)設(shè)計(jì)論文。 首先它負(fù)責(zé)解釋命令行，它調(diào)用了 getopt函數(shù)，來進(jìn)行命令行的解析。如果命令行給出的參數(shù)正確，將參數(shù)相應(yīng)的數(shù)據(jù)放在一個(gè)全局的緩沖區(qū)內(nèi)。 第二點(diǎn)建立 socket，主控模塊 socket的處理主要是完成接收命令模塊發(fā)送的消息，根據(jù)數(shù)據(jù)包的類型標(biāo)志位分 別處理。 包捕獲模塊 ： 包捕獲模塊是通過啟動(dòng)主線程來完成的。 第二步建立 socket，主線程中的 socket主要是完成數(shù)據(jù)包的捕獲和匹配后，將信息 按照定義的接 口發(fā)送信息。過濾規(guī)則中包括數(shù)據(jù)鏈路層網(wǎng)絡(luò)傳輸類型、網(wǎng)絡(luò)層 IP地址范圍以及傳輸層使用的端口號(hào)。包捕獲模塊主要調(diào)用 Libpcap完成用戶層次的數(shù)據(jù)包截獲工作。 這 5個(gè)接口函數(shù) 的主要功能如下所述 ： 1. pcap_ open_live()，用來獲得一個(gè)數(shù)據(jù)截獲描述符，該描述符用于查看在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包 ； 2. pcap_read()，用于讀取底層數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)包，并對(duì)捕獲到的數(shù)據(jù)包用參數(shù)所設(shè)定的回調(diào)函數(shù)進(jìn)行處理 ； 3. pcap_pile()，用于生成