【正文】 eepalive：len=0000 keepalive消息長度固定，消息長度后面沒有任何數(shù)據(jù)。如果長度不正確，或剩余比特位有任何位置1，客戶端都應(yīng)該丟棄連接；h) request:len=0013id=6indexbeginlength request消息長度固定，用于請(qǐng)求一個(gè)塊。監(jiān)聽端口是該peer的DHT節(jié)點(diǎn)的監(jiān)聽端口，該peer應(yīng)被插入到當(dāng)?shù)芈酚杀砩希ㄈ绻鸇HT Tracker支持的話）；說明：在連接開始時(shí)，Peer之間的狀態(tài)為是“阻塞”和“無興趣”狀態(tài)，即：216。 HTTP GET請(qǐng)求格式每個(gè)HTTP請(qǐng)求都包含兩個(gè)部分：1) HTTP請(qǐng)求行，為GET；2) HTTP請(qǐng)求中的可選消息頭，這些消息頭會(huì)由于使用的HTTP客戶端瀏覽器或客戶端瀏覽器配置選項(xiàng)的不同而不同。系統(tǒng)配置表見41，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)[14]見圖45。經(jīng)查閱資料發(fā)現(xiàn)，Linux系統(tǒng)下提供了兩個(gè)用于關(guān)閉進(jìn)程的函數(shù)[9]exit()和_exit()，當(dāng)程序執(zhí)行到exit和_exit時(shí)，進(jìn)程會(huì)無條件地停止剩下所有的操作，清楚包括PCB在內(nèi)的各種數(shù)據(jù)結(jié)構(gòu)，并終止本進(jìn)程的運(yùn)行。經(jīng)仔細(xì)檢查，發(fā)現(xiàn)在打開文件時(shí)，open函數(shù)代入了一個(gè)參數(shù)O_TRUNC，這個(gè)參數(shù)的代表：當(dāng)打開文件存在時(shí)，并且以只讀或只寫方式成功打開時(shí)，首先全部刪除文件原有數(shù)據(jù)，再對(duì)文件進(jìn)行操作，因此才會(huì)發(fā)現(xiàn)原文件大小變?yōu)?。 文件寫操作時(shí)，追加與覆蓋的區(qū)別當(dāng)使用P2P方式下載文件時(shí)，由于文件采取分片傳輸?shù)姆绞?，因此要多次將受到的?shù)據(jù)寫入到文件中，文件傳送方式是順序的，在打開文件時(shí)，就將文件打開發(fā)式設(shè)置為追加方式，在用戶正常下載文件時(shí)運(yùn)行很正常。最大的區(qū)別就在于exit()函數(shù)在調(diào)用exit系統(tǒng)之前要檢查文件打開情況，把文件緩沖區(qū)中的內(nèi)容寫回文件，而_exit()則不執(zhí)行此操作。 系統(tǒng)測(cè)試時(shí)遇到的問題 socket通信中bind問題在使用socket通信中，bind()是一個(gè)很重要的函數(shù)，一般在服務(wù)器端程序中使用。這里可以看到客戶端能夠接收的類型有g(shù)if、bitmap、jpeg等等。 am_interested = 0　 （am_interested：該客戶端對(duì)此peer感興趣）216。begin：4字節(jié)整數(shù)，指明片內(nèi)的字節(jié)偏移量。該消息通常每兩分鐘發(fā)送一次；b) chock：len=0001id=0 chock消息長度固定，且沒有負(fù)載；c) unchock：len=0001id=1 unchock消息長度固定，且沒有負(fù)載；d) interested：len=0001id=2 interested消息長度固定，且沒有負(fù)載；e) not interested:len=0001id=3 not interested消息長度固定，且沒有負(fù)載；f) have:len=0005id=4piece index have消息長度固定，負(fù)載是一個(gè)片的索引，該索引從零開始，是成功下載并且通過哈希驗(yàn)證的；g) bitfield：len=0001+Xid=5bitfield bitfield消息可能只在握手系列完成后立刻發(fā)送，在這之前沒有其他任何消息發(fā)送。2) pstr:協(xié)議的字符串標(biāo)志（通常為BitTorrent protocol）。 /* IP地址 */　　 unsigned char sin_zero[8]。①為Client與內(nèi)容緩存服務(wù)器請(qǐng)求建立連接的過程；②為服務(wù)器使用新的socket與Client建立連接；③為P2P種子下載主進(jìn)程派生出一子進(jìn)程處理Client的請(qǐng)求內(nèi)容；④為子進(jìn)程查詢緩存服務(wù)器，根據(jù)Client請(qǐng)求片找到Client所需內(nèi)容；⑤為返回Client請(qǐng)求內(nèi)容過程，直到Client所需內(nèi)容下載完畢后斷開連接，釋放資源； 程序流程圖P2P種子下載進(jìn)程程序流程圖見圖43；P2P內(nèi)容服務(wù)進(jìn)程程序流程圖見圖44。 P2P種子下載進(jìn)程：主要負(fù)責(zé)種子文件的查找、下載以及內(nèi)容文件下載到P2P緩存服務(wù)器上，提供給該ISP下的用戶進(jìn)行下載，并向Client返回種子文件信息和擁有該內(nèi)容文件的peer列表，列表中包括IP地址和端口Port信息。方案二：系統(tǒng)方案相對(duì)簡單，實(shí)現(xiàn)容易；支持除DHT以外的所有P2P網(wǎng)絡(luò)結(jié)構(gòu)，但是支持?jǐn)U展，經(jīng)過適當(dāng)修改后，即可支持DHT網(wǎng)絡(luò)。首先接受路由器轉(zhuǎn)發(fā)到緩存服務(wù)器上的數(shù)據(jù)，解析數(shù)據(jù)包，得到請(qǐng)求種子的文件名，進(jìn)行查詢，如果存在該種子，則檢查有無該種子對(duì)應(yīng)的內(nèi)容文件以及文件更新情況，如果是最新的內(nèi)容文件，則向客戶端發(fā)送種子文件以及peer節(jié)點(diǎn)列表。 自動(dòng)搜索種子模塊：根據(jù)種子的特征信息，自動(dòng)識(shí)別、搜索，找到熱門種子，進(jìn)行下載。如需下客戶端返回消息，則先于蓋客戶端建立連接，再將信息發(fā)送給客戶端。(5) 文件下載方式對(duì)于用戶請(qǐng)求的P2P內(nèi)容，當(dāng)緩存服務(wù)器中不存在時(shí)，采取何種方式去獲取內(nèi)容是系統(tǒng)種的一個(gè)重要問題，以傳統(tǒng)的FTP方式，下載速度慢；以P2P下載方式可以到其擁有該內(nèi)容的其他節(jié)點(diǎn)上下載，速度比較快，但是占用資源較多，影響響應(yīng)速度。每個(gè)模塊完成各自不同的功能，具有很強(qiáng)的獨(dú)立性，但同時(shí)三部分又是一個(gè)整體，不可或缺，相互依賴，共同完成系統(tǒng)的設(shè)計(jì)要求。根據(jù)P2P數(shù)據(jù)流的特征進(jìn)行P2P流量檢測(cè)，當(dāng)發(fā)現(xiàn)P2P數(shù)據(jù)時(shí)，根據(jù)設(shè)定的策略路由決定是轉(zhuǎn)發(fā)給P2P緩存服務(wù)器進(jìn)行處理，或是從ISP出口通過。(3) 當(dāng)P2P網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化時(shí)，能夠不改變或是改變很少的一部分仍然可以正常工作。4 P2P內(nèi)容緩存系統(tǒng)研究與設(shè)計(jì) P2P內(nèi)容緩存系統(tǒng)設(shè)計(jì)目標(biāo)P2P技術(shù)憑借技術(shù)的優(yōu)越性，在出現(xiàn)不久就很快得到廣泛應(yīng)用，改變了傳統(tǒng)的信息共享方式，讓網(wǎng)絡(luò)接入用戶享受到快捷便利的信息資源服務(wù)。而P2P內(nèi)容緩存服務(wù)器主要是緩存peer節(jié)點(diǎn)發(fā)布的內(nèi)容的，內(nèi)容分散，主動(dòng)獲取困難，可管理性差。 CDN系統(tǒng)使用的主要技術(shù)有兩個(gè)：高速緩存和鏡像服務(wù)器，P2P內(nèi)容緩存服務(wù)器使用的是高速緩存服務(wù)器，這一點(diǎn)，符合其設(shè)計(jì)要求。178。178。 CDN框架結(jié)構(gòu)CDN網(wǎng)絡(luò)架構(gòu)主要由兩大部分，分為中心和邊緣兩部分，中心指CDN網(wǎng)管中心和DNS重定向解析中心，負(fù)責(zé)全局負(fù)載均衡，設(shè)備系統(tǒng)安裝在管理中心機(jī)房，邊緣主要指異地節(jié)點(diǎn)，CDN分發(fā)的載體，主要由Cache和負(fù)載均衡器等組成。(2) 減少了終端用戶的響應(yīng)時(shí)間，客戶端的效率提高，也增加了用戶對(duì)ISP的滿意度。圖21中，①為緩存服務(wù)器接受瀏覽器請(qǐng)求；②③為緩存服務(wù)器從原始服務(wù)器獲得緩存中的未存儲(chǔ)對(duì)象(Cache Miss)；④為緩存服務(wù)器存儲(chǔ)獲得的對(duì)象,并將拷貝發(fā)送給瀏覽器。同時(shí)，這種方法，也不利于P2P技術(shù)的發(fā)展，互聯(lián)網(wǎng)的發(fā)展。P2P應(yīng)用使ISP陷入困境。作為一種新興的技術(shù)，基于該技術(shù)的應(yīng)用已成為互聯(lián)網(wǎng)上最流行的應(yīng)用之一，對(duì)整個(gè)通信產(chǎn)業(yè)和傳媒業(yè)都帶來了巨大的沖擊[8]。P2P流量具有長時(shí)固定連接特點(diǎn)，因此理論上基于流狀態(tài)的統(tǒng)計(jì)識(shí)別方式可以識(shí)別一切大規(guī)模P2P流量。（常用P2P應(yīng)用流量特征比特串見表31）(3) 連接模式識(shí)別：不同的業(yè)務(wù)其建立連接的方式都有相應(yīng)特征，可通過IP 地址和端口的相應(yīng)關(guān)系識(shí)別P2P業(yè)務(wù)。P2P應(yīng)用占據(jù)很多的帶寬，因此在很多情況下，P2P業(yè)務(wù)被屏蔽，為了解決這個(gè)問題，很多P2P應(yīng)用軟件端口可以根據(jù)用戶要求改變。由于P2P中每一個(gè)節(jié)點(diǎn)都是服務(wù)器，為其他節(jié)點(diǎn)服務(wù)，所以數(shù)據(jù)傳輸速率比傳統(tǒng)C/S模式更快。178。同時(shí)，隨著Internet的發(fā)展和人們對(duì)P2P思想的理解，其他一些基于P2P的應(yīng)用也不斷出現(xiàn)[3]。但是隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和網(wǎng)絡(luò)用戶增多，服務(wù)器非常容易產(chǎn)生瓶頸問題，影響用戶的正常訪問。2 P2P技術(shù)介紹 傳統(tǒng)資源共享方式在如今的互聯(lián)網(wǎng)時(shí)代，資源共享是其非常重要的功能之一。 flow。據(jù)統(tǒng)計(jì)，目前我國互聯(lián)網(wǎng)P2P流量已占總流量的70%左右，而以BT為主的P2P下載流量已占P2P總流量的80%，因此為了緩解BT等應(yīng)用帶來的大量帶寬的占用，ISP通過充分挖掘基礎(chǔ)網(wǎng)絡(luò)設(shè)備功能來達(dá)到最基本的效果。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得 及其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷而使用過的材料。本人授權(quán)　　 　 　大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。同時(shí)，實(shí)現(xiàn)了網(wǎng)絡(luò)運(yùn)營商對(duì)P2P內(nèi)容的監(jiān)管，為P2P技術(shù)推動(dòng)互聯(lián)網(wǎng)健康快速的發(fā)展起到了重要的作用。而P2P帶寬解決方案的關(guān)鍵技術(shù)[1]在于：高速應(yīng)用層協(xié)議識(shí)別、范圍控制與本地服務(wù)、高速數(shù)據(jù)內(nèi)容檢測(cè)、數(shù)據(jù)流重定向。服務(wù)器程序負(fù)責(zé)有效地管理系統(tǒng)資源，如管理一個(gè)信息數(shù)據(jù)庫，其主要工作是當(dāng)多個(gè)客戶并發(fā)地請(qǐng)求服務(wù)器上的相同資源時(shí)，對(duì)這些資源進(jìn)行最優(yōu)化管理。 P2P網(wǎng)絡(luò)原理P2P是peertopeer的縮寫，是一種分布式網(wǎng)絡(luò)，網(wǎng)絡(luò)的參與者共享他們所擁有的一部分硬件資源（處理能力、存儲(chǔ)能力、網(wǎng)絡(luò)連接能力、打印機(jī)等），這些共享資源需要由網(wǎng)絡(luò)提供服務(wù)和內(nèi)容，能被其它對(duì)等節(jié)點(diǎn)(peer)直接訪問而無需經(jīng)過中間實(shí)體。 集中式網(wǎng)絡(luò)模型，中心服務(wù)器存儲(chǔ)所有節(jié)點(diǎn)的信息的目錄，而信息本身存在各個(gè)節(jié)點(diǎn)中。 P2P流量的特征分析與識(shí)別 P2P流量特征(1) 數(shù)據(jù)量大。(5) 上下行流量對(duì)稱。 P2P流量識(shí)別與檢測(cè)對(duì)于P2P流量合理有效地識(shí)別應(yīng)該包含如下內(nèi)容。相反，如果連接到的IP數(shù)和port 數(shù)相差大到10個(gè)以上，則認(rèn)為是非P2P流量。 P2P應(yīng)用對(duì)ISP造成的影響P2P以其獨(dú)特的技術(shù)優(yōu)勢(shì)在這幾年內(nèi)迅速發(fā)展，其應(yīng)用不斷增長。典型的代表就是Skype。但是在P2P應(yīng)用中, 每個(gè)人都可以向別人提供文件和信息，因此導(dǎo)致數(shù)字產(chǎn)品的版權(quán)變得難以控制，數(shù)字產(chǎn)品的開發(fā)商同樣也難以向私下共享的網(wǎng)民收取許可費(fèi)用。因此，本論文主張采取正確引導(dǎo)P2P流量的策略的方法，提出P2P內(nèi)容緩存服務(wù)器的概念，利用緩存技術(shù)，將P2P內(nèi)容放ISP設(shè)置的緩存器中來解決ISP出口擁擠的狀況。同時(shí)，Web高速緩存技術(shù)的應(yīng)用還可以緩解Web服務(wù)器的負(fù)擔(dān)。其目的是通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近取得所需的內(nèi)容，解決Internet網(wǎng)絡(luò)擁塞狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。圖22 CDN網(wǎng)絡(luò)組成結(jié)構(gòu)圖表21 CND各部分功能表內(nèi)容緩存位于 POP接入點(diǎn)或多點(diǎn) IDC中，可緩存靜態(tài)的Web內(nèi)容和流媒體內(nèi)容內(nèi)容交換機(jī)在IDC中，可對(duì)內(nèi)容緩存負(fù)載平衡及訪問控制內(nèi)容路由器在POP點(diǎn)或IDC中，負(fù)載為用戶的請(qǐng)求選擇最佳的訪問站點(diǎn)內(nèi)容分發(fā)系統(tǒng)內(nèi)容緩存只可緩存靜態(tài)內(nèi)容而對(duì)于一些要求對(duì)其所有分布站點(diǎn)的內(nèi)容作鏡像的用戶，我們需要一個(gè)內(nèi)容鏡像系統(tǒng),這就是內(nèi)容分發(fā)系統(tǒng)CDN管理系統(tǒng)由于CDN系統(tǒng)是提供給多個(gè)用戶共享，所以需要一個(gè)中心管理系統(tǒng)作為 CDN的集中管理。 Web Caching獲取的內(nèi)容是網(wǎng)頁內(nèi)容，據(jù)統(tǒng)計(jì)用戶在瀏覽網(wǎng)頁時(shí)，會(huì)經(jīng)常反復(fù)的訪問某些網(wǎng)頁，因此重復(fù)率很高，即使網(wǎng)頁有內(nèi)容更新，更新量相對(duì)來說不是很多，這時(shí)候，Web服務(wù)器只用返回更新的內(nèi)容就可以了。 CDN技術(shù)可行性報(bào)告互聯(lián)網(wǎng)媒體分發(fā)當(dāng)前最好的解決方案是一種稱作內(nèi)容傳送網(wǎng)絡(luò)（CDN）的內(nèi)容傳送體系結(jié)構(gòu)。因此在實(shí)現(xiàn)方面符合P2P內(nèi)容緩存服務(wù)器的設(shè)計(jì)要求。178。面對(duì)這種情況，ISP目前最緊要的任務(wù)就是提出一套方案來解決上述問題。(6) P2P內(nèi)容緩沖系統(tǒng)部署位置：各ISP出口處。(3) P2P內(nèi)容服務(wù)器設(shè)計(jì)部分由于本系統(tǒng)需要緩存大量的P2P內(nèi)容數(shù)據(jù)，所以設(shè)置此內(nèi)容緩存服務(wù)器。其中，存在以下關(guān)鍵技術(shù)：(1) P2P流量檢測(cè)與識(shí)別相當(dāng)于普通數(shù)據(jù)流量，P2P流量有自己的流量特征，該系統(tǒng)就是要總結(jié)P2P流量特征找出一種能夠有效識(shí)別P2P流量的匹配算法，從而將P2P數(shù)據(jù)轉(zhuǎn)發(fā)通過策略路由轉(zhuǎn)發(fā)給P2P內(nèi)容緩存服務(wù)器。Tracker 對(duì)所有下載者的信息進(jìn)行維護(hù)，確保下載者之間信息的同步。178。其中，種子自動(dòng)搜索算法，是本系統(tǒng)中的一個(gè)關(guān)鍵，也是系統(tǒng)能夠及時(shí)響應(yīng)用戶請(qǐng)求內(nèi)容的重要保證。l 種子自動(dòng)搜索模塊：負(fù)責(zé)熱門種子信息的搜索與下載，以及種子對(duì)應(yīng)的內(nèi)容文件的下載。開發(fā)語言選擇C語言，C提供了十分靈活的操作，目前在商業(yè)領(lǐng)域中被廣泛采用。 P2P內(nèi)容服務(wù)進(jìn)程：主要負(fù)責(zé)接受用戶下載請(qǐng)求，與其按照一定的方式將請(qǐng)求內(nèi)容文件傳送給該用戶，并負(fù)責(zé)進(jìn)行文件的更新與下載。178。 P2P種子下載進(jìn)程server_addr:： 服務(wù)器監(jiān)聽客戶端發(fā)來數(shù)據(jù)報(bào)的sockaddr。5) peer_id：客戶端使用的唯一性ID，20字節(jié)字符串。負(fù)載是一個(gè)比特組表示已經(jīng)成功下載的片，第一個(gè)字節(jié)的高比特位表示索引為0的片，置0的比特位表示缺失的片，置1則表示有效的可提供的片。begin：4字節(jié)整數(shù)，指明片內(nèi)的字節(jié)偏移量。struct peer { struct in_addr sin_addr。 P2P種子下載進(jìn)程LISTENPORT 3333 P2P種子下載進(jìn)程監(jiān)聽端口；LISTENNUM 1000 P2P種子下載進(jìn)程監(jiān)聽連接的最大數(shù)；MAXDATA 1512 HTTP GET請(qǐng)求內(nèi)容的最大字節(jié)數(shù)；MAXMSG 5109 客戶端與服務(wù)器之間進(jìn)行交換信息的最大字節(jié)數(shù)，也即是支持最大 每片為4M字節(jié)的文件下載；MAXSEED 1024*1024 種子文件的最大字節(jié)數(shù)，可支持1M以內(nèi)在種子文件；MAXPIECE 8*100*1024 內(nèi)容文件生成種子時(shí)允許最大的分片數(shù)，假設(shè)每片大小為128KB， 那么該系統(tǒng)支持100G以上的文件下載； 178。在P2P種子下載程序調(diào)試運(yùn)行過程中，顯示bind不成功，經(jīng)過分析，問題原因只有兩種：IP地址設(shè)置不對(duì)，不是本地IP地址；端口設(shè)置不正確。當(dāng)需要寫文件時(shí)，則執(zhí)行open、（lseek）、write、close；當(dāng)需要讀文件時(shí)則執(zhí)行open、（lseek）、read、close。經(jīng)過編譯，