【文章內容簡介】 本論文主張采取正確引導P2P流量的策略的方法，提出P2P內容緩存服務器的概念，利用緩存技術，將P2P內容放ISP設置的緩存器中來解決ISP出口擁擠的狀況。3 目前一些緩存技術分析和P2P內容緩存系統(tǒng)的可行性 Web Caching技術Web Caching技術是為了解決網(wǎng)絡帶寬不足、服務質量差而提出來的，它依據(jù)統(tǒng)計學原理，將可能進一步使用或重復使用的內容緩存在相對高速的Cache服務器中，當有相同的請求時，直接在Cache中提取，從而提高網(wǎng)絡響應效率。Web Caching技術在現(xiàn)有網(wǎng)絡架構的基礎之上，利用傳輸本地化的方法達到了優(yōu)化使用網(wǎng)絡帶寬、提高網(wǎng)絡服務質量、增強網(wǎng)絡信息可用性及提高網(wǎng)絡靈活性的目的。Web高速緩存服務器[10]通常是網(wǎng)絡中的一個專用的計算機系統(tǒng)，它監(jiān)視Web對象請求， 獲得這些對象， 然后存儲這些對象。 其工作原理如圖21所示。圖21中，①為緩存服務器接受瀏覽器請求；②③為緩存服務器從原始服務器獲得緩存中的未存儲對象(Cache Miss)；④為緩存服務器存儲獲得的對象,并將拷貝發(fā)送給瀏覽器。此后，當用戶對相同的對象(網(wǎng)站)提出訪問請求時，就由緩存服務器來滿足其要求，將已存儲對象(Cache Hit)的拷貝發(fā)送給瀏覽器。Web網(wǎng)絡緩存系統(tǒng)使得用戶請求不必再通過Internet路由到達原始服務器而取回所請求的對象，從而降低了可能引起的服務延遲。同時，Web高速緩存技術的應用還可以緩解Web服務器的負擔。因為大量的用戶請求不再需要原始服務器進行處理。Web高速緩存技術能夠提供一種廉價而可靠的Web服務器負載分擔方案。圖21　Web 緩存技術的基本原理Web Caching技術是一種基于客戶請求查詢的技術，可以稱作是一種“拉”的技術，它在技術上的實現(xiàn)主要有三個方面的好處：(1) 節(jié)省網(wǎng)絡帶寬，降低了ISP的運營成本，減少了擴容壓力。雖然配備Cache緩存服務器需要成本，但是其成本相對于擴容網(wǎng)絡的成本要小很多。(2) 減少了終端用戶的響應時間，客戶端的效率提高，也增加了用戶對ISP的滿意度。(3) 網(wǎng)絡客觀性加強，緩存引擎提供了訪問控制與監(jiān)測策略，使管理員很容易對某些不友好的請求進行隔離；另外，緩存引擎還提供了全面的可操作的日志記錄。 CDN內容分發(fā)網(wǎng)絡 CDN工作原理CDN的全稱是Content Delivery Network，即內容分發(fā)網(wǎng)絡。其目的是通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡架構，將網(wǎng)站的內容發(fā)布到最接近用戶的網(wǎng)絡“邊緣”，使用戶可以就近取得所需的內容，解決Internet網(wǎng)絡擁塞狀況，提高用戶訪問網(wǎng)站的響應速度。從技術上全面解決由于網(wǎng)絡帶寬小、用戶訪問量大、網(wǎng)點分布不均等原因，解決用戶訪問網(wǎng)站的響應速度慢的根本原因。CDN的工作原理[11]：當用戶訪問已經(jīng)加入CDN服務的網(wǎng)站時，首先通過DNS重定向技術確定最接近用戶的最佳CDN節(jié)點，同時將用戶的請求指向該節(jié)點。當用戶的請求到達指定節(jié)點時，CDN的服務器（節(jié)點上的高速緩存)負責將用戶請求的內容提供給用戶。 其用戶訪問的基本流程如下： (1) 用戶在瀏覽器中輸入要訪問的網(wǎng)站的域名；瀏覽器向本地DNS請求對該域名的解析；(2) 本地DNS將請求發(fā)到網(wǎng)站的主DNS，主DNS再將域名解析請求轉發(fā)到重定向DNS；(3) 重定向DNS根據(jù)一系列的策略確定當時最適當?shù)腃DN節(jié)點，并將解析的結果（IP地址）發(fā)給用戶；(4) 用戶向給定的CDN節(jié)點請求相應網(wǎng)站的內容；(5) CDN節(jié)點中的服務器負責響應用戶的請求，提供所需的內容。 CDN框架結構CDN網(wǎng)絡架構主要由兩大部分，分為中心和邊緣兩部分，中心指CDN網(wǎng)管中心和DNS重定向解析中心，負責全局負載均衡，設備系統(tǒng)安裝在管理中心機房，邊緣主要指異地節(jié)點，CDN分發(fā)的載體，主要由Cache和負載均衡器等組成。而根據(jù)功能特性，一個典型CDN網(wǎng)絡由內容緩存設備、內容交換機、內容路由器、CDN內容管理、內容分發(fā)系統(tǒng)五部分組成[11]，如圖22所示。各部分功能見表21。圖22 CDN網(wǎng)絡組成結構圖表21 CND各部分功能表內容緩存位于 POP接入點或多點 IDC中，可緩存靜態(tài)的Web內容和流媒體內容內容交換機在IDC中，可對內容緩存負載平衡及訪問控制內容路由器在POP點或IDC中，負載為用戶的請求選擇最佳的訪問站點內容分發(fā)系統(tǒng)內容緩存只可緩存靜態(tài)內容而對于一些要求對其所有分布站點的內容作鏡像的用戶，我們需要一個內容鏡像系統(tǒng),這就是內容分發(fā)系統(tǒng)CDN管理系統(tǒng)由于CDN系統(tǒng)是提供給多個用戶共享，所以需要一個中心管理系統(tǒng)作為 CDN的集中管理。 Web Caching與CDN系統(tǒng)比較對于都是為了提高網(wǎng)絡服務質量的兩種技術——Web Caching技術和CDN內容分發(fā)網(wǎng)絡技術，二者之間具有一定的聯(lián)系，同時也存在不同之處，表22是對兩種技術的比較：表22 Web Caching與CDN技術比較比較選項Web Caching技術CDN技術設計目標減小客戶請求響應時間，節(jié)省網(wǎng)絡帶寬實現(xiàn)手段移動Web內容的位置實現(xiàn)機制客戶端到服務器抓取服務器向客戶端推送所處位置網(wǎng)絡邊緣，分布在網(wǎng)絡不同位置網(wǎng)絡中心和邊緣相結合系統(tǒng)特點快速訪問、健壯性好、透明性、可擴展性可管理性、安全可靠性技術手段代理緩存、基于組播技術的緩存高速緩存、鏡像服務器評價指標客戶訪問時延、吞吐率、命中率Web服務器負載、Web服務器負載均衡性能特性不理想（35%50%Web內容不可緩存）性能比較理想服務對象部分客戶端部分服務器受益對象所有Web服務器所有客戶端CDN中通過位于網(wǎng)絡不同節(jié)點處的Content Server緩存或復制源服務器的部分或全部內容，并由請求路由功能把不用的用戶請求以透明的方式引導至不同的Content Server，這樣相對于單純的Web Caching技術更有效地達到減少網(wǎng)絡數(shù)據(jù)流量、節(jié)約網(wǎng)絡帶寬、縮短用戶訪問時延等目的，從而提高了網(wǎng)絡服務質量。 Web Caching技術可行性報告作為早期解決網(wǎng)頁瀏覽速度不理想的Web Caching技術與P2P內容緩存系統(tǒng)具有很多相似的地方，如都是終端用戶首先提出請求，然后利用緩存機制將請求內容放到設置的緩存中，當下次用戶請求時，直接到緩存中獲取，這樣就達到節(jié)省網(wǎng)絡帶寬的目的。但是Web Caching在P2P內容緩存系統(tǒng)中是否可行呢？178。 從透明性角度考慮，Web Caching對于客戶端是透明的，這符合P2P內容緩存服務器的設計要求。178。 從實現(xiàn)機制考慮，Web Caching技術采用由客戶端請求后，從服務器端抓取的辦法，在這點上符合P2P內容緩存服務器的要求。178。 Web Caching獲取的內容是網(wǎng)頁內容，據(jù)統(tǒng)計用戶在瀏覽網(wǎng)頁時，會經(jīng)常反復的訪問某些網(wǎng)頁，因此重復率很高，即使網(wǎng)頁有內容更新，更新量相對來說不是很多，這時候，Web服務器只用返回更新的內容就可以了。而P2P內容緩存服務器獲取的內容包括兩個內容：種子和內容文件，其中內容文件中大多數(shù)都是娛樂視頻資料，此時用戶一般不會重復下載，同時這些內容文件不是放在某在固定的服務器上，而是放在某個peer對等節(jié)點上，節(jié)點的個數(shù)也不固定。178。 Web Caching所處的位置是在網(wǎng)絡的邊緣，可以靠近客戶端，也可以接近服務器端，根據(jù)其所處的位置也有所不同。由于P2P應用的特點，每個peer節(jié)點既是客戶端，也是服務器，所以P2P內容緩存服務器最合適的位置是放在ISP出口處，這樣可以為盡可能對的peer節(jié)點服務，節(jié)約成本，同時也便于管理。178。 從實現(xiàn)效果來看，Web Caching技術實現(xiàn)起來并不是很理想，有35%50%的網(wǎng)頁不能緩存，這部分中主要是容量比較大的視頻圖像信息，而P2P內容緩存服務器所需要緩存的主要信息恰恰是視頻圖像信息，因此，在實現(xiàn)效果和與P2P內容緩存服務器設計要求不符?？尚行詧蟾娼Y論：根據(jù)以上比較可知，Web Caching技術在不能達到P2P內容緩存服務器設計的要求，其方案不可行。 CDN技術可行性報告互聯(lián)網(wǎng)媒體分發(fā)當前最好的解決方案是一種稱作內容傳送網(wǎng)絡（CDN）的內容傳送體系結構。一個良好構建的CDN可以比網(wǎng)站的原始服務器更快、更連貫地傳送內容，尤其是媒體內容典型的大對象，而且在本質上沒有停機時間。下面是對實現(xiàn)P2P內容緩存服務器設計可行性分析：178。 CDN內容分發(fā)網(wǎng)絡主要傳遞內容為大容量的媒體文件，這與目前主流P2P文件下載應用傳遞內容基本一致。178。 CDN系統(tǒng)使用的主要技術有兩個：高速緩存和鏡像服務器，P2P內容緩存服務器使用的是高速緩存服務器，這一點，符合其設計要求。178。 CDN系統(tǒng)在實現(xiàn)效果上比較理想，性能、可伸縮性和可靠性都很好，節(jié)省了網(wǎng)絡帶寬。因此在實現(xiàn)方面符合P2P內容緩存服務器的設計要求。178。 CDN內容分發(fā)網(wǎng)絡是部署在服務器上，而所有的客戶端都受益，這與P2P內容緩存服務器將緩存設置在ISP出口處，所有網(wǎng)絡接入用戶都能受益相符合。178。 CDN一般為大多數(shù)主要的媒體公司利用其解決傳遞媒體內容的，可管理性強。而P2P內容緩存服務器主要是緩存peer節(jié)點發(fā)布的內容的，內容分散，主動獲取困難，可管理性差。178。 CDN內容分發(fā)網(wǎng)絡需要在全球各地設置服務器，成本比較高，而P2P內容下載范圍一般沒有這么廣，不必要全球分布服務器。178。 CDN內容分發(fā)網(wǎng)絡提供上傳服務，而P2P內容緩存服務器，不僅僅作為緩存服務器向客戶端提供上傳服務，同時在從原始服務器獲取未緩存內容時，作為一個客戶端，向原始服務器申請下載資源。可行性報告結論：CDN內容分發(fā)網(wǎng)絡與P2P內容緩存服務器有很多相同之處，但是在資金投入，運營模式，實現(xiàn)方式上二者之間仍然存在一定的差距，其技術不能達到P2P內容緩存服務器預定的效果，因此其方案不可行。 本章小結在本章中，我們分別展示了Web Caching技術和CDN內容分法網(wǎng)絡技術的技術原理以及這兩種技術的比較，同時結合目前P2P流量情況進行分析，研究這兩種緩存技術是否適合P2P流量的需要，得到以下結論：(1) Web Caching技術和CDN技術在實現(xiàn)方式、運營模式、資金投入等方面不適合P2P流量的需要，不能滿足有效控制P2P流量的作用。(2) 由于P2P技術在資源共享方面的獨特方式，P2P技術必將能夠與B/S模式共存，成為互聯(lián)網(wǎng)發(fā)展的重要技術，P2P流量也將越來越多，因此需要設計一種新型的適用于P2P流量的緩存系統(tǒng)方案。4 P2P內容緩存系統(tǒng)研究與設計 P2P內容緩存系統(tǒng)設計目標P2P技術憑借技術的優(yōu)越性，在出現(xiàn)不久就很快得到廣泛應用，改變了傳統(tǒng)的信息共享方式，讓網(wǎng)絡接入用戶享受到快捷便利的信息資源服務。但是同時也帶來了一定的負面影響，如版權問題，帶寬資源緊缺問題等。對于ISP來說，P2P的快速大規(guī)模的使用使ISP的利益受到了很大的影響：帶寬資源被P2P應用耗用殆盡，無法滿足一些客戶帶寬的要求；嚴重沖擊了ISP的傳統(tǒng)業(yè)務收入。面對這種情況，ISP目前最緊要的任務就是提出一套方案來解決上述問題。由于P2P技術有獨特的技術優(yōu)越性，其必將于B/S模式并存，成為互聯(lián)網(wǎng)發(fā)展的兩種主要技術，因此對于P2P應用采用的方法應該是正確引導的策略。針對目前情況，本文主張設計出一套P2P內容緩存系統(tǒng)（系統(tǒng)示意圖見圖31）來解決當前網(wǎng)絡帶寬緊缺問題。其設計目標及要求如下：(1) 通過一定的技術手段，減少ISP出口的P2P連接數(shù)量（流量）或是適當降低用戶信息的下載速度，實現(xiàn)P2P流量在ISP出口處的壓力，從而節(jié)省網(wǎng)絡帶寬。(2) 該系統(tǒng)是一個控制與引導P2P應用的平臺，其不但要能支持當前主流P2P應用，同時也要支持以后出現(xiàn)新的P2P應用。(3) 當P2P網(wǎng)絡結構發(fā)生變化時，能夠不改變或是改變很少的一部分仍然可以正常工作。(4) P2P內容緩存系統(tǒng)主要針對消耗網(wǎng)絡帶寬的P2P應用。(5) 此系統(tǒng)設計對于網(wǎng)絡接入用戶來說是透明的。(6) P2P內容緩沖系統(tǒng)部署位置：各ISP出口處。(7) 系統(tǒng)資金投入量不能太大。圖31 P2P內容緩存系統(tǒng)示意圖 P2P內容緩存系統(tǒng)總體設計概要目前P2P應用中，以BT為代表的文件內容共享應用是網(wǎng)絡帶寬的最大“殺手”，其他P2P應用占用帶寬量都比較下，而且其信息重復率很小，設置緩存服務器對其無意義，因此該P2P內容緩存服務器系統(tǒng)的主要對象是以BT為代表的文件內容共享應用軟件。 系統(tǒng)設計層次結構首先，所有的P2P應用都是屬于OSI模型的第七層——應用層的，其次，所有的P2P 應用都是一種通信過程，無論是通過TCP傳輸方式，還是UDP方式；最后，由于ISP需要將所有經(jīng)過ISP路由器的P2P數(shù)據(jù)檢測出來，改變其路由，轉發(fā)到設置好的P2P內容緩存服務器中，所以，網(wǎng)絡層路由轉發(fā)策略也是系統(tǒng)中很重要的部分。系統(tǒng)層次結構圖32所示：應用層傳輸層網(wǎng)絡層P2P應用軟件TCP或UDP連接路由策略設置圖32 系統(tǒng)層級結構圖 系統(tǒng)功能模塊P2P內容緩存系統(tǒng)作為ISP出口處控制P2P內容下載的系統(tǒng)，主要有三個任務，發(fā)現(xiàn)P2P應用、設置策略控制P2P內容下載、緩存P2P內容，因此根據(jù)系統(tǒng)的功能特性將P2P內容緩存系統(tǒng)分為三個模塊：(1) P2P路由策略設計部分工作在OSI七層網(wǎng)絡模型中的第三層——網(wǎng)絡層，設置在ISP路由器上。根據(jù)P2P數(shù)據(jù)流的特征進行P2P流量檢測，當發(fā)現(xiàn)P2P數(shù)據(jù)時，根據(jù)設定的策略路由決定是轉發(fā)給P2P緩存服務器進行處理，或是從ISP出口通過。(2) P2P緩存策略設計部分這部分的作用是解析終端用戶發(fā)送的數(shù)據(jù)包，對用戶請求進行分析，并查詢P2P內容緩存服務器中有無用戶請求數(shù)據(jù)，有用戶請求的數(shù)據(jù)時，則將數(shù)據(jù)發(fā)送給請求該內容的用戶即可，否則，則需要向ISP外的服務器請求下載所需內容，下載完畢之后再將數(shù)據(jù)轉發(fā)給請求該內容的用戶。同時，設計一個主動下載P2P內容策略，預測用戶可能需要下載的P2P內容。(3) P2P內容服務器