【文章內(nèi)容簡(jiǎn)介】 2P 流量檢測(cè)技術(shù)，將所有經(jīng)過 ISP 出口的 P2P 流量重定向到 P2P 內(nèi)容緩存服務(wù)器中， P2P 內(nèi)容緩存器完成 P2P內(nèi)容數(shù)據(jù)的集中，然后再將這些 P2P 內(nèi)容數(shù)據(jù)傳送給請(qǐng)求的用戶，使絕大多數(shù)的 P2P 流量控制在 ISP 內(nèi)部，從而緩解 ISP 出口的帶寬壓力。 本文在深入分析當(dāng)前 ISP 緩解網(wǎng)絡(luò)帶寬方案的基礎(chǔ)上，結(jié)合 Web Caching 技術(shù)與 CDN內(nèi)容分法網(wǎng)絡(luò)的緩存系統(tǒng) 原理 ， 提出基于 BitTorrent 應(yīng)用的 P2P 內(nèi)容下載緩存系統(tǒng)，并通過編寫代碼，實(shí)現(xiàn)用于 P2P 內(nèi)容緩存服務(wù)的軟件系統(tǒng) 。 該系統(tǒng)應(yīng)能夠支持基于 BT 協(xié)議的 P2P下載控制 以及將 P2P 緩存服務(wù)器中存在的 P2P 內(nèi)容數(shù)據(jù)高速的傳送給請(qǐng)求該內(nèi)容的用戶。 目前，暫時(shí)還沒有關(guān)于使用 P2P 內(nèi)容緩存服務(wù)器的方式來引導(dǎo) P2P 流量的研究方案和實(shí)用系統(tǒng)，因此本系統(tǒng)的研究為 P2P 合理有效的利用和監(jiān)管提供了新的方向和思路，對(duì) P2P技術(shù)的合理發(fā)展將起到一定的 促進(jìn) 作用。 第 2 頁(yè) 共 35 頁(yè) 2 P2P技術(shù)介紹 傳統(tǒng)資源共享方 式 在如今的互聯(lián)網(wǎng)時(shí)代，資源共享是其非常重要的功能之一。傳統(tǒng)的資源共享方式主要是 C/S 模式（客戶端 /服務(wù)器， Client/Server） ，其 主要由客戶應(yīng)用程序 (Client)、服務(wù)器管理程序 (Server)和中間件 (Middleware)三個(gè)部件組成 [2]。客戶應(yīng)用程序是系統(tǒng)中用戶與數(shù)據(jù)進(jìn)行交互的部件。服務(wù)器程序負(fù)責(zé)有效地管理系統(tǒng)資源，如管理一個(gè)信息數(shù)據(jù)庫(kù)，其主要工作是當(dāng)多個(gè)客戶并發(fā)地請(qǐng)求服務(wù)器上的相同資源時(shí)，對(duì)這些資源進(jìn)行最優(yōu)化管理。中間件負(fù)責(zé)聯(lián)結(jié)客戶應(yīng)用程序與服務(wù)器管理程序，協(xié)同完成一個(gè)作業(yè)，以滿足用戶 查詢管理數(shù)據(jù)的要求。 比較經(jīng)典的應(yīng)用有 FTP 和 WWW 服務(wù) ，其是 FI39。P，它的全稱就是“文件傳送協(xié)議”， FTP 協(xié)議以其穩(wěn)定、高速、簡(jiǎn)單的文件傳輸而一直保持著 很大 的生命力。 C/S 結(jié)構(gòu)在技術(shù)上很成熟，它的主要特點(diǎn)是交互性強(qiáng)、具有安全的存取模式、網(wǎng)絡(luò)通信量低、響應(yīng)速度快、利于處理大量數(shù)據(jù)。但是 隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和網(wǎng)絡(luò)用戶增多，服務(wù)器 非常容易產(chǎn)生瓶頸問題，影響用戶的正常訪問。 P2P網(wǎng)絡(luò)共享方式 P2P 技術(shù)的誕生，徹底打破了傳統(tǒng)的文件下載方式。目前基于 P2P 技術(shù)的 BitTorrent協(xié)議的文件下載軟件風(fēng)靡全球， BT 的優(yōu)越性在于克服了傳統(tǒng)文件下載技術(shù)的速度瓶頸問題，文件的下載速度反而隨著用戶數(shù)的增加而得到提高。 P2P 網(wǎng)絡(luò) 原理 P2P 是 peertopeer 的縮寫，是一種分布式網(wǎng)絡(luò)，網(wǎng)絡(luò)的參與者共享他們所擁有的一部分硬件資源（處理能力、存儲(chǔ)能力、網(wǎng)絡(luò)連接能力、打印機(jī)等），這些共享資源需要由網(wǎng)絡(luò)提供服務(wù)和內(nèi)容，能被其它對(duì)等節(jié)點(diǎn) (peer)直接訪問而無需經(jīng)過中間實(shí)體。在此網(wǎng)絡(luò)中的參與者既是資源（服務(wù)和內(nèi)容）提供者（ Server），又是資源獲取者（ Client）。 P2P 打破了傳統(tǒng)的 C/S 模式，在網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)的地位都 是對(duì)等的。每個(gè)結(jié)點(diǎn)既充當(dāng)服務(wù)器，為其他結(jié)點(diǎn)提供服務(wù)，同時(shí)也享用其他結(jié)點(diǎn)提供的服務(wù)。 P2P 的技術(shù)特點(diǎn) 見表 11： 表 11 P2P與 C/S模式統(tǒng)計(jì)數(shù)據(jù)之間的對(duì)比 性能 P2P 模式 C/S 模式 數(shù)據(jù)發(fā)布性 好 差 數(shù)據(jù)接收性 中 好 數(shù)據(jù)互動(dòng)性 好 差 數(shù)據(jù)即時(shí)性 好 差 數(shù)據(jù)安全性 差 好 數(shù)據(jù)更新 好 差 數(shù)據(jù)質(zhì)量 中 好 數(shù)據(jù)成本控制 好 差 數(shù)據(jù)管理方便性 差 好 第 3 頁(yè) 共 35 頁(yè) P2P 網(wǎng)絡(luò)應(yīng)用模式 當(dāng)初 Inter 產(chǎn)生和發(fā)展的主要?jiǎng)恿κ琴Y源共享，這也正是 P2P 提出的最初目標(biāo)，以P2P 技術(shù)為基礎(chǔ) 的文件內(nèi)容共享應(yīng)用也是 P2P 最重要的應(yīng)用。同時(shí)，隨著 Inter 的發(fā)展和人們對(duì) P2P 思想的理解，其他一些基于 P2P 的應(yīng)用也不斷出現(xiàn) [3]。 (1) 文件內(nèi)容共享和下載 ： 例如 Napster、 eDonkey、 eMule、 Maze、 BT、 迅 雷 等； (2) 計(jì)算能力和存儲(chǔ)共享 ： 例如 SETI@home、 Avaki、 Popular Power 等； (3) 基于 P2P 技術(shù)的協(xié)同與服務(wù)共享平臺(tái) ： 例如 JXTA、 Magi、 Groove 等； (4) 即時(shí)通訊工具 ： 包括 ICQ、 、 Yahoo Messenger、 MSN Messenger 等； (5) P2P 通訊與 信息共享 ： 例如 Skype、 Crowds、 Onion Routing 等； (6) 基于 P2P 技術(shù)的網(wǎng)絡(luò)電視：沸點(diǎn)、 PPStream、 PPLive、 Live、 SopCast 等 ； (7) 基于 P2P 技術(shù)的網(wǎng)絡(luò)游戲； P2P 網(wǎng)絡(luò)路由模型 所有的對(duì)等網(wǎng)絡(luò)有一個(gè)共同點(diǎn) ,那就是實(shí)際的數(shù)據(jù)傳輸是在資源的請(qǐng)求者與接收者間直接進(jìn)行的。 但是 , P2P 的控制層面的實(shí)現(xiàn)有不同的方式 ,據(jù)此所有的對(duì)等網(wǎng)絡(luò)的應(yīng)用可以歸結(jié)為如下 四 種體系結(jié)構(gòu) [4]: ? 集中式網(wǎng)絡(luò)模型，中心服務(wù)器存儲(chǔ)所有節(jié)點(diǎn)的信息的目錄，而信息本身存在各個(gè)節(jié)點(diǎn)中。 ? 分布式網(wǎng)絡(luò)模型， 無中心服務(wù)器，各節(jié)點(diǎn)直接通過“洪泛”模式傳遞搜索消息。 ? 混合式網(wǎng)絡(luò)模型，引入了超級(jí)節(jié)點(diǎn)的概念，超級(jí)節(jié)點(diǎn)域內(nèi)采用集中結(jié)構(gòu)工作模式，超級(jí)節(jié)點(diǎn)之間是分布結(jié)構(gòu)工作模式。 ? 結(jié)構(gòu)化網(wǎng)絡(luò)模型， 一種采用純分布式的消息傳遞機(jī)制和根據(jù)關(guān)鍵字進(jìn)行查找的定位服務(wù)，目前的主流方法是采用分布式哈希表 (DHT)技術(shù)，這也是目前擴(kuò)展性最好的 P2P 路由方式之一。 目前比較成熟的 DHT 協(xié)議主要有： Chord、 CAN、 Pastry、 Kademlia。 P2P流量的特征分析與識(shí)別 P2P 流量特征 (1) 數(shù)據(jù)量大。對(duì)于資源共享和基于 P2P 技術(shù)的網(wǎng)絡(luò)電視應(yīng)用 來說，數(shù)據(jù)量是巨大的。 (2) 數(shù)據(jù)突發(fā)性強(qiáng)。用戶發(fā)送數(shù)據(jù)在時(shí)間上具有很大的隨機(jī)性，分布不均勻。 (3) 高速傳輸。由于 P2P 中每一個(gè)節(jié)點(diǎn)都是服務(wù)器，為其他節(jié)點(diǎn)服務(wù)，所以數(shù)據(jù)傳輸速率比傳統(tǒng) C/S 模式更快。 (4) 在線時(shí)間長(zhǎng) [5]。 P2P模式打破傳統(tǒng) C/S 模式，將服務(wù)器分散到每一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)在下載完畢時(shí)，仍然可以在線作為服務(wù)器，為其他對(duì)等節(jié)點(diǎn)服務(wù)，而且很多 P2P應(yīng)用軟件為了充分發(fā)揮 P2P 技術(shù)的優(yōu)越性，都有一定的激勵(lì)措施，鼓勵(lì)用戶長(zhǎng)期在線。 (5) 上下行流量對(duì)稱。 P2P 中的節(jié)點(diǎn)既是客戶端，也是服務(wù)器，在下載的同時(shí)，也在為其他對(duì)等節(jié)點(diǎn)服務(wù)， 提供上傳業(yè)務(wù)，因此，上下行基本對(duì)稱。 (6) 業(yè)務(wù)分布廣泛。目前 P2P技術(shù)的應(yīng)用很廣，涉及到很多領(lǐng)域，在空間分布上也比較廣泛。 第 4 頁(yè) 共 35 頁(yè) (7) 連接端口不確定。 P2P 應(yīng)用占據(jù)很多的帶寬，因此在很多情況下， P2P 業(yè)務(wù)被屏蔽，為了解決這個(gè)問題，很多 P2P 應(yīng)用軟件端口可以根據(jù)用戶要求改變。 (8) 連接 IP 地址特征 [5]。 P2P 是多點(diǎn)到多點(diǎn)的連接模式，因此，客戶端同時(shí)與多個(gè) IP地址建立連接，但在一段時(shí)間內(nèi)平均連接每個(gè) IP 地址的次數(shù)不多。 P2P 流量識(shí)別與檢測(cè) 對(duì)于 P2P 流量合理有效地識(shí)別應(yīng)該包含如下內(nèi)容。第一，對(duì) P2P 流量的特征必須具有良好的分 布特征和可區(qū)分性 ；第二，識(shí)別 P2P 流量和整個(gè) P2P 覆蓋網(wǎng)絡(luò) ,這樣才可能依此提出新的針對(duì)于 P2P 網(wǎng)絡(luò)的積極防御模式和機(jī)制。目前常用的流量識(shí)別方法 [6]主要有： (1) 端口匹配識(shí)別：完成固定端口的常規(guī)業(yè)務(wù)和 P2P 業(yè)務(wù)應(yīng)用識(shí)別。通過取出流中的源端口或者目的端口，然后查找常用端口映射表，如存在，則識(shí)別成功，并考慮偽端口的存在（如一些 P2P 為了偽裝而借用常用端口），予以剔除。 (2) 凈荷 檢測(cè)識(shí)別：若通過靜態(tài)的端口映射表無法識(shí)別，則表明這些流量是非標(biāo)準(zhǔn)協(xié)議或者動(dòng)態(tài)端口的，需要采用特征字符串來匹配 凈荷 的方式來識(shí)別這些業(yè)務(wù)或應(yīng)用。 （常用 P2P應(yīng)用流量特征比特串見表 31） (3) 連接模式識(shí)別：不同的業(yè)務(wù)其建立連接的方式都有相應(yīng)特征，可通過 IP 地址和端口的相應(yīng)關(guān)系識(shí)別 P2P 業(yè)務(wù)。主要是統(tǒng)計(jì)（ IP， port）所連接到的各個(gè) IP、端口號(hào)、數(shù)據(jù)報(bào)大小和傳送流量大小。如果連接到的 IP 地址個(gè)數(shù)和 port 個(gè)數(shù)相近，則認(rèn)為是 P2P 流量。相反，如果連接到的 IP數(shù)和 port 數(shù)相差大到 10 個(gè)以上，則認(rèn)為是非 P2P 流量。 (4) 拓?fù)涮匦宰R(shí)別：不同的業(yè)務(wù)其拓?fù)湟灿懈髯蕴卣鳎?可通過分析協(xié)助識(shí)別 。 (5) 應(yīng)用協(xié)議分析識(shí)別：對(duì)于非標(biāo)準(zhǔn)協(xié)議的應(yīng)用，但協(xié)議又是公開的，比如 eMule 等應(yīng)用，可通過應(yīng)用協(xié)議分析引擎對(duì)此類業(yè)務(wù)進(jìn)行識(shí)別。 (6) (TCP/UDP) IP pair 法識(shí)別：根據(jù)觀察和研究，同時(shí)采用了 TCP和 UDP 協(xié)議的應(yīng)用絕大部分都是 P2P 流量，除了特殊的幾個(gè)應(yīng)用，如： DNS， NETBIOS， IRC，游戲和多媒體業(yè)務(wù)流量，但這些應(yīng)用都有特定的端口，如 135,137,139,445,53,3531 等，可以通過端口匹配識(shí)別這些流量（見圖 1），其余的業(yè)務(wù)流量同時(shí)應(yīng)用了 TCP 和 UDP 協(xié)議的流量，即為 P2P 流量。 表 31 常用 P2P 應(yīng)用流量特征比特串 P2P 協(xié)議名稱 凈荷比特字符串 eDonkey2020 0xe319010000 Fasttract “ Get ./hash” Bitterront 0x13Bittorrent protocol Ares “ Get hash:” (7) 流統(tǒng)計(jì)特性的識(shí)別：在 IP 層通過流量統(tǒng)計(jì)特征的方式識(shí)別 P2P 流。 P2P 流量具有長(zhǎng)時(shí)固定連接 特點(diǎn)，因此理論上基于流狀態(tài)的統(tǒng)計(jì)識(shí)別方式可以識(shí)別一切大規(guī)模 P2P 流量。 (8) 采用雙向識(shí)別：當(dāng)某個(gè)方向的流 (五元組定義的流 )被識(shí)別為 P2P 流，則其反方向流必然 第 5 頁(yè) 共 35 頁(yè) 也是 P2P 流。 對(duì)于衡量某種流量識(shí)別方法的好壞，其技術(shù)指標(biāo)主 要有三個(gè)基本原則：（ 1）盡量提高檢測(cè)精度；（ 2）在檢測(cè)精度中偏重于降低虛警率（ False Positive Rata， FP%） ，維持適當(dāng)漏報(bào)率（ False Negative Rata， FN%）；（ 3）維持適當(dāng)?shù)挠?jì)算復(fù)雜度。 P2P應(yīng)用對(duì) ISP造成的影響 P2P 以其獨(dú)特的技術(shù)優(yōu)勢(shì)在這幾年內(nèi)迅速發(fā)展，其應(yīng)用不斷增長(zhǎng)。 互聯(lián)網(wǎng)用戶數(shù)的增長(zhǎng)率一直保持在 10％到 20％，但是帶寬的需求卻呈現(xiàn) 300倍到 500倍的增長(zhǎng) ，其中帶寬需求的增長(zhǎng)來源則 主要 是 P2P 應(yīng)用， P2P 應(yīng)用的 流量已經(jīng)遠(yuǎn)遠(yuǎn)超過了 應(yīng)用的流量 ， 成為Inter 流量的主體 。 但是 ， P2P 流量在所有 Inter 流量中的比例卻由于所處地域的不同而存在著相當(dāng)?shù)牟町?[7]， 見表 12。據(jù)統(tǒng)計(jì)目前 我國(guó) P2P 流量占據(jù)了 70%80%的互聯(lián)網(wǎng)流量。 表 12 2020年 Inter流量在不同地區(qū)的分布 area Asia Europe England America Popular P2P traffic (%) 64 53 43 61 Other P2P traffic (%) 18 3 17 6 Http traffic (%) 2 12 17 10 Other traffic (%) 16 32 23 24 注： Popular P2P traffic 主要是指 BT， eDonkey， FastTrack 以及 Gnutella 的流量 P2P 技術(shù)在中國(guó)的大規(guī)模應(yīng)用是從 2020 年下半年開始 ， 以 BT為代表的 P2P 技術(shù)急速升溫 ， 用戶數(shù)量飛速發(fā)展 。 作為一種新興的技術(shù) ， 基于該技術(shù)的應(yīng)用已成為互聯(lián)網(wǎng)上最流行的應(yīng)用之一 ， 對(duì)整個(gè)通信產(chǎn)業(yè)和傳媒業(yè)都帶來了巨大的沖擊 [8]。 (1) 對(duì)傳統(tǒng)語(yǔ)音業(yè)務(wù)的沖擊 VoIP（ voice over IP） 業(yè)務(wù) 因其低廉的資費(fèi) 沖擊著傳統(tǒng)的語(yǔ)音業(yè)務(wù) ， 據(jù)市場(chǎng)咨詢公司IDC 稱 ， 到 2020 年底 VoIP 用戶將達(dá)到 2700 萬(wàn) 。 而 P2P 技術(shù)的出現(xiàn) ， 無疑是給 VoIP 插上了翅膀 ， 使其保持 低資費(fèi) 的條件下 ， 大大提高了服務(wù)質(zhì)量 ， 其語(yǔ)音質(zhì)量已與傳統(tǒng)的 PSTN 語(yǔ)音相接近 ， 進(jìn)一步加速了 VoIP 對(duì)傳統(tǒng)語(yǔ)音的替代趨勢(shì) 。 典型的代表就是 Skype。 P2P 的 VoIP 業(yè)務(wù)對(duì)傳統(tǒng)語(yǔ)音業(yè)務(wù)形成了巨大的分流 , 同時(shí)也促使電信運(yùn)營(yíng)商降低價(jià)格應(yīng)對(duì)競(jìng)爭(zhēng) , 導(dǎo)致了其收入的劇減。 (2) 對(duì)網(wǎng)絡(luò)帶寬的蠶食 在 P2P 應(yīng)用出現(xiàn)之前，互聯(lián)網(wǎng)的主要流量來自于瀏覽網(wǎng)頁(yè)、 FTP 傳輸和郵件等，下載的業(yè)務(wù)類型基本上 都是基于 Client/Server 模式的 ， 由于服務(wù)器容量等的限制 ， 使用戶接入帶寬很少處于滿的狀態(tài)。而 P2P 技術(shù)的出現(xiàn) ， 完全改變了這種狀況 ， 用戶長(zhǎng)時(shí)間在線與其他用戶共享 信息 ， 用戶接入帶寬長(zhǎng)時(shí)間處于飽和狀態(tài) ， 網(wǎng)絡(luò)流量急劇上升 。 目前 ， P2P應(yīng)用早 已超過 HTTP 應(yīng)用 ， 成為互聯(lián)網(wǎng)上最為普遍的應(yīng)用 ， 給運(yùn)營(yíng)商帶來了新的挑戰(zhàn)。 P2P 應(yīng)用使 ISP 陷入困境。一方面 P2P 應(yīng)用是最終用戶的 需求 ， 現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)卻難以 第 6 頁(yè) 共 35 頁(yè) 完全滿足 ； 另一