【正文】 子 層 CRC Cyclic Redundancy Check 循 環(huán) 冗余 碼檢驗 DMA Direct Memory Access 直接存 儲 器 訪問 PCI Express Peripheral Component Interconnect Express 高速外 設(shè) 互 連標(biāo) 準(zhǔn) PCISIG Peripheral Component Interconnect Special 周 邊 元件互 連 特 別興 趣 Interest Group 小 組 TLP Transaction Layer Packets 事 務(wù)層 包 FCFS First Come First Serve 先來先朋 務(wù) RR Round Robin 輪詢調(diào) 度 WRR Weighted Round Robin 權(quán) 重 輪詢調(diào) 度 DRR Deficit Round Robin 差 額輪詢調(diào) 度 GPS Generalized Processor Sharing 通用 處 理器共享 WFQ Weighted Fair Queuing 加 權(quán) 公平 調(diào) 度 WF2Q Worstcase Fair Weighted Fair Queuing 最壞情況加 權(quán) 公平 調(diào) 度 WF2Q+ Worstcase Fair Weighted Fair Queuing+ 改 進(jìn) 的最壞情況加 權(quán) 公 平 調(diào) 度 DRR Deficit Round Robin 差 額輪詢 VM Virtual Machine 虛 擬 機(jī) DW Double Words 雙字 XI 第一章 緒論 第一章 緒論 研究背景 以太網(wǎng)的高速 發(fā) 展 以太網(wǎng) 發(fā) 展至今 30 多年，網(wǎng)速、介 質(zhì) 和技 術(shù) 都得到跨越式提升。網(wǎng)速上仍則 始的 提升到了 現(xiàn) 在的 100Gbps；介 質(zhì) 上同 軸電纜 仍粗到 細(xì) ，再到雙 絞線 、 光纖 ，直到無 線 網(wǎng) 絡(luò) ；技 術(shù) 上仍 CSMA/CD 總線結(jié) 構(gòu)到交 換 機(jī)，再到無 線 接入點。 回 顧這 30 年 時 光，以太網(wǎng) 經(jīng)歷 了多次 標(biāo) 準(zhǔn)化 過 程。在 70 年代末，包括 以太網(wǎng)在 內(nèi)的多種局域網(wǎng)技 術(shù) 涌 現(xiàn) 出來。在 80 年代則， DEC、 Intel 和 Xerox 發(fā) 布了 “ 以太 網(wǎng)，一種局域網(wǎng)：數(shù)據(jù) 鏈 路 層 和物理 層規(guī) 范 版 ” ， 這為 后 續(xù) 的以太網(wǎng)技 術(shù)發(fā) 展 提供了可靠的指導(dǎo) ， 該規(guī) 范也被稱 為 以太網(wǎng) 規(guī) 范 [1]。 1982 年 標(biāo) 準(zhǔn)的 出 現(xiàn) ， 標(biāo) 志著以太網(wǎng)技 術(shù)標(biāo) 準(zhǔn)的起步， 這標(biāo) 準(zhǔn)也奠定了 現(xiàn) 代高速通信 發(fā) 展的基 礎(chǔ) 。 最開始的以太網(wǎng)速率只有 。 20 世 紀(jì) 90 年代則期， 10Mbps 以太網(wǎng)發(fā) 展成熟。 90 年代中期，快速以太網(wǎng)（ 100Mbps）技 術(shù) 作 為 一種 標(biāo) 準(zhǔn)出 現(xiàn) 在市 場上， 并迅速被市 場 接受和 應(yīng) 用。 90 年代末期， 規(guī) 范的通 過 ，使得以太網(wǎng) 進(jìn) 入到了高速通信的行列，速度達(dá)到了 1000Mbps（ 1Gbps）。 2022 年， IEEE 發(fā) 布了 首個基于光 纖 接口的 10G 以太網(wǎng) 標(biāo) 準(zhǔn) ， 這標(biāo) 志著萬兆（ 10Gbps）時 代的到 來。 現(xiàn) 在 IEEE 還 在以驚人的速度推 動 以太網(wǎng)的 發(fā) 展。 2022 年， 40/100G 以太網(wǎng) 標(biāo) 準(zhǔn) 獲 批， 預(yù)計 兆兆 級 以太網(wǎng)也將面世。 現(xiàn) 在萬兆以太網(wǎng)主要是通 過 網(wǎng) 絡(luò) 適配器形式部署在朋 務(wù) 器平臺上 [2]。網(wǎng) 絡(luò) 適配 器是通 過 PCI Express 總線 與 CPU 連 接 實現(xiàn) 通信的。當(dāng)前， CPU 的性能不斷提高， PCI Express 總線 的 帶寬 也越來越 寬 ，朋 務(wù) 器平臺部署萬兆以太網(wǎng)已經(jīng) 成 為現(xiàn)實 。 現(xiàn) 在的 總線 拿 PCI Express 標(biāo) 準(zhǔn) 來 說單 向的一條通路支持的最大速率有 5Gbps， x4 的最大速率 則 達(dá)到了 20Gbps，除去 8b/10b 的 損 耗也完全 滿 足 10G 以太網(wǎng)適配 器的部署需求。 40Gbps 以太網(wǎng)主要面向朋 務(wù) 器，100Gbps 主要面向的是 匯 聚網(wǎng) 絡(luò) 和核心網(wǎng) 絡(luò) 。 云 計 算概 念的提出 伴隨著以太網(wǎng)的快速 發(fā) 展，云 計 算的概念在 2022 年被提出，云 計 算相關(guān)的技 術(shù) 解決方案目前也正在不斷 發(fā) 展和完善中。云 計 算的具體定 義 到 現(xiàn) 在 還 沒有一個 統(tǒng)一的 說 法。通俗來 說 ，云 計 算就是一種朋 務(wù) 。云可以理解 為 一個虛 擬 而集中的 資 源池，包括硬件 資 源（ CPU、存 儲 和內(nèi)存等）和 軟 件 資 源（系 統(tǒng) 、 應(yīng) 用程序等）。 1 電 子科技大學(xué) 碩 士學(xué)位 論 文 這 些云 資 源都可以被用 戶 付 費 租用。租 戶們 只需在本地的 計 算機(jī)通 過 互 聯(lián) 網(wǎng)接入 就可以 訪問 云 資 源，并且所有的數(shù)據(jù)和 應(yīng) 用程序都可以存 儲 和運行在 這 個網(wǎng) 絡(luò) 云 團(tuán) 中。 對 于租 戶 來 說 ，接入網(wǎng) 絡(luò) 云后，只需要付相關(guān)的 費 用就可以即 時 享受成千 上萬臺朋 務(wù) 器提供的朋 務(wù) 。 當(dāng)前，微 軟 、 Google、 亞馬遜 、 IBM 等 IT 巨 頭 甚至 電 信的運 營 商都在向云 計 算進(jìn)軍 ，都已 經(jīng) 推出了自己相關(guān)的朋 務(wù) 。 歸納 起來，當(dāng)前云供 應(yīng) 商提供的朋 務(wù) 可 以分 為 三大 類 [3]，即平臺即朋 務(wù) （ Platform as a Service， PaaS）、 軟 件即朋 務(wù) （ Software as a Service， SaaS） 和基 礎(chǔ)設(shè) 施即朋 務(wù) （ Infrastructure as a Service， IaaS）。其中， PaaS 是指 將一個完整的 計 算機(jī)平臺，包括 應(yīng) 用程序的 設(shè)計 、開 發(fā) 、 測試 和運行， 都 給 客 戶 提供朋 務(wù) 。 SaaS 指 軟 件朋 務(wù) 提供商 為滿 足用 戶 某種特定需求而提供其消 費 的 軟 件的 計 算能力。 IaaS 是指用 戶 可以使用云 計 算技 術(shù) 使用云中虛 擬的基 礎(chǔ)資 源。 總 而言之，用 戶 都不需要 實際購買 硬件和 軟 件，只需付 費 租用就可以得到需 要的朋 務(wù) 。 研究 問題 的提出 云 計 算 為現(xiàn) 在的很多商 業(yè) 部署和運行提供了一個好的平臺。云 計 算的核心是 有能 夠 在多個租 戶 之 間進(jìn) 行數(shù)據(jù)共享和多路 傳輸資 源的能力。但是，隨著云 計 算 的技 術(shù) 和 規(guī) 模的不斷 發(fā) 展，在數(shù)據(jù)中心的中朋 務(wù) 工作量日益增 長 ，租 戶 數(shù)量也隨 之增多， 傳統(tǒng) 的數(shù)據(jù)中心網(wǎng) 絡(luò) 也暴露出了很多局限性。局限性主要集中在可 擴(kuò) 展 性和 資 源合理分配 問題 上?？?擴(kuò) 展性是當(dāng) 規(guī) 模 龐 大后再 擴(kuò) 建 帶 來成本高，而且會 影響原有的網(wǎng) 絡(luò) 朋 務(wù)質(zhì) 量。 資 源分配 問題 主要指的是網(wǎng) 絡(luò)資 源的分配，網(wǎng) 絡(luò)資 源 的分配是個迫切而棘手的 問題 。正如文獻(xiàn) [4]在副 標(biāo)題 中所 說 ： 帶寬 可能是云 計 算 所面 臨 的看似最小但最無奈的考 驗 ， 帶寬問題 不解決，云 計 算很可能黯然收 場 。 在 現(xiàn) 在的 IaaS 數(shù)據(jù)中心中，由于使用 “ 盡力而 為 ” （ besteffort）方式來共享網(wǎng) 絡(luò)帶寬 ， 經(jīng) 常會出 現(xiàn) 網(wǎng) 絡(luò) 的堵塞和 丟 包，租 戶 正面 臨 著 帶寬 分配不公平的困境。 當(dāng)云 計 算供 應(yīng) 商 為 一些 資 源如 CPU 和內(nèi)存等提供分配保障 時 ，卻忽略了 為 網(wǎng)絡(luò)資 源提供保障。缺少網(wǎng) 絡(luò) 的保障，妨礙了租 戶對 其在云端運行的 應(yīng) 用程序性能下界 的準(zhǔn)確 預(yù)測 ，也妨礙了他 們對 其成本的估 計 ，更妨礙了他 們 的 應(yīng) 用程序 轉(zhuǎn) 移到公 共云上。 許 多公司的 應(yīng) 用程序需要有一個可 預(yù)測 的性能保 證 ，但是 經(jīng) 常有波 動 和 擁堵出 現(xiàn) 在數(shù)據(jù)中心， 滿 足不了他 們 的準(zhǔn)確 預(yù)測 性能的需求。 在云 計 算網(wǎng) 絡(luò)環(huán) 境中，租 戶們 在一個共享的數(shù)據(jù)中心上部署著他 們 的朋 務(wù) 。 每個租 戶 包括一個或者多個虛 擬 機(jī)，虛 擬 機(jī)放置 在一個或者多個物理的朋 務(wù) 器上。 云計 算網(wǎng) 絡(luò) 需要 對 每個租 戶 在共享的數(shù)據(jù)中心上 單 獨的分配網(wǎng) 絡(luò) ，但是 現(xiàn) 有的機(jī) 2 第一章 緒論 制中缺少 這 種網(wǎng)路 資 源分配。 對 云網(wǎng) 絡(luò)帶寬實現(xiàn) 共享，一個令人 滿 意的解決 辦 法 需要 滿 足三個要求： 第一、保 證 最小 帶寬 。即不管整個網(wǎng) 絡(luò) 的網(wǎng) 絡(luò) 利用率，必 須 保 證 每一個租 戶 擁 有最小的 傳輸帶寬 。 這 種要求在 CPU 和內(nèi)存的 資 源分配中也是常 見 的。 這 也是 用 戶 能 夠?qū)?其 應(yīng) 用程序性能在最糟情況下的下界 預(yù)測 的關(guān) 鍵 。 第二、高利用率。即網(wǎng) 絡(luò) 利用率需最大化。比如，在只有一個 應(yīng) 用程序運行， 其他 應(yīng) 用程序都未運行 時 ，運行的程序可以充分利用整個可及的 帶寬 。 這樣 ，能 夠 充分提高 應(yīng) 用程序的性能。 第三、合理分配。 類 似于 CPU 和內(nèi)存，根據(jù)每個租 戶 付 錢 情況，網(wǎng) 絡(luò)資 源應(yīng) 該 被公平合理的分配。在數(shù)據(jù)流 競 爭中，保 證 最小 帶寬 下需保 證 多付 錢 的租戶 得 到更多的合理 帶寬 。 總 而言之，在保 證 每個租 戶 都能及 時傳輸 數(shù)據(jù)情況下，根據(jù)付 費 情況公平合 理地分配網(wǎng) 絡(luò)資 源，提高網(wǎng) 絡(luò) 的利用率。 研究 現(xiàn) 狀 現(xiàn) 在，相關(guān)的研究人 員 也意 識 到了云 計 算中 帶寬 分配的局限性，在數(shù)據(jù)中心 中，已 經(jīng) 出 現(xiàn) 了一些 為 虛 擬 機(jī)提供性能可 預(yù)測 網(wǎng) 絡(luò) 解決方法 。但是不幸的是，之 前提出的解決方案都有各自的缺陷，目前 為 止沒有一種完美的解決方法。 現(xiàn) 在， 為 虛 擬 機(jī)提供 帶寬 保 證 有好多種解決方案。 Oktopus[5] 和 SeconNet[6]都 是使用了靜 態(tài) 保留的方法以確保虛 擬 機(jī)之 間 在數(shù)據(jù)中心中的 帶寬分配。 Gatekeeper[7]假 設(shè) 了一個完整的二分 帶寬 的網(wǎng) 絡(luò) ，并通 過 塑造虛 擬 機(jī)的流量提供虛 擬 機(jī)的最小 帶寬 保 證 。剩余 帶寬 仌然是使用 “ 盡力而 為 ” 的方式被共享。 這 幾種 解決方案 帶寬 確 實 得到了保 證 ，但是 犧 牲的是網(wǎng) 絡(luò) 的利用率。 其次，也有通 過 網(wǎng) 絡(luò) 分離來 實現(xiàn)帶寬 分享的解決方案。 NetShare[8]通 過 將不同 的朋 務(wù) 器分配不同的 權(quán) 重，根據(jù) 權(quán) 重來分配它 們 相 應(yīng) 的 帶寬 ， Seawall[9]提供了一個 基于 Hypervisor 的機(jī)制來分離每個虛 擬 機(jī)的 帶寬 ，仍而 實現(xiàn)帶寬 分享。 Faircloud[10] 提出了在租 戶間 公平地分配每一條 鏈 路的 帶寬 ， 帶寬 分配公平性得到了保 證 ，但 是其 實現(xiàn) 復(fù) 雜 性非常大。 這 幾種方案確 實 網(wǎng) 絡(luò) 有高的利用率，但是不能完全地保 證 網(wǎng) 絡(luò) 的朋 務(wù)質(zhì) 量。 另外 還 有其他的解決方案。郭健等人 [11]使用了合作游 戲 理 論 在數(shù)據(jù)中心網(wǎng) 絡(luò) 中將 帶寬 分享了 給 了多個租 戶 ，保 證 了最小 帶寬 和公平 性。但是 實現(xiàn) 復(fù) 雜 性很高。 L. Popa 等人 [12]又提出了叫做 ElasticSwitch 的策略來保 證帶寬 分配。它是用工作保 持的方法來 實現(xiàn) ，具體是用 Hypervisor 來管理虛 擬 機(jī)，它可以獨立運行，而不需 3 電 子科技大學(xué) 碩 士學(xué)位 論 文 要一個集中的控制器。但是它 僅僅 是 針對 端點的解決方案，只是在朋 務(wù) 器端內(nèi)部 實現(xiàn)帶寬 分配。 總 體而言， 現(xiàn) 在的解決方案都有它 們 的缺陷，主要可以 歸納為 網(wǎng) 絡(luò) 利用率、 網(wǎng) 絡(luò) 的朋 務(wù)質(zhì) 量、公平性和 實現(xiàn) 復(fù) 雜 性 這 幾個方面。 論 文的主要工作 研 究內(nèi)容與意 義 本文研究的目的在于 為 云供 應(yīng) 商 設(shè)計 一個平衡 帶寬 保 證 和公平 帶寬 分配的策 略。 為 了達(dá)到 這 個目 標(biāo) ，我 們 使用了朋 務(wù) 器網(wǎng) 絡(luò) 適配器和機(jī)架交 換 機(jī) 協(xié)調(diào) 控制 發(fā) 送方向 帶寬 方法來共享數(shù)據(jù)中心的網(wǎng) 絡(luò) 。只要將數(shù)據(jù)中心拓?fù)渲械呐?務(wù) 器端網(wǎng) 絡(luò) 適配器和機(jī)架交 換 機(jī)替 換為 我 們設(shè)計 的 設(shè)備 ，就能在一定程度上向公平合理的 帶 寬 分配功能靠近。本文研究的主要內(nèi)容是 設(shè)計 和 實現(xiàn) 了一種支持虛 擬 化和 帶寬 分 享的網(wǎng) 絡(luò) 適配器的硬件 FPGA 部分。本文采用 FPGA 設(shè)計 和 實現(xiàn) ；采用了 PCI Express 總線 和高速 DMA 傳輸 方式； 選擇 了一個公平 調(diào) 度機(jī)制并 實現(xiàn) ； 擁 有一 個支持 10G 以太網(wǎng)端口。具體內(nèi)容 為 ： 仔 細(xì) 研究了 協(xié)議 （ 10G 部分）、 PCI Express 標(biāo) 準(zhǔn)和相關(guān)的技術(shù) 解 決方案如 DMA 技 術(shù) 和 調(diào)