【正文】 計算網(wǎng)絡中反復出現(xiàn)。這種架構的交換網(wǎng)容量并不大 ,一般以支持 10GE為主。 “無阻塞”全線速 :有時候在全線速前面再定義一個“無阻塞” ,其實是強化交換機的全線速能力 ,指的是對交換的任意大小字節(jié)的報文均能夠達到全線速的能力 ,所有端口都以線速接收幀 ,并能無延遲地處理被稱為“無阻塞(Nonblocking)” ,之所以這樣叫是因為設備內部沒有等待處理的報文 (沒有阻塞 )。 超線速 :如千兆端口能夠吞吐的流量超過一千兆一般也就超出一點點 ,這種交換機與標準線速設備對接后容易產生丟包甚至將標準交換機“堵死”。 大規(guī)模集群能力 :當前 2 千臺規(guī)模的服務器集群已經(jīng)在互聯(lián)網(wǎng)行業(yè)廣泛部署 ,隨著云計算業(yè)務的開發(fā)提供 ,更大規(guī)模的集群 50001 萬臺將成為支持云計算的主流網(wǎng)絡結構 ,無阻塞架構是這種網(wǎng)絡的基本要求。 我們可以看到 ,Hadoop 系統(tǒng)在開發(fā)過程中關注了數(shù)據(jù)交換對象計算節(jié)點之間的距離 ,實際上是考慮了網(wǎng)絡構建模型中帶寬不匹配因素。如果在 reader 的同一個機架上有一個副本 ,那么就讀該副本。這樣可以防止整個機架 (非副本存放 )失效的情況 ,并且允許讀數(shù)據(jù)的時候可以從多個機架讀取。 不同機架間的兩臺機器的通訊需要通過交換機 ,顯然通常情況下 ,同一個機架內的兩個節(jié)點間的帶寬會比不同機架間的兩臺機器的帶寬大。這樣做帶來了兩個好處 :訪問同個文件時可以從多個服務器 中獲取從而改善服務的伸縮性 ,另外就是提高了容錯能力 ,某個副本損壞了 ,仍然可以從其他服務器節(jié)點獲取該文件。 DataNode 響應來自 HDFS 客戶機的讀寫請求。 Hadoop 分布式文件系統(tǒng)體系架構 這些角色包括 NameNode,它在 HDFS 內部提供元數(shù)據(jù)服務 。 透明網(wǎng)絡支持虛擬資源的調度遷移 透明環(huán)境不僅限于數(shù)據(jù)中心內部 ,對于多個數(shù)據(jù)中心共同提供的云計算服務 ,要求云計算的網(wǎng)絡對數(shù)據(jù)中心內部、數(shù)據(jù)中心之間均實現(xiàn)透明化交換 (如圖10 所示 ),這種服務能力可以使客戶分布在云中的資源邏輯上相對集中如在相同的一個或數(shù)個 VLAN 內 ,而不必關心具體物理位置 。一臺物理服務器上運行的虛擬機數(shù)量是動態(tài)變化的 ,當前一般是 4 到 20,某些高密度的虛擬機可以達到 100:1 的虛擬比即一臺物理服務器上運行 100 個虛擬機 ,在 CPU 性能不斷增強主頻提升、多核多路、當前各種硬件虛擬化 CPU 指令級虛擬化、內存虛擬化、橋片虛擬化、網(wǎng)卡虛擬化的輔助下 ,物理服務器上運 行的虛擬機數(shù)量會迅猛增加。 關鍵技術 云計算的基礎架構需求 從本質上來說 ,云計算是一種 IT模式的改變 ,這種變化使得 IT基礎架構的運營專業(yè)化程度不斷集中和提高從而對基礎架構層面提出更高的要求。 云的歸屬 如圖 5 所示 ,主要分 為公有云、私有云和混合云。 SaaS 的軟件是拿來即用的 ,不需要用戶安裝 ,因為 SaaS真正運行在 ISP的云計算中心 ,SaaS的軟件升級與維護也無需終端用戶參與 ,SaaS 是按需使用的軟件 ,傳統(tǒng)軟件買了一般是無法退貨的 ,而 SaaS 是靈活收費的 ,不使用就不付費。 在 IaaS 之上是 PaaS(Platform as a Service,平臺即服務 )層。 云計算的服務層次 如圖 4 所示 ,最底層是 IT Foundation,嚴格來說這并不是云計算的一層 ,是構成云計算的 IT 基礎設施的集合 ,具體表現(xiàn)為不同的軟硬件廠商的產品與方案。比如當前被廣泛使用的搜狗拼音輸入法 ,它其實就是一種云服務 :搜狗輸入法能夠以快速簡單的方式為使用者提供需要的語境、備選的語素 ,使得文字的編排可以成為激發(fā)靈感的一個輔助工具 。云計算的資源是動態(tài)擴展且虛擬化的 ,通過互聯(lián)網(wǎng)提供 ,終端用戶不需要了解云中基礎設施的細節(jié) ,不必具有專業(yè)的云技術知識 ,也無需直接進行控制 ,只關注自身真正需要什么樣的資源以及如何通過網(wǎng)絡來獲得相應的服務。 因此 ,從傳統(tǒng) WEB 服務向云計算服務發(fā)展已經(jīng)具備技術基礎 ,而企業(yè)的 IT從信息架構演進到彈性的 IT 服務也成為必然。技術驅動力也為云計算提供了實現(xiàn)的客觀條件 ,如圖 2 所示 ,在關鍵領域云計算技術已經(jīng)就緒 : 云計算的技術基礎 標準化 :公共技術的長期 發(fā)展 ,使得基礎組件的標準化非常完善 ,硬件層面的互通已經(jīng)沒有阻礙 (即使是非常封閉的大型機目前也開始支持對外直接出 IP接口 ),大規(guī)模運營的云計算能夠極大降低單位建設成本。 從企業(yè)角度 ,云計算解決了 IT 資源的動態(tài)需求和最終成本問題 ,使得 IT部門可以專注于服務的提供和業(yè)務運營。另一方面 ,IT 的投入難以匹配業(yè)務的需求 ,即使虛擬化后 ,也難以解決不斷增加的業(yè)務對資源的變化需求 ,在一定時期內擴展性總是有所限制。 總的來說 ,第二階段過程提升了企業(yè) IT 架構的靈活性 ,數(shù) 據(jù)中心資源利用率有效提高 ,運行成本降低。因此 ,以降低成本、提升 IT 運行靈活性、提升資源利用率為目的的虛擬化開始在數(shù)據(jù)中心進行部署。 總的來說 ,第一階段過程解決了企業(yè) IT 分散管理和容災的問題。 企業(yè) IT 向云計算演進路線圖 第一個階段 :大集中過程。 縮略語清單 : 縮略語 英文全名 中文解釋 IDC Inter Data Center 互聯(lián)網(wǎng)數(shù)據(jù)中心 VRF Virtual Router Forwarding 虛擬路由器轉發(fā) SMP Symmetrical MultiProcessing 對稱多處理 SNIA Storage Networking Industry Association 存儲網(wǎng)絡工業(yè)協(xié)會 TCO Total Cost of Ownership 總擁有成本 ROI Return on Investment 投資回報 目 錄 1 技術背景 5 云計算簡介 5 云計算技術基礎 6 云計算的定義和基礎模型 7 云計算的定義 7 云計算模型 8 2 關鍵技術 10 云計算的基礎架構需求 10 Hadoop 與集群 計算 13 無阻塞全線速網(wǎng)絡 15 概念 15 傳統(tǒng)交換機的局限性 16 云計算核心交換平臺的基本要求 ?無阻塞交換 16 如何構造無阻塞交換網(wǎng)絡 17 云計算核心交換網(wǎng)絡的緩存 19 浪涌 ?云計算環(huán)境下的一個網(wǎng)絡現(xiàn)象 19 云計算核心交換網(wǎng)絡的緩存結構 22 云計算核心交換網(wǎng)絡的緩存大小 24 3 數(shù)據(jù)中心云計算解決方案 30 方案概述 30 傳統(tǒng)的數(shù)據(jù)中心核心網(wǎng)絡架構 30 云計算無阻塞全線速網(wǎng)絡解決方案 31 無阻塞全線速方案架構 32 云計算數(shù)據(jù)中心路由設計方案 33 插圖目錄 圖 1 企業(yè) IT 向云計算演進路線圖 6 圖 2 云計算的技術基礎 8 圖 3 云計算視圖 9 圖 4 云計算的服務層次 10 圖 5 云的歸屬 11 圖 6 云計算對基礎架構的關注點 12 圖 7 密集的虛擬機群 12 圖 8 密集的應用與性能要求 13 圖 9 透明網(wǎng)絡支持虛擬資源的調度遷移 13 圖 10 大規(guī)模虛擬化云計算的透明化網(wǎng)絡承載 14 圖 11 Hadoop 分布式文件系統(tǒng)體系架 構 14 圖 12 經(jīng)典的 Hadoop 組網(wǎng)結構 15 圖 13 大規(guī)模集群架構 16 圖 14 傳統(tǒng) Crossbar 交換架構的阻塞分析模型 17 圖 15 H3C 新一代 CLOS 架構 amp。核心是高可用的無阻塞網(wǎng)絡。但是對大多數(shù)而言人 ,云還是一種還不確切的定義 ,什么是云 ,為什么需要云 ? 云計算簡介 企業(yè)的 IT建設過程 ,以當前的基準來衡量 ,主要有三個階段 ,如圖 1所示。 在這一階段中 ,很多企業(yè)在數(shù)據(jù)集中后期也開始了容災建設 ,特別是在雪災、大地震之后 ,企業(yè)的容災中心建設普遍受到重視 ,以金融為熱點行業(yè)幾乎開展了全行業(yè)的容災建設熱潮 ,并且金融行業(yè)的大部分容災建設的級別都非常高 ,面向應用級容災 (數(shù)據(jù)零丟失為目標 )。標準化并沒有給系統(tǒng)帶來靈活性 ,集中的大規(guī)模 IT 基礎設施出現(xiàn)了大量系統(tǒng)利用率不足的問題 ,不同的系統(tǒng)運行在獨占的硬件資源中 ,效率低下而數(shù)據(jù)中心的能耗、空間問題逐步突顯出來。虛擬化后 ,應用以 VM 為單元部署運行 ,數(shù)據(jù)中心服務器數(shù)量可大為減少且計算能效提升 ,使得數(shù)據(jù)中心的能耗與空間問題得到控制。新系統(tǒng) (特別是硬件 )在建成后一般經(jīng)歷 35 年即面臨逐步老化與更換 ,而軟件技術則不斷面臨升級的壓力。云計算架構可以由企業(yè)自己構建 ,也可采用第三方云設施 ,但基本趨勢是企業(yè)將逐步采取租用 IT 資源的方式來實現(xiàn)業(yè)務需要 ,如同水力、電力資源一樣 ,計算、存儲、網(wǎng)絡將成為企業(yè) IT 運行的一種被使用的資源 ,無需自己建設 ,可按需獲得。 云計算技術基礎 在技術變革不斷發(fā)生的過程中 ,網(wǎng)絡逐步從基本互聯(lián)網(wǎng)功能轉換到 WEB 服務時代典型的 時代 ,IT 也由企業(yè)網(wǎng)絡互通性轉換到提供信息架構全面支撐企業(yè)核心業(yè)務。 帶寬 :大規(guī)模的數(shù)據(jù)交換需要超高帶寬的