【文章內(nèi)容簡介】 下的負(fù)載均衡。但是 ,這個簡單策略加大了寫的代價 ,因為一個寫操作需要傳輸block 到多個機(jī)架。 為了降低整體的帶寬消耗和讀延時 ,HDFS會盡量讓 reader讀最近的副本。如果在 reader 的同一個機(jī)架上有一個副本 ,那么就讀該副本。如果一個 HDFS 集群跨越多個數(shù)據(jù)中心 ,那么 reader 也將首先嘗試讀本地數(shù)據(jù)中心的副本。 HDFS 支持?jǐn)?shù)據(jù)的均衡分布處理 ,如果某個 Datanode 節(jié)點上的空閑空間低于特定的臨界點 ,那么就會啟動一個計劃自動地將數(shù)據(jù)從一個 Datanode 搬移到空閑的 Datanode。當(dāng)對某個文件的請求突然增加 ,那么也可能啟動一個計劃創(chuàng)建該文件新的副本 ,并分布到集群中以滿足應(yīng)用的要求。 我們可以看到 ,Hadoop 系統(tǒng)在開發(fā)過程中關(guān)注了數(shù)據(jù)交換對象計算節(jié)點之間的距離 ,實際上是考慮了網(wǎng)絡(luò)構(gòu)建模型中帶寬不匹配因素。這種因素的引入 ,不僅編程人員需要關(guān)心 ,業(yè)務(wù)部署人員、網(wǎng)絡(luò)維護(hù)人員也都要關(guān)心 ,在小規(guī)模環(huán)境下還能夠勉強(qiáng)運行 ,但是如果要支持全互聯(lián)網(wǎng)級的大規(guī) 模應(yīng)用 ,集群可能達(dá)到數(shù)千臺、數(shù)萬臺 ,業(yè)務(wù)的部署、擴(kuò)展、運行、支撐都會存在很多問題。如圖 13 是一種高擴(kuò)展要求的集群模型 ,這類集群應(yīng)用自身是分層架構(gòu) ,每一層應(yīng)用都是一個大規(guī)模集群 ,采用傳統(tǒng)方式構(gòu)建交換網(wǎng)絡(luò) ,必將存在諸多限制 ,無法發(fā)揮云計算巨型計算的服務(wù)能力。 大規(guī)模集群架構(gòu) 隨著網(wǎng)絡(luò)交換萬兆技術(shù)的發(fā)展和設(shè)備成本的不斷降低 ,目前大規(guī)模集群的構(gòu)建也發(fā)展到新的階段 ,需要新的網(wǎng)絡(luò)結(jié)構(gòu)來支持和運行 : 無阻塞網(wǎng)絡(luò)架構(gòu) :滿足集群環(huán)境中所有服務(wù)器的對等通信要求 ,任意節(jié)點之間可以達(dá)到相等帶寬當(dāng)前是以千兆為主 ,服務(wù)器應(yīng)用 程序不再關(guān)注數(shù)據(jù)交互節(jié)點是在一個機(jī)架內(nèi)還是在其它機(jī)架。 大規(guī)模集群能力 :當(dāng)前 2 千臺規(guī)模的服務(wù)器集群已經(jīng)在互聯(lián)網(wǎng)行業(yè)廣泛部署 ,隨著云計算業(yè)務(wù)的開發(fā)提供 ,更大規(guī)模的集群 50001 萬臺將成為支持云計算的主流網(wǎng)絡(luò)結(jié)構(gòu) ,無阻塞架構(gòu)是這種網(wǎng)絡(luò)的基本要求。 足夠扁平化的架構(gòu) :所謂扁平化就是極大減少組網(wǎng)結(jié)構(gòu)層次 ,目前數(shù)據(jù)中心扁平化結(jié)構(gòu)以兩層物理網(wǎng)絡(luò)為主流。在還是千兆為主的服務(wù)器端口條件下 ,接入交換機(jī)的用戶端口數(shù)一般為 48 個千兆 ,要滿足無阻塞的跨機(jī)架帶寬 ,則上行帶寬需要 5 個萬兆當(dāng)然也可以只使用 40 個千兆接入 ,4 個萬兆上行 ,而核心交換則需要高密的萬兆 120 全線速能力。 無阻塞全線速網(wǎng)絡(luò) 概念 線速 :指的是線路數(shù)據(jù)傳送的實際速率能夠達(dá)到名義值 ,比如千兆端口能夠?qū)嶋H吞吐量到千兆 ,這在交換機(jī)是比較輕松的事 ,但是早期的高端路由器端口如果能夠達(dá)到千兆實際轉(zhuǎn)發(fā)速率 ,那是非常了不起的不過現(xiàn)在已經(jīng)稀疏平常了。 超線速 :如千兆端口能夠吞吐的流量超過一千兆一般也就超出一點點 ,這種交換機(jī)與標(biāo)準(zhǔn)線速設(shè)備對接后容易產(chǎn)生丟包甚至將標(biāo)準(zhǔn)交換機(jī)“堵死”。在數(shù)據(jù)中心環(huán)境下極少數(shù)情況也允許滿足超線速的組網(wǎng) ,只是對交換機(jī)有特殊要求。 全線速 :交換機(jī)的所 有端口能夠同時達(dá)到線速轉(zhuǎn)發(fā)。這個能力也體現(xiàn)了交換機(jī)的性能 ,對于某些性能較低的設(shè)備 ,稱為達(dá)到全線速轉(zhuǎn)發(fā) ,是指達(dá)到了設(shè)備的最高性能而已 ,有可能離該交換機(jī)的端口容量總和還遠(yuǎn)著呢。 “無阻塞”全線速 :有時候在全線速前面再定義一個“無阻塞” ,其實是強(qiáng)化交換機(jī)的全線速能力 ,指的是對交換的任意大小字節(jié)的報文均能夠達(dá)到全線速的能力 ,所有端口都以線速接收幀 ,并能無延遲地處理被稱為“無阻塞(Nonblocking)” ,之所以這樣叫是因為設(shè)備內(nèi)部沒有等待處理的報文 (沒有阻塞 )。但是無阻塞有時也會遇到挑戰(zhàn) ,在很小的概率下即實際 測試中極不容易出現(xiàn) ,確實能夠構(gòu)造特定測試?yán)沟媒粨Q機(jī)產(chǎn)生阻塞 ,這是因為傳統(tǒng)交換架構(gòu)下理論上也能分析出阻塞的可能性。 傳統(tǒng)交換機(jī)的局限性 在“數(shù)據(jù)中心級交換機(jī)”概念出現(xiàn)以前這個概念也是隨著云計算發(fā)展而產(chǎn)生的 ,此前只有核心交換機(jī)、高端交換機(jī)的概念 ,盒式交換機(jī)一般是單芯片 ,機(jī)架式交換機(jī)則主要是“交換網(wǎng) +IO 芯片”結(jié)構(gòu) ,比較先進(jìn)的交換網(wǎng)一般采用 crossbar,架構(gòu)如圖 14 所示。 傳統(tǒng)高端設(shè)備以交換線卡連接 crossbar 高性能交換網(wǎng) ,數(shù)據(jù)在 Crossbar內(nèi)部選路基于實現(xiàn)配置好的規(guī)則 ,同一數(shù)據(jù)流在內(nèi)部的運 轉(zhuǎn)路徑是確定的 HASH算法 ,因此存在特殊情況下在交換不同級層上會發(fā)生阻塞的現(xiàn)象 ,如圖 14 的數(shù)據(jù)流 1 和 2 在第一級、數(shù)據(jù)流 3 和 4 在第二級的阻塞情景有點類似于等價路由或鏈路捆綁的流量不完全均衡性。這種架構(gòu)的交換網(wǎng)容量并不大 ,一般以支持 10GE為主。這種非真正意義的“無阻塞”在一般性數(shù)據(jù)中心并不會遇到挑戰(zhàn) ,但在大型互聯(lián)網(wǎng)數(shù)據(jù)中心 ,隨著近年來 ISP 業(yè)務(wù)不斷豐富、業(yè)務(wù)規(guī)模不斷擴(kuò)大和實際帶寬消耗迅猛增長 ,已經(jīng)出現(xiàn)了傳統(tǒng)交換架構(gòu)在互聯(lián)網(wǎng)數(shù)據(jù)中心難以滿足性能需求的現(xiàn)狀。 傳統(tǒng) Crossbar 交換架構(gòu)的阻塞分析模型 云計算核心交換平臺的基本要求 ?無阻塞交換 到了新一代交換平臺產(chǎn)生的時代 ,數(shù)據(jù)中心級核心交換平臺的能力已經(jīng)確定在 10Tbps 的級別 ,交換系統(tǒng)的架構(gòu)產(chǎn)生了本質(zhì)的變化 ,這種變化是為了應(yīng)對云計算超高速 100G、以及實現(xiàn)今后 10T 環(huán)境下的完全無阻塞所帶來的挑戰(zhàn)而變革產(chǎn)生的架構(gòu) ,也就是 CLOS 架構(gòu)。 那么 ,完全無阻塞的意義就是對一個交換架構(gòu)無論是理論分析還是實測 ,都能夠達(dá)到真正的無阻塞交換如果不能全線速 ,完全無阻塞也用處不大了。完全無阻塞的概念 ,也是在云計算環(huán)境下開始逐步強(qiáng)調(diào)的 ,因為云計算中心應(yīng)用密度比之傳統(tǒng)數(shù) 據(jù)中心高得多 ,流量情況更為復(fù)雜 ,數(shù)據(jù)性能要求更為嚴(yán)格 ,如果在交換平臺核心不能滿足完全無阻塞的交換條件 ,瞬時引起的阻塞必然會導(dǎo)致網(wǎng)絡(luò)流量異常 ,即使是理論上小概率的瞬時阻塞 ,也可能在云計算網(wǎng)絡(luò)中反復(fù)出現(xiàn)。這對大型網(wǎng)絡(luò)來說 ,是存在隱患的 ,因為不斷增長的業(yè)務(wù)和流量可能因為核心平臺的隱患而有所限制莫名其妙的情況下發(fā)現(xiàn)網(wǎng)絡(luò)偶然不暢 ,這種潛在問題有時是無法分析清楚的 ,特別是已經(jīng)在運行的網(wǎng)絡(luò)。因此 ,完全意義上的無阻塞交換 ,是云計算核心交換平臺的關(guān)鍵而基本的要求。 新一代交換架構(gòu)三級 CLOSamp。CELL 交換可支持完全無阻塞 交換 ,是完全遵循復(fù)雜業(yè)務(wù)流要求的 ,能夠?qū)⒋笠?guī)模密集流量在交換系統(tǒng)內(nèi)部均勻交換 ,避免了阻塞帶來的性能惡化與嚴(yán)重下降。其實現(xiàn)基本原理如圖 15 所示 ,在系統(tǒng)內(nèi)部采用動態(tài)選路方式線卡、交換網(wǎng)保存內(nèi)部數(shù)據(jù)轉(zhuǎn)發(fā)路徑信息 ,如果出現(xiàn)路徑不可用或網(wǎng)板、線卡故障 ,選路信息動態(tài)改變 ,這一切操作由硬件系統(tǒng)內(nèi)完成 ,業(yè)務(wù)線卡接收到的數(shù)據(jù)包文 ,進(jìn)行等長切片處理形成定長信元 ,每個信元加載動態(tài)選路的標(biāo)記頭長度不夠的信元會進(jìn)行內(nèi)部填充。 H3C 新一代 CLOS 架構(gòu) amp。Cell 交換實現(xiàn)模型 如何構(gòu)造無阻塞交換網(wǎng)絡(luò) 云計算需要超大的計算能力 和網(wǎng)絡(luò)交換能力 ,通過網(wǎng)絡(luò)來組織數(shù)千臺至上萬臺服務(wù)器的協(xié)同計算 ,因此云計算的支撐網(wǎng)絡(luò)也提出了無阻塞的方向。 首先看如何構(gòu)造大規(guī)模的線速網(wǎng)絡(luò) ,如圖 16 所示 ,從兩個方向來擴(kuò)展 ,在層次上 ,每一層的交換設(shè)備上行所有鏈路帶寬與下行的所有鏈路帶寬相等 ,在同一層次 ,按照下一層設(shè)備的上行端口數(shù)擴(kuò)展 ,如此直到最高層目前主流構(gòu)造兩層到三層網(wǎng)絡(luò)結(jié)構(gòu)。 大規(guī)模網(wǎng)絡(luò)擴(kuò)展方式 構(gòu)造線速交換網(wǎng)絡(luò)比較簡單 ,但是要達(dá)到無阻塞 ,當(dāng)前的技術(shù)實現(xiàn)還不夠徹底 ,因為在網(wǎng)絡(luò)級別只能使用鏈路負(fù)載均衡技術(shù)實現(xiàn)對帶寬的充分利用。如圖17 所示 ,實現(xiàn) 方式主要有兩種。 鏈路負(fù)載均衡 Round robin 方式 :將數(shù)據(jù)流依次向可用鏈路均勻轉(zhuǎn)發(fā)可以基于統(tǒng)計速率、也可以基于逐包方式 ,一般來說 ,當(dāng)服務(wù)器之間全部使用定長報文如 1500 字節(jié)交互數(shù)據(jù) ,基本就構(gòu)成了一個“完全無阻塞交換網(wǎng)絡(luò)”是定長數(shù)據(jù)交換條件下 ,但是存在的問題是 ,同一數(shù)據(jù)流的不同報文可能經(jīng)過不同網(wǎng)絡(luò)路徑到達(dá)目的地 ,經(jīng)過網(wǎng)絡(luò)大規(guī)模流量浪涌后會存在嚴(yán)重的亂序問題。 HASH 方式 :使用網(wǎng)絡(luò)設(shè)備的硬件負(fù)載均衡算法 ,基于數(shù)據(jù)流的二三層地址信息和四層端口號信息得到不同鏈路的選路信息 ,能夠保證同一數(shù)據(jù)流 經(jīng)過相同路徑到達(dá)目的地 ,避免亂序 ,但是不同數(shù)據(jù)流因為流量大小有差異 ,使得網(wǎng)絡(luò)不同鏈路難以完全均衡 ,不過在當(dāng)前技術(shù)條件下 ,不均衡度已經(jīng)極小 ,十分接近完全無阻塞交換網(wǎng)絡(luò)了 云計算核心交換網(wǎng)絡(luò)的緩存 浪涌 ?云計算環(huán)境下的一個網(wǎng)絡(luò)現(xiàn)象 在云計算環(huán)境下 ,性能無疑成為最為關(guān)注的核心要素 ,但是 ,有了超高速的交換性能 ,不一定表示網(wǎng)絡(luò)能夠達(dá)到理想的效果 ,還需要關(guān)注網(wǎng)絡(luò)浪涌的吸收容量 ,我們從分析端口流量情況和網(wǎng)絡(luò)實際流量情況入手。 端口流量 圖 20 是我們進(jìn)行毫秒級網(wǎng)絡(luò)流量研究時得到的流量圖 ,不妨稱之為微觀流量視圖 事實上早在 2020 年左右 ,運營商的研究機(jī)構(gòu)已經(jīng)在 622M 骨干網(wǎng)發(fā)現(xiàn)了這個現(xiàn)象。在秒級、分鐘級以上的宏觀時間尺度下 ,流量 A 和 B 的采樣曲線十分平滑 ,這是因為流量觀測的累積平均效果造成的 ,當(dāng)采樣尺度縮小到毫秒級 ,我們發(fā)現(xiàn) ,從端口得到的流量曲線發(fā)生了變化 ,最高的流量值可能達(dá)到平均流量的23