【正文】 8 所示 ,對基礎網絡的轉發(fā)表項、吞吐能力、突發(fā)流量吸收提出了苛刻的要求。 最上層是 SaaSSoft as a Service,軟件即服務。維基百科對云計算的定義是 :云計算是一種基于互聯(lián)網的計算新方式 ,通過互聯(lián)網上異構、自治的服務為個人和企業(yè)提供按需即取的計算。 對企業(yè)而言 ,數(shù)據(jù)中心的各種系統(tǒng) (包括軟硬件與基礎設施 )是一大筆資源投入。云計算的提出 ,引發(fā)了新的技術變革和新的 IT 服務模式。 第二個階段 :實施虛擬化的過程。 這三個階段中 ,大集中與容災是面向數(shù)據(jù)中心物理組件和業(yè)務模塊 ,虛擬化是面向數(shù)據(jù)中心的計算與存儲資源 ,云計算最終面向 IT 服務。但是用戶并不關注搜狗輸入法在后臺運行的數(shù)千臺服務器提供的大型集群計算 ,這些工作都交給了 ISP。公有云一般屬 ISP 構建 ,面向公眾、企業(yè)提供公共服務 ,由 ISP 運營 。DataNode,它為 HDFS 提供存儲塊。這個簡單策略設置可以將副本分布在集群中 ,有利于組件失敗情況下的負載均衡。在數(shù)據(jù)中心環(huán)境下極少數(shù)情況也允許滿足超線速的組網 ,只是對交換機有特殊要求。其實現(xiàn)基本原理如圖 15 所示 ,在系統(tǒng)內部采用動態(tài)選路方式線卡、交換網保存內部數(shù)據(jù)轉發(fā)路徑信息 ,如果出現(xiàn)路徑不可用或網板、線卡故障 ,選路信息動態(tài)改變 ,這一切操作由硬件系統(tǒng)內完成 ,業(yè)務線卡接收到的數(shù)據(jù)包文 ,進行等長切片處理形成定長信元 ,每個信元加載動態(tài)選路的標記頭長度不夠的信元會進行內部填充。當然 ,正常情況下是界于二者之間非常隨機的。這種線性比例的緩存能力 ,能夠自適應于云計算的不定向浪涌流量 ,交換緩存架構能夠自動調節(jié)不同方向的瞬時流量擁塞壓力 ,是當前云計算網絡的主要應用技術。反過來也根據(jù)模型得出 ,收斂比減小出方向帶寬增加時可突發(fā)的數(shù)據(jù)量比原有收斂比要大。 因此 buffer011/20*,說明緩存要求顯然高于現(xiàn)有網絡運行產品的要求。全網使能 OSPF 認證功能提供網絡安全。 上行各為一個千兆 ,兩臺設備之間為兩個千兆互聯(lián) 右邊設備為 Master,使用了一塊 4:1 收斂的交換線卡上行 ,緩存 500KB,其它線卡 緩存 問題是每學期學生集中選課時網絡異常 ,但是平均流量很小 ,不足 200Mbps 當人為進行 A 和 B 鏈路切換數(shù)據(jù)流從 B 上 ,VRRP 主備不倒換時 ,故障消失 ,平均流量依然為 200Mbps 左右。 突發(fā)數(shù)據(jù)量和網絡傳送時間 實際的數(shù)據(jù)傳送時間為 t,t 必須小于等于 Tm 才能滿足業(yè)務要求 ,那么 : 臨界緩存值 :buffer0 我們再定義一個臨界緩存值 buffer0,是指能夠剛好滿足突發(fā)要求的最小緩存值 ,即在數(shù)據(jù) D的突發(fā)量下 ,buffer0剛好能 夠容納這些數(shù)據(jù)因為在緩存容納數(shù)據(jù)的同時 ,出端口還在往外轉發(fā)數(shù)據(jù) ,如圖 31 所示。 云計算核心交換網絡的緩存結構 對于交換機而言 ,緩存方式也有不同的機制 :出端口和入端口緩存。我們以圖 21 為例作一個不太嚴格的分析 ,在千兆端口下 ,假定轉發(fā)的報文大小為端口 MTU級 ,即報文為 1500字節(jié) ,計算出的串行化時延約為 12微秒 ,由于報文之間還有幀間隙 ,為簡單起見 ,假設為 8微秒實際幀間隙非常之小 ,那么一個報文的轉發(fā)到鏈路時間為 20 微秒。這對大型網絡來說 ,是存在隱患的 ,因為不斷增長的業(yè)務和流量可能因為核心平臺的隱患而有所限制莫名其妙的情況下發(fā)現(xiàn)網絡偶然不暢 ,這種潛在問題有時是無法分析清楚的 ,特別是已經在運行的網絡。 足夠扁平化的架構 :所謂扁平化就是極大減少組網結構層次 ,目前數(shù)據(jù)中心扁平化結構以兩層物理網絡為主流。因此 Hadoop 的一個假設是 :機架內部節(jié)點之間的傳輸速度快于機架間節(jié)點的傳輸速度。對云服務供應商而言 ,透明化網絡可以在更大的范圍內優(yōu)化計算資源的供應 ,提升云計算服務的運行效率、有效節(jié)省資源和成本。 層次化的云計算一般也稱為 IPS 云計算 ,各層可獨立提供云服務 ,下一層的架構也可以為上一層云計算提供支撐。 關于云計算的描述 ,在當前具有的共同特征是 :云是一種服務 ,類似水電一樣 ,按需使用、靈活付費 ,使用者只關注服務本身。 于是企業(yè) IT 產生新的期望藍圖 :IT 資源能夠彈性擴展、按需服務 ,將服務作為 IT 的核心 ,提升業(yè)務敏捷性 ,進一步大幅降低成本。 這一過程將企業(yè)分散的數(shù)據(jù)資源、 IT 資源進行了物理集中 ,形成了規(guī)?；臄?shù)據(jù)中心基礎設施。在數(shù)據(jù)集中過程中 ,不斷實施數(shù)據(jù)和業(yè)務的整合 ,大多數(shù)企業(yè)的數(shù)據(jù) 中心基本完成了自身的標準化 ,使得既有業(yè)務的擴展和新業(yè)務的部署能夠規(guī)劃、可控 ,并以企業(yè)標準進行 IT 業(yè)務的實施 ,解決了數(shù)據(jù)業(yè)務分散時期的混亂無序問題。因此 ,面向服 務的 IT 需求開始演化到云計算架構上。 H3C 的云計算理念認為云計算是一種新的 IT 服務模式 ,支持大規(guī)模計算資源的虛擬化 ,提供按需計算、動態(tài)部署、靈活擴展能力。仍以搜狗拼音為例 ,由大型服務器群、高速網絡、存儲系統(tǒng)等組成的 IaaS 架構為內部的業(yè)務開發(fā)部門提供基礎服務 ,而內部業(yè)務開發(fā)系統(tǒng)在 IaaS上構建了 PaaS,并部署運行搜狗拼音應用系統(tǒng) ,這樣一個大型的系統(tǒng)對互聯(lián)網用戶而言 ,就是一個大規(guī)模 SaaS 應用。 大規(guī)模虛擬化云計算的透 明化網絡承載 Hadoop 與集群計算 Hdoop 是目前在互聯(lián)網使用廣泛的一種云計算支撐架構 ,借助于 Hadoop, 程序員可以輕松地編寫分布式并行程序 ,將其運行于大型計算機集群上 ,完成海量數(shù)據(jù)的計算。 通過一個稱為 Rack Awareness 的過程 ,Namenode 決定了每個 Datanode 所屬的 rack id。在還是千兆為主的服務器端口條件下 ,接入交換機的用戶端口數(shù)一般為 48 個千兆 ,要滿足無阻塞的跨機架帶寬 ,則上行帶寬需要 5 個萬兆當然也可以只使用 40 個千兆接入 ,4 個萬兆上行 ,而核心交換則需要高密的萬兆 120 全線速能力。因此 ,完全意義上的無阻塞交換 ,是云計算核心交換平臺的關鍵而基本的要求。也就是說 ,要體現(xiàn)交換機線速轉發(fā) ,端口上每 20 微秒就發(fā)送一個 1500 字節(jié)報文。傳統(tǒng)技術實現(xiàn)多以出端口緩存為主 ,這種機制使得所有數(shù)據(jù)流 的突發(fā)在出端口處被緩存 ,緩存的大小即是網絡最大可能的突發(fā)值。 我們借用水池漏水的題目 ,如圖 31所示 ,蓄水池的大小是 buffer0,粗水管以 BH 的速率往水池里灌水 ,細水管以 BL 的速率往外流水 ,問題 : 當水池裝滿后 ,粗水管一共灌了多少水 ? 求突發(fā)量 D 與 buffer0、入出帶寬 BH 和 BL 的關系 如果當水池滿后就停止灌水 ,那么從最開始灌水 ,到水池的水流干 ,一共要多長時間 ? 求突發(fā)量 D 下 ,數(shù)據(jù)傳送時間 t 與 buffer0 和帶寬關系是否滿足應用 的需求 臨界緩存 buffer0 通過對以上問題的求解 (由于篇幅有限 ,這里求解過程略去 ),我們得出當網絡的出帶寬等于入帶寬時 ,是不需要 buffer 的。 校園網數(shù)據(jù)中心案例 經過現(xiàn)場診斷和深入分析 ,解決方法為將右側 Master 上行線卡更換為全線速、大緩存的線卡 ,運行至今未見問題出現(xiàn)。 云計算數(shù)據(jù)中心路由設計方案 OSPF 骨干域 核心到出口等價缺省路由 (2 條 ) S12508 之間的鏈路在骨干域內 OSPF Stub 域 接入到核心等價缺省路由 (4 條 ) 扁平化方案 ?最大接 。 收斂比 ,按照數(shù)據(jù)流從 A 鏈路上行 ,N20:120 假定只有同時 20 臺服務器對外工作 ,其它服務器可能還提供別的服務 ,也對網絡突發(fā)是有貢獻的。 臨界緩存與收斂比的關系如圖 32 所示 ,出帶寬增加 ,不僅收斂比減小 ,buffer0的要求降低 ,同時根據(jù) tD/BL得知相同突發(fā)數(shù)據(jù)量的傳送時間大幅降低。 入端口緩存 因此入端口緩存機制下 ,各端口的數(shù)據(jù)在出端口擁塞時都能在本地緩存 ,因而緩存容量是與入端口數(shù)成正比的線性關系。 微觀采樣的理想化分析 那么如果網絡中我們觀測到一個端口流量是 500Mbps,該如何來理解這個信息呢 ?如圖 22 所示 ,最理想的情況當然是每 40微秒轉發(fā)一個報文 ,這樣網絡流量最平穩(wěn) ,最惡劣的情況是 ,在觀測周期內 ,前半段時間流量 20 微秒的密集即持續(xù)千兆速率轉發(fā) ,后半段時間無數(shù)據(jù)轉發(fā)。CELL 交換可支持完全無阻塞 交換 ,是完全遵循復雜業(yè)務流要求的 ,能夠將大規(guī)模密集流量在交換系統(tǒng)內部均勻交換 ,避免了阻塞帶來的性能惡化與嚴重下降。 超線速 :如千兆端口能夠吞吐的流量超過一千兆一般也就超出一點點 ,這種交換機與標準線速設備對接后容易產生丟包甚至將標準交換機“堵死”。這樣可以防止整個機架 (非副本存放 )失效的情況 ,并且允許讀數(shù)據(jù)的時候可以從多個機架讀取。 Hadoop 分布式文件系統(tǒng)體系架構 這些角色包括 NameNode,它在 HDFS 內部提供元數(shù)據(jù)服務 。