【文章內(nèi)容簡介】 Controller對(duì)各內(nèi)容站點(diǎn)負(fù)載均衡設(shè)備上定義的VIP或服務(wù)器（沒有本地負(fù)載均衡的情況）進(jìn)行第四層TCP/UDP健康檢查和第七層應(yīng)用健康檢查。未能通過健康檢查的站點(diǎn)不會(huì)被選為最佳的內(nèi)容節(jié)點(diǎn)。2） 地理區(qū)域或用戶自定義區(qū)域一個(gè)區(qū)域?yàn)槿舾蓷lIP地址前綴。根據(jù)用戶本地DNS的IP地址，將特定IP范圍的用戶優(yōu)先分配到某個(gè)通過健康檢查的站點(diǎn)。值得一提的是，由于DNS本身的工作原理所限，GSLB Controller只能看到用戶本地DNS的IP地址，而不是用戶終端的IP地址。當(dāng)用戶使用錯(cuò)誤的本地DNS（如教育網(wǎng)用戶配置網(wǎng)通的DNS服務(wù)器）時(shí)，GSLB Controller返回的DNS應(yīng)答將不是最佳的站點(diǎn)。這是基于DNS的GSLB的一個(gè)弱點(diǎn)，但由于絕大部分運(yùn)營商現(xiàn)在限制其他運(yùn)營商的客戶使用自己的DNS，出現(xiàn)這種錯(cuò)誤配置的比例非常小。3） IP地址權(quán)重可以為DNS應(yīng)答中的每個(gè)IP地址分配權(quán)重，權(quán)重決定與其他候選IP相比分配到該IP的流量比例。4） 站點(diǎn)（Site）權(quán)重可以為每個(gè)Site分配權(quán)重，權(quán)重決定與其他候選Site相比分配到該Site的流量比例。5） 會(huì)話能力閾值通過廠商自由的GSLB協(xié)議，GSLB Controller可以獲得每個(gè)站點(diǎn)負(fù)載均衡設(shè)備當(dāng)前可用會(huì)話數(shù)和會(huì)話表大小的最大值，當(dāng)前會(huì)話數(shù)/最大會(huì)話數(shù)比值超過定義的閾值時(shí)，該站點(diǎn)不再被選擇。6） 活動(dòng)服務(wù)器指一個(gè)GSLB節(jié)點(diǎn)綁定到一個(gè)VIP上的活動(dòng)真實(shí)服務(wù)器數(shù)量?？梢耘渲貌呗詢?yōu)先選擇活動(dòng)服務(wù)器最多的IP地址。7） 往返時(shí)間(RTT)RTT策略是基于區(qū)域之外最常用的策略。有兩種模式的RTT測量：Active RTT測量與Passive RTT測量。在實(shí)際部署中，由于網(wǎng)絡(luò)限制和性能原因，Active RTT往往無法使用，Passive RTT更實(shí)用一些。8） 當(dāng)前可用會(huì)話數(shù)9） 站點(diǎn)管理優(yōu)先級(jí)（Admin Preference）為每個(gè)站點(diǎn)預(yù)設(shè)優(yōu)先級(jí)，選擇優(yōu)先級(jí)較高的站點(diǎn)。10） 10)最少選擇選擇從前被選擇的次數(shù)最少的節(jié)點(diǎn)。11） 11)輪詢（Round Robin）采用輪詢方式選擇站點(diǎn)。 DWDM技術(shù)概述WDM 波分復(fù)用（WDM，Wavelength Division Multiplexing）是指，在1根光纖上承載多個(gè)波長（信道）系統(tǒng)，將1根光纖轉(zhuǎn)換為多條“虛擬”纖，每條虛擬纖獨(dú)立工作在不同波長上。由于WDM 系統(tǒng)技術(shù)的經(jīng)濟(jì)性與有效性，使之成為當(dāng)前光纖通信8最廣泛使用的光波復(fù)用技術(shù)。DWDM技術(shù)是指相鄰波長間隔較小的WDM技術(shù)，工作波長位于1550nm窗口?？梢栽谝粋€(gè)光纖上承載8~160個(gè)波長。主要應(yīng)用于長距離傳輸系統(tǒng)。適用場景在數(shù)據(jù)中心之間建設(shè)一個(gè)L1層的DWDM的9網(wǎng)絡(luò)，可以提供一個(gè)高帶寬、超低延遲、高安全性的帶寬環(huán)境。組網(wǎng)架構(gòu)華為OSN系列OTN設(shè)備將為數(shù)據(jù)中心容災(zāi)提供業(yè)界領(lǐng)先的廣域傳送特性，適合于對(duì)容量、實(shí)時(shí)性等要求較高的容災(zāi)系統(tǒng)，華為OSN系列具備海量級(jí)數(shù)據(jù)傳送能力，最大支持40G/100G80波(~8T)；支持14種專業(yè)級(jí)存儲(chǔ)接口（FC/FICON/ESCON等），具備7大主流存儲(chǔ)廠商的兼容性認(rèn)證；針對(duì)各種容災(zāi)組網(wǎng)類型，OSN系列提供電信級(jí)的50ms級(jí)可靠保護(hù)；提供業(yè)界最佳的3000公里SAN拉遠(yuǎn)能力，滿足長距離異地容災(zāi)需求。技術(shù)特點(diǎn)DWDM的技術(shù)特點(diǎn)和優(yōu)勢：1） 充分利用光纖的帶寬資源，傳輸容量巨大DWDM系統(tǒng)中的各波長相互獨(dú)立，可透明傳輸不同的業(yè)務(wù)，如SDH、GbE、ATM等信號(hào)，實(shí)現(xiàn)多種信號(hào)的混合傳輸。如圖6所示，多個(gè)光信號(hào)通過采用不同的波長復(fù)用到一根光纖中傳輸，每個(gè)波長上承載不同信號(hào)，在一根光纖中傳輸，大大提高了光纖容量，極大的節(jié)約了光纖資源，降低線路建設(shè)成本。2） 超長的傳輸距離利用摻鉺光纖放大器（EDFA）等多種超長距傳輸技術(shù)，可以對(duì)DWDM系統(tǒng)中的各通路信號(hào)同時(shí)放大，實(shí)現(xiàn)系統(tǒng)的長距傳輸。3） 平滑升級(jí)擴(kuò)容由于DWDM系統(tǒng)中的每個(gè)波長通道透明傳輸10，不對(duì)通道數(shù)據(jù)進(jìn)行任何處理，因此，擴(kuò)容時(shí)，只需增加復(fù)用光波長通路數(shù)即可，方便易行。 HyperMetro技術(shù)OceanStor系列產(chǎn)品的HyperMetro功能，可以實(shí)現(xiàn)存儲(chǔ)雙活架構(gòu)，為兩個(gè)數(shù)據(jù)中心存儲(chǔ)同時(shí)提供讀寫服務(wù)，且整個(gè)存儲(chǔ)系統(tǒng)架構(gòu)全冗余，任意數(shù)據(jù)中心故障時(shí)，另外一個(gè)數(shù)據(jù)中心有一份存儲(chǔ)設(shè)備和相同數(shù)據(jù)可用，最大化提高了業(yè)務(wù)連續(xù)性。 HyperMetro雙活集群原理存儲(chǔ)雙活集群技術(shù)HyperMetro最大支持32個(gè)存儲(chǔ)控制器，向應(yīng)用服務(wù)器提供無差異的并行訪問，同時(shí)處理應(yīng)用服務(wù)器的I/O請(qǐng)求；各控制器間互為備份，均衡負(fù)載，控制器故障后，其承接的業(yè)務(wù)自動(dòng)切換到正常控制器，保證系統(tǒng)的可靠性、業(yè)務(wù)的連續(xù)性。集群間的通信支持FC或10Ge鏈路，通信包括集群心跳和數(shù)據(jù)鏡像。其工作原理如下圖所示。 存儲(chǔ)數(shù)據(jù)鏡像通過HyperMetro LUN功能，保證兩個(gè)站點(diǎn)磁盤陣列之間數(shù)據(jù)的實(shí)時(shí)同步。兩臺(tái)存儲(chǔ)設(shè)備上的LUN被虛擬化為一個(gè)虛擬的卷，主機(jī)寫操作通過卷虛擬化鏡像技術(shù)同時(shí)寫入兩個(gè)數(shù)據(jù)中心的存儲(chǔ)設(shè)備，保持?jǐn)?shù)據(jù)實(shí)時(shí)一致。具體的IO讀寫流程如下圖所示。假如數(shù)據(jù)中心A陣列收到寫I/O，處理流程如下：申請(qǐng)寫權(quán)限和記錄寫日志：數(shù)據(jù)中心A陣列收到主機(jī)寫請(qǐng)求，先申請(qǐng)HyperMetro LUN的寫權(quán)限；獲得寫權(quán)限后，HyperMetro將該請(qǐng)求記錄寫日志。日志中只記錄地址信息，不記錄具體的寫數(shù)據(jù)內(nèi)容；該日志采用具有掉電保護(hù)能力的內(nèi)存空間記錄以獲得良好的性能。執(zhí)行雙寫：將該請(qǐng)求拷貝2份分別寫入本地LUN和遠(yuǎn)端LUN。通常情況下LUN是回寫狀態(tài)，數(shù)據(jù)會(huì)寫入該LUN的Cache就會(huì)返回。雙寫結(jié)果處理：等待兩端LUN的寫處理結(jié)果都返回；響應(yīng)主機(jī)：鏡像卷返回寫I/O操作完成。如果任何一個(gè)存儲(chǔ)設(shè)備故障，采用日志記錄故障期間數(shù)據(jù)的變化情況，待存儲(chǔ)設(shè)備恢復(fù)正常后，將增量數(shù)據(jù)后臺(tái)同步到修復(fù)的存儲(chǔ)設(shè)備，整個(gè)過程對(duì)主機(jī)“透明”，不會(huì)影響主機(jī)業(yè)務(wù)。 存儲(chǔ)數(shù)據(jù)修復(fù)單塊磁盤可能會(huì)因?yàn)榈綦姷犬惓Ｇ闆r出現(xiàn)壞塊。如果是可修復(fù)錯(cuò)誤而且本端無法修復(fù)，因?yàn)檫h(yuǎn)端站點(diǎn)有鏡像數(shù)據(jù)，則會(huì)自動(dòng)從遠(yuǎn)端站點(diǎn)獲取數(shù)據(jù)來修復(fù)本地?cái)?shù)據(jù)盤的壞塊，進(jìn)一步提高系統(tǒng)可靠性。假如數(shù)據(jù)中心A陣列收到寫I/O，鏡像處理流程如下：申請(qǐng)讀權(quán)限：陣列收到主機(jī)讀請(qǐng)求，先確認(rèn)HyperMetro的本地讀權(quán)限。讀本地LUN。讀本地LUN結(jié)果返回，如果可修復(fù)錯(cuò)誤，執(zhí)行錯(cuò)誤修復(fù)。重定向遠(yuǎn)端讀。遠(yuǎn)端讀返回。讀結(jié)果返回。本地寫入修復(fù)。 邏輯錯(cuò)誤保護(hù)當(dāng)遭遇病毒攻擊或人為誤操作等異常時(shí)，數(shù)據(jù)中心的數(shù)據(jù)可能被破壞。采用虛擬快照技術(shù)，在操作前對(duì)現(xiàn)有數(shù)據(jù)卷激活快照，實(shí)現(xiàn)本地?cái)?shù)據(jù)保護(hù)。虛擬快照采用寫前拷貝（COW）技術(shù)，僅將變化的數(shù)據(jù)拷貝至快照卷，系統(tǒng)資源占用少。當(dāng)原卷數(shù)據(jù)被錯(cuò)誤修改或刪除，需要進(jìn)行恢復(fù)時(shí)，采用快照對(duì)原卷進(jìn)行回滾，實(shí)現(xiàn)數(shù)據(jù)恢復(fù)，并且，快照卷可分別映射給主機(jī)進(jìn)行數(shù)據(jù)測試和挖掘，不影響生產(chǎn)業(yè)務(wù)。結(jié)合華為容災(zāi)管理軟件，激活快照前觸發(fā)數(shù)據(jù)庫完全檢查點(diǎn)，待數(shù)據(jù)下盤完成后，激活快照，保證快照數(shù)據(jù)完全滿足數(shù)據(jù)庫的一致性要求，快速拉起數(shù)據(jù)庫。 高可靠仲裁防腦裂技術(shù)為保證各種異常情況下，存儲(chǔ)雙活集群能夠進(jìn)行仲裁，建議設(shè)計(jì)第三方仲裁站點(diǎn)，以保證極端場景下的業(yè)務(wù)連續(xù)性。極端場景包括：出現(xiàn)數(shù)據(jù)中心整體故障或中間鏈路故障等場景，存儲(chǔ)集群仍然可以訪問仲裁服務(wù)器進(jìn)行仲裁，保證業(yè)務(wù)可靠性和數(shù)據(jù)一致性。有仲裁站點(diǎn)的場景如下圖所示，為保證任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景下，主機(jī)業(yè)務(wù)的連續(xù)性，方案建議采用仲裁服務(wù)器。這樣，可以保證極端災(zāi)難場景下，存儲(chǔ)集群仍然可以訪問仲裁服務(wù)器進(jìn)行仲裁，保證業(yè)務(wù)可靠性和數(shù)據(jù)一致性。第三方仲裁站點(diǎn)位于XX點(diǎn)，XX點(diǎn)與兩個(gè)數(shù)據(jù)中心之間通過XX線互聯(lián)。仲裁服務(wù)器可以運(yùn)行在虛擬機(jī)上。當(dāng)出現(xiàn)任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景，整個(gè)集群的仲裁過程如下：XX數(shù)據(jù)中心與XX數(shù)據(jù)中心之間的中間鏈路斷開，導(dǎo)致兩個(gè)數(shù)據(jù)中心集群發(fā)生分裂，進(jìn)而兩個(gè)中心之間的存儲(chǔ)虛擬化平臺(tái)發(fā)生“腦裂”，存儲(chǔ)虛擬化平臺(tái)從一個(gè)大集群分裂為兩個(gè)小集群；根據(jù)集群“腦裂”的通用原理，當(dāng)大集群分裂為兩個(gè)小集群時(shí)，每個(gè)小集群分別搶占第三方仲裁服務(wù)器，搶占成功的小集群“獲勝”，將繼續(xù)對(duì)外提供服務(wù)，為應(yīng)用提供存儲(chǔ)訪問空間；未搶占到仲裁信息的小集群則自動(dòng)退出集群，不再對(duì)外提供服務(wù)；當(dāng)中間鏈路恢復(fù)時(shí)，“自動(dòng)退出的小集群”檢測到中間鏈路由故障變?yōu)檎?，嘗試與“繼續(xù)服務(wù)的小集群”握手通信，經(jīng)過握手通信兩個(gè)小集群再次組成一個(gè)大集群，以ActiveActive模式提供服務(wù)，互相之間實(shí)現(xiàn)冗余。下圖列出了基于仲裁服務(wù)器模式，各種故障場景下雙活業(yè)務(wù)是否存活的概要。H1 和H2 表示組成雙活HyperMetro LUN的兩個(gè)陣列，C表示對(duì)應(yīng)的仲裁服務(wù)器。無仲裁站點(diǎn)的場景若無第三方仲裁站點(diǎn)，建議用戶在某個(gè)數(shù)據(jù)中心部署仲裁服務(wù)器，業(yè)務(wù)表現(xiàn)和上述的描述大致一致，但如果仲裁服務(wù)器所在的數(shù)據(jù)中心整體故障，雙活業(yè)務(wù)停止。若無仲裁服務(wù)器，用戶可以設(shè)置其中一端陣列為優(yōu)先站點(diǎn)，另一端為非優(yōu)先站點(diǎn)。當(dāng)發(fā)生腦裂場景，或者非優(yōu)先站點(diǎn)故障時(shí)，優(yōu)先站點(diǎn)上的lun繼續(xù)提供服務(wù)，非優(yōu)先站點(diǎn)的lun停止提供服務(wù)。不足之處在于當(dāng)兩陣列之間失去聯(lián)系，可能是站點(diǎn)間鏈路丟失或其中一個(gè)陣列故障。系統(tǒng)不能區(qū)分這兩種情況，當(dāng)優(yōu)先站點(diǎn)陣列故障時(shí)，非優(yōu)先站點(diǎn)不能接管雙活業(yè)務(wù)，雙活業(yè)務(wù)停止。 主機(jī)層解決方案 VMware容災(zāi)技術(shù)技術(shù)概述虛擬機(jī)HA是當(dāng)計(jì)算節(jié)點(diǎn)上的虛擬機(jī)出現(xiàn)故障時(shí)，系統(tǒng)自動(dòng)將此虛擬機(jī)在其他正常的計(jì)算節(jié)點(diǎn)上恢復(fù)，使該虛擬機(jī)能正常使用。虛擬機(jī)在HA的過程中不可以使用。適用場景虛擬機(jī)HA使用于虛擬機(jī)故障或者主機(jī)故障場景，通過監(jiān)控虛擬機(jī)或物理機(jī)，當(dāng)虛擬機(jī)故障時(shí)在原主機(jī)上重新拉起；物理機(jī)故障則在其它主機(jī)上拉起所有故障的虛擬機(jī)。組網(wǎng)架構(gòu)生產(chǎn)站點(diǎn)部分正在運(yùn)行的主機(jī)或虛擬機(jī)發(fā)生異常（如主機(jī)下電、主機(jī)重啟、虛擬機(jī)藍(lán)屏），虛擬機(jī)優(yōu)先通過DRS功能在本地冗余主機(jī)上HA。若本地冗余主機(jī)資源不足，則虛擬機(jī)通過集群內(nèi)HA功能在容災(zāi)站點(diǎn)主機(jī)上HA。 發(fā)生容災(zāi)時(shí)，虛擬機(jī)短時(shí)間內(nèi)不可用（依賴于虛擬機(jī)HA時(shí)間），數(shù)據(jù)無丟失。容 災(zāi)后，生產(chǎn)站點(diǎn)虛擬機(jī)仍然訪問本地存儲(chǔ)資源，容災(zāi)站點(diǎn)容災(zāi)虛擬機(jī)將跨站點(diǎn)訪問生產(chǎn)站點(diǎn)的存儲(chǔ)資源。技術(shù)特點(diǎn)當(dāng)計(jì)算節(jié)點(diǎn)上的虛擬機(jī)出現(xiàn)故障時(shí)，系統(tǒng)自動(dòng)將此虛擬機(jī)在其他正常的計(jì)算節(jié)點(diǎn)上恢復(fù)，使該虛擬機(jī)能正常使用。虛擬機(jī)在HA的過程中不可以使用。HA的目標(biāo)服務(wù)器必須滿足該虛擬機(jī)需要的資源要求。 虛擬機(jī)HA只能在同一個(gè)遷移域中進(jìn)行，一個(gè)遷移域即一個(gè)Cluster。 數(shù)據(jù)庫層解決方案 Oracle RAC技術(shù)技術(shù)概述RAC全稱 Real Application Clusters，是Oracle數(shù)據(jù)庫高可用技術(shù)的一種，也是Oracle數(shù)據(jù)庫支持網(wǎng)格計(jì)算環(huán)境的核心技術(shù)。從10g版本開始Oracle推出了Oracle Clusterware 集群軟件，使得RAC不再依賴于第三方廠商得集群軟件實(shí)現(xiàn)多節(jié)點(diǎn)并發(fā)的集群數(shù)據(jù)庫。 如圖所示，一組Oracle RAC數(shù)據(jù)庫服務(wù)器組成一個(gè)集群，他們之間通過高速內(nèi)網(wǎng)相互聯(lián)，共享緩存。用戶通過外部網(wǎng)絡(luò)連接到數(shù)據(jù)庫集群，當(dāng)數(shù)據(jù)庫服務(wù)器有單點(diǎn)故障時(shí)，上層用戶不會(huì)受到任何影響。數(shù)據(jù)庫集群共享下層的SAN存儲(chǔ)。Oracle RAC是Oracle數(shù)據(jù)庫高可用技術(shù)之一，也是Oracle數(shù)據(jù)庫支持網(wǎng)格計(jì)算環(huán)境的核心技術(shù)，可提供多節(jié)點(diǎn)并發(fā)的數(shù)據(jù)庫應(yīng)用，并通過監(jiān)聽客戶端和服務(wù)器端實(shí)現(xiàn)負(fù)載均衡，把用戶連接分配到不同的節(jié)點(diǎn)上執(zhí)行。Oracle Extended RAC在Oracle RAC技術(shù)基礎(chǔ)上提供了一種跨數(shù)據(jù)中心的雙活集群架構(gòu)，當(dāng)單中心故障時(shí)，另外一個(gè)數(shù)據(jù)中心存活的節(jié)點(diǎn)可自動(dòng)接管業(yè)務(wù)，接管過程對(duì)上層業(yè)務(wù)透明，用戶無感知?；贠racle Extended RAC，構(gòu)建雙活數(shù)據(jù)中心來并行承擔(dān)相同業(yè)務(wù)，提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率成為可能。在這種場景下，兩個(gè)數(shù)據(jù)中心互為備份，當(dāng)單數(shù)據(jù)中心故障時(shí)，業(yè)務(wù)可以能自動(dòng)切換到另一數(shù)據(jù)中心，業(yè)務(wù)不中斷。Oracle Extended RAC的核心是共享存儲(chǔ)子系統(tǒng)，通過共享訪問數(shù)據(jù)文件、重做日志文件、控制文件和參數(shù)文件的方式，確保各節(jié)點(diǎn)都能進(jìn)行讀寫操作，且在單個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，剩余節(jié)點(diǎn)能夠自動(dòng)接管并恢復(fù)數(shù)據(jù)庫。雙活架構(gòu)數(shù)據(jù)中心方案采用共享卷技術(shù)，將跨數(shù)據(jù)中心的存儲(chǔ)空間以共享方式提供給上層應(yīng)用訪問，滿足Oracle RAC共享存儲(chǔ)需求，使得兩個(gè)數(shù)據(jù)中心的節(jié)點(diǎn)可構(gòu)成一個(gè)跨數(shù)據(jù)中心Oracle Extended RAC集群。Oracle Extended RAC集群配合Oracle監(jiān)聽器技術(shù)，可實(shí)現(xiàn)客戶端在數(shù)據(jù)中心間業(yè)務(wù)雙活訪問和負(fù)載均衡；配合Oracle透明應(yīng)用程序故障轉(zhuǎn)移（TAF）技術(shù)，當(dāng)服務(wù)器或單數(shù)據(jù)中心故障時(shí)，使客戶端能夠在新的連接中繼續(xù)工作，防止業(yè)務(wù)中斷。構(gòu)建以O(shè)racle Extended RAC為數(shù)據(jù)平臺(tái)的雙活數(shù)據(jù)中心，底層以虛擬化智能存儲(chǔ)和智能光傳送平臺(tái)為基礎(chǔ)，以100km光傳輸距離為限，解決了傳統(tǒng)災(zāi)備中心不能承載業(yè)務(wù)和自動(dòng)業(yè)務(wù)切換的問題，為應(yīng)用系統(tǒng)提供最高的業(yè)務(wù)連續(xù)性保障，確保業(yè)務(wù)系統(tǒng)發(fā)生設(shè)備故障、甚至單數(shù)據(jù)中心故障時(shí)，業(yè)務(wù)無感知自動(dòng)切換，實(shí)現(xiàn)RPO（Recovery Point Objective）和RTO（Recovery Time Objective）都為零。以O(shè)racle Extended RAC為數(shù)據(jù)平臺(tái)的雙活數(shù)據(jù)中心，其亮點(diǎn)和優(yōu)勢如下：l 高可用性：兩中心數(shù)