【文章內(nèi)容簡介】 整體性能。數(shù)據(jù)寫I/O過程如圖319所示。圖319優(yōu)選陣列模式數(shù)據(jù)寫 高可擴展性HyperMetro雙活特性通過與OceanStor V3融合存儲系統(tǒng)的其它Smart系列和Hyper系列特性組合，可形成多種數(shù)據(jù)保護和災備解決方案。 兩地三中心擴展近年來，大范圍自然災害時有發(fā)生，3DC (兩地三中心）容災解決方案越來越受到業(yè)界重視和認可。所謂3DC即兩地三中心，即一份數(shù)據(jù)有3份備份（包括自己）且分布在三個不同的地理位置即稱之為三數(shù)據(jù)中心，通常是指生產(chǎn)中心，加上同城災備中心以及異地災備中心。HyperMetro特性與OceanStor統(tǒng)一存儲系統(tǒng)的HyperReplication特性組合，并結合 BCManager專業(yè)容災管理軟件實現(xiàn)3DC容災。當生產(chǎn)中心發(fā)生災難，可在同城災備中心進行接管業(yè)務，并保持與異地災備中心的容災關系。若生產(chǎn)中心和同城災備中心均發(fā)生災難，可在異地災備中心對遠程復制進行主從切換，并拉起業(yè)務。圖320 3DC容災方案相對于傳統(tǒng)的同步復制+異步復制的3DC方案，雙活+異步復制的方案具有更好的資源利用率和故障切換速度。雙活數(shù)據(jù)中心實現(xiàn)同城容災時，可將同一關鍵業(yè)務負載均衡到雙數(shù)據(jù)中心，并且在單數(shù)據(jù)中心發(fā)生故障，業(yè)務零中斷，數(shù)據(jù)零丟失。在部署層面，雙活數(shù)據(jù)中心支持平滑擴展為兩地三中心，可先期實現(xiàn)同城雙活，待異地數(shù)據(jù)中心建設完成后，再添加異步復制，實現(xiàn)應用異地保護。3DC方案中，BCManager能夠提供簡化管理的容災拓撲展示與端到端監(jiān)控功能，直觀清晰的展示保護方案的狀態(tài)與變化，實時監(jiān)控相關設備部件，實現(xiàn)業(yè)務災難切換前就識別問題與故障并協(xié)助用戶排除，規(guī)避影響業(yè)務和增加成本的容災切換發(fā)生。 異構雙活HyperMetro與OceanStor V3融合存儲系統(tǒng)的SmartVirtualization特性結合，利用 SmartVirtualization特性的虛擬化功能，實現(xiàn)高可靠的存儲資源整合和優(yōu)化，提高資源利用率。異構虛擬化就是把異構陣列映射到本端陣列（華為陣列）的LUN，作為本端陣列能提供存儲空間的邏輯盤，再在該邏輯盤上創(chuàng)建eDevLun，邏輯盤為eDevLun提供了全部的數(shù)據(jù)存儲空間，eDevLun的元數(shù)據(jù)卷的存儲空間由華為存儲提供。異構虛擬化可保證外部LUN數(shù)據(jù)完整性不被破壞，eDevLun與原異構LUN具有不同的全球唯一名稱 WWN。由于eDevLun與本地LUN具有幾乎相同的LUN屬性，所以，異構虛擬化接管之后的 LUN可以通過HyperMetro技術為異構LUN提供雙活功能。圖321異構陣列保護 本地保護快照保護當遭遇病毒攻擊或人為誤操作等異常時，數(shù)據(jù)中心的數(shù)據(jù)可能被破壞。采用虛擬快照技術，在操作前對現(xiàn)有數(shù)據(jù)卷激活快照，實現(xiàn)本地數(shù)據(jù)保護。虛擬快照采用寫前拷貝（COW)技術，僅將變化的數(shù)據(jù)拷貝至快照卷，系統(tǒng)資源占用少。當原卷數(shù)據(jù)被錯誤修改或刪除，需要進行恢復時，采用快照對原卷進行回滾，實現(xiàn)數(shù)據(jù)恢復，并且，快照卷可分別映射給主機進行數(shù)據(jù)測試和挖掘，不影響生產(chǎn)業(yè)務。結合華為容災管理軟件，激活快照前觸發(fā)數(shù)據(jù)庫完全檢查點，待數(shù)據(jù)寫盤完成后，激活快照，保證快照數(shù)據(jù)完全滿足數(shù)據(jù)庫的一致性要求，快速拉起數(shù)據(jù)庫。注意如果將當前的雙活數(shù)據(jù)進行快照回滾，數(shù)據(jù)會被覆蓋，無法返回當前的狀態(tài)。如果可能需要返回當前狀態(tài)，需手動將當前狀態(tài)打個快照。HyperMetro與HyperSnap結合，可分別在雙活兩則陣列上對雙活成員LUN配置快照保護。圖322有快照保護的雙活卷鏡像保護卷鏡像（HyperMirror)是一種本地數(shù)據(jù)持續(xù)保護技術，可以為一個LUN創(chuàng)建兩個鏡像物理副本，提供持續(xù)的冗余保護而主機側(cè)不受任何影響。當某個鏡像副本故障時，存儲系統(tǒng)可以利用卷鏡像提供的另一個鏡像副本，保證主機業(yè)務繼續(xù)正常工作，并且可以保障數(shù)據(jù)不會丟失。華為OceanStor V3存儲系統(tǒng)支持與第三方存儲系統(tǒng)的LUN創(chuàng)建卷鏡像，提高第三方存儲系統(tǒng)LUN的可靠性。.HyperMetro與卷鏡像結合，可在鏡像LUN基礎上，再創(chuàng)建雙活Pair。這種組合可充分利用本地數(shù)據(jù)保護和遠程數(shù)據(jù)保護的特點，提供更高級別的業(yè)務連續(xù)性保護。邏輯圖如圖323所示。圖323有卷鏡像保護的雙活 計算層雙活通過物理機部署跨數(shù)據(jù)中心的集群，可以保證在各種故障場景下，快速完成業(yè)務切換，提供零中斷零丟失的業(yè)務訪問。常見的虛擬化集群技術，有以下最突出的特點：216。 HA重啟恢復虛擬機，業(yè)務有短暫中斷n 發(fā)生宿主機故障時，運行其上的虛擬機在其它宿主機上自動重啟恢復。該虛擬機業(yè)務會有短暫中斷，虛擬機內(nèi)存數(shù)據(jù)會丟失。216。 虛擬機集群資源利用率提升數(shù)十倍n 一臺物理宿主機上能運行幾臺甚至幾十臺虛擬機，提供極高的資源利用率。由此可見，解決虛擬機HA時業(yè)務中斷是需要解決的首要問題，否則雙活零業(yè)務中斷無法滿足。前述我們使用了負載均衡設備，可以實現(xiàn)在雙活數(shù)據(jù)中心實現(xiàn)業(yè)務負載均衡，此時虛擬機上部署服務時，只需要在兩個數(shù)據(jù)中心部署同樣的服務，即可滿足要求。因為當宿主機故障時，另一個數(shù)據(jù)中心的虛擬機上的服務可以實時接管業(yè)務。當前，常見的幾個虛擬化平臺（VMware vSphere，F(xiàn)usionSphere)已經(jīng)商用多年，穩(wěn)定性和可靠性已經(jīng)得到了驗證。計算資源虛擬化的建議配置如下：216。 跨數(shù)據(jù)中心配置虛擬化集群，將計算資源虛擬化后，其上部署虛擬機。216。 配置HA，使虛擬機受HA保護，故障時能自動恢復。216。 配置DRS，使虛擬機按業(yè)務要求更好的分布在不同宿主機上。網(wǎng)絡大二層互通，使虛擬機能無障礙跨數(shù)據(jù)中心在線遷移，提供虛擬化平臺更好的維護性，日常維護時業(yè)務不受影響。216。 雙活存儲平臺提供的共享存儲空間，映射給虛擬化集群的所有宿主機，以便虛擬機具備足夠的靈活性。計算層虛擬化雙活改造后，虛擬機能更好的基于原計算資源負載均衡，資源利用率和運行效率能得到極大提高，新業(yè)務部署更為靈活和簡單，所有虛擬機具備良好的高可靠性、在線遷移特性和易維護性。虛擬機部署方式如下：B/S 和C/S216。 如果是B/S應用：Web和App采用虛擬機部署，虛擬機不部署集群。SLB可以檢測服務器故障，將業(yè)務分發(fā)到正常運行的服務器上。216。 如果是C/S應用：App如果采用虛擬機部署，虛擬機部署跨DC集群。 B/S應用雙活工作原理一個從瀏覽器發(fā)送的HTTP請求經(jīng)過Web服務器（例如Apache)之后會被重新定向給應用服務器（例如Weblogic)。這個重定向的操作就是由Web服務器來完成的。一般的，一臺Web服務器對應一個應用服務器集群，從而達到負載均衡效果。圖324 Web應用服務器集群部署圖325 網(wǎng)絡層 B/S請求轉(zhuǎn)發(fā)拓撲圖如圖所示，一個站點部署多臺Web服務器，不組成集群，在SLB (F5 LTM)上創(chuàng)建兩個資源池，將一個站點內(nèi)部的所有Web服務器組成一個資源池。雙活數(shù)據(jù)中心方案分別創(chuàng)建 DC1資源池和DC2資源池；一個站點部署多臺應用服務器，跨站點將同類應用服務器組成AA集群。兩個數(shù)據(jù)中心的應用服務器集群均連接跨DC的數(shù)據(jù)庫集群。HTTP Session持久化管理一個HTTP Session是指一個用戶在同一個瀏覽器上對服務器發(fā)出的一系列請求。HTTP Session使得運行在Web容器上的應用能夠跟蹤記錄每個用戶的一系列操作。Session持久化管理是指客戶的所有后續(xù)請求都會被分發(fā)到同一臺應用服務器上。通過 Session持久化管理，系統(tǒng)的性能會得到提高，因為各個應用服務器不需要重新創(chuàng)建和維護Session信息，而且這樣也避免了前面Session丟失的情況。應用服務器集群跨數(shù)據(jù)中心創(chuàng)建，使用內(nèi)存同步完成Session持久化管理，即使跨數(shù)據(jù)中心訪問，也不會Session丟失。負載均衡B/S應用的雙活負載均衡，流程如下：，根據(jù)負載均衡算法分發(fā)到Web服務器；，然后在資源池中選擇應用服務器節(jié)點進行轉(zhuǎn)發(fā)。 Session持久化檢查，檢查請求的Cookie或URL中的jSession id參數(shù)。如果匹配，那么插件就會將請求轉(zhuǎn)給這臺應用服務器。插件會根據(jù)既定規(guī)則尋找合適的應用服務器。如果請求轉(zhuǎn)發(fā)成功，應用服務器返回成功的TCP/IP ACK回復。如果超時無回復，Web服務器會返回一個500錯誤。4. 返回應用服務器處理請求結果。發(fā)送請求后，Web服務器會進入等待狀態(tài)。當應用服務器返回對應的結果后，Web服務器結束其等待狀態(tài)。如果請求處理失敗， Web服務器會把應用服務器標為不可用的狀態(tài)，并將請求轉(zhuǎn)給另一臺應用服務器。 C/S應用雙活C/S業(yè)務一般對外提供IP訪問，例如使用一款Client軟件，使用IP地址、用戶名和密碼登錄某款應用。如果C/S應用不支持分布式部署。主路由只能在一個數(shù)據(jù)中心發(fā)布，所以應用只能在單數(shù)據(jù)中心運行，但支持故障自動切換至備站點。將不同應用分布到2個數(shù)據(jù)中心運行。圖326 C/S應用雙活原理（IP訪問，C/S應用不支持分布式部署）如果C/S應用支持分布式部署，在兩數(shù)據(jù)中心運行（對外使用不同IP地址）。手動配置客戶端對應的服務器端IP，將不同客戶負載均衡到兩個DC。圖327 C/S應用雙活原理（IP訪問，C/S應用支持分布式部署）數(shù)據(jù)庫層雙活通過數(shù)據(jù)庫集群實現(xiàn)，在業(yè)界主要分為兩種方式：A/S (Active Standby)集群與 A/A (ActiveActive)集群。常見的 ActiveStandby 集群系統(tǒng)有：IBM PowerHA、HP ServiceGuard、Microsoft WSFC、Veritas Cluster Server等。在主節(jié)點故障后，集群備節(jié)點將自動重新啟動應用系統(tǒng)，無需管理員干預，即所謂的“故障切換(Failover)”管理員需要提前在所有集群主備節(jié)點上部署集群軟件，由集群軟件控制文件系統(tǒng)的掛載，應用系統(tǒng)服務的啟動，以及公網(wǎng)IP地址的配置。主備集群架構如圖328所示：圖328 A/S集群ActiveActive集群的多個集群節(jié)點可以同時提供同一項服務。采用ActiveActive集群，可以做到故障的無縫切換，而且可以提升應用系統(tǒng)整體性能。當前典型、應用最廣泛使用的是 ActiveActive 集群，例如 Oracle RAC(Real Application Cluster)集群系統(tǒng)。ActiveActive集群架構如圖329所示：圖329 A/A 集群 Oracle RAC 雙活Oracle RAC以共享存儲為基礎，通過共享的存儲資源，實現(xiàn)各節(jié)點對數(shù)據(jù)文件、重做日志文件、控制文件和參數(shù)文件的并行訪問，且在單個節(jié)點出現(xiàn)故障時，業(yè)務能自動切換到正常節(jié)點，從而保證數(shù)據(jù)庫系統(tǒng)正?？捎谩４鎯﹄p活提供的雙活LUN作為共享卷，實現(xiàn)跨數(shù)據(jù)中心的Oracle Extended RAC集群構建。Oracle Extended RAC集群配合Oracle監(jiān)聽器技術，可實現(xiàn)客戶端在數(shù)據(jù)中心間業(yè)務雙活訪問和負載均衡；配合Oracle透明應用程序故障轉(zhuǎn)移（TAF)技術，當服務器或單數(shù)據(jù)中心故障時，使客戶端能夠在新的連接中繼續(xù)工作，防止業(yè)務中斷。在出現(xiàn)中間網(wǎng)絡心跳鏈路故障時，Oracle RAC會采用如下的原則進行仲裁：216。 擁有最多節(jié)點數(shù)目的子集群（Subcluster with largest number of Nodes)獲勝。216。 若子集群內(nèi)數(shù)目相等則擁有最低節(jié)點號的子集群(Subcluster with lowest node number)獲勝。Oracle RAC建議采用“2+1”的部署方式，數(shù)據(jù)中心A部署2臺服務器，數(shù)據(jù)中心B部署1臺服務器。保證在出現(xiàn)心跳鏈路故障時數(shù)據(jù)中心A的實例優(yōu)先存活。若節(jié)點數(shù)一致，則建議部署時將節(jié)點號小的服務器部署在數(shù)據(jù)中心A。Oracle Extended Distance Cluster 節(jié)點部署如圖 330 所示：圖330 RAC網(wǎng)絡拓撲圖為了避免跨數(shù)據(jù)中心進行數(shù)據(jù)的交互，建議在Oracle RAC層創(chuàng)建不同的Service，實現(xiàn)業(yè)務分離。通過Oracle RAC透明應用程序故障切換（TAF)的PREFERRED功能設置應用只訪問本地實例；同時設置遠端數(shù)據(jù)中心的實例為AVAILABLE，只有本地實例都故障才切換到遠端實例。服務設置方式如表35所示:表35服務設置方式服務名INSTANCE1INSTANCE2INSTANCE3服務配置策略SERVICE1PREFERREDPREFERREDAVAILABLESERVICE2AVAILABLEAVAILABLEPREFERRED DB2 雙活IBM DB2數(shù)據(jù)庫實現(xiàn)集群的方式主要有兩種：第一種是通過DB2數(shù)據(jù)庫的集群實現(xiàn)，如pureScale實現(xiàn)；另外一種是通過操作系統(tǒng)的集群實現(xiàn)，如IBM PowerHA。本方案采用IBM PowerHA集群實現(xiàn)DB2數(shù)據(jù)庫的跨數(shù)據(jù)中心雙活部署。PowerHA為主備集群模式，目標是消除單點故障，當一臺服務器發(fā)生故障時，另一臺服務器自動接管。PowerHA集群技術通過提供冗余實現(xiàn)故障轉(zhuǎn)移保護，同時通過并發(fā) /并行訪問支持水平擴展。PowerHA采用“Shared Everything”的存儲原則。在雙活架構下，存儲層需要提供可供多個數(shù)據(jù)庫節(jié)點同時進行讀寫訪問的共享卷。則DB2數(shù)據(jù)庫的數(shù)據(jù)文件，日志文件都必須存放在共享磁盤上。DB2支持以下的存儲方式：216。 文件系統(tǒng)216。 Raw Device (裸設備）建議采用文件系統(tǒng)的方式為數(shù)據(jù)庫提供存儲空間。具有Direct I/O與Concurrent I/O特性的文件系統(tǒng)能提供與裸設備相似的性能，同時還簡化了管理。建議每個LUN上創(chuàng)建一個文件系統(tǒng)供數(shù)據(jù)庫使用。創(chuàng)建文件系統(tǒng)的個數(shù)建議如下：216。 創(chuàng)建1個日志文件系統(tǒng)216。 創(chuàng)建多個數(shù)據(jù)文件系統(tǒng)存儲需要支持的預留方式：216。 對于 NONConcurrent VG，需要支持 SCSI3 Persistent Group Reservations (PGR)216。 對于 Concur