【正文】 AN Router通過以太網(wǎng)交換機連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺IBM 2005 R04 SAN Router通過以太網(wǎng)交換機連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡連接示意圖TPCR是通過TCP/IP協(xié)議來建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務容災系統(tǒng)的，這需要保證北京和上海兩站點的主備TPCR服務器與每臺DS8100上的兩個Server均能通信。上海主站使用了一套IBM DS8100設備——IBM DS8100H3J3，它作為遠程災備存儲與IBM DS8100H2之間實現(xiàn)了MGM系統(tǒng)之中的Global Mirror部分，構建了異步復制鏈路。其中，北京主站使用了兩套IBM DS8100設備：IBM DS8100H1和IBM DS8100H2。n 同城RPO=0，距離Max 300公里，n 異地RPO最短 35秒，無距離限制，保證數(shù)據(jù)一致性，且可故障切換n 帶寬要求低（較友商磁盤級DR），先進的復制機制提高帶寬利用率n 充分利用同城災備中心的設備，DS8000 FlashCopy的數(shù)據(jù)可用于系統(tǒng)查詢、批處理、測試 IBM TPC for Replication介紹TPC for Replication是IBM的企業(yè)存儲高級復制管理軟件，提供了圖形化接口，可以管理ESS800、DS6000、DS8000的高級拷貝功能，Metro Mirror、Global Mirror、MGM、FlashCopy，簡化配置過程，簡化管理，監(jiān)控拷貝進程，并提供了TPCR軟件高可用功能。生產(chǎn)中心及災備中心的數(shù)據(jù)庫服務器均由Power服務器來承擔，當生產(chǎn)中心所在地發(fā)生災難時，生產(chǎn)中心的Power 服務器AIX操作系統(tǒng)的PowerHA/XD功能將應用切換到同城災備/異地災備中心的Power數(shù)據(jù)庫服務器，同時災備中心的Power服務器接管災備中心的存儲，從而恢復數(shù)據(jù)的訪問及業(yè)務的連續(xù)性。同時位于同城災備中心的DS8000的同一份數(shù)據(jù)可以同異地遠端的DS8000通過Global Mirror數(shù)據(jù)異步復制技術進行數(shù)據(jù)鏡像，實現(xiàn)異地的數(shù)據(jù)備份及保護。 IBM DS8000 MGM介紹IBM企業(yè)級存儲系統(tǒng)DS8000的磁盤層疊式數(shù)據(jù)復制技術（Metro Global Mirror，簡稱MGM）是一個3節(jié)點、多用途的數(shù)據(jù)復制解決方案，支持IBM z和p系列服務器，如下圖所示，節(jié)點A到本地節(jié)點B進行Metro Mirror同步復制，本地節(jié)點B到遠端節(jié)點C進行Global Mirror異步復制。8） 針對新部署的信用卡中心容災系統(tǒng)MGM進行相關的測試及驗證工作。下圖為中國光大ⅩⅩ銀行信用卡中心業(yè)務系統(tǒng)基于IBM DS8100的存儲容災方案（MGM）邏輯拓撲圖。北京主站進行Metro Mirror的兩臺DS8100之間通過光纖線直連，形成本地同步容災鏈路；北京主站和上海主站之間的異步容災鏈路通過FCIP協(xié)議設備來構建，在每個站點部署兩臺IBM SAN Router（IBM SAN04BR），每臺SAN Router均通過FC端口連接至該站點的每臺DS8100上，同時該SAN Router通過GE端口通過租用的傳輸鏈路（電信和網(wǎng)通）連接至另一站點的SAN Router上，形成了2條物理的遠程容災鏈路，用于Global Mirror的數(shù)據(jù)傳輸。除了主機平臺的業(yè)務系統(tǒng)以外，光大ⅩⅩ銀行信用卡中心還有開放平臺的業(yè)務系統(tǒng)，在北京主站，開放平臺的業(yè)務系統(tǒng)運行在以兩架IBM 2498 B24交換機為核心的SAN網(wǎng)絡架構中，該SAN網(wǎng)絡的前端連接到六臺IBM P6 550小型機，后端連接本地生產(chǎn)存儲DS8100，運行開放平臺的生產(chǎn)業(yè)務，同時在這個SAN網(wǎng)絡中，還連接了本地備份存儲DS8100，在災難發(fā)生時，可以快速地將應用切換到本地備份的DS8100上。該主機系統(tǒng)通過FICON接口直連至生產(chǎn)的DS8100存儲，執(zhí)行信用卡中心核心業(yè)務系統(tǒng)的生產(chǎn)任務；同時，該主機系統(tǒng)通過FICON接口還直連了本地備份的DS8100，在災難發(fā)生時，可以快速地將應用切換到本地備份的DS8100上。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時提供冗余保護。利用雙重在線存儲和完全的網(wǎng)絡切換能力，不僅保證數(shù)據(jù)的完全一致性，而且通過管理MGM的IBM Tivoli Storage Productivity Center for Replication（以下簡稱TPCR）軟件，實現(xiàn)圖形化管理存儲容災切換，簡化了用戶管理。其中北京主站部署兩架DS8100，進行Metro Mirror同步復制；北京的第二架DS8100與部署在上海的第三架DS8100之間進行Global Mirror異步復制，實現(xiàn)3架DS8100之間的級聯(lián)式數(shù)據(jù)復制架構，同時在上海主站部署備用信用卡業(yè)務系統(tǒng)主機以及克隆的生產(chǎn)系統(tǒng)，建立完整的容災體系。中國光大ⅩⅩ銀行信用卡中心存儲容災實施方案　2011年08月　目錄1. 信用卡中心容災系統(tǒng)MGM設計方案概述 4 容災系統(tǒng)MGM實施拓撲方案 4 IBM DS8000 MGM介紹 7 IBM TPC for Replication介紹 102. 信用卡中心容災系統(tǒng)MGM硬件構成及部署 11 北京主站新購硬件調查 11 上海主站新購硬件調查 12 MGM容災系統(tǒng)硬件部署 133. 信用卡中心容災系統(tǒng)MGM數(shù)據(jù)傳輸及管理設計 16 MGM SAN網(wǎng)絡及以太網(wǎng)絡連接方式 16 MGM數(shù)據(jù)復制傳輸光纖連接示意圖 16 TPCR以太網(wǎng)絡連接示意圖 17 TPCR/TPCD以及DS8100以太網(wǎng)絡的連接 18 北京主站信用卡業(yè)務系統(tǒng)核心SAN網(wǎng)絡規(guī)劃 18 主機系統(tǒng)至本地磁盤之間的光纖連接 18 開放系統(tǒng)至本地磁盤之間的光纖連接 21 本地磁盤之間的光纖連接（MM鏈路） 27 上海主站信用卡備用業(yè)務系統(tǒng)核心SAN網(wǎng)絡規(guī)劃 28 備用主機系統(tǒng)至災備磁盤之間的光纖連接 28 備用開放系統(tǒng)至災備磁盤之間的光纖連接 30 北京與上海之間的數(shù)據(jù)復制傳輸SAN網(wǎng)絡規(guī)劃（GM鏈路） 33 SAN路由器的端口規(guī)劃圖 34 SAN路由器的端口使用對照表 35 SAN路由器的分區(qū)設置 36 Metro Global Mirror磁盤鏡像關系 37 主機平臺Metro Global Mirror磁盤鏡像關系 37 開放平臺Metro Global Mirror磁盤鏡像關系 384. 信用卡中心容災系統(tǒng)MGM的構建過程 39 （第一步）驗證建立MGM容災系統(tǒng)的前提條件 39 （第二步）HMC IP配置、SAN網(wǎng)絡配置和DS8100 License配置 40 （第三步）配置三臺DS8100的Server網(wǎng)絡地址 43 （第四步）搭建TPCD和TPCR服務器 45 （第五步）登錄TPCR的圖形化用戶界面 46 （第六步）在TPCR平臺上添加三臺DS8100 47 （第七步）使用TPCR創(chuàng)建MM Session 47 建立新的Metro Mirror Session 47 向Metro Mirror Session中添加Copy Sets 48 啟動H1H2 Metro Mirror Session 48 （第八步）在TPCR中“軟移除”MM Session中的Copy Sets 48 （第九步）在TPCR中移除MM Session 49 （第十步）使用TPCR創(chuàng)建MGM Session 49 建立新的Metro Global Mirror Session 49 向Metro Global Mirror Session中添加Copy Sets 49 啟動H1224。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務器上部署容災切換腳本 51 （第十三步）配置三臺DS8100的HMC服務 51 （第十四步）配置TPC平臺管理三臺DS8100 51 發(fā)現(xiàn)CIMOM與設備 51 探查設備 52 收集設備性能數(shù)據(jù) 53 測試拓撲結構查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報告 555. 信用卡中心容災系統(tǒng)MGM的驗證 56 檢查Health Overview視圖 56 檢查MGM容災系統(tǒng)Sessions視圖 58 檢查MGM容災系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災系統(tǒng)測試案例 63 測試范圍 63 測試項目 63 MM容災架構的功能測試 63 MM容災架構的性能測試 64 MM容災架構的切換測試 64 MM容災架構的場景測試 647. MGM容災系統(tǒng)測試案例 67 測試范圍 67 測試項目 67 MGM容災架構的功能測試 67 MGM容災架構的性能測試 68 MGM容災架構的切換測試 68 MGM容災架構的場景測試 708. 項目實施計劃 76 MM階段的實施計劃 761. 信用卡中心容災系統(tǒng)MGM設計方案概述 容災系統(tǒng)MGM實施拓撲方案根據(jù)對中國光大ⅩⅩ銀行信用卡中心容災系統(tǒng)建設目標及環(huán)境需求的理解，我們將最終實現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡稱北京主站）和上海數(shù)據(jù)中心（以下簡稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡稱MGM）的信用卡業(yè)務容災系統(tǒng)。這一方案在保證本地兩臺存儲所有數(shù)據(jù)被同步更新的同時，利用異步數(shù)據(jù)復制機制，將數(shù)據(jù)傳送到遠端的第三臺存儲。一旦生產(chǎn)的存儲發(fā)生宕機等災難，首先本地的備份存儲擁有全部生產(chǎn)數(shù)據(jù)，實現(xiàn)零數(shù)據(jù)丟失，可以直接將生產(chǎn)系統(tǒng)切換到本地備份存儲，同時，這架存儲與遠端的第三架存儲之間的異步數(shù)據(jù)傳輸不會中斷；如果本地的第二架存儲再次出現(xiàn)故障，此時在上海主站還擁有利用異步復制的數(shù)據(jù)，實現(xiàn)幾乎零數(shù)據(jù)丟失。在物理結構上，用戶的生產(chǎn)中心（即北京主站）將構建以一臺IBM System z10 BC商業(yè)級服務器（2098E10）為主的核心業(yè)務生產(chǎn)主機系統(tǒng)。在遠程災備站點（即上海主站），同樣使用一臺IBM System z10 BC商業(yè)級服務器（2098E10）作為信用卡中心核心業(yè)務系統(tǒng)的災備主機，該主機系統(tǒng)克隆了生產(chǎn)節(jié)點的操作系統(tǒng)、數(shù)據(jù)庫軟件和應用軟件，同樣也是通過FICON接口直連至本地的DS8100存儲。在上海主站，開放平臺的備用業(yè)務系統(tǒng)構建在僅由一臺IBM 2498 B24交換機組成的SAN網(wǎng)絡架構中，使用一臺IBM P6 550小型機承擔所有開放平臺的備用業(yè)務系統(tǒng)的運行，通過該SAN網(wǎng)絡，連接至本地的 DS8100存儲。另外，在每個站點將部署一臺TPCR容災管理服務器，兩臺TPCR服務器之間建立高可用配置，并部署相應的切換腳本，利用以太網(wǎng)管理以DS8000為核心的容災系統(tǒng)。圖：中國光大ⅩⅩ銀行信用卡中心容災系統(tǒng)（MGM）邏輯拓撲圖根據(jù)對客戶現(xiàn)有系統(tǒng)的調查了解和新購主機、存儲等設備的需求，光大ⅩⅩ銀行信用卡中心容災系統(tǒng)MGM的構建過程大致分為以下幾個階段：1） 根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署所有的存儲設備IBM DS8100：l 在北京主站，根據(jù)前端業(yè)務需求，規(guī)劃并部署本地生產(chǎn)存儲設備IBM DS8100H1的邏輯配置；l 在北京主站，根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署本地備用存儲設備IBM DS8100H2的邏輯配置；l 在上海主站，根據(jù)前端業(yè)務需求和容災需求，規(guī)劃并部署遠程災備存儲設備IBM DS8100H3J3的邏輯配置；2） 北京主站與上海主站的以太網(wǎng)絡建設：l 構建北京主站信用卡中心生產(chǎn)業(yè)務系統(tǒng)及其存儲設備IBM DS8100（2架）的以太網(wǎng)架構；l 構建上海主站信用卡中心備用業(yè)務系統(tǒng)及其存儲設備IBM DS8100（1架）的以太網(wǎng)架構；3） 北京主站與上海主站的光纖網(wǎng)絡建設：l 在北京主站，建立生產(chǎn)主機至本地生產(chǎn)存儲設備IBM DS8100H1的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 在北京主站，建立生產(chǎn)主機至本地備用存儲設備IBM DS8100H2的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 在北京主站，建立本地生產(chǎn)存儲設備IBM DS8100H1至本地備用存儲設備IBM DS8100H2的光線連接，使用FCP連接，建立MM容災鏈路l 在上海主站，建立遠程災備主機至遠程災備存儲設備IBM DS8100H3J3的光纖連接（主機平臺使用FICON直連，開放平臺使用SAN交換機連接）；l 構建北京主站與上海主站之間的SAN Fabric網(wǎng)絡，將兩個數(shù)據(jù)中心連接起來；4） 北京主站和上海主站的TPC建設：l 在北京主站，部署兩臺SSPC設備，添加相應的license，一臺使用TPC for Disk功能（以下簡稱TPCD），另外一臺使用TPCR功能；l 在上海主站，部署一臺SSPC設備，添加相應的license，同時使用TPC for Disk功能（以下簡稱TPCD）和TPCR功能；l 搭建北京主站與上海主站TPCR之間的高可用配置；5） 在搭建好的IBM TPCR平臺上部署信用卡中心容災系統(tǒng)MGM：l 在搭建好的IBM TPCR平臺上添加北京主站的兩臺IBM DS8100存儲設備；l 在搭建好的IBM TPCR平臺上添加上海主站的一臺IBM DS8100存儲設備；l 在搭建好的IBM TPCR平臺上，根據(jù)容災需求構