【正文】 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺主機(jī)DP5501信用卡中心開放平臺主機(jī)EP5501信用卡中心開放平臺主機(jī)FDS8100264GB緩存、160146GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡北京主站信用卡中心核心業(yè)務(wù)存儲SSPC22805MC4服務(wù)器，預(yù)裝TPC BE和TPCR北京主站TPCD控制臺和TPCR控制臺IBM 2498 B24224端口全部激活北京主站開放平臺核心SAN交換機(jī)IBM 2005 R0422個4Gb長波4公里光電模塊，2個1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）災(zāi)備中心：設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級服務(wù)器12路處理器W032GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺核心災(zāi)備業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺災(zāi)備主機(jī)GDS8100164GB緩存、80300GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡上海主站信用卡中心災(zāi)備業(yè)務(wù)存儲SSPC12805MC4服務(wù)器，預(yù)裝TPC BE和TPCR上海主站TPCD控制臺和TPCR控制臺IBM 2498 B24124端口全部激活上海主站開放平臺核心SAN交換機(jī)IBM 2005 R0422個4Gb長波4公里光電模塊，2個1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）3. 信用卡中心容災(zāi)系統(tǒng)MGM數(shù)據(jù)傳輸及管理設(shè)計(jì) MGM SAN網(wǎng)絡(luò)及以太網(wǎng)絡(luò)連接方式 MGM數(shù)據(jù)復(fù)制傳輸光纖連接示意圖正如第一章所述，中國光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM的容災(zāi)架構(gòu)包含三套DS8100設(shè)備和兩段SAN光纖鏈路。當(dāng)同城災(zāi)備中心發(fā)生故障時，生產(chǎn)中心的DS8000可以向異地災(zāi)備中心的DS8000通過Global Mirror數(shù)據(jù)異步復(fù)制技術(shù)同步數(shù)據(jù)，實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。9） 完成相關(guān)文檔的編寫和培訓(xùn)工作。另外，在每個站點(diǎn)將部署一臺TPCR容災(zāi)管理服務(wù)器，兩臺TPCR服務(wù)器之間建立高可用配置，并部署相應(yīng)的切換腳本，利用以太網(wǎng)管理以DS8000為核心的容災(zāi)系統(tǒng)。在遠(yuǎn)程災(zāi)備站點(diǎn)（即上海主站），同樣使用一臺IBM System z10 BC商業(yè)級服務(wù)器（2098E10）作為信用卡中心核心業(yè)務(wù)系統(tǒng)的災(zāi)備主機(jī)，該主機(jī)系統(tǒng)克隆了生產(chǎn)節(jié)點(diǎn)的操作系統(tǒng)、數(shù)據(jù)庫軟件和應(yīng)用軟件，同樣也是通過FICON接口直連至本地的DS8100存儲。一旦生產(chǎn)的存儲發(fā)生宕機(jī)等災(zāi)難，首先本地的備份存儲擁有全部生產(chǎn)數(shù)據(jù)，實(shí)現(xiàn)零數(shù)據(jù)丟失，可以直接將生產(chǎn)系統(tǒng)切換到本地備份存儲，同時，這架存儲與遠(yuǎn)端的第三架存儲之間的異步數(shù)據(jù)傳輸不會中斷；如果本地的第二架存儲再次出現(xiàn)故障，此時在上海主站還擁有利用異步復(fù)制的數(shù)據(jù)，實(shí)現(xiàn)幾乎零數(shù)據(jù)丟失。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務(wù)器上部署容災(zāi)切換腳本 51 （第十三步）配置三臺DS8100的HMC服務(wù) 51 （第十四步）配置TPC平臺管理三臺DS8100 51 發(fā)現(xiàn)CIMOM與設(shè)備 51 探查設(shè)備 52 收集設(shè)備性能數(shù)據(jù) 53 測試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報告 555. 信用卡中心容災(zāi)系統(tǒng)MGM的驗(yàn)證 56 檢查Health Overview視圖 56 檢查MGM容災(zāi)系統(tǒng)Sessions視圖 58 檢查MGM容災(zāi)系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災(zāi)系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災(zāi)系統(tǒng)測試案例 63 測試范圍 63 測試項(xiàng)目 63 MM容災(zāi)架構(gòu)的功能測試 63 MM容災(zāi)架構(gòu)的性能測試 64 MM容災(zāi)架構(gòu)的切換測試 64 MM容災(zāi)架構(gòu)的場景測試 647. MGM容災(zāi)系統(tǒng)測試案例 67 測試范圍 67 測試項(xiàng)目 67 MGM容災(zāi)架構(gòu)的功能測試 67 MGM容災(zāi)架構(gòu)的性能測試 68 MGM容災(zāi)架構(gòu)的切換測試 68 MGM容災(zāi)架構(gòu)的場景測試 708. 項(xiàng)目實(shí)施計(jì)劃 76 MM階段的實(shí)施計(jì)劃 761. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計(jì)方案概述 容災(zāi)系統(tǒng)MGM實(shí)施拓?fù)浞桨父鶕?jù)對中國光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)建設(shè)目標(biāo)及環(huán)境需求的理解，我們將最終實(shí)現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡稱北京主站）和上海數(shù)據(jù)中心（以下簡稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡稱MGM）的信用卡業(yè)務(wù)容災(zāi)系統(tǒng)。其中北京主站部署兩架DS8100，進(jìn)行Metro Mirror同步復(fù)制；北京的第二架DS8100與部署在上海的第三架DS8100之間進(jìn)行Global Mirror異步復(fù)制，實(shí)現(xiàn)3架DS8100之間的級聯(lián)式數(shù)據(jù)復(fù)制架構(gòu)，同時在上海主站部署備用信用卡業(yè)務(wù)系統(tǒng)主機(jī)以及克隆的生產(chǎn)系統(tǒng)，建立完整的容災(zāi)體系。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時提供冗余保護(hù)。除了主機(jī)平臺的業(yè)務(wù)系統(tǒng)以外，光大ⅩⅩ銀行信用卡中心還有開放平臺的業(yè)務(wù)系統(tǒng)，在北京主站，開放平臺的業(yè)務(wù)系統(tǒng)運(yùn)行在以兩架IBM 2498 B24交換機(jī)為核心的SAN網(wǎng)絡(luò)架構(gòu)中，該SAN網(wǎng)絡(luò)的前端連接到六臺IBM P6 550小型機(jī)，后端連接本地生產(chǎn)存儲DS8100，運(yùn)行開放平臺的生產(chǎn)業(yè)務(wù)，同時在這個SAN網(wǎng)絡(luò)中，還連接了本地備份存儲DS8100，在災(zāi)難發(fā)生時，可以快速地將應(yīng)用切換到本地備份的DS8100上。下圖為中國光大ⅩⅩ銀行信用卡中心業(yè)務(wù)系統(tǒng)基于IBM DS8100的存儲容災(zāi)方案（MGM）邏輯拓?fù)鋱D。 IBM DS8000 MGM介紹IBM企業(yè)級存儲系統(tǒng)DS8000的磁盤層疊式數(shù)據(jù)復(fù)制技術(shù)（Metro Global Mirror，簡稱MGM）是一個3節(jié)點(diǎn)、多用途的數(shù)據(jù)復(fù)制解決方案，支持IBM z和p系列服務(wù)器，如下圖所示，節(jié)點(diǎn)A到本地節(jié)點(diǎn)B進(jìn)行Metro Mirror同步復(fù)制，本地節(jié)點(diǎn)B到遠(yuǎn)端節(jié)點(diǎn)C進(jìn)行Global Mirror異步復(fù)制。生產(chǎn)中心及災(zāi)備中心的數(shù)據(jù)庫服務(wù)器均由Power服務(wù)器來承擔(dān)，當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時，生產(chǎn)中心的Power 服務(wù)器AIX操作系統(tǒng)的PowerHA/XD功能將應(yīng)用切換到同城災(zāi)備/異地災(zāi)備中心的Power數(shù)據(jù)庫服務(wù)器，同時災(zāi)備中心的Power服務(wù)器接管災(zāi)備中心的存儲，從而恢復(fù)數(shù)據(jù)的訪問及業(yè)務(wù)的連續(xù)性。其中，北京主站使用了兩套IBM DS8100設(shè)備：IBM DS8100H1和IBM DS8100H2。光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM 的SAN網(wǎng)絡(luò)拓?fù)鋱D：從上圖可以看到，在實(shí)現(xiàn)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的過程中，我們使用的DS8100設(shè)備端口有：鏈路 連接方式IBM DS8100H1IBM DS8100H2IBM DS8100H3J3H1－H2直連I0032I0032N/AI0102I0102I0232I0232I0302I0302H1－H3FCIP方式（兩臺IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡(luò)連接示意圖TPCR是通過TCP/IP協(xié)議來建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務(wù)容災(zāi)系統(tǒng)的，這需要保證北京和上海兩站點(diǎn)的主備TPCR服務(wù)器與每臺DS8100上的兩個Server均能通信。Port WWPNConnection05005076309100665IBM DS8100H1I020015005076309104665IBM DS8100H1I020125005076309108665IBM DS8100H1I02023500507630910C665IBM DS8100H1I0203410000000C993EE89Rational_VOB_0510000000C995EAFCCMOD_1_0610000000C995E8AECMOD_2_07NF_1_089101112NF_2_013141516171819202122233）交換機(jī)的ZONE規(guī)劃?交換機(jī)名稱Zone ?名稱?所包含端口號?所包含設(shè)備Domain ID1CFGSANSwitch_1_ZoneConfigIBM_2498_B24_1CMOD_1_Zone_11,1。1,3。1,4Rational_VOB。1,5CMOD_1。 IBM DS8100H1Rational_VOB_Zone_21,0。 IBM_2498_B24_C交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對照表在端口使用對照表中，DS8100的HA端口用ExCyPz標(biāo)識，表示第x（x=0,1,2…）個IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個端口。1. 北京主站端口連接規(guī)劃IBM_2005_R04_AIBM_2005_R04_BPort Connection/IPGatewayConnection/IPGateway0IBM DS8100H1 I0233　IBM DS8100H1 I0303　1IBM DS8100H2 I0233 IBM DS8100H2 I0303　2　　3　　4　　5　　6　　7　　8　　9　　10　　11　　12　　13　　14　　15　　GE0GE12. 上海主站端口連接規(guī)劃IBM_2005_R04_CIBM_2005_R04_DPort Connection/IPGatewayConnection/IPGateway0IBM DS8100H3J3 I0233　IBM DS8100H3J3 I0303　1 　2　　3　　4　　5　　6　　7　　8　　9　　10　　11　　12　　13　　14　　15　　GE0GE1 SAN路由器的分區(qū)設(shè)置由于北京主站與上海主站的交換機(jī)通過FCIP協(xié)議進(jìn)行級聯(lián)，因此兩站點(diǎn)的各一臺SAN Router組成一個大SAN Fabric，在這個大SAN Fabric上分別進(jìn)行分區(qū)設(shè)置。l 確認(rèn)信用卡中心容災(zāi)系統(tǒng)MGM的TPCD平臺（北京TPCD服務(wù)器和上海TPCD服務(wù)器）均處于正常工作狀態(tài)。l 確認(rèn)北京和上海的兩臺TPCR服務(wù)器之間可以正常通信。l 必須保證北京主站的每臺DS8100上均有Metro Mirror License，Metro Global Mirror License以及Global Mirror License。l 必須保證要做容災(zāi)的卷在上海主站的DS8100上有兩份，且配置相同。3） 重啟HMC，使IP更改生效。操作步驟：1） 使用提前部署好的光纖線直連北京主站的兩臺DS8100（長波模塊，需要使用單模光纖線）2） 使用提前部署好的光纖線連接北京主站的DS8100與IBM_2005_R04（長波模塊，需要使用單模光纖線）3） 使用提前部署好的光纖線連接上海主站的DS8100與IBM_2005