【正文】 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)DP5501信用卡中心開(kāi)放平臺(tái)主機(jī)EP5501信用卡中心開(kāi)放平臺(tái)主機(jī)FDS8100264GB緩存、160146GB硬盤(pán)、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長(zhǎng)波FCP/FICON主機(jī)接口卡北京主站信用卡中心核心業(yè)務(wù)存儲(chǔ)SSPC22805MC4服務(wù)器，預(yù)裝TPC BE和TPCR北京主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24224端口全部激活北京主站開(kāi)放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長(zhǎng)波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）災(zāi)備中心：設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器W032GB內(nèi)存、8塊FICON Express8 4口長(zhǎng)波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心災(zāi)備業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)災(zāi)備主機(jī)GDS8100164GB緩存、80300GB硬盤(pán)、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長(zhǎng)波FCP/FICON主機(jī)接口卡上海主站信用卡中心災(zāi)備業(yè)務(wù)存儲(chǔ)SSPC12805MC4服務(wù)器，預(yù)裝TPC BE和TPCR上海主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24124端口全部激活上海主站開(kāi)放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長(zhǎng)波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）3. 信用卡中心容災(zāi)系統(tǒng)MGM數(shù)據(jù)傳輸及管理設(shè)計(jì) MGM SAN網(wǎng)絡(luò)及以太網(wǎng)絡(luò)連接方式 MGM數(shù)據(jù)復(fù)制傳輸光纖連接示意圖正如第一章所述，中國(guó)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM的容災(zāi)架構(gòu)包含三套DS8100設(shè)備和兩段SAN光纖鏈路。當(dāng)同城災(zāi)備中心發(fā)生故障時(shí)，生產(chǎn)中心的DS8000可以向異地災(zāi)備中心的DS8000通過(guò)Global Mirror數(shù)據(jù)異步復(fù)制技術(shù)同步數(shù)據(jù)，實(shí)現(xiàn)異地的數(shù)據(jù)備份及保護(hù)。9） 完成相關(guān)文檔的編寫(xiě)和培訓(xùn)工作。另外，在每個(gè)站點(diǎn)將部署一臺(tái)TPCR容災(zāi)管理服務(wù)器，兩臺(tái)TPCR服務(wù)器之間建立高可用配置，并部署相應(yīng)的切換腳本，利用以太網(wǎng)管理以DS8000為核心的容災(zāi)系統(tǒng)。在遠(yuǎn)程災(zāi)備站點(diǎn)（即上海主站），同樣使用一臺(tái)IBM System z10 BC商業(yè)級(jí)服務(wù)器（2098E10）作為信用卡中心核心業(yè)務(wù)系統(tǒng)的災(zāi)備主機(jī)，該主機(jī)系統(tǒng)克隆了生產(chǎn)節(jié)點(diǎn)的操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件和應(yīng)用軟件，同樣也是通過(guò)FICON接口直連至本地的DS8100存儲(chǔ)。一旦生產(chǎn)的存儲(chǔ)發(fā)生宕機(jī)等災(zāi)難，首先本地的備份存儲(chǔ)擁有全部生產(chǎn)數(shù)據(jù)，實(shí)現(xiàn)零數(shù)據(jù)丟失，可以直接將生產(chǎn)系統(tǒng)切換到本地備份存儲(chǔ)，同時(shí)，這架存儲(chǔ)與遠(yuǎn)端的第三架存儲(chǔ)之間的異步數(shù)據(jù)傳輸不會(huì)中斷；如果本地的第二架存儲(chǔ)再次出現(xiàn)故障，此時(shí)在上海主站還擁有利用異步復(fù)制的數(shù)據(jù)，實(shí)現(xiàn)幾乎零數(shù)據(jù)丟失。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務(wù)器上部署容災(zāi)切換腳本 51 （第十三步）配置三臺(tái)DS8100的HMC服務(wù) 51 （第十四步）配置TPC平臺(tái)管理三臺(tái)DS8100 51 發(fā)現(xiàn)CIMOM與設(shè)備 51 探查設(shè)備 52 收集設(shè)備性能數(shù)據(jù) 53 測(cè)試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報(bào)告 555. 信用卡中心容災(zāi)系統(tǒng)MGM的驗(yàn)證 56 檢查Health Overview視圖 56 檢查MGM容災(zāi)系統(tǒng)Sessions視圖 58 檢查MGM容災(zāi)系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災(zāi)系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災(zāi)系統(tǒng)測(cè)試案例 63 測(cè)試范圍 63 測(cè)試項(xiàng)目 63 MM容災(zāi)架構(gòu)的功能測(cè)試 63 MM容災(zāi)架構(gòu)的性能測(cè)試 64 MM容災(zāi)架構(gòu)的切換測(cè)試 64 MM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 647. MGM容災(zāi)系統(tǒng)測(cè)試案例 67 測(cè)試范圍 67 測(cè)試項(xiàng)目 67 MGM容災(zāi)架構(gòu)的功能測(cè)試 67 MGM容災(zāi)架構(gòu)的性能測(cè)試 68 MGM容災(zāi)架構(gòu)的切換測(cè)試 68 MGM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 708. 項(xiàng)目實(shí)施計(jì)劃 76 MM階段的實(shí)施計(jì)劃 761. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計(jì)方案概述 容災(zāi)系統(tǒng)MGM實(shí)施拓?fù)浞桨父鶕?jù)對(duì)中國(guó)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)建設(shè)目標(biāo)及環(huán)境需求的理解，我們將最終實(shí)現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡(jiǎn)稱(chēng)北京主站）和上海數(shù)據(jù)中心（以下簡(jiǎn)稱(chēng)上海主站）基于IBM DS8000 Metro Global Mirror（以下簡(jiǎn)稱(chēng)MGM）的信用卡業(yè)務(wù)容災(zāi)系統(tǒng)。其中北京主站部署兩架DS8100，進(jìn)行Metro Mirror同步復(fù)制；北京的第二架DS8100與部署在上海的第三架DS8100之間進(jìn)行Global Mirror異步復(fù)制，實(shí)現(xiàn)3架DS8100之間的級(jí)聯(lián)式數(shù)據(jù)復(fù)制架構(gòu)，同時(shí)在上海主站部署備用信用卡業(yè)務(wù)系統(tǒng)主機(jī)以及克隆的生產(chǎn)系統(tǒng)，建立完整的容災(zāi)體系。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時(shí)提供冗余保護(hù)。除了主機(jī)平臺(tái)的業(yè)務(wù)系統(tǒng)以外，光大ⅩⅩ銀行信用卡中心還有開(kāi)放平臺(tái)的業(yè)務(wù)系統(tǒng)，在北京主站，開(kāi)放平臺(tái)的業(yè)務(wù)系統(tǒng)運(yùn)行在以兩架IBM 2498 B24交換機(jī)為核心的SAN網(wǎng)絡(luò)架構(gòu)中，該SAN網(wǎng)絡(luò)的前端連接到六臺(tái)IBM P6 550小型機(jī)，后端連接本地生產(chǎn)存儲(chǔ)DS8100，運(yùn)行開(kāi)放平臺(tái)的生產(chǎn)業(yè)務(wù)，同時(shí)在這個(gè)SAN網(wǎng)絡(luò)中，還連接了本地備份存儲(chǔ)DS8100，在災(zāi)難發(fā)生時(shí)，可以快速地將應(yīng)用切換到本地備份的DS8100上。下圖為中國(guó)光大ⅩⅩ銀行信用卡中心業(yè)務(wù)系統(tǒng)基于IBM DS8100的存儲(chǔ)容災(zāi)方案（MGM）邏輯拓?fù)鋱D。 IBM DS8000 MGM介紹IBM企業(yè)級(jí)存儲(chǔ)系統(tǒng)DS8000的磁盤(pán)層疊式數(shù)據(jù)復(fù)制技術(shù)（Metro Global Mirror，簡(jiǎn)稱(chēng)MGM）是一個(gè)3節(jié)點(diǎn)、多用途的數(shù)據(jù)復(fù)制解決方案，支持IBM z和p系列服務(wù)器，如下圖所示，節(jié)點(diǎn)A到本地節(jié)點(diǎn)B進(jìn)行Metro Mirror同步復(fù)制，本地節(jié)點(diǎn)B到遠(yuǎn)端節(jié)點(diǎn)C進(jìn)行Global Mirror異步復(fù)制。生產(chǎn)中心及災(zāi)備中心的數(shù)據(jù)庫(kù)服務(wù)器均由Power服務(wù)器來(lái)承擔(dān)，當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時(shí)，生產(chǎn)中心的Power 服務(wù)器AIX操作系統(tǒng)的PowerHA/XD功能將應(yīng)用切換到同城災(zāi)備/異地災(zāi)備中心的Power數(shù)據(jù)庫(kù)服務(wù)器，同時(shí)災(zāi)備中心的Power服務(wù)器接管災(zāi)備中心的存儲(chǔ)，從而恢復(fù)數(shù)據(jù)的訪問(wèn)及業(yè)務(wù)的連續(xù)性。其中，北京主站使用了兩套IBM DS8100設(shè)備：IBM DS8100H1和IBM DS8100H2。光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM 的SAN網(wǎng)絡(luò)拓?fù)鋱D：從上圖可以看到，在實(shí)現(xiàn)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的過(guò)程中，我們使用的DS8100設(shè)備端口有：鏈路 連接方式IBM DS8100H1IBM DS8100H2IBM DS8100H3J3H1－H2直連I0032I0032N/AI0102I0102I0232I0232I0302I0302H1－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過(guò)以太網(wǎng)交換機(jī)連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過(guò)以太網(wǎng)交換機(jī)連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡(luò)連接示意圖TPCR是通過(guò)TCP/IP協(xié)議來(lái)建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務(wù)容災(zāi)系統(tǒng)的，這需要保證北京和上海兩站點(diǎn)的主備TPCR服務(wù)器與每臺(tái)DS8100上的兩個(gè)Server均能通信。Port WWPNConnection05005076309100665IBM DS8100H1I020015005076309104665IBM DS8100H1I020125005076309108665IBM DS8100H1I02023500507630910C665IBM DS8100H1I0203410000000C993EE89Rational_VOB_0510000000C995EAFCCMOD_1_0610000000C995E8AECMOD_2_07NF_1_089101112NF_2_013141516171819202122233）交換機(jī)的ZONE規(guī)劃?交換機(jī)名稱(chēng)Zone ?名稱(chēng)?所包含端口號(hào)?所包含設(shè)備Domain ID1CFGSANSwitch_1_ZoneConfigIBM_2498_B24_1CMOD_1_Zone_11,1。1,3。1,4Rational_VOB。1,5CMOD_1。 IBM DS8100H1Rational_VOB_Zone_21,0。 IBM_2498_B24_C交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對(duì)照表在端口使用對(duì)照表中，DS8100的HA端口用ExCyPz標(biāo)識(shí)，表示第x（x=0,1,2…）個(gè)IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個(gè)端口。1. 北京主站端口連接規(guī)劃IBM_2005_R04_AIBM_2005_R04_BPort Connection/IPGatewayConnection/IPGateway0IBM DS8100H1 I0233　IBM DS8100H1 I0303　1IBM DS8100H2 I0233 IBM DS8100H2 I0303　2　　3　　4　　5　　6　　7　　8　　9　　10　　11　　12　　13　　14　　15　　GE0GE12. 上海主站端口連接規(guī)劃IBM_2005_R04_CIBM_2005_R04_DPort Connection/IPGatewayConnection/IPGateway0IBM DS8100H3J3 I0233　IBM DS8100H3J3 I0303　1 　2　　3　　4　　5　　6　　7　　8　　9　　10　　11　　12　　13　　14　　15　　GE0GE1 SAN路由器的分區(qū)設(shè)置由于北京主站與上海主站的交換機(jī)通過(guò)FCIP協(xié)議進(jìn)行級(jí)聯(lián)，因此兩站點(diǎn)的各一臺(tái)SAN Router組成一個(gè)大SAN Fabric，在這個(gè)大SAN Fabric上分別進(jìn)行分區(qū)設(shè)置。l 確認(rèn)信用卡中心容災(zāi)系統(tǒng)MGM的TPCD平臺(tái)（北京TPCD服務(wù)器和上海TPCD服務(wù)器）均處于正常工作狀態(tài)。l 確認(rèn)北京和上海的兩臺(tái)TPCR服務(wù)器之間可以正常通信。l 必須保證北京主站的每臺(tái)DS8100上均有Metro Mirror License，Metro Global Mirror License以及Global Mirror License。l 必須保證要做容災(zāi)的卷在上海主站的DS8100上有兩份，且配置相同。3） 重啟HMC，使IP更改生效。操作步驟：1） 使用提前部署好的光纖線直連北京主站的兩臺(tái)DS8100（長(zhǎng)波模塊，需要使用單模光纖線）2） 使用提前部署好的光纖線連接北京主站的DS8100與IBM_2005_R04（長(zhǎng)波模塊，需要使用單模光纖線）3） 使用提前部署好的光纖線連接上海主站的DS8100與IBM_2005