【正文】 北京主站信用卡業(yè)務(wù)系統(tǒng)核心SAN網(wǎng)絡(luò)規(guī)劃 主機(jī)系統(tǒng)至本地磁盤(pán)之間的光纖連接主機(jī)系統(tǒng)與本地磁盤(pán)之間是通過(guò)FICON協(xié)議連接的，屬直連模式，在北京主站，主機(jī)系統(tǒng)至本地生產(chǎn)存儲(chǔ)和本地備份存儲(chǔ)間的連接拓?fù)淙缦滤荆海ǚ奂t色標(biāo)示）（粉紅色標(biāo)示） 開(kāi)放系統(tǒng)至本地磁盤(pán)之間的光纖連接開(kāi)放系統(tǒng)與本地磁盤(pán)之間是通過(guò)光纖交換機(jī)連接的，屬SAN模式，在北京主站，開(kāi)放系統(tǒng)至本地生產(chǎn)存儲(chǔ)和本地備份存儲(chǔ)間的連接拓?fù)淙缦滤荆?因此，我們這里主要分析兩臺(tái)交換機(jī)的配置信息。 IBM DS8100H1Rational_VOB_Zone_11,0。1,3。其中每個(gè)站點(diǎn)的一臺(tái)SAN路由器均能通過(guò)中間的兩條物理鏈路，與遠(yuǎn)程站點(diǎn)的一臺(tái)SAN路由器進(jìn)行通信，形成2條FCIP鏈路，由于因此兩站點(diǎn)間通過(guò)SAN路由器總共可以形成4條FCIP鏈路，如下圖所示：這個(gè)架構(gòu)中的關(guān)鍵設(shè)備是SAN路由器——IBM_2005_R04，該SAN路由器目前只激活了2個(gè)光纖端口，擁有2個(gè)1Gbps 的GE端口。l 確認(rèn)北京的TPCD服務(wù)器可與北京的兩臺(tái)DS8100 HMC正常通信。l 必須保證每臺(tái)DS8100都有定制的Feature Code 1801，即每臺(tái)DS8100的每個(gè)Server上均有1塊雙端口Ethernet Adapter。5） 重復(fù)以上步驟，修改DS8100H2和DS8100H3J3的eth2 IP地址。dscli lsavailpprcport dev Storage_Image_ID remotedev Storage_Image_ID remotewwnn WWNN Source_LSS_ID:Target_LSS_ID3. DS8100 License配置目標(biāo)：在MGM的三臺(tái)DS8100存儲(chǔ)上添加MM License、GM License和MGM License操作步驟：1） 獲得DS8100H1的Serial Number和Machine Signature。2. 將SSPC中的TSPC BE BE 1） 啟動(dòng)TSPC BE，在“幫助”中檢查其版本號(hào)2） 關(guān)閉TSPC BE，啟動(dòng)TSPC BE ，3） 啟動(dòng)TSPC BE，在“幫助”中檢查其版本號(hào)3. 將SSPC中的TSPC BE for Disk （添加license即可）1） 關(guān)閉TSPC BE，啟動(dòng)TSPC for Disk ，選擇“安裝license”2） License安裝完成后，啟動(dòng)TSPC for Disk，查看是否可以執(zhí)行性能監(jiān)控任務(wù)4. 在TSPC for Replication 2site BC license 1） 手動(dòng)執(zhí)行TSPC for Replication 2site BC license ，安裝該license2） 啟動(dòng)TSPC for Replication，查看TPCR是否可以創(chuàng)建兩站點(diǎn)的PPRC類型5. 在TSPC for Replication 3site BC license 1） 手動(dòng)執(zhí)行TSPC for Replication 3site BC license ，安裝該license2） 啟動(dòng)TSPC for Replication，查看TPCR是否可以創(chuàng)建三站點(diǎn)的PPRC類型 （第五步）登錄TPCR的圖形化用戶界面在TPCR的操作中，默認(rèn)使用的都是圖形化用戶界面（GUI），TPCR中定義的操作也完全可以在GUI中實(shí)現(xiàn)，這里來(lái)看一下如何登錄TPCR。點(diǎn)擊Next繼續(xù)3. 驗(yàn)證TPCR服務(wù)器與DS8100之間的連接已建立（一個(gè)綠點(diǎn)旁寫(xiě)明“Connected”） （第七步）使用TPCR創(chuàng)建MM Session 建立新的Metro Mirror Session1. 從My Work導(dǎo)航欄，選擇Sessions。3. 從下拉菜單中選擇Host1對(duì)應(yīng)的存儲(chǔ)系統(tǒng)，LSS和Volume，點(diǎn)擊Next繼續(xù)。 啟動(dòng)H1H2 Metro Mirror Session1. 從My Work導(dǎo)航欄，選擇Sessions。 （第八步）在TPCR中“軟移除”MM Session中的Copy Sets1. 在My Work面板，選擇Sessions，找到需要?jiǎng)h除copy sets的Metro Mirror Session。 2. 然后選擇Action：菜單，選擇Remove Session ，然后選擇go。選擇目標(biāo)session。6. 在進(jìn)度條走完后，點(diǎn)擊Next。點(diǎn)擊Yes繼續(xù)。1. 等待所有的Session均初始化完成后，執(zhí)行以下操作。6） 對(duì)每個(gè)要使用的CIMOM，選擇對(duì)應(yīng)的項(xiàng)目，并選擇左邊的放大鏡圖標(biāo)。在這個(gè)頁(yè)面中將列出所有已被TPC發(fā)現(xiàn)的設(shè)備。為了驗(yàn)證拓?fù)浣Y(jié)構(gòu)查看器是否正常，在左側(cè)導(dǎo)航欄中選擇IBM TotalStorage Productivity Center 224。 測(cè)試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer）拓?fù)浣Y(jié)構(gòu)查看器能夠向用戶提供整個(gè)存儲(chǔ)環(huán)境的圖形化界面。最終結(jié)果將于下圖類似： 收集設(shè)備性能數(shù)據(jù)執(zhí)行下列操作步驟來(lái)建立一個(gè)性能監(jiān)控任務(wù)： 1. 在左側(cè)導(dǎo)航欄展開(kāi)Disk Manager → Monitoring2. 右鍵點(diǎn)擊Subsystem Performance Monitor，選擇Create Performance Monitor。5） 任務(wù)完成后，被發(fā)現(xiàn)的CIMOM將被顯示在CIMOM Agents表格中。 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH默認(rèn)情況下，TPCR針對(duì)一對(duì)LSS只會(huì)建立一條PPRC PATH，而且即使有兩條或兩條以上物理路徑，所有自動(dòng)建立的PPRC PATH也只會(huì)選擇其中的一條物理路徑，其他的物理路徑默認(rèn)不會(huì)使用。H3，點(diǎn)擊Go繼續(xù)。最后點(diǎn)擊Next繼續(xù)。5. 確認(rèn)配置信息正確，點(diǎn)擊Next指導(dǎo)向?qū)ЫY(jié)束，點(diǎn)擊Finish退出。7. 當(dāng)該session中的所有copy set全部刪除以后，該Metro Mirror session 狀態(tài)變?yōu)?Inactive 和 Defined。由于數(shù)據(jù)拷貝工作還在進(jìn)行中，該session處于Preparing（state）和Warning（status）狀態(tài)。6. 在進(jìn)度條走完后，點(diǎn)擊Next。選擇目標(biāo)session。 用戶ID (tpcruser)和密碼(passw0rd)點(diǎn)擊OK完成添加過(guò)程2. 選擇存儲(chǔ)系統(tǒng)的位置（location）。另外，在前期的討論中，我們需要首先幫助光大ⅩⅩ銀行客戶建立同城同步容災(zāi)架構(gòu)——MM，在明年再將其升級(jí)至MGM容災(zāi)體系，因此，我們需要TPCR支持“PPRC關(guān)系的軟移除”功能（即在TPCR中刪除了PPRC關(guān)系后，不影響底層硬件層面的PPRC關(guān)系），而這種功能需要TSPC 。 21,0zonecreate MGM_H2H3_Zone, 11,1。3） 重啟HMC，使IP更改生效。l 必須保證北京主站的每臺(tái)DS8100上均有Metro Mirror License，Metro Global Mirror License以及Global Mirror License。l 確認(rèn)信用卡中心容災(zāi)系統(tǒng)MGM的TPCD平臺(tái)（北京TPCD服務(wù)器和上海TPCD服務(wù)器）均處于正常工作狀態(tài)。 IBM_2498_B24_C交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對(duì)照表在端口使用對(duì)照表中，DS8100的HA端口用ExCyPz標(biāo)識(shí)，表示第x（x=0,1,2…）個(gè)IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個(gè)端口。1,5CMOD_1。1,3。光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM 的SAN網(wǎng)絡(luò)拓?fù)鋱D：從上圖可以看到，在實(shí)現(xiàn)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的過(guò)程中，我們使用的DS8100設(shè)備端口有：鏈路 連接方式IBM DS8100H1IBM DS8100H2IBM DS8100H3J3H1－H2直連I0032I0032N/AI0102I0102I0232I0232I0302I0302H1－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過(guò)以太網(wǎng)交換機(jī)連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過(guò)以太網(wǎng)交換機(jī)連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡(luò)連接示意圖TPCR是通過(guò)TCP/IP協(xié)議來(lái)建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務(wù)容災(zāi)系統(tǒng)的，這需要保證北京和上海兩站點(diǎn)的主備TPCR服務(wù)器與每臺(tái)DS8100上的兩個(gè)Server均能通信。生產(chǎn)中心及災(zāi)備中心的數(shù)據(jù)庫(kù)服務(wù)器均由Power服務(wù)器來(lái)承擔(dān)，當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時(shí)，生產(chǎn)中心的Power 服務(wù)器AIX操作系統(tǒng)的PowerHA/XD功能將應(yīng)用切換到同城災(zāi)備/異地災(zāi)備中心的Power數(shù)據(jù)庫(kù)服務(wù)器，同時(shí)災(zāi)備中心的Power服務(wù)器接管災(zāi)備中心的存儲(chǔ)，從而恢復(fù)數(shù)據(jù)的訪問(wèn)及業(yè)務(wù)的連續(xù)性。下圖為中國(guó)光大ⅩⅩ銀行信用卡中心業(yè)務(wù)系統(tǒng)基于IBM DS8100的存儲(chǔ)容災(zāi)方案（MGM）邏輯拓?fù)鋱D。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時(shí)提供冗余保護(hù)。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務(wù)器上部署容災(zāi)切換腳本 51 （第十三步）配置三臺(tái)DS8100的HMC服務(wù) 51 （第十四步）配置TPC平臺(tái)管理三臺(tái)DS8100 51 發(fā)現(xiàn)CIMOM與設(shè)備 51 探查設(shè)備 52 收集設(shè)備性能數(shù)據(jù) 53 測(cè)試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報(bào)告 555. 信用卡中心容災(zāi)系統(tǒng)MGM的驗(yàn)證 56 檢查Health Overview視圖 56 檢查MGM容災(zāi)系統(tǒng)Sessions視圖 58 檢查MGM容災(zāi)系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災(zāi)系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災(zāi)系統(tǒng)測(cè)試案例 63 測(cè)試范圍 63 測(cè)試項(xiàng)目 63 MM容災(zāi)架構(gòu)的功能測(cè)試 63 MM容災(zāi)架構(gòu)的性能測(cè)試 64 MM容災(zāi)架構(gòu)的切換測(cè)試 64 MM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 647. MGM容災(zāi)系統(tǒng)測(cè)試案例 67 測(cè)試范圍 67 測(cè)試項(xiàng)目 67 MGM容災(zāi)架構(gòu)的功能測(cè)試 67 MGM容災(zāi)架構(gòu)的性能測(cè)試 68 MGM容災(zāi)架構(gòu)的切換測(cè)試 68 MGM容災(zāi)架構(gòu)的場(chǎng)景測(cè)試 708. 項(xiàng)目實(shí)施計(jì)劃 76 MM階段的實(shí)施計(jì)劃 761. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計(jì)方案概述 容災(zāi)系統(tǒng)MGM實(shí)施拓?fù)浞桨父鶕?jù)對(duì)中國(guó)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)建設(shè)目標(biāo)及環(huán)境需求的理解，我們將最終實(shí)現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡(jiǎn)稱北京主站）和上海數(shù)據(jù)中心（以下簡(jiǎn)稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡(jiǎn)稱MGM）的信用卡業(yè)務(wù)容災(zāi)系統(tǒng)。在遠(yuǎn)程災(zāi)備站點(diǎn)（即上海主站），同樣使用一臺(tái)IBM System z10 BC商業(yè)級(jí)服務(wù)器（2098E10）作為信用卡中心核心業(yè)務(wù)系統(tǒng)的災(zāi)備主機(jī)，該主機(jī)系統(tǒng)克隆了生產(chǎn)節(jié)點(diǎn)的操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件和應(yīng)用軟件，同樣也是通過(guò)FICON接口直連至本地的DS8100存儲(chǔ)。9） 完成相關(guān)文檔的編寫(xiě)和培訓(xùn)工作。下圖是本次部署的TPCR邏輯結(jié)構(gòu)圖：圖：TPCR邏輯結(jié)構(gòu)圖2. 信用卡中心容災(zāi)系統(tǒng)MGM硬件構(gòu)成及部署信用卡中心的所有業(yè)務(wù)均為新業(yè)務(wù)，還未上線運(yùn)行，因此容災(zāi)系統(tǒng)的硬件也均為新購(gòu)硬件，如下表所示： 北京主站新購(gòu)硬件調(diào)查設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器Z048GB內(nèi)存、8塊FICON Express8 4口長(zhǎng)波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心生產(chǎn)業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤(pán)信用卡中心開(kāi)放平臺(tái)主機(jī)DP5501信用卡中心開(kāi)放平臺(tái)主機(jī)EP5501信用卡中心開(kāi)放平臺(tái)主機(jī)FDS81