【正文】 北京主站信用卡業(yè)務(wù)系統(tǒng)核心SAN網(wǎng)絡(luò)規(guī)劃 主機(jī)系統(tǒng)至本地磁盤之間的光纖連接主機(jī)系統(tǒng)與本地磁盤之間是通過FICON協(xié)議連接的，屬直連模式，在北京主站，主機(jī)系統(tǒng)至本地生產(chǎn)存儲和本地備份存儲間的連接拓?fù)淙缦滤荆海ǚ奂t色標(biāo)示）（粉紅色標(biāo)示） 開放系統(tǒng)至本地磁盤之間的光纖連接開放系統(tǒng)與本地磁盤之間是通過光纖交換機(jī)連接的，屬SAN模式，在北京主站，開放系統(tǒng)至本地生產(chǎn)存儲和本地備份存儲間的連接拓?fù)淙缦滤荆?因此，我們這里主要分析兩臺交換機(jī)的配置信息。 IBM DS8100H1Rational_VOB_Zone_11,0。1,3。其中每個站點的一臺SAN路由器均能通過中間的兩條物理鏈路，與遠(yuǎn)程站點的一臺SAN路由器進(jìn)行通信，形成2條FCIP鏈路，由于因此兩站點間通過SAN路由器總共可以形成4條FCIP鏈路，如下圖所示：這個架構(gòu)中的關(guān)鍵設(shè)備是SAN路由器——IBM_2005_R04，該SAN路由器目前只激活了2個光纖端口，擁有2個1Gbps 的GE端口。l 確認(rèn)北京的TPCD服務(wù)器可與北京的兩臺DS8100 HMC正常通信。l 必須保證每臺DS8100都有定制的Feature Code 1801，即每臺DS8100的每個Server上均有1塊雙端口Ethernet Adapter。5） 重復(fù)以上步驟，修改DS8100H2和DS8100H3J3的eth2 IP地址。dscli lsavailpprcport dev Storage_Image_ID remotedev Storage_Image_ID remotewwnn WWNN Source_LSS_ID:Target_LSS_ID3. DS8100 License配置目標(biāo)：在MGM的三臺DS8100存儲上添加MM License、GM License和MGM License操作步驟：1） 獲得DS8100H1的Serial Number和Machine Signature。2. 將SSPC中的TSPC BE BE 1） 啟動TSPC BE，在“幫助”中檢查其版本號2） 關(guān)閉TSPC BE，啟動TSPC BE ，3） 啟動TSPC BE，在“幫助”中檢查其版本號3. 將SSPC中的TSPC BE for Disk （添加license即可）1） 關(guān)閉TSPC BE，啟動TSPC for Disk ，選擇“安裝license”2） License安裝完成后，啟動TSPC for Disk，查看是否可以執(zhí)行性能監(jiān)控任務(wù)4. 在TSPC for Replication 2site BC license 1） 手動執(zhí)行TSPC for Replication 2site BC license ，安裝該license2） 啟動TSPC for Replication，查看TPCR是否可以創(chuàng)建兩站點的PPRC類型5. 在TSPC for Replication 3site BC license 1） 手動執(zhí)行TSPC for Replication 3site BC license ，安裝該license2） 啟動TSPC for Replication，查看TPCR是否可以創(chuàng)建三站點的PPRC類型 （第五步）登錄TPCR的圖形化用戶界面在TPCR的操作中，默認(rèn)使用的都是圖形化用戶界面（GUI），TPCR中定義的操作也完全可以在GUI中實現(xiàn)，這里來看一下如何登錄TPCR。點擊Next繼續(xù)3. 驗證TPCR服務(wù)器與DS8100之間的連接已建立（一個綠點旁寫明“Connected”） （第七步）使用TPCR創(chuàng)建MM Session 建立新的Metro Mirror Session1. 從My Work導(dǎo)航欄，選擇Sessions。3. 從下拉菜單中選擇Host1對應(yīng)的存儲系統(tǒng)，LSS和Volume，點擊Next繼續(xù)。 啟動H1H2 Metro Mirror Session1. 從My Work導(dǎo)航欄，選擇Sessions。 （第八步）在TPCR中“軟移除”MM Session中的Copy Sets1. 在My Work面板，選擇Sessions，找到需要刪除copy sets的Metro Mirror Session。 2. 然后選擇Action：菜單，選擇Remove Session ，然后選擇go。選擇目標(biāo)session。6. 在進(jìn)度條走完后，點擊Next。點擊Yes繼續(xù)。1. 等待所有的Session均初始化完成后，執(zhí)行以下操作。6） 對每個要使用的CIMOM，選擇對應(yīng)的項目，并選擇左邊的放大鏡圖標(biāo)。在這個頁面中將列出所有已被TPC發(fā)現(xiàn)的設(shè)備。為了驗證拓?fù)浣Y(jié)構(gòu)查看器是否正常，在左側(cè)導(dǎo)航欄中選擇IBM TotalStorage Productivity Center 224。 測試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer）拓?fù)浣Y(jié)構(gòu)查看器能夠向用戶提供整個存儲環(huán)境的圖形化界面。最終結(jié)果將于下圖類似： 收集設(shè)備性能數(shù)據(jù)執(zhí)行下列操作步驟來建立一個性能監(jiān)控任務(wù)： 1. 在左側(cè)導(dǎo)航欄展開Disk Manager → Monitoring2. 右鍵點擊Subsystem Performance Monitor，選擇Create Performance Monitor。5） 任務(wù)完成后，被發(fā)現(xiàn)的CIMOM將被顯示在CIMOM Agents表格中。 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH默認(rèn)情況下，TPCR針對一對LSS只會建立一條PPRC PATH，而且即使有兩條或兩條以上物理路徑，所有自動建立的PPRC PATH也只會選擇其中的一條物理路徑，其他的物理路徑默認(rèn)不會使用。H3，點擊Go繼續(xù)。最后點擊Next繼續(xù)。5. 確認(rèn)配置信息正確，點擊Next指導(dǎo)向?qū)ЫY(jié)束，點擊Finish退出。7. 當(dāng)該session中的所有copy set全部刪除以后，該Metro Mirror session 狀態(tài)變?yōu)?Inactive 和 Defined。由于數(shù)據(jù)拷貝工作還在進(jìn)行中，該session處于Preparing（state）和Warning（status）狀態(tài)。6. 在進(jìn)度條走完后，點擊Next。選擇目標(biāo)session。 用戶ID (tpcruser)和密碼(passw0rd)點擊OK完成添加過程2. 選擇存儲系統(tǒng)的位置（location）。另外，在前期的討論中，我們需要首先幫助光大ⅩⅩ銀行客戶建立同城同步容災(zāi)架構(gòu)——MM，在明年再將其升級至MGM容災(zāi)體系，因此，我們需要TPCR支持“PPRC關(guān)系的軟移除”功能（即在TPCR中刪除了PPRC關(guān)系后，不影響底層硬件層面的PPRC關(guān)系），而這種功能需要TSPC 。 21,0zonecreate MGM_H2H3_Zone, 11,1。3） 重啟HMC，使IP更改生效。l 必須保證北京主站的每臺DS8100上均有Metro Mirror License，Metro Global Mirror License以及Global Mirror License。l 確認(rèn)信用卡中心容災(zāi)系統(tǒng)MGM的TPCD平臺（北京TPCD服務(wù)器和上海TPCD服務(wù)器）均處于正常工作狀態(tài)。 IBM_2498_B24_C交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對照表在端口使用對照表中，DS8100的HA端口用ExCyPz標(biāo)識，表示第x（x=0,1,2…）個IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個端口。1,5CMOD_1。1,3。光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM 的SAN網(wǎng)絡(luò)拓?fù)鋱D：從上圖可以看到，在實現(xiàn)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的過程中，我們使用的DS8100設(shè)備端口有：鏈路 連接方式IBM DS8100H1IBM DS8100H2IBM DS8100H3J3H1－H2直連I0032I0032N/AI0102I0102I0232I0232I0302I0302H1－H3FCIP方式（兩臺IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡(luò)連接示意圖TPCR是通過TCP/IP協(xié)議來建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務(wù)容災(zāi)系統(tǒng)的，這需要保證北京和上海兩站點的主備TPCR服務(wù)器與每臺DS8100上的兩個Server均能通信。生產(chǎn)中心及災(zāi)備中心的數(shù)據(jù)庫服務(wù)器均由Power服務(wù)器來承擔(dān)，當(dāng)生產(chǎn)中心所在地發(fā)生災(zāi)難時，生產(chǎn)中心的Power 服務(wù)器AIX操作系統(tǒng)的PowerHA/XD功能將應(yīng)用切換到同城災(zāi)備/異地災(zāi)備中心的Power數(shù)據(jù)庫服務(wù)器，同時災(zāi)備中心的Power服務(wù)器接管災(zāi)備中心的存儲，從而恢復(fù)數(shù)據(jù)的訪問及業(yè)務(wù)的連續(xù)性。下圖為中國光大ⅩⅩ銀行信用卡中心業(yè)務(wù)系統(tǒng)基于IBM DS8100的存儲容災(zāi)方案（MGM）邏輯拓?fù)鋱D。另外，在主備系統(tǒng)的光纖鏈路中還提供冗余通道，以備數(shù)據(jù)傳輸通道出現(xiàn)故障時提供冗余保護(hù)。H2H3 Metro Global Mirror Session 50 （第十一步）添加MGM容災(zāi)系統(tǒng)的PPRC PATH 50 （第十二步）在TPCR服務(wù)器上部署容災(zāi)切換腳本 51 （第十三步）配置三臺DS8100的HMC服務(wù) 51 （第十四步）配置TPC平臺管理三臺DS8100 51 發(fā)現(xiàn)CIMOM與設(shè)備 51 探查設(shè)備 52 收集設(shè)備性能數(shù)據(jù) 53 測試拓?fù)浣Y(jié)構(gòu)查看器（Topology Viewer） 54 定制事件行為與TPC for Disk報告 555. 信用卡中心容災(zāi)系統(tǒng)MGM的驗證 56 檢查Health Overview視圖 56 檢查MGM容災(zāi)系統(tǒng)Sessions視圖 58 檢查MGM容災(zāi)系統(tǒng)Storage Subsystems視圖 58 檢查MGM容災(zāi)系統(tǒng)ESS/DS Paths視圖 59 檢查Management Servers視圖 60 檢查Console視圖 616. MM容災(zāi)系統(tǒng)測試案例 63 測試范圍 63 測試項目 63 MM容災(zāi)架構(gòu)的功能測試 63 MM容災(zāi)架構(gòu)的性能測試 64 MM容災(zāi)架構(gòu)的切換測試 64 MM容災(zāi)架構(gòu)的場景測試 647. MGM容災(zāi)系統(tǒng)測試案例 67 測試范圍 67 測試項目 67 MGM容災(zāi)架構(gòu)的功能測試 67 MGM容災(zāi)架構(gòu)的性能測試 68 MGM容災(zāi)架構(gòu)的切換測試 68 MGM容災(zāi)架構(gòu)的場景測試 708. 項目實施計劃 76 MM階段的實施計劃 761. 信用卡中心容災(zāi)系統(tǒng)MGM設(shè)計方案概述 容災(zāi)系統(tǒng)MGM實施拓?fù)浞桨父鶕?jù)對中國光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)建設(shè)目標(biāo)及環(huán)境需求的理解，我們將最終實現(xiàn)北京亦莊數(shù)據(jù)中心（以下簡稱北京主站）和上海數(shù)據(jù)中心（以下簡稱上海主站）基于IBM DS8000 Metro Global Mirror（以下簡稱MGM）的信用卡業(yè)務(wù)容災(zāi)系統(tǒng)。在遠(yuǎn)程災(zāi)備站點（即上海主站），同樣使用一臺IBM System z10 BC商業(yè)級服務(wù)器（2098E10）作為信用卡中心核心業(yè)務(wù)系統(tǒng)的災(zāi)備主機(jī)，該主機(jī)系統(tǒng)克隆了生產(chǎn)節(jié)點的操作系統(tǒng)、數(shù)據(jù)庫軟件和應(yīng)用軟件，同樣也是通過FICON接口直連至本地的DS8100存儲。9） 完成相關(guān)文檔的編寫和培訓(xùn)工作。下圖是本次部署的TPCR邏輯結(jié)構(gòu)圖：圖：TPCR邏輯結(jié)構(gòu)圖2. 信用卡中心容災(zāi)系統(tǒng)MGM硬件構(gòu)成及部署信用卡中心的所有業(yè)務(wù)均為新業(yè)務(wù)，還未上線運行，因此容災(zāi)系統(tǒng)的硬件也均為新購硬件，如下表所示： 北京主站新購硬件調(diào)查設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級服務(wù)器12路處理器Z048GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺核心生產(chǎn)業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺主機(jī)DP5501信用卡中心開放平臺主機(jī)EP5501信用卡中心開放平臺主機(jī)FDS81