【正文】 35秒，無距離限制，保證數(shù)據(jù)一致性，且可故障切換n 帶寬要求低（較友商磁盤級(jí)DR），先進(jìn)的復(fù)制機(jī)制提高帶寬利用率n 充分利用同城災(zāi)備中心的設(shè)備，DS8000 FlashCopy的數(shù)據(jù)可用于系統(tǒng)查詢、批處理、測(cè)試 IBM TPC for Replication介紹TPC for Replication是IBM的企業(yè)存儲(chǔ)高級(jí)復(fù)制管理軟件，提供了圖形化接口，可以管理ESS800、DS6000、DS8000的高級(jí)拷貝功能，Metro Mirror、Global Mirror、MGM、FlashCopy，簡(jiǎn)化配置過程，簡(jiǎn)化管理，監(jiān)控拷貝進(jìn)程，并提供了TPCR軟件高可用功能。下圖是本次部署的TPCR邏輯結(jié)構(gòu)圖：圖：TPCR邏輯結(jié)構(gòu)圖2. 信用卡中心容災(zāi)系統(tǒng)MGM硬件構(gòu)成及部署信用卡中心的所有業(yè)務(wù)均為新業(yè)務(wù)，還未上線運(yùn)行，因此容災(zāi)系統(tǒng)的硬件也均為新購硬件，如下表所示： 北京主站新購硬件調(diào)查設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器Z048GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心生產(chǎn)業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)DP5501信用卡中心開放平臺(tái)主機(jī)EP5501信用卡中心開放平臺(tái)主機(jī)FDS8100264GB緩存、160146GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡北京主站信用卡中心核心業(yè)務(wù)存儲(chǔ)SSPC22805MC4服務(wù)器，預(yù)裝TPC BE和TPCR北京主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24224端口全部激活北京主站開放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備） 上海主站新購硬件調(diào)查設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器W032GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心災(zāi)備業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)災(zāi)備主機(jī)GDS8100164GB緩存、80300GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡上海主站信用卡中心災(zāi)備業(yè)務(wù)存儲(chǔ)SSPC12805MC4服務(wù)器，預(yù)裝TPC BE和TPCR上海主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24124端口全部激活上海主站開放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備） MGM容災(zāi)系統(tǒng)硬件部署生產(chǎn)節(jié)點(diǎn)：設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器Z048GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心生產(chǎn)業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、3*8GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)AP5501 GHz POWER6處理器卡、8*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)BP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、4塊4Gb單口光纖卡、4塊雙口以太網(wǎng)卡，8塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)CP5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)主機(jī)DP5501信用卡中心開放平臺(tái)主機(jī)EP5501信用卡中心開放平臺(tái)主機(jī)FDS8100264GB緩存、160146GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡北京主站信用卡中心核心業(yè)務(wù)存儲(chǔ)SSPC22805MC4服務(wù)器，預(yù)裝TPC BE和TPCR北京主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24224端口全部激活北京主站開放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）災(zāi)備中心：設(shè)備數(shù)量配置功能IBM System z10 BC商業(yè)級(jí)服務(wù)器12路處理器W032GB內(nèi)存、8塊FICON Express8 4口長波通道卡、4塊4口以太網(wǎng)卡和2塊雙口以太網(wǎng)卡信用卡中心主機(jī)平臺(tái)核心災(zāi)備業(yè)務(wù)系統(tǒng)P5501 GHz POWER6處理器卡、4*4GB內(nèi)存、6塊4Gb單口光纖卡、6塊雙口以太網(wǎng)卡，12塊300GB SAS盤信用卡中心開放平臺(tái)災(zāi)備主機(jī)GDS8100164GB緩存、80300GB硬盤、2塊4Gb 短波FCP/FICON主機(jī)接口卡，4塊4Gb 長波FCP/FICON主機(jī)接口卡上海主站信用卡中心災(zāi)備業(yè)務(wù)存儲(chǔ)SSPC12805MC4服務(wù)器，預(yù)裝TPC BE和TPCR上海主站TPCD控制臺(tái)和TPCR控制臺(tái)IBM 2498 B24124端口全部激活上海主站開放平臺(tái)核心SAN交換機(jī)IBM 2005 R0422個(gè)4Gb長波4公里光電模塊，2個(gè)1GbE銅光電模塊SAN路由器（MGM數(shù)據(jù)傳輸FCIP設(shè)備）3. 信用卡中心容災(zāi)系統(tǒng)MGM數(shù)據(jù)傳輸及管理設(shè)計(jì) MGM SAN網(wǎng)絡(luò)及以太網(wǎng)絡(luò)連接方式 MGM數(shù)據(jù)復(fù)制傳輸光纖連接示意圖正如第一章所述，中國光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM的容災(zāi)架構(gòu)包含三套DS8100設(shè)備和兩段SAN光纖鏈路。其中，北京主站使用了兩套IBM DS8100設(shè)備：IBM DS8100H1和IBM DS8100H2。IBM DS8100H1作為生產(chǎn)存儲(chǔ)，它與同城備份存儲(chǔ)IBM DS8100H2之間實(shí)現(xiàn)了MGM系統(tǒng)之中的Metro Mirror部分，構(gòu)建了同步復(fù)制鏈路。上海主站使用了一套IBM DS8100設(shè)備——IBM DS8100H3J3，它作為遠(yuǎn)程災(zāi)備存儲(chǔ)與IBM DS8100H2之間實(shí)現(xiàn)了MGM系統(tǒng)之中的Global Mirror部分，構(gòu)建了異步復(fù)制鏈路。三套DS8100之間實(shí)現(xiàn)了“兩地三中心”式的數(shù)據(jù)存儲(chǔ)容災(zāi)架構(gòu)，加之在上海主站部署的災(zāi)備主機(jī)以及克隆的生產(chǎn)系統(tǒng)，由此形成了一套完整的容災(zāi)體系。光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)DS8100 MGM 的SAN網(wǎng)絡(luò)拓?fù)鋱D：從上圖可以看到，在實(shí)現(xiàn)光大ⅩⅩ銀行信用卡中心容災(zāi)系統(tǒng)MGM的過程中，我們使用的DS8100設(shè)備端口有：鏈路 連接方式IBM DS8100H1IBM DS8100H2IBM DS8100H3J3H1－H2直連I0032I0032N/AI0102I0102I0232I0232I0302I0302H1－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）I0233N/AI0233I0303I0303H2－H3FCIP方式（兩臺(tái)IBM 2005 R04 SAN Router通過以太網(wǎng)交換機(jī)連接）N/AI0233I0233I0303I0303 TPCR以太網(wǎng)絡(luò)連接示意圖TPCR是通過TCP/IP協(xié)議來建立和管理光大ⅩⅩ銀行信用卡中心的業(yè)務(wù)容災(zāi)系統(tǒng)的，這需要保證北京和上海兩站點(diǎn)的主備TPCR服務(wù)器與每臺(tái)DS8100上的兩個(gè)Server均能通信。另外，基于高可用的目的，我們還需要保證北京和上海兩臺(tái)TPCR服務(wù)器之間可以相互通信。 TPCR/TPCD以及DS8100以太網(wǎng)絡(luò)的連接IP地址分配表：設(shè)備名稱IP地址掩碼網(wǎng)關(guān)IBM DS8100H1HMCI9801(Server0)I9B01(Server1)IBM DS8100H2HMCI9801(Server0)I9B01(Server1)IBM DS8100H3J3HMCI9801(Server0)I9B01(Server1)TPCR服務(wù)器（北京）TPCR/TPCD服務(wù)器（上海）TPCD服務(wù)器（北京） 北京主站信用卡業(yè)務(wù)系統(tǒng)核心SAN網(wǎng)絡(luò)規(guī)劃 主機(jī)系統(tǒng)至本地磁盤之間的光纖連接主機(jī)系統(tǒng)與本地磁盤之間是通過FICON協(xié)議連接的，屬直連模式，在北京主站，主機(jī)系統(tǒng)至本地生產(chǎn)存儲(chǔ)和本地備份存儲(chǔ)間的連接拓?fù)淙缦滤荆海ǚ奂t色標(biāo)示）（粉紅色標(biāo)示） 開放系統(tǒng)至本地磁盤之間的光纖連接開放系統(tǒng)與本地磁盤之間是通過光纖交換機(jī)連接的，屬SAN模式，在北京主站，開放系統(tǒng)至本地生產(chǎn)存儲(chǔ)和本地備份存儲(chǔ)間的連接拓?fù)淙缦滤荆?因此，我們這里主要分析兩臺(tái)交換機(jī)的配置信息。 IBM_2498_B24_A交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對(duì)照表在端口使用對(duì)照表中，DS8100的HA端口用ExCyPz標(biāo)識(shí)，表示第x（x=0,1,2…）個(gè)IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個(gè)端口。Port WWPNConnection05005076309100665IBM DS8100H1I020015005076309104665IBM DS8100H1I020125005076309108665IBM DS8100H1I02023500507630910C665IBM DS8100H1I0203410000000C993EE89Rational_VOB_0510000000C995EAFCCMOD_1_0610000000C995E8AECMOD_2_07NF_1_089101112NF_2_013141516171819202122233）交換機(jī)的ZONE規(guī)劃?交換機(jī)名稱Zone ?名稱?所包含端口號(hào)?所包含設(shè)備Domain ID1CFGSANSwitch_1_ZoneConfigIBM_2498_B24_1CMOD_1_Zone_11,1。1,3。1,5CMOD_1。 IBM DS8100H1CMOD_2_Zone_11,1。1,3。1,6CMOD_2。 IBM DS8100H1Rational_VOB_Zone_11,0。1,2。1,4Rational_VOB。 IBM DS8100H1 IBM_2498_B24_B交換機(jī)1）交換機(jī)的端口規(guī)劃：2）交換機(jī)的端口使用對(duì)照表在端口使用對(duì)照表中，DS8100的HA端口用ExCyPz標(biāo)識(shí)，表示第x（x=0,1,2…）個(gè)IO Enclosure中第y（y=0,1,2…）塊HA卡的第z（x=0,1,2…）個(gè)端口。Port WWPNConnection050050763091B0665IBM DS8100H1I0330150050763091B4665IBM DS8100H1I0331250050763091B8665IBM DS8100H1I0332350050763091BC665IBM DS8100H1I0333410000000C993F078Rational_VOB_1510000000C995E547CMOD_1_1610000000C995EB43CMOD_2_17NF_1_189101112