【正文】 打印服務(wù)端口(5)連接到打印機(jī)14 確認(rèn)各系統(tǒng)切換流程執(zhí)行完畢 災(zāi)備恢復(fù) 工作組 10:45 通知指揮小組切換完成 災(zāi)備恢復(fù) 工作組 10:45業(yè)務(wù)驗(yàn)證1． 業(yè)務(wù)功能驗(yàn)證2． 數(shù)據(jù)追補(bǔ)3． 分行柜員交易測(cè)試災(zāi)難恢復(fù)驗(yàn)證組（參演分行人員）災(zāi)難恢復(fù)執(zhí)行組（系統(tǒng)運(yùn)維崗、數(shù)據(jù)備份運(yùn)維崗）10:505 演練總結(jié) 11:40 切換和測(cè)試結(jié)果匯報(bào) 演練主持 11:40 領(lǐng)導(dǎo)講話 11:456 系統(tǒng)回退 14:001． 停止柜面系統(tǒng)應(yīng)用(1)停止應(yīng)用服務(wù)器和終端服務(wù)器(2)停止打印服務(wù)器和文件服務(wù)器應(yīng)急執(zhí)行組（系統(tǒng)運(yùn)維崗、14:0015(3)停止 SQL Server 故障轉(zhuǎn)移群集2． 停止指紋授權(quán)系統(tǒng)應(yīng)用(1)清空指紋授權(quán)數(shù)據(jù)庫(kù)數(shù)據(jù)(2)恢復(fù)指紋授權(quán)數(shù)據(jù)庫(kù)數(shù)據(jù)(3)停止指紋授權(quán)應(yīng)用與數(shù)據(jù)庫(kù)(4)卸載文件系統(tǒng)、關(guān)閉卷組3． 停止核心系統(tǒng)(1)停止應(yīng)用(2)停止數(shù)據(jù)庫(kù)(3)卸載文件系統(tǒng)、關(guān)閉卷組并導(dǎo)出4． 停止核心卡系統(tǒng)應(yīng)用系統(tǒng)(1) 停止應(yīng)用(2) 停止數(shù)據(jù)庫(kù)(3) 卸載文件系統(tǒng)、關(guān)閉卷組并導(dǎo)出5． 在核心系統(tǒng)主機(jī)上刪除Timefinder/clone 盤(pán)6． 在核心卡系統(tǒng)主機(jī)上刪除FlashCopy 盤(pán)7． 在指紋授權(quán)系統(tǒng)主機(jī)上刪除FlashCopy 盤(pán)8． 修改核心系統(tǒng) VMAX 的存儲(chǔ)映射數(shù)據(jù)備份運(yùn)維崗）169． 修改 DS8700 的存儲(chǔ)映射(1) 連接到 DS8700 存儲(chǔ)(2) 修改核心卡系統(tǒng)的存儲(chǔ)映射(3) 修改指紋授權(quán)系統(tǒng)的存儲(chǔ)映射(4) 修改柜面系統(tǒng)的存儲(chǔ)映射10． 在核心系統(tǒng)主機(jī)上識(shí)別 DR 卷11． 在核心卡系統(tǒng)主機(jī)上識(shí)別 DR卷12． 在指紋授權(quán)系統(tǒng)主機(jī)上識(shí)別DR 卷13． 在柜面系統(tǒng)主機(jī)上識(shí)別 DR 卷網(wǎng)絡(luò)回退1． 修改演練分行終端 RDP IP2． 在管理虛擬防火墻上開(kāi)通 VIP 的防火墻策略應(yīng)急執(zhí)行小組（網(wǎng)絡(luò)運(yùn)維崗） 14:00注：在操作期間異地災(zāi)備中心管理崗每 30 分鐘向演練領(lǐng)導(dǎo)小組匯報(bào)實(shí)施進(jìn)度情況。6． 按照事先制訂好的業(yè)務(wù)驗(yàn)證案例完成業(yè)務(wù)測(cè)試。4． 參與測(cè)試分行確認(rèn)與災(zāi)備中心的通信正常。2． 災(zāi)難預(yù)警狀態(tài)下服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等 IT 設(shè)備狀態(tài)檢查工作。工作地點(diǎn)：異地災(zāi)備中心（XX） 。工作地點(diǎn)：XX 分行、XX 分行。工作地點(diǎn)：異地災(zāi)備中心（XX） 。工作地點(diǎn)：異地災(zāi)備中心（XX） 。工作地點(diǎn)：異地災(zāi)備中心（XX） 。由總行網(wǎng)絡(luò)管理室、開(kāi)發(fā)三室、應(yīng)急與災(zāi)備室成員、異地災(zāi)備中心維護(hù)人員、分行信息科技部人員、分行業(yè)務(wù)人員和合作廠商人員組成。工作地點(diǎn)：異地災(zāi)備中心（XX） 。8． 參演終端詳細(xì)信息　 IP 地址 所屬營(yíng)業(yè)部 所屬營(yíng)業(yè)部地址終端 1 XX 分行營(yíng)業(yè)部 XX 市河西區(qū)賓水道 增 9 號(hào)終端 2 XX 分行營(yíng)業(yè)部 XX 市河西區(qū)賓水道 增 9 號(hào)終端 3 XX 分行營(yíng)業(yè)部 XX 市慶春路 73 號(hào)終端 4 XX 分行營(yíng)業(yè)部 XX 市慶春路 73 號(hào)2 演練組織架構(gòu)和人員名單 演練組織架構(gòu)和職責(zé)為了加強(qiáng)本次演練組織管理，確保演練工作的順利進(jìn)行，按照總行應(yīng)急管理辦法及異地災(zāi)備中心災(zāi)難恢復(fù)預(yù)案成立以下工作組，負(fù)責(zé)制定演練計(jì)劃，組織實(shí)施演練工作，對(duì)演練結(jié)果進(jìn)行總結(jié)匯報(bào)。XX 分行：網(wǎng)絡(luò)技術(shù)人員 1 人（） 、分行營(yíng)業(yè)部 2 人（） 、作業(yè)中心 1 人（） 。、地點(diǎn)及參演人員1． 演練時(shí)間：2022 年 6 月 1 日，8:30－12:002． 演練地點(diǎn)：異地災(zāi)備中心、XX 分行、XX 分行3． 演練指揮：信息科技部負(fù)責(zé)人演練副指揮：xxx4． 參演部門(mén)：信息技術(shù)部應(yīng)急與災(zāi)備室、網(wǎng)絡(luò)管理室，科技開(kāi)發(fā)中心開(kāi)發(fā)三室、XX 分行、XX 分行5． 演練支持部門(mén)：科技開(kāi)發(fā)中心技術(shù)與業(yè)務(wù)測(cè)試室、XX分行6． 演練組織：信息技術(shù)部應(yīng)急與災(zāi)備室37． 參演人員總行：信息技術(shù)部應(yīng)急與災(zāi)備室（） 、網(wǎng)絡(luò)管理室（） ，科技開(kāi)發(fā)中心開(kāi)發(fā)三室（） 。本次演練擬實(shí)現(xiàn)如下目標(biāo)：1． 驗(yàn)證異地核心系統(tǒng)遷移后，異地核心群系統(tǒng)接管生產(chǎn)的可用性；2． 驗(yàn)證異地災(zāi)備中心 EMC TimeFinder/clone 和 IBM Flashcopy 可用性；23． 檢驗(yàn)恢復(fù)預(yù)案和切換回切手冊(cè)的有效性和可用性，并在演練過(guò)程中發(fā)現(xiàn)信息系統(tǒng)應(yīng)急管理體系存在的問(wèn)題和不足，以便演練后進(jìn)行改進(jìn)和完善；4． 驗(yàn)證分行終端接入異地災(zāi)備中心網(wǎng)絡(luò)能力；5． 使參演人員熟悉應(yīng)急管理和災(zāi)難恢復(fù)的流程，提高參演人員的應(yīng)急處理能力和系統(tǒng)的風(fēng)險(xiǎn)防控能力。演練中，XX 分行和 XX 分行部分終端通過(guò)分行至異地災(zāi)備中心 15M ATM 線路上聯(lián)異地災(zāi)備中心柜面系統(tǒng)虛擬 IP地址，登錄異地災(zāi)備中心柜面系統(tǒng)，完成核心系統(tǒng)基本存取款業(yè)務(wù)等功能驗(yàn)證。銀行異地災(zāi)備中心部分分行接入模擬演練方案（核心系統(tǒng)）1 演練目標(biāo)和原則本次演練模擬北京地區(qū)發(fā)生災(zāi)難導(dǎo)致我行生產(chǎn)環(huán)境不能對(duì)外提供服務(wù)，異地災(zāi)備中心接到災(zāi)難宣告后，按照災(zāi)難恢復(fù)預(yù)案中的相關(guān)切換手冊(cè)、腳本、流程，啟動(dòng)異地災(zāi)備中心核心系統(tǒng)對(duì)外提供服務(wù)。演練的系統(tǒng)范圍為核心系統(tǒng)、核心卡系統(tǒng)、柜面系統(tǒng)與指紋授權(quán)系統(tǒng)。演練在 XX 異地災(zāi)備中心設(shè)立指揮中心，模擬演練災(zāi)難恢復(fù)預(yù)案中的災(zāi)難預(yù)警和災(zāi)難宣告的通知流程。本次演練的計(jì)劃和實(shí)施將遵循以下原則：1． 不影響全行生產(chǎn)環(huán)境各系統(tǒng)的正常運(yùn)行；2． 不影響異地災(zāi)備中心數(shù)據(jù)復(fù)制的正常運(yùn)行；3． 不影響異地災(zāi)備中心接管生產(chǎn)系統(tǒng)能力；4． 不影響參演分行對(duì)外提供服務(wù)。XX 分行：信息技術(shù)部負(fù)責(zé)人（） 、網(wǎng)絡(luò)技術(shù)人員 1 人（） 、分行營(yíng)業(yè)部 2 人（） 、作業(yè)中心 1 人（） 。公司：電信集成、能通、EMC、IBM。4應(yīng)急領(lǐng)導(dǎo)小組 應(yīng)急執(zhí)行小組 災(zāi)難恢復(fù)工作小組 系統(tǒng)恢復(fù)小組 網(wǎng)絡(luò)恢復(fù)小組 分行業(yè)務(wù)恢復(fù)小組 外部專家支持組 參與本次演練的各工作組角色與職能如下： 應(yīng)急領(lǐng)導(dǎo)小組應(yīng)急領(lǐng)導(dǎo)小組組長(zhǎng)由信息技術(shù)部負(fù)責(zé)人擔(dān)任，主要職責(zé)是：1． 負(fù)責(zé)對(duì)異地災(zāi)備中心發(fā)起災(zāi)難預(yù)警和災(zāi)難宣告；2． 負(fù)責(zé)對(duì)演練過(guò)程中出現(xiàn)的異常情況進(jìn)行決策。 應(yīng)急執(zhí)行小組應(yīng)急執(zhí)行小組組長(zhǎng)由信息技術(shù)部分管應(yīng)急工作的副總經(jīng)理?yè)?dān)任，下設(shè)災(zāi)難恢復(fù)工作小組、系統(tǒng)恢復(fù)小組、網(wǎng)絡(luò)恢復(fù)小組、分行業(yè)務(wù)恢復(fù)小組和外部專家組。 災(zāi)難恢復(fù)工作小組由應(yīng)急與災(zāi)備室人員和合作廠商成員組成，主要職責(zé)是：1． 負(fù)責(zé)演練過(guò)程中的跟蹤和記錄；2． 負(fù)責(zé)協(xié)助演練實(shí)施完成演練工作，解決過(guò)程中問(wèn)題；53． 演練過(guò)程發(fā)現(xiàn)并記錄問(wèn)題，后續(xù)優(yōu)化災(zāi)備恢復(fù)流程與演練流程；4． 負(fù)責(zé)撰寫(xiě)演練總結(jié)報(bào)告。 系統(tǒng)恢復(fù)執(zhí)行小組系統(tǒng)恢復(fù)小組由應(yīng)急與災(zāi)備室、開(kāi)發(fā)三室、合作廠商人員組成，主要職責(zé)是：1． 負(fù)責(zé)異地災(zāi)備中心系統(tǒng)設(shè)備的檢查；2． 負(fù)責(zé)應(yīng)用系統(tǒng)的切換和回退工作；3． 負(fù)責(zé)演練過(guò)程中核心系統(tǒng)的啟動(dòng)和停止工作。 網(wǎng)絡(luò)恢復(fù)執(zhí)行小組網(wǎng)絡(luò)恢復(fù)小組由應(yīng)急與災(zāi)備室、網(wǎng)絡(luò)管理室、合作廠商人員組成，主要職責(zé)是：1． 負(fù)責(zé)異地災(zāi)備中心網(wǎng)絡(luò)設(shè)備的檢查；2． 負(fù)責(zé)異地災(zāi)備中心通信網(wǎng)絡(luò)的切換和回退工作。 分行業(yè)務(wù)恢復(fù)小組分行業(yè)務(wù)恢復(fù)小組由分行作業(yè)中心 1 人、分行營(yíng)業(yè)部 2 人和信息科技部 1 人組成，主要職責(zé)是:1． 作業(yè)中心人員負(fù)責(zé)支持業(yè)務(wù)案例測(cè)試工作；2． 分行營(yíng)業(yè)部人員負(fù)責(zé)在柜面終端上進(jìn)行測(cè)試案例的執(zhí)6行工作；3． 信息科技部人員負(fù)責(zé)調(diào)整及恢復(fù)分行柜面系統(tǒng)環(huán)境，協(xié)調(diào)并解決演練期間分行出現(xiàn)的技術(shù)問(wèn)題。 外部專家支持組外部專家組由中國(guó)電信、IBM、EMC、能通等公司派員組成，主要職責(zé)是負(fù)責(zé)為演練提供相關(guān)技術(shù)支持和服務(wù)。 演練組織成員及名單工作組 人員演練指揮 信息技術(shù)部負(fù)責(zé)人演練副指揮演練主持應(yīng)急領(lǐng)導(dǎo)組 組長(zhǎng)：信息技術(shù)部負(fù)責(zé)人組長(zhǎng) 組長(zhǎng)： 災(zāi)難恢復(fù)工作小組應(yīng)急與災(zāi)備室人員： 合作廠商人員： 系統(tǒng)恢復(fù)小組應(yīng)急與災(zāi)備室人員： 開(kāi)發(fā)三室人員：合作廠商成員： 應(yīng)急執(zhí)行組網(wǎng)絡(luò)恢復(fù)小組應(yīng)急與災(zāi)備室人員：網(wǎng)絡(luò)管理室人員：7合作廠商成員： 分行業(yè)務(wù)恢復(fù)小組XX 分行技術(shù)人員： XX 分行營(yíng)業(yè)部人員： XX 分行作業(yè)中心人員：XX 分行技術(shù)人員：XX 分行營(yíng)業(yè)部人員： XX 分行作業(yè)中心人員：外部專家支持組電信： IBM： EMC：能通：3 演練方案 演練內(nèi)容1． 在 XX 異地災(zāi)備中心設(shè)立指揮中心，模擬演練災(zāi)難恢復(fù)預(yù)案中的災(zāi)難預(yù)警和災(zāi)難宣告的通知流程。3． 災(zāi)難宣告后啟動(dòng)異地災(zāi)備中心核心系統(tǒng)、核心卡系統(tǒng)、柜面系統(tǒng)和指紋授權(quán)系統(tǒng)。5． 分行技術(shù)人員確認(rèn)能從分行終端接入，分行柜員用自己的柜員賬號(hào)登入異地災(zāi)備中心柜面系統(tǒng)，在輸入賬號(hào)密碼后8可以正常登入并進(jìn)行數(shù)據(jù)測(cè)試和業(yè)務(wù)測(cè)試。7． 業(yè)務(wù)驗(yàn)證測(cè)試完成后，進(jìn)行異地災(zāi)備中心各網(wǎng)絡(luò)系統(tǒng)和應(yīng)用系統(tǒng)恢復(fù)，異地災(zāi)備中心系統(tǒng)恢復(fù)正常運(yùn)行。 預(yù)警狀態(tài)檢查內(nèi)容在接入測(cè)試演練前，要檢查異地災(zāi)備中心的存儲(chǔ)設(shè)備、服務(wù)器和網(wǎng)絡(luò)環(huán)境，確認(rèn)異地災(zāi)備中心的存儲(chǔ)設(shè)備、服務(wù)器和網(wǎng)絡(luò)運(yùn)行正常，具備分行接入演練的條件。17 服務(wù)器狀態(tài)檢查根據(jù)設(shè)備信息表，通過(guò)跳板機(jī)（IP:）登陸核心系統(tǒng)(IP:)、核心卡系統(tǒng)(IP: )、指紋授權(quán)系統(tǒng)(IP: .)，輸入以下命令進(jìn)行檢查：errpterrpt –d H –T PERM 硬件告警信息errpt –d S –T PERM 軟件告警信息errpt –aj error no.df –m 查看文件系統(tǒng)的利用率，是否有超過(guò) 80%lsdev –Cc adapter 是否有失效的狀態(tài)lsvg –l vgname 卷是否有“stale”狀態(tài)topas 查看 io 性能lsps –s lspa a 交換區(qū)使用情況stat –in 網(wǎng)絡(luò)檢查stat –rn 路由查看ping 查看與網(wǎng)關(guān)的通信 WINDOWS 主機(jī)狀態(tài)檢查1． 通過(guò)終端機(jī)“遠(yuǎn)程桌面連接”連接到各柜面系統(tǒng)服務(wù)器；2． 檢查硬件是否告警；3． 查看磁盤(pán)空間利用率是否超過(guò) 80%；184． 檢查數(shù)據(jù)庫(kù)運(yùn)行狀態(tài)是否正常。在彈出對(duì)話框中，輸入用戶名 administrator、密碼及TPC 服務(wù)器地址::9549，打開(kāi) TPC 界面。彈出 FireFox 瀏覽器窗口，輸入用戶名 admin 及密碼后，進(jìn)入 IBM System Storage DS 監(jiān)控界面；點(diǎn)擊 HomeSystem Status。點(diǎn)擊 Normal 鏈接，檢查存儲(chǔ)設(shè)備狀態(tài)詳情。 數(shù)據(jù)復(fù)制狀態(tài)檢查點(diǎn)擊 Sessions 鏈接，查看 HXBMGMSession 狀態(tài)，正常情況 status 是 normal 與 Prepared 的。點(diǎn)擊 HXMGMSession、Global Mirror info，查看 RPO 時(shí)間。點(diǎn)擊show，顯示每對(duì) lun 的詳細(xì)信息。 VMAX 存儲(chǔ)設(shè)備 狀態(tài)檢查在異地災(zāi)備中心跳板機(jī)上打開(kāi) IE 瀏覽器，輸入 EMC Unisphere 界面，輸入用戶名 monitor 和密碼進(jìn)入監(jiān)控界面。 switchstatusshow /*檢查設(shè)備總體狀態(tài)，“Healthy/OK”為正常。*/errshow //查看錯(cuò)誤內(nèi)容，有無(wú)硬件報(bào)錯(cuò)。 B80 交換機(jī)狀態(tài)檢查通過(guò) tel 連接到交換機(jī)（IP 地址：） ，輸入用戶名 admin 及密碼，登錄交換機(jī)。21“Marginal/Warning”，視具體情況判定正?；蛘叻钦?。switchshow //檢查端口狀態(tài)是否正常。主機(jī) IPR0631R0632 switchstatusshow /*檢查設(shè)備總體狀態(tài)，屏幕顯示狀態(tài)“Healthy/OK”為正常。*/errshow //查看錯(cuò)誤內(nèi)容，有無(wú)硬件報(bào)錯(cuò)。22portshow fciptunnel all //查看 16，17，18，19 tunnel 是不是 up 狀態(tài)。 負(fù)載均衡設(shè)備狀態(tài)檢查在跳板機(jī)上通過(guò) IE 登錄負(fù)載均衡設(shè)備，登錄方式為： :8888進(jìn)入到負(fù)載均衡設(shè)備管理界面，檢查設(shè)備運(yùn)行狀態(tài)及各個(gè)虛擬機(jī)是否正常。ping //異地機(jī)房核心交換機(jī)1ping //異地機(jī)房核心交換機(jī)2ping //異地機(jī)房生產(chǎn)接入交換機(jī)ping //異地機(jī)房管理接入交換機(jī)ping //異地機(jī)房操作間接入交換機(jī)ping //異地機(jī)房管理虛擬防火墻ping //異地機(jī)房生產(chǎn)虛擬防火墻23ping //連接西三旗路由器ping //連接亦莊路由器分行指定終端測(cè)試與異地災(zāi)備中心的網(wǎng)絡(luò)連接。 確認(rèn)主機(jī)上不存在應(yīng)用卷組確認(rèn)應(yīng)用卷組不存在，若卷組存在，再檢查卷組是否激活，應(yīng)用文件系統(tǒng)是否掛載，應(yīng)用與數(shù)據(jù)庫(kù)是否運(yùn)行。 確認(rèn)主機(jī)上不存在應(yīng)用卷組確認(rèn)應(yīng)用卷組不存在，若卷組存在，再檢查卷組是否激活，應(yīng)用