【文章內(nèi)容簡介】 統(tǒng)數(shù)據(jù)庫服務器 30分鐘前出現(xiàn)硬件故障，無法對外提供服務。備件到場及修復時間預計還需要 3小時，超過 RTO。已經(jīng)責成相關(guān)人員盡快修復，目前是否開始進行災難恢復準備工作？指示 領(lǐng)導組組長 可以。你先通知相關(guān)人員，進行人員集結(jié)，開始進行相關(guān)應急指揮工作。 場景三 場景三 步驟 執(zhí)行人 操作 話述 下午 16點，應急指揮中心成立、人員集結(jié)完畢 應急指揮準備工作 指揮組組長 開始災難準備工作 請后勤保障組進行后勤保障及危機公關(guān)工作，請客戶投訴支持組準備問題應答準備，請技術(shù)恢復組和業(yè)務恢復組對此次事件可能造成的影響進行初步評估 初步影響評估 技術(shù)組組長 進行初步影響評估，并向災難恢復指揮組匯報 報告領(lǐng)導，根據(jù)指示，技術(shù)恢復組和業(yè)務恢復組人員已完成初步評估，數(shù)據(jù)庫服務器備件不到場，服務器無法恢復正常。根據(jù)與廠商的協(xié)調(diào)，備件已經(jīng)發(fā)出，但到場最快還需要半小時，另外修復的時間也需要最少半小時，且尚存在其他不可預估的風險，建議災難預警。 災難預警 指揮組組長 決定災難預警 立即向中金災備中心預警，請技術(shù)組準備好系統(tǒng)切換前的準備工作 進行災難預警 技術(shù)組執(zhí)行 人 進行災難預警 中金災備中心，我是中銀保險 XXX，現(xiàn)通知你們進入預警狀態(tài)，做好相應的保障準備工作 技術(shù)組組長 匯報準備工作進展 報告領(lǐng)導，現(xiàn)在一切技術(shù)準備工作已經(jīng)就緒，災備系統(tǒng)狀態(tài)正常，可以準備進行切換。 損害及影響評估 指揮組組長 再次進行損害及影響評估 請技術(shù)恢復組和業(yè)務恢復組再次進行損害及影響評估 報告損害及影響評估結(jié)果 指定的災難評估人員 填寫災害評估表及災難宣告表第一欄 報告領(lǐng)導，與廠家聯(lián)系，由于道路擁堵，備件還在路上，具體恢復時間尚無法估計。 《 損害評估表 》 、 《 災難宣告表 》 已經(jīng)填寫完畢，建議進行災難宣告，請指示 向領(lǐng)導組匯報損害及影響評估結(jié)果 指揮組組長 填寫 《 災難宣告表 》 第二欄，向領(lǐng)導組報告損害評估結(jié)果，建議災難宣告 報告領(lǐng)導，根據(jù)現(xiàn)損害及影響評估結(jié)果，由于備件具體到場時間無法估計，業(yè)務停止時間過長，建議領(lǐng)導組進行災難宣告，另保險卡系統(tǒng)切換時間為 15分鐘，請指示。 答復 領(lǐng)導組組長 就災難宣告事宜進行答復 領(lǐng)導組將認真研究是否進行災難宣告，以及何時進行宣告，研究結(jié)果會及時通知。同時請密切關(guān)注現(xiàn)場情況，有進展及時匯報。 備件仍未到場，保險卡系統(tǒng)無法在預定 RTO內(nèi)恢復 災難宣告 領(lǐng)導組組長 簽署 《 災難宣告表 》 第三欄，同時進行災難宣告 經(jīng)過領(lǐng)導組的研究，接受指揮組災難宣告建議，對外進行災難宣告；請指揮組組織人員進行切換工作，防范風險，務必保證在 16點前恢復保險卡系統(tǒng)的運營；請后勤保障組根據(jù)需要向上級主管部門、董事會及其他監(jiān)管部門進行解釋，降低影響。 災備切換 技術(shù)組 進行切換工作，將保險卡生產(chǎn)系統(tǒng)切換到災備中心運行 系統(tǒng)切換進展匯報 技術(shù)組組長 向指揮組匯報 報告，保險卡系統(tǒng)已經(jīng)切換到災備中心，數(shù)據(jù)庫運行正常，業(yè)務恢復組可以開始業(yè)務驗證與恢復工作 災備切換 業(yè)務組 業(yè)務驗證與恢復 業(yè)務恢復進展匯報 業(yè)務組組長 想指揮組匯報 報告，經(jīng)驗證，業(yè)務已經(jīng)恢復正常，業(yè)務數(shù)據(jù)也恢復到停止服務的時間，可以正式對外提供服務 業(yè)務恢復進展匯報 指揮組組長 向領(lǐng)導組匯報 報告領(lǐng)導，保險卡業(yè)務已經(jīng)恢復正常，并正式對外提供服務，災難切換完成 災難切換進展指示 領(lǐng)導組組長 對災難切換進展進行指示，安排后續(xù)工作 很好。請指揮組繼續(xù)關(guān)注生產(chǎn)的恢復情況，并根據(jù)進展安排時間恢復到生產(chǎn)環(huán)境。同時由于由災備環(huán)境頂替生產(chǎn)，請隨時關(guān)注業(yè)務運行情況，以防范風險。 場景四 場景四 步驟 執(zhí)行人 操作 話述 下午 17點，備件到場，保險卡數(shù)據(jù)庫服務器恢復 生產(chǎn)環(huán)境恢復匯報 技術(shù)組組長 匯報生產(chǎn)環(huán)境恢復進展 報告，生產(chǎn)數(shù)據(jù)庫服務器備件已經(jīng)到場，數(shù)據(jù)庫環(huán)境恢復正常，可以進行回切操作 回切指示 指揮組組長 針對生產(chǎn)恢復情況進 行回切指示 17點 15分開始，請技術(shù)恢復組進行回退操作，請業(yè)務恢復組進行回退后的業(yè)務驗證與數(shù)據(jù)恢復。有情況及時匯報 回切 技術(shù)組 回切 回切匯報 技術(shù)組組長 針對回切情況向指揮 組匯報 報告領(lǐng)導，系統(tǒng)已經(jīng)回退到生產(chǎn)環(huán)境，數(shù)據(jù)庫恢復正常，網(wǎng)絡恢復正常，可以開始進行業(yè)務驗證與恢復。 回切 業(yè)務組 回切后業(yè)務情況驗證 回切匯報 業(yè)務組組長 針對回切情況向指揮 組匯報 報告，經(jīng)驗證，業(yè)務已經(jīng)回退到生產(chǎn)環(huán)境，業(yè)務數(shù)據(jù)恢復到回退前，可以對外提供服務 回切匯報 指揮組組長 針對回切業(yè)務恢復情 況向領(lǐng)導組匯報 報告，業(yè)務已經(jīng)回退到生產(chǎn)環(huán)境，業(yè)務數(shù)據(jù)恢復到回退前，現(xiàn)在已經(jīng)開始利用生產(chǎn)環(huán)境對外提供服務，整體災難恢復已經(jīng)完成。 指示 領(lǐng)導組組長 很好，災難恢復圓滿完成。應急指揮中心解散，請安排好后續(xù)的人員、匯報、總結(jié)等工作。本次災難恢復到此結(jié)束 實戰(zhàn)演練條件約定 ? 演練數(shù)據(jù)來源的約定 – 演練數(shù)據(jù)來源于真實的生產(chǎn)數(shù)據(jù) ? 演練數(shù)據(jù)去向的約定 – 本次是實戰(zhàn)演練，演練數(shù)據(jù)將進入生產(chǎn) ? 演練系統(tǒng)的約定 – 保險卡災備系統(tǒng) ? 演練網(wǎng)絡的約定 – 生產(chǎn)網(wǎng)絡 ? 數(shù)據(jù)安全的約定（出現(xiàn)接管失敗、數(shù)據(jù)丟失的恢復方案） – 與應用系統(tǒng)日志進行核對等 演練前準備工作確認（一） 序號 系統(tǒng)自查內(nèi)容 自查情況 責任人 1 網(wǎng)絡 生產(chǎn)中心至災備中心專線是否正常 吳震銘 2 生產(chǎn)中心內(nèi)部各個域之間的網(wǎng)絡 是否暢通 3 災備中心內(nèi)部各個域之間網(wǎng)絡是 否暢通 4 參演機構(gòu)到兩個中心之間的網(wǎng)絡 是否暢通 5 與短信網(wǎng)關(guān)等外圍系統(tǒng)的網(wǎng)絡暢 通 胡小紅 6 服務器 確認源 \目標主機可登陸 7 確認源 \目標主機無硬件問題 8 確認源 \目標主機目錄空間可用 9 確認源