【文章內(nèi)容簡(jiǎn)介】 統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器 30分鐘前出現(xiàn)硬件故障，無(wú)法對(duì)外提供服務(wù)。備件到場(chǎng)及修復(fù)時(shí)間預(yù)計(jì)還需要 3小時(shí)，超過(guò) RTO。已經(jīng)責(zé)成相關(guān)人員盡快修復(fù)，目前是否開(kāi)始進(jìn)行災(zāi)難恢復(fù)準(zhǔn)備工作？指示 領(lǐng)導(dǎo)組組長(zhǎng) 可以。你先通知相關(guān)人員，進(jìn)行人員集結(jié)，開(kāi)始進(jìn)行相關(guān)應(yīng)急指揮工作。 場(chǎng)景三 場(chǎng)景三 步驟 執(zhí)行人 操作 話述 下午 16點(diǎn)，應(yīng)急指揮中心成立、人員集結(jié)完畢 應(yīng)急指揮準(zhǔn)備工作 指揮組組長(zhǎng) 開(kāi)始災(zāi)難準(zhǔn)備工作 請(qǐng)后勤保障組進(jìn)行后勤保障及危機(jī)公關(guān)工作，請(qǐng)客戶投訴支持組準(zhǔn)備問(wèn)題應(yīng)答準(zhǔn)備，請(qǐng)技術(shù)恢復(fù)組和業(yè)務(wù)恢復(fù)組對(duì)此次事件可能造成的影響進(jìn)行初步評(píng)估 初步影響評(píng)估 技術(shù)組組長(zhǎng) 進(jìn)行初步影響評(píng)估，并向?yàn)?zāi)難恢復(fù)指揮組匯報(bào) 報(bào)告領(lǐng)導(dǎo)，根據(jù)指示，技術(shù)恢復(fù)組和業(yè)務(wù)恢復(fù)組人員已完成初步評(píng)估，數(shù)據(jù)庫(kù)服務(wù)器備件不到場(chǎng)，服務(wù)器無(wú)法恢復(fù)正常。根據(jù)與廠商的協(xié)調(diào)，備件已經(jīng)發(fā)出，但到場(chǎng)最快還需要半小時(shí)，另外修復(fù)的時(shí)間也需要最少半小時(shí)，且尚存在其他不可預(yù)估的風(fēng)險(xiǎn)，建議災(zāi)難預(yù)警。 災(zāi)難預(yù)警 指揮組組長(zhǎng) 決定災(zāi)難預(yù)警 立即向中金災(zāi)備中心預(yù)警，請(qǐng)技術(shù)組準(zhǔn)備好系統(tǒng)切換前的準(zhǔn)備工作 進(jìn)行災(zāi)難預(yù)警 技術(shù)組執(zhí)行 人 進(jìn)行災(zāi)難預(yù)警 中金災(zāi)備中心，我是中銀保險(xiǎn) XXX，現(xiàn)通知你們進(jìn)入預(yù)警狀態(tài)，做好相應(yīng)的保障準(zhǔn)備工作 技術(shù)組組長(zhǎng) 匯報(bào)準(zhǔn)備工作進(jìn)展 報(bào)告領(lǐng)導(dǎo)，現(xiàn)在一切技術(shù)準(zhǔn)備工作已經(jīng)就緒，災(zāi)備系統(tǒng)狀態(tài)正常，可以準(zhǔn)備進(jìn)行切換。 損害及影響評(píng)估 指揮組組長(zhǎng) 再次進(jìn)行損害及影響評(píng)估 請(qǐng)技術(shù)恢復(fù)組和業(yè)務(wù)恢復(fù)組再次進(jìn)行損害及影響評(píng)估 報(bào)告損害及影響評(píng)估結(jié)果 指定的災(zāi)難評(píng)估人員 填寫(xiě)災(zāi)害評(píng)估表及災(zāi)難宣告表第一欄 報(bào)告領(lǐng)導(dǎo)，與廠家聯(lián)系，由于道路擁堵，備件還在路上，具體恢復(fù)時(shí)間尚無(wú)法估計(jì)。 《 損害評(píng)估表 》 、 《 災(zāi)難宣告表 》 已經(jīng)填寫(xiě)完畢，建議進(jìn)行災(zāi)難宣告，請(qǐng)指示 向領(lǐng)導(dǎo)組匯報(bào)損害及影響評(píng)估結(jié)果 指揮組組長(zhǎng) 填寫(xiě) 《 災(zāi)難宣告表 》 第二欄，向領(lǐng)導(dǎo)組報(bào)告損害評(píng)估結(jié)果，建議災(zāi)難宣告 報(bào)告領(lǐng)導(dǎo)，根據(jù)現(xiàn)損害及影響評(píng)估結(jié)果，由于備件具體到場(chǎng)時(shí)間無(wú)法估計(jì)，業(yè)務(wù)停止時(shí)間過(guò)長(zhǎng)，建議領(lǐng)導(dǎo)組進(jìn)行災(zāi)難宣告，另保險(xiǎn)卡系統(tǒng)切換時(shí)間為 15分鐘，請(qǐng)指示。 答復(fù) 領(lǐng)導(dǎo)組組長(zhǎng) 就災(zāi)難宣告事宜進(jìn)行答復(fù) 領(lǐng)導(dǎo)組將認(rèn)真研究是否進(jìn)行災(zāi)難宣告，以及何時(shí)進(jìn)行宣告，研究結(jié)果會(huì)及時(shí)通知。同時(shí)請(qǐng)密切關(guān)注現(xiàn)場(chǎng)情況，有進(jìn)展及時(shí)匯報(bào)。 備件仍未到場(chǎng)，保險(xiǎn)卡系統(tǒng)無(wú)法在預(yù)定 RTO內(nèi)恢復(fù) 災(zāi)難宣告 領(lǐng)導(dǎo)組組長(zhǎng) 簽署 《 災(zāi)難宣告表 》 第三欄，同時(shí)進(jìn)行災(zāi)難宣告 經(jīng)過(guò)領(lǐng)導(dǎo)組的研究，接受指揮組災(zāi)難宣告建議，對(duì)外進(jìn)行災(zāi)難宣告；請(qǐng)指揮組組織人員進(jìn)行切換工作，防范風(fēng)險(xiǎn)，務(wù)必保證在 16點(diǎn)前恢復(fù)保險(xiǎn)卡系統(tǒng)的運(yùn)營(yíng)；請(qǐng)后勤保障組根據(jù)需要向上級(jí)主管部門、董事會(huì)及其他監(jiān)管部門進(jìn)行解釋，降低影響。 災(zāi)備切換 技術(shù)組 進(jìn)行切換工作，將保險(xiǎn)卡生產(chǎn)系統(tǒng)切換到災(zāi)備中心運(yùn)行 系統(tǒng)切換進(jìn)展匯報(bào) 技術(shù)組組長(zhǎng) 向指揮組匯報(bào) 報(bào)告，保險(xiǎn)卡系統(tǒng)已經(jīng)切換到災(zāi)備中心，數(shù)據(jù)庫(kù)運(yùn)行正常，業(yè)務(wù)恢復(fù)組可以開(kāi)始業(yè)務(wù)驗(yàn)證與恢復(fù)工作 災(zāi)備切換 業(yè)務(wù)組 業(yè)務(wù)驗(yàn)證與恢復(fù) 業(yè)務(wù)恢復(fù)進(jìn)展匯報(bào) 業(yè)務(wù)組組長(zhǎng) 想指揮組匯報(bào) 報(bào)告，經(jīng)驗(yàn)證，業(yè)務(wù)已經(jīng)恢復(fù)正常，業(yè)務(wù)數(shù)據(jù)也恢復(fù)到停止服務(wù)的時(shí)間，可以正式對(duì)外提供服務(wù) 業(yè)務(wù)恢復(fù)進(jìn)展匯報(bào) 指揮組組長(zhǎng) 向領(lǐng)導(dǎo)組匯報(bào) 報(bào)告領(lǐng)導(dǎo)，保險(xiǎn)卡業(yè)務(wù)已經(jīng)恢復(fù)正常，并正式對(duì)外提供服務(wù)，災(zāi)難切換完成 災(zāi)難切換進(jìn)展指示 領(lǐng)導(dǎo)組組長(zhǎng) 對(duì)災(zāi)難切換進(jìn)展進(jìn)行指示，安排后續(xù)工作 很好。請(qǐng)指揮組繼續(xù)關(guān)注生產(chǎn)的恢復(fù)情況，并根據(jù)進(jìn)展安排時(shí)間恢復(fù)到生產(chǎn)環(huán)境。同時(shí)由于由災(zāi)備環(huán)境頂替生產(chǎn)，請(qǐng)隨時(shí)關(guān)注業(yè)務(wù)運(yùn)行情況，以防范風(fēng)險(xiǎn)。 場(chǎng)景四 場(chǎng)景四 步驟 執(zhí)行人 操作 話述 下午 17點(diǎn)，備件到場(chǎng)，保險(xiǎn)卡數(shù)據(jù)庫(kù)服務(wù)器恢復(fù) 生產(chǎn)環(huán)境恢復(fù)匯報(bào) 技術(shù)組組長(zhǎng) 匯報(bào)生產(chǎn)環(huán)境恢復(fù)進(jìn)展 報(bào)告，生產(chǎn)數(shù)據(jù)庫(kù)服務(wù)器備件已經(jīng)到場(chǎng)，數(shù)據(jù)庫(kù)環(huán)境恢復(fù)正常，可以進(jìn)行回切操作 回切指示 指揮組組長(zhǎng) 針對(duì)生產(chǎn)恢復(fù)情況進(jìn) 行回切指示 17點(diǎn) 15分開(kāi)始，請(qǐng)技術(shù)恢復(fù)組進(jìn)行回退操作，請(qǐng)業(yè)務(wù)恢復(fù)組進(jìn)行回退后的業(yè)務(wù)驗(yàn)證與數(shù)據(jù)恢復(fù)。有情況及時(shí)匯報(bào) 回切 技術(shù)組 回切 回切匯報(bào) 技術(shù)組組長(zhǎng) 針對(duì)回切情況向指揮 組匯報(bào) 報(bào)告領(lǐng)導(dǎo)，系統(tǒng)已經(jīng)回退到生產(chǎn)環(huán)境，數(shù)據(jù)庫(kù)恢復(fù)正常，網(wǎng)絡(luò)恢復(fù)正常，可以開(kāi)始進(jìn)行業(yè)務(wù)驗(yàn)證與恢復(fù)。 回切 業(yè)務(wù)組 回切后業(yè)務(wù)情況驗(yàn)證 回切匯報(bào) 業(yè)務(wù)組組長(zhǎng) 針對(duì)回切情況向指揮 組匯報(bào) 報(bào)告，經(jīng)驗(yàn)證，業(yè)務(wù)已經(jīng)回退到生產(chǎn)環(huán)境，業(yè)務(wù)數(shù)據(jù)恢復(fù)到回退前，可以對(duì)外提供服務(wù) 回切匯報(bào) 指揮組組長(zhǎng) 針對(duì)回切業(yè)務(wù)恢復(fù)情 況向領(lǐng)導(dǎo)組匯報(bào) 報(bào)告，業(yè)務(wù)已經(jīng)回退到生產(chǎn)環(huán)境，業(yè)務(wù)數(shù)據(jù)恢復(fù)到回退前，現(xiàn)在已經(jīng)開(kāi)始利用生產(chǎn)環(huán)境對(duì)外提供服務(wù)，整體災(zāi)難恢復(fù)已經(jīng)完成。 指示 領(lǐng)導(dǎo)組組長(zhǎng) 很好，災(zāi)難恢復(fù)圓滿完成。應(yīng)急指揮中心解散，請(qǐng)安排好后續(xù)的人員、匯報(bào)、總結(jié)等工作。本次災(zāi)難恢復(fù)到此結(jié)束 實(shí)戰(zhàn)演練條件約定 ? 演練數(shù)據(jù)來(lái)源的約定 – 演練數(shù)據(jù)來(lái)源于真實(shí)的生產(chǎn)數(shù)據(jù) ? 演練數(shù)據(jù)去向的約定 – 本次是實(shí)戰(zhàn)演練，演練數(shù)據(jù)將進(jìn)入生產(chǎn) ? 演練系統(tǒng)的約定 – 保險(xiǎn)卡災(zāi)備系統(tǒng) ? 演練網(wǎng)絡(luò)的約定 – 生產(chǎn)網(wǎng)絡(luò) ? 數(shù)據(jù)安全的約定（出現(xiàn)接管失敗、數(shù)據(jù)丟失的恢復(fù)方案） – 與應(yīng)用系統(tǒng)日志進(jìn)行核對(duì)等 演練前準(zhǔn)備工作確認(rèn)（一） 序號(hào) 系統(tǒng)自查內(nèi)容 自查情況 責(zé)任人 1 網(wǎng)絡(luò) 生產(chǎn)中心至災(zāi)備中心專線是否正常 吳震銘 2 生產(chǎn)中心內(nèi)部各個(gè)域之間的網(wǎng)絡(luò) 是否暢通 3 災(zāi)備中心內(nèi)部各個(gè)域之間網(wǎng)絡(luò)是 否暢通 4 參演機(jī)構(gòu)到兩個(gè)中心之間的網(wǎng)絡(luò) 是否暢通 5 與短信網(wǎng)關(guān)等外圍系統(tǒng)的網(wǎng)絡(luò)暢 通 胡小紅 6 服務(wù)器 確認(rèn)源 \目標(biāo)主機(jī)可登陸 7 確認(rèn)源 \目標(biāo)主機(jī)無(wú)硬件問(wèn)題 8 確認(rèn)源 \目標(biāo)主機(jī)目錄空間可用 9 確認(rèn)源