【正文】 1 一、 方案建議書 1. 項(xiàng)目背景 隨著中國移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的飛速發(fā)展，承載業(yè)務(wù)的云計(jì)算資源池規(guī)模也隨之?dāng)U大，2020 年度將擴(kuò)容至 1000 臺(tái) PC 服務(wù)器的規(guī)模；支撐的系統(tǒng)包括： MM 開發(fā)者域、彩云、彩云通訊錄、飛信、無線城市、用管中心，智能語音云，融合通信等。 為了保證云資源池軟硬件穩(wěn)定運(yùn)行，虛擬資源配置合理，能夠及時(shí)響應(yīng)上層業(yè)務(wù)對(duì)資源的使用需求，計(jì)劃建立一套完整的監(jiān)控巡檢、系統(tǒng)運(yùn)維、故障處理、技術(shù)支持、安全管理、資產(chǎn)管理的統(tǒng)一運(yùn)維體系，以確保業(yè)務(wù)系統(tǒng)的安全、穩(wěn)定、高效運(yùn)行。 2. 項(xiàng)目目標(biāo) 本項(xiàng)目的任務(wù)是組建云計(jì)算資源池系統(tǒng)統(tǒng)一運(yùn) 維服務(wù)支撐團(tuán)隊(duì)，提供對(duì)云計(jì)算資源池的統(tǒng)一運(yùn)維服務(wù)，包括但不限于如下內(nèi)容： 1. 以 ITILv ISO20200 以及 中國移動(dòng)相關(guān)的規(guī)范制度為依據(jù) 建立云計(jì)算資源池維護(hù)服務(wù)體系，通過服務(wù)體系的建立及優(yōu)化提升云計(jì)算資源池整體運(yùn)維服務(wù)水平。 2. 提供云計(jì)算資源池所有硬件設(shè)備的日常監(jiān)控、設(shè)備巡檢、故障處理、資源管理、數(shù)據(jù)備份、系統(tǒng)優(yōu)化、安全管理及網(wǎng)管支撐平臺(tái)需求管理等內(nèi)容。 3. 提供云計(jì)算資源池主動(dòng)預(yù)防維護(hù)服務(wù)，包括：風(fēng)險(xiǎn)評(píng)估、應(yīng)急容災(zāi)、優(yōu)化分析、故障總結(jié)回顧等內(nèi)容，從而提前發(fā)現(xiàn)系統(tǒng)存在的潛在風(fēng)險(xiǎn)，降低系統(tǒng)風(fēng)險(xiǎn)， 提高系統(tǒng)穩(wěn)定性。 3. 需求 分析 . 服務(wù)內(nèi)容 . IT 運(yùn)維服務(wù)管理需求 2 . 運(yùn)維體系建設(shè) 維護(hù)方需提出明確的運(yùn)維體系建設(shè)及管理方案，以滿足運(yùn)維需求。包括但不限于下列部分：項(xiàng)目管理、團(tuán)隊(duì)管理、流程管理、資源管理、質(zhì)量管理、故障 /問題管理 、 變更 /發(fā)布管理 、 配置 /容量 管理 、 能力 /知識(shí) 管理 、 IT 服務(wù)持續(xù)性管理 、服務(wù)目錄及 SLA 管理、 可用性管理 、 安全 /應(yīng)急 管理 等內(nèi)容。 . 流程管理 根據(jù)項(xiàng)目的流程管理需求，至少需要對(duì)以下流程進(jìn)行設(shè)計(jì)和標(biāo)準(zhǔn)化管理： 事件管理 、 問題管理 、 變更管理 、 發(fā)布管理 、 配置管理 、 能力管理 、 IT 服務(wù)持續(xù)性管理 、 可用性管理 、 安全管理 、 應(yīng)急管理 、 故障管理 、知識(shí) 管理 等流程。 . 事件管理 事件管理流程的主要功能是盡快解決出現(xiàn)的事件，保持 云計(jì)算資源池系統(tǒng) 的穩(wěn)定性 。設(shè)計(jì)合理的事件管理流程 ， 明確流程中各角色的分工界面， 把控事件 的流轉(zhuǎn)和 升級(jí)，及時(shí)匯報(bào)處理結(jié)果，保障日常服務(wù)正常進(jìn)行。 . 信息發(fā)布 采用布告欄、 Email、屏幕消息 、短信 等方式為用戶提供：停機(jī)公告、重大故障情況通告、系統(tǒng)升級(jí)公告、維護(hù)月報(bào)、統(tǒng)計(jì)分析結(jié)果、問題跟蹤情況反饋等 信息 。 . 運(yùn)維質(zhì)量管理 通過科學(xué)的質(zhì)檢方法采集、分析質(zhì)檢數(shù)據(jù)，規(guī)范運(yùn)維行為，通過連續(xù)的質(zhì)量控 制提升運(yùn)維服務(wù)質(zhì)量。 . 知識(shí)管理 3 根據(jù)系統(tǒng)的實(shí)際運(yùn)作狀況，整理 資源池 、系統(tǒng)相關(guān)技術(shù)文檔，同時(shí)對(duì)匯總 資源池 技術(shù)資產(chǎn)，存檔 資源池 變更歷史，確保 資源池 文檔庫的完整及更新。 . 運(yùn)行監(jiān)控 7 24 小時(shí) 實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行功能和性能狀況，掌握各部件的日常運(yùn)行狀況，及時(shí)發(fā)現(xiàn)異常狀況并進(jìn)行處理。 ? 維護(hù)方需針對(duì)對(duì)系統(tǒng)的實(shí)際情況制定了完善的運(yùn)行監(jiān)控方案，進(jìn)行主動(dòng)預(yù)防性維護(hù)服務(wù)，盡可能減少系統(tǒng)故障的產(chǎn)生。 ? 當(dāng)故障發(fā)生時(shí)，維護(hù)方按照不同的故障等級(jí)，在建立完善故障處理流程的基礎(chǔ)上快速響應(yīng)、快速恢復(fù)業(yè)務(wù)。 ? 配合故障排查及定位， 準(zhǔn)確定位的基礎(chǔ)上配合開展修復(fù)工作，及時(shí)通報(bào)故障解決進(jìn)展。 ? 如遇產(chǎn)品本身故障，協(xié)調(diào)相關(guān)原廠服務(wù)進(jìn)行產(chǎn)品故障修復(fù)工作，確保故障得到及時(shí)的解決，減小故障影響。工作內(nèi)容包括： ? 依托網(wǎng)管支撐系統(tǒng)，實(shí)時(shí)對(duì)硬件設(shè)備及系統(tǒng)組件的 CPU、內(nèi)存、運(yùn)行日志、目錄、資源、磁盤使用情況、系統(tǒng)進(jìn)程、 I/O等指標(biāo)進(jìn)行監(jiān)控。 ? 結(jié)合監(jiān)控?cái)?shù)據(jù)分析日常運(yùn)行情況， 對(duì)設(shè)備、系統(tǒng)、 虛擬機(jī) 及網(wǎng)絡(luò)設(shè)備 性能指標(biāo)值突變，應(yīng)能判斷分析異常狀況。 ? 監(jiān)控服務(wù)應(yīng)提交監(jiān)控結(jié)果報(bào)告、異常情況及時(shí)預(yù)警移動(dòng)負(fù)責(zé)人，同時(shí)每周提交系統(tǒng)負(fù)載情況監(jiān)控、性能趨勢分析，磁盤使用率等監(jiān)控 指標(biāo)趨勢 分析 。 ? 協(xié)助將所有監(jiān)控對(duì)象聯(lián)調(diào)到網(wǎng)管支撐 平臺(tái) 。 . IT 基礎(chǔ)設(shè)施運(yùn)維需求 IT 基礎(chǔ)設(shè)施運(yùn)維包含：主機(jī)、存儲(chǔ)、虛擬化、網(wǎng)絡(luò)設(shè)備的管理、維護(hù)、技術(shù)支撐，以及網(wǎng)管支撐 資源池 需求管理。 分為日常運(yùn)維需求及高級(jí)運(yùn)維需求兩大部份。 . 日常運(yùn)維工作需求 4 日常運(yùn)維包括：設(shè)備巡檢、運(yùn)行監(jiān)控、事件處理、資源池管理、資源管理、參數(shù)管理、系統(tǒng)升級(jí)、應(yīng)急管理、文檔管理 等系列工作。 . 設(shè)備巡檢 定期 對(duì)系統(tǒng)各部件和組件進(jìn)行巡檢，巡檢 實(shí)施前提交 巡檢 計(jì)劃，在得到各方確認(rèn)后組織資源力量按照健康檢查計(jì)劃實(shí)施健康檢查，在工作完成后提交 巡檢 報(bào) 告并組織討論，并對(duì) 巡檢 報(bào)告的相關(guān)事項(xiàng)進(jìn)行相關(guān)預(yù)防性跟蹤處理， 協(xié)調(diào) 落實(shí)相關(guān)調(diào)優(yōu) /調(diào)整 /補(bǔ)丁安裝措施，保障 系統(tǒng) 運(yùn)作穩(wěn)定。 具體工作包括： ? 根據(jù)云計(jì)算資源池硬件現(xiàn)狀，確定巡檢 設(shè)備列表 、巡檢內(nèi)容、巡檢手段、巡檢頻率以及巡檢結(jié)果記錄模板，制定巡檢執(zhí)行計(jì)劃。其中關(guān)鍵指標(biāo)巡檢至少應(yīng)做到 2次 /天，如遇緊急情況應(yīng)提升頻率以確保資源池可用性。 ? 以現(xiàn)場巡檢和操作系統(tǒng)命令 等 方式，定期對(duì)機(jī)房環(huán)境、設(shè)備、配套設(shè)備定期現(xiàn)場巡檢。 ? 對(duì)主機(jī)的運(yùn)行狀況以及其上虛擬機(jī)的運(yùn)行狀況等指標(biāo)巡檢。 ? 定期檢查網(wǎng)絡(luò)設(shè)備，防火墻及負(fù)載均衡等設(shè)備連接數(shù)等指標(biāo)。 ? 巡檢服務(wù)應(yīng)提交巡檢結(jié)果報(bào)告，異常情況及時(shí)預(yù)警移動(dòng)負(fù)責(zé)人，同時(shí)每周提交性能分析報(bào)告，指出系統(tǒng)存在隱患。 . 備份管理 對(duì) 云計(jì)算資源池 所涉及 重要配置數(shù)據(jù)以及關(guān)鍵應(yīng)用 建立完整的備份策略，進(jìn)行全面或者部分 重要數(shù)據(jù)恢復(fù)測試，并根據(jù)實(shí)際情況不斷調(diào)整備份策略，優(yōu)化備份技術(shù)方案，保證重要數(shù)據(jù)的安全以及可恢復(fù)性 ? 制訂 /優(yōu)化 /實(shí)施 操作系統(tǒng)、虛機(jī)、數(shù)據(jù)庫及網(wǎng)管支撐平臺(tái) 備份策略。 ? 進(jìn)行數(shù)據(jù)恢復(fù)測試。 ? 優(yōu)化備份軟件運(yùn)行效率。 ? 梳理歷史備份數(shù)據(jù) 。 . 資源管理 5 管理和維護(hù)計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的虛擬化資源， 按照業(yè)務(wù)需求對(duì)資源進(jìn)行分配、 回收及 安全管理 等 ， 具體工作 包括 ： ? 對(duì)資源申請(qǐng)進(jìn)行核實(shí)。 ? 對(duì)資源（包括所有虛擬資產(chǎn)）進(jìn)行分配、 回收 和安全管理 。 ? 對(duì)資源使用提供相關(guān)建議。 ? 配合完成業(yè)務(wù)接入需求評(píng)估、方案設(shè)計(jì)、接入測試、上線運(yùn)行、業(yè)務(wù)退網(wǎng)等工作。 . 參數(shù)管理 根據(jù)資源池的實(shí)際運(yùn)行狀況和 具體要求，進(jìn)行 設(shè)備、系統(tǒng)和第三方軟件參數(shù)和 資源調(diào)整，并確保調(diào)整的合理性以及正確性 。 同時(shí)，對(duì)已知或經(jīng)過驗(yàn)證的配置（包括主機(jī)、網(wǎng)絡(luò)、存儲(chǔ)和安全性設(shè)置）進(jìn)行捕獲并將其應(yīng)用于其他主機(jī)，以此方式簡化設(shè)置。 ? 主機(jī)配置 /參數(shù)管理。 ? 虛擬機(jī) 配置 /參數(shù)管理及 內(nèi)存 /CPU 資源的動(dòng)態(tài)調(diào)整 。 ? 存 儲(chǔ) 配置 /參數(shù)管理， 卷組、文件系統(tǒng)的劃分 。 ? 防護(hù)墻、交換機(jī)、路由器及負(fù)載均衡等網(wǎng)絡(luò)設(shè)備配置 /參數(shù)管理 ? 數(shù)據(jù)庫 、中間件配置 /參數(shù)管理 ，定時(shí)任務(wù)的部署。 ? 上述設(shè)備、虛擬資源及組件的配置參數(shù)變更管理。 ? 設(shè)備及系統(tǒng)的策略配置變更，滿足安全和業(yè)務(wù)新需求。 . 系統(tǒng)升級(jí) 為保證系統(tǒng)版本滾動(dòng)上線或者基礎(chǔ)架構(gòu)變更情況下業(yè)務(wù)穩(wěn)定性，對(duì)上線割接過程進(jìn)行過程，在項(xiàng)目建設(shè) 方的 交付過程中，配合上線前、后系統(tǒng)驗(yàn)證測試，保證系統(tǒng)在上線前后 IT 基礎(chǔ)設(shè)施的穩(wěn)定運(yùn)行與 功能保障。 ? 上線前審核項(xiàng)目建設(shè)方提交的系統(tǒng)割接方案，并提出整改建議。 ? 上線前 及上線后系統(tǒng)驗(yàn)證測試 及提交是否上線建議。 ? 上線后觀察資源池使用情況并總結(jié)分析評(píng)估上線質(zhì)量。 6 . 應(yīng)急冗災(zāi) 作為應(yīng)對(duì) 嚴(yán)重故障和 災(zāi)難 情況下 的保障措施 ，根據(jù)系統(tǒng)架構(gòu)， 制訂針對(duì) 單點(diǎn)組件、重要部件失效的切換方案， 制定應(yīng)急預(yù)案，按計(jì)劃定期 進(jìn)行應(yīng)急演練 。 具體內(nèi)容： ? 制訂重大故障應(yīng)急預(yù)案，評(píng)估失效影響，建立定期進(jìn)行單點(diǎn)部件、重要部件以及 資源池 整體的應(yīng)急切換計(jì)劃。 ? 定期進(jìn)行相關(guān)應(yīng)急演練，形成演練報(bào)告，并不斷優(yōu)化應(yīng)急切換計(jì)劃；在演練過程中驗(yàn)證應(yīng)急管理的有效性。 ? 如遇重大節(jié)日和事件，按 需求方 要求開展不定期的應(yīng)急演練和恢復(fù)演練工作。 . 文檔管理 根據(jù) 系統(tǒng)的實(shí)際運(yùn)作狀況，整理資源池相關(guān)技術(shù)文檔，同時(shí)對(duì)匯總資源池技術(shù)資產(chǎn)，存檔資源池 變更歷 史，確保資源池 文檔庫的完整及更新 。包括有： ? 維護(hù)系統(tǒng)資產(chǎn)信息，在資產(chǎn)新增、報(bào)廢、變更時(shí)及時(shí)更新配置數(shù)據(jù)，同時(shí)存檔變更歷史。 ? 維護(hù)系統(tǒng)配置信息，在系統(tǒng)升級(jí)、擴(kuò)容、割接時(shí)審核方案并做好變更配置信息的及時(shí)更新，保證配置信息的及時(shí)性和準(zhǔn)確性，同時(shí)存檔變更歷史。 ? 維護(hù)系統(tǒng)拓?fù)鋱D、設(shè)備物理位置、設(shè)備連接及部署環(huán)境信息， 在系統(tǒng)升級(jí)、擴(kuò)容、割接時(shí)審核方案并做好變更配置 信息的及時(shí)更新，同時(shí)存檔變更歷史。 ? 維護(hù)系統(tǒng)巡檢和 健康檢查結(jié)果，進(jìn)行系統(tǒng)運(yùn)行不同時(shí)段各部件功能和性能指標(biāo)消耗情況的記錄及歸檔。 ? 系統(tǒng)故障庫維護(hù)故障信息記錄及特偵，至少包括故障現(xiàn)象、發(fā)生時(shí)間、原因、跟進(jìn)人、臨時(shí)處理措施以及業(yè)務(wù)用側(cè)詳細(xì)信息。 ? 重大故障 提交 故障報(bào)告 ，包括故障發(fā)生到解決涉及到的所有細(xì)節(jié)內(nèi)容。 ? 維護(hù)資源池應(yīng)急演練和應(yīng)急切換歷史數(shù)據(jù)，包括演練和切換過程中遇到問題以及解決過程的細(xì)節(jié)內(nèi)容。 ? 編寫運(yùn)維文檔 :如運(yùn)維手冊(cè)、分析報(bào)告，如日?qǐng)?bào)、周報(bào)、運(yùn)維質(zhì)量報(bào)告等 。 ? 在其他廠家實(shí)施項(xiàng)目中涉及需要配合他們提交的各類文檔 。 7 . 配合工作 ? 配合 SOX常規(guī)安全檢查 、 系統(tǒng)安全審 計(jì) 等樣本提取和 解釋工作 ? 配合業(yè)務(wù)部門和信息系統(tǒng)部要求的安全合規(guī)掃描、基線掃描、漏洞掃描和其他安全掃描工作。 ? 重大節(jié)日或者關(guān)鍵工作現(xiàn)場值守進(jìn)行保障。 . 高級(jí)運(yùn)維工作內(nèi)容 涉及一線工程師無法及時(shí)解決的故障、系統(tǒng)部件或者組件打補(bǔ)丁、升級(jí)、重裝、系統(tǒng)深度巡檢等工作， 駐場 高級(jí)工程師應(yīng)提供二線專家技術(shù)支持服務(wù)予以解決。同時(shí)高級(jí)工程師應(yīng)開展系統(tǒng)持續(xù)優(yōu)化等工作，包括定期回顧重大故障、系統(tǒng)性能分析等。 . 風(fēng)險(xiǎn)評(píng)估 維護(hù)方需要 充分了解客戶信息系統(tǒng)存在的 隱患、 風(fēng)險(xiǎn)，以及面臨的網(wǎng)絡(luò) 安全威脅，就需要使用多種安全檢查方法收集準(zhǔn)確的基礎(chǔ)數(shù)據(jù) 信息， 客觀的從技術(shù) 架構(gòu)層面 分析出 系統(tǒng) 存在的 隱患和 安全風(fēng)險(xiǎn)。 梳理系統(tǒng)監(jiān)控指標(biāo)，分析歷史監(jiān)控?cái)?shù)據(jù)，不斷完善監(jiān)控體系，優(yōu)化告警閥值，標(biāo)準(zhǔn)化告警預(yù)處理。 . 持續(xù)優(yōu)化 基于 資源池 的故障管理， 深度巡檢 ，監(jiān)控?cái)?shù)據(jù)以及日常運(yùn) 維 ，在不斷積累日常運(yùn)行健康基線數(shù)據(jù)的基礎(chǔ)上，整合相關(guān)廠家的最新產(chǎn)品維護(hù)建議以及重要補(bǔ)丁信息，開展主動(dòng)預(yù)防性服務(wù)，主要包括重要參數(shù)調(diào)整以及重要補(bǔ)丁安裝，消除重大故障隱患 。 結(jié)合 資源池 使用現(xiàn)狀和安全加固要求，提出安全加固建議和措施。 具體工作如下： ? 重要產(chǎn)品補(bǔ)丁安裝 /參數(shù)調(diào)整建議以及規(guī)劃 ? 針對(duì)廣東移動(dòng) 內(nèi) 部薩班斯內(nèi) 審要求，對(duì)操作系統(tǒng)進(jìn)行漏洞修補(bǔ)和安全加固服務(wù)。結(jié)合平臺(tái)使用現(xiàn)狀和安全加固要求，提出安全加固建議和措施，并在通過審核的基礎(chǔ)上進(jìn)行實(shí)施安排。 8 ? 定期根據(jù)業(yè)務(wù)及系統(tǒng)要求及時(shí)更新優(yōu)化監(jiān)控和巡檢指標(biāo)項(xiàng)目、告警閥值和告警等級(jí)。持續(xù)完善監(jiān)控和巡檢方式，提交優(yōu)化自動(dòng)化腳本或者工具提升監(jiān)控和巡檢工作準(zhǔn)確性和效率的方案和措施，并在通過審核的基礎(chǔ)上進(jìn)行實(shí)施安排。 ? 對(duì) 資源池 資源的總體容量跟蹤，跟蹤 /記錄資源使用情況，定期評(píng)估資源使用的合理性以及高效性，并提交調(diào)整建議，并在通過審核的基礎(chǔ)上進(jìn)行實(shí)施安排。例如：索引重建、虛擬機(jī)性能 調(diào)優(yōu)； 虛擬資源占用情況評(píng)估及調(diào)優(yōu)； 中間件 、數(shù)據(jù)庫 參數(shù)、 TCP連接緩存數(shù)、集群通訊運(yùn)行情況評(píng)估以及參數(shù)調(diào)優(yōu) ； 操作系統(tǒng) 及網(wǎng)絡(luò)設(shè)備 調(diào)優(yōu)等。 ? 定期分析 資源池 各部件的配置參數(shù)信息庫，評(píng)估參數(shù)配置合理性，并在通過審核的基礎(chǔ)上進(jìn)行實(shí)施安排。 . 故障處理 開展系統(tǒng)運(yùn)行故障處理工作，首先進(jìn)行故障的排查及定位工作，準(zhǔn)確定位的基礎(chǔ)上進(jìn)行開展修復(fù)工作，及時(shí)通報(bào)故障解決進(jìn)展，如遇產(chǎn)品本身故障，協(xié)調(diào)相關(guān)原廠服務(wù)進(jìn)行產(chǎn)品故障修復(fù)工作，確保故障得到及時(shí)的解決，減小故障影響。 故障等級(jí)及響應(yīng)、恢復(fù)時(shí)限要求如下： 故障級(jí)別 故障描述 響應(yīng)時(shí) 間要求 業(yè)務(wù)恢復(fù)時(shí)間 要求 一級(jí)故障 整個(gè)系統(tǒng)癱瘓，基本功能不能實(shí)現(xiàn)或者 全面退化 小于 10分鐘 2小時(shí)內(nèi)恢復(fù) 二級(jí)故障 潛在的整個(gè)數(shù)據(jù)庫癱瘓 小于 15分鐘 4小時(shí)內(nèi)恢復(fù) 三級(jí)故障 直接影響服務(wù)，設(shè)備性能或服務(wù)部分退 化 小于 1小時(shí) 8小時(shí)內(nèi)恢復(fù) 四級(jí)故障 斷續(xù)或間接影響服務(wù) 小于 2小時(shí) 24小時(shí)內(nèi)恢復(fù) ? 提供 專家級(jí) 技術(shù)支持 ，對(duì)故障 進(jìn)行 深入分析，提交結(jié)論、評(píng)估故障修復(fù)方案，跟蹤問題解決過程以及評(píng)估故障分析報(bào)告 。 ? 系統(tǒng)宕機(jī)的恢復(fù)支持 ：恢復(fù)系統(tǒng) 可用性，檢查日志，收集錯(cuò)誤信息，進(jìn)行故障原因分析。 ? 針對(duì)資源池硬件 設(shè)備制定 微碼補(bǔ)丁升級(jí) 策略和計(jì)劃并實(shí)施 。 ? 定期分析故障知識(shí)庫內(nèi)容，總結(jié)提煉 故障處理經(jīng)驗(yàn)， 提交 故障優(yōu)化處理機(jī)制 方案 ，提升故障處理效率。 9 ? 定期對(duì)某時(shí)期的重大故障進(jìn)行回溯。匯總 故障原因，故障處理過程，故障修復(fù)過程，故障修復(fù)技術(shù)方案