【文章內(nèi)容簡介】 加了 應(yīng)用的復(fù)雜程度，應(yīng)用級數(shù)據(jù)同步方式加大維護技術(shù)難度，系統(tǒng)魯棒性差。 數(shù)據(jù)同步及時性 管理范圍 數(shù)據(jù)在平時是否可用 主機負荷 成本 實施難易程度 可維護性 同構(gòu)程度 磁盤同步復(fù)制 完全實時同步 陣列內(nèi)部數(shù)據(jù) 不 無 較高 易 易 完全 磁盤異步復(fù)制 異步同步前數(shù)據(jù)（半小時－ 1小時 ) 陣列內(nèi)部數(shù)據(jù) 可用 無 較高 易 易 完全 操作系統(tǒng)復(fù)制 異步同步前數(shù)據(jù)（一天 ) 全部數(shù)據(jù) 不 10% 較高 易 難 數(shù)據(jù)庫，應(yīng)用，主機 數(shù)據(jù)庫同步 異步同步（ 5－10 分鐘） 數(shù)據(jù)庫數(shù)據(jù) 不 無 較低 易 難 數(shù)據(jù)庫 ，應(yīng)用，主機 數(shù)據(jù)庫表復(fù)制 實時同步 數(shù)據(jù)庫內(nèi)部部分表 可用 10% 較低 難 難 數(shù)據(jù)庫，應(yīng)用 應(yīng)用數(shù)據(jù)同步 實時同步 全部數(shù)據(jù) 可用 高 較高 難 難 數(shù)據(jù)庫，應(yīng)用 幾種同步機制對比表 XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 13 4. XX 移動 BOSS容災(zāi)系統(tǒng)建設(shè)目標及原則 BOSS 容災(zāi)不僅僅是建設(shè)一套備用系統(tǒng)，而是建立起一種預(yù)防性機制。它明確了 BOSS 系統(tǒng)的關(guān)鍵職能以及可能存在的威脅，并據(jù)此采取相應(yīng)的技術(shù)手段，制定計劃和流程，確保系統(tǒng)能在任何環(huán)境下都能持續(xù)發(fā)揮作用，即：從計劃外停機中實現(xiàn)災(zāi)難恢復(fù) 、 在計劃停機期間保持連續(xù)可用 、 利用冗余資源提供增值 服務(wù)。 BOSS 容災(zāi)系統(tǒng)的總體建設(shè)目標 是： ? 針對目前系統(tǒng)潛在的中斷風(fēng)險，提供預(yù)防機制，提高系統(tǒng)連續(xù)運行能力 ? 對無法抗拒的嚴重災(zāi)難，提供系統(tǒng)恢復(fù)機制，將引發(fā)的業(yè)務(wù)損失降低到可接受的程度 具體到本期項目規(guī)劃和建設(shè)的目標是 ： ? 實現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)及其關(guān)聯(lián)系統(tǒng)的數(shù)據(jù)安全 ? 減少計劃停機次數(shù) /時間，消除對核心數(shù)據(jù)的爭用 ? 將異地中心接管業(yè)務(wù)的時間控制在可以接受的范圍內(nèi) ? 實現(xiàn)異地中心的軟硬件設(shè)備和數(shù)據(jù)的復(fù)用 系統(tǒng)規(guī)劃和建設(shè)中須遵循以下技術(shù)原則： 1. 實用性與成熟性 使用業(yè)界成熟、可靠和實用的業(yè)務(wù)連續(xù)性技術(shù)。 2. 先進性 系統(tǒng)結(jié)構(gòu)能夠 滿足和適應(yīng)中國移動 IT 系統(tǒng)快速變化和發(fā)展的要求。 3. 開放性與標準化 采用開放的技術(shù)標準和協(xié)議支持整個系統(tǒng)的運行，兼容性和恢復(fù)性強。 4. 自動化和操作的簡單化 系統(tǒng)各部分有機集成，集中控制。 5. XX 移動 BOSS容災(zāi)系統(tǒng)建設(shè)規(guī)模及需求 系統(tǒng)建設(shè)應(yīng)滿足 2020 年中期 900 萬用戶要求（根據(jù) 2020－ 2020 年發(fā)展規(guī)劃及我公司用戶發(fā)展現(xiàn)狀預(yù)測），并能夠平滑擴容至 1000 萬用戶的處理容量。完善應(yīng)用系統(tǒng)，使之具備數(shù)據(jù)及應(yīng)用同步、系統(tǒng)監(jiān)控、系統(tǒng)切換及恢復(fù)功能，從而實 XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 14 現(xiàn)應(yīng)用完整性目標。兩套系統(tǒng)均可承擔(dān)生產(chǎn)中心的工作。 我公司 BOSS 系統(tǒng)主要面臨的風(fēng)險有： 計劃內(nèi)： 1． 應(yīng)用軟件等的升級 2． 備份 /恢復(fù) /歸檔 3． 數(shù)據(jù)中心遷移、整合 測試 … 計劃外： 1. 系統(tǒng)軟件缺陷，造成系統(tǒng)邏輯故障； 2. 人為操作或應(yīng)用軟件缺陷造成數(shù)據(jù)邏輯錯誤，造成不可恢復(fù)；錯誤執(zhí)行程序或命令，造成系統(tǒng)死機； 3. 系統(tǒng)硬件故障，主要包括電源及 UPS 故障、硬盤故障、通訊控制器故障、系統(tǒng)總線、內(nèi)存、 CPU 故障等 4. 安全體系被攻破 造成數(shù)據(jù)被惡意破壞 5. 生產(chǎn)地點的災(zāi)難：水災(zāi)、火災(zāi)、地震及其他機房事故等 其它：包括災(zāi)難的潛在影響，如水災(zāi)、地震等，常伴隨著電力的供應(yīng)問題。 針對 BOSS 系統(tǒng)中的關(guān)鍵業(yè)務(wù) ，考慮其業(yè)務(wù)連續(xù)性的風(fēng)險及嚴重程度，確定 BOSS 容災(zāi)相關(guān)要求如下： 1. 數(shù)據(jù)是整個系統(tǒng)賴以運轉(zhuǎn)的基礎(chǔ)。要求對 BOSS 系統(tǒng)的數(shù)據(jù)進行有效的容災(zāi)保護，其中，對業(yè)務(wù)影響最大的營賬數(shù)據(jù)，要求進行實時保護；其他相關(guān)的數(shù)據(jù)，要求盡量提供保護，使得數(shù)據(jù)被破壞后，能夠在可以容忍的時間內(nèi)恢復(fù)。 2. 對核心數(shù)據(jù)的保護，應(yīng)當同時具有物理和邏輯兩重保護－即既可防范物理災(zāi)難，用提供從邏輯故障中快速恢復(fù)系統(tǒng)的能力。對關(guān)鍵的業(yè)務(wù)，要求提供恢復(fù)能力，由于 BOSS 系統(tǒng)中各個子系統(tǒng)的緊密偶合性質(zhì)，要求營賬、計費、結(jié)算、采集等系統(tǒng)均具有災(zāi)難恢復(fù)能力。 3. 要求容災(zāi)系統(tǒng)的各個子系統(tǒng)和生產(chǎn)系統(tǒng)的各個子系統(tǒng)之間具有清晰可靠的接口，并考慮到各個子系統(tǒng)的切換和回切。 恢復(fù)時間 恢復(fù)程度 計費 24 小時 24 小時前 營業(yè)、賬務(wù) 2 小時 不允許數(shù)據(jù)丟失 統(tǒng)計 計費類統(tǒng)計同計費系統(tǒng)，業(yè)務(wù)類統(tǒng)計同營帳系統(tǒng) XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 15 客服 內(nèi)部統(tǒng)計可不保留，數(shù)據(jù)保存靜態(tài)查詢信息即可，恢復(fù)程度1 小時。 結(jié)算 同營帳 6. XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 . 系統(tǒng)結(jié)構(gòu) XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 16 （ 1） 范圍： 完成 BOSS 核心業(yè)務(wù)的容災(zāi)，包含計費、營帳、結(jié)算、統(tǒng)計、查詢、 8 地市采集、客服數(shù)據(jù)中心等。由于經(jīng)營分析系統(tǒng)剛開始建設(shè)，本期容災(zāi)系統(tǒng)不含經(jīng)營分析系統(tǒng)。 BOSS 容災(zāi)系統(tǒng)需實現(xiàn)： ? 處理能力的保護、冗余、復(fù)用（服務(wù)器及操作系統(tǒng)、存儲網(wǎng)絡(luò)、中間件、數(shù)據(jù)庫、應(yīng)用軟件、網(wǎng)絡(luò)） ? 業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護、備份和恢復(fù)以及復(fù)制（交易狀態(tài)、系統(tǒng)狀態(tài)、應(yīng)用參數(shù)設(shè)置、配置數(shù)據(jù)、中間數(shù)據(jù)） ? 外部接口的冗余和切換 （ 2） 地點選擇： 容災(zāi)是為了在意外情況（如電源故障、系統(tǒng)故障、人為誤操作及自然災(zāi)害等）發(fā)生時保障業(yè)務(wù)連續(xù)性而采取的一種應(yīng)對機制，因此容 災(zāi)系統(tǒng)與生產(chǎn)中心需設(shè)在不同的地方。 我公司容災(zāi)系統(tǒng)可設(shè)置在 省會 ，也可設(shè)置在 省會 外其它城市，如大連。如果設(shè)在 省會 ，系統(tǒng)將省帳務(wù)中心統(tǒng)一維護，其維護能力很強，且開發(fā)商的開發(fā)及本 XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 17 地服務(wù)中心也在 省會 ，對系統(tǒng)的支持能力也很強； 如果設(shè)在 省會 外其它城市，網(wǎng)絡(luò)結(jié)構(gòu)會變得復(fù)雜，系統(tǒng)維護能力較弱，系統(tǒng)調(diào)整及應(yīng)用的改變的速度較慢，系統(tǒng)遠距離管理也不方便。同時根據(jù)前文中對各種意外情況的統(tǒng)計，電源及系統(tǒng)故障所占比例較高，地震等自然災(zāi)害發(fā)生的機率相對要小得多。因此為保證 BOSS關(guān)鍵系統(tǒng)的維護，為業(yè)務(wù)的部署提供靈活的手段和快速的響應(yīng)，建 議我公司 BOSS容災(zāi)系統(tǒng)設(shè)在 省會 ，統(tǒng)一由帳務(wù)中心維護。 XX 機房為 省會 四個傳輸結(jié)點之一，且經(jīng)營分析系統(tǒng)也將建在 XX，因此建議 BOSS 容災(zāi)系統(tǒng)設(shè)在 XX 新機房四樓。 XX 機房與 XX 機房傳輸距離約為十五公里。 （ 3） 系統(tǒng)需具備現(xiàn)有生產(chǎn)系統(tǒng)所具備的所有功能，并實現(xiàn)對生產(chǎn)系統(tǒng)的異地備份。當災(zāi)難發(fā)生時，備份系統(tǒng)啟動，進行應(yīng)用接管，從而保證業(yè)務(wù)的連續(xù)性。災(zāi)難恢復(fù)后，備用系統(tǒng)可將災(zāi)難期間變更的數(shù)據(jù)同步至生產(chǎn)系統(tǒng)中，并將應(yīng)用切換回生產(chǎn)系統(tǒng)，恢復(fù)生產(chǎn)系統(tǒng)的正常運行。 （ 4） 由于容災(zāi)系統(tǒng)也需可切換為生產(chǎn)系統(tǒng)使用，因此容災(zāi)系統(tǒng)的處理能力應(yīng)與生產(chǎn) 系統(tǒng)相同，并按高可靠性進行設(shè)備配置。 . 數(shù)據(jù)復(fù)制技術(shù)選擇 BOSS 系統(tǒng)中所含子系統(tǒng)較多，且每個系統(tǒng)都有不同的業(yè)務(wù)運行特點，因此容災(zāi)技術(shù)的選擇需根據(jù)各子系統(tǒng)的特點及不同的要求而定。 . 營帳系統(tǒng) BOSS 系統(tǒng)的營業(yè)和帳務(wù)是 BOSS 的核心系統(tǒng)，關(guān)系到用戶服務(wù)質(zhì)量，停機時間不能夠超過 2 小時，而且數(shù)據(jù)不允許丟失。 營帳系統(tǒng)包括數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、工單服務(wù)器、銀行接口服務(wù)器、一級 BOSS WEB 服務(wù)器等設(shè)備。數(shù)據(jù)庫服務(wù)器處理數(shù)據(jù)量比較大，數(shù)據(jù)十分關(guān)鍵，是整個業(yè)務(wù)系統(tǒng)數(shù)據(jù)一致性的核心，要求生 產(chǎn)系統(tǒng)數(shù)據(jù)和容災(zāi)系統(tǒng)數(shù)據(jù)高度一致；營賬系統(tǒng)的數(shù)據(jù)變化量相對較小，但對系統(tǒng)響應(yīng)時間要求較高，其交易是典型的聯(lián)機事務(wù)處理方式；以上這些特點，要求系統(tǒng)采用磁盤復(fù)制技術(shù)由于 BOSS系統(tǒng)存儲的磁盤陣列采用的是 EMC Symmtrix8000 系列，支持基于存儲的復(fù)制方 XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 18 式，因此營帳系統(tǒng)數(shù)據(jù)庫建議采用 EMC SRDF 軟件進行基于存儲的數(shù)據(jù)復(fù)制，以保證數(shù)據(jù)的不丟失。磁盤復(fù)制技術(shù)有同步和異步兩種方式。根據(jù)前文介紹，同步方式下交易需在兩套系統(tǒng)中同時完成，因此可以保證容災(zāi)系統(tǒng)中的營賬數(shù)據(jù)庫和生產(chǎn)系統(tǒng)中的營賬數(shù)據(jù)庫完全一致，從而從根 本上保證了業(yè)務(wù)的完整和一致。而異步方式下，備用系統(tǒng)中數(shù)據(jù)更新會落后于主系統(tǒng)，因此在主系統(tǒng)發(fā)生災(zāi)難時，起用備份系統(tǒng)時還需要人工補充丟失的數(shù)據(jù)，這將直接影響系統(tǒng)恢復(fù)的時間，因此建議營帳系統(tǒng)數(shù)據(jù)采用同步磁盤復(fù)制技術(shù)。 基于目前對容災(zāi)中心的規(guī)劃，由于容災(zāi)中心和生產(chǎn)中心之間的距離，采用同步復(fù)制技術(shù)進行數(shù)據(jù)復(fù)制所形成的額外 IO 延遲，不會對生產(chǎn)系統(tǒng)形成影響。但是，如果兩中心之間的網(wǎng)絡(luò)帶寬不足以支持營賬數(shù)據(jù)庫的寫操作帶寬，則會影響生產(chǎn)系統(tǒng)性能。因此，建議采用裸光纖直連或 DWDM 的方式，作為存儲系統(tǒng)數(shù)據(jù)復(fù)制的網(wǎng)絡(luò)平臺。 采用 同步復(fù)制，理論上能夠?qū)ιa(chǎn)系統(tǒng)的營賬數(shù)據(jù)庫進行完整地保護，但是，當生產(chǎn)系統(tǒng)發(fā)生邏輯錯誤時，由于容災(zāi)數(shù)據(jù)是生產(chǎn)數(shù)據(jù)的實時精確鏡像，所以邏輯錯誤也會“傳播”到容災(zāi)系統(tǒng)當中。容災(zāi)系統(tǒng)會對這種災(zāi)難失去保護作用。 為了防范這種邏輯類型的錯誤，需要輔助快速的數(shù)據(jù)庫復(fù)制和恢復(fù)技術(shù)。因此，對最關(guān)鍵的營賬數(shù)據(jù)庫，我們將在生產(chǎn)中心（或容災(zāi)中心）部署克隆磁盤，以支持數(shù)據(jù)庫的快速復(fù)制和恢復(fù)。 應(yīng)用服務(wù)器、工單服務(wù)器、銀行接口服務(wù)器沒有數(shù)據(jù)庫和磁盤陣列操作，只對其應(yīng)用程序定時進行同步備份。 營帳系統(tǒng)主備結(jié)點設(shè)備要求同構(gòu)。（包括主機 、產(chǎn)品陣列、數(shù)據(jù)庫） HLR、銀行、一級 BOSS、智能網(wǎng)、短信、聲訊等接口設(shè)備部分采用應(yīng)用級復(fù)制方式，由集成商開發(fā)，夜間定時啟動進程完成兩套系統(tǒng)應(yīng)用程序和配置文件的復(fù)制，保證兩端程序一致性。 . 計費系統(tǒng) 計費系統(tǒng)是基于文件的處理方式，特點是數(shù)據(jù)量大，數(shù)據(jù)變化量也大，但實時性要求較低，可允許較長的停機時間，建議采用應(yīng)用級的復(fù)制方法。 話單采集系統(tǒng)將從交換機采集到的話單原始文件同時向生產(chǎn)系統(tǒng)和容災(zāi)系 XX 移動 BOSS 容災(zāi)系統(tǒng)建設(shè)方案 19 統(tǒng)的話單預(yù)處理批價系統(tǒng)傳送。生產(chǎn)系統(tǒng)處理后將計費合帳后的話單定時（ 5 分鐘）形成文件送到查詢結(jié)算系統(tǒng)后，將這些文件傳至 容災(zāi)系統(tǒng)并實時寫入計費系統(tǒng)數(shù)據(jù)庫。容災(zāi)系統(tǒng)收到采集系統(tǒng)傳來的原始數(shù)據(jù)后不進行處理，只對原始文件進行備份。生產(chǎn)系統(tǒng)每天夜里定時將用戶的帳單 、 報表數(shù)據(jù) 、 用戶計費信息數(shù)據(jù) 、基礎(chǔ)數(shù)據(jù)等數(shù)據(jù)傳送容災(zāi)系統(tǒng)中入庫到同樣的表中。當生產(chǎn)系統(tǒng)發(fā)生災(zāi)難，容災(zāi)系統(tǒng)以利用采集系統(tǒng)傳來的原始話單文件（災(zāi)難發(fā)生 1 小時之前的數(shù)據(jù)）重新進行計費，并利用數(shù)據(jù)庫的唯一索引進行話單剔重處理，從而保證話單數(shù)據(jù)很快恢復(fù)。對用戶的帳單和報表數(shù)據(jù)可以開發(fā)應(yīng)用程序重新統(tǒng)計當日 0 點到災(zāi)難時刻的數(shù)據(jù)，與夜里傳來的信息進行累加而得到。用戶計費信息可以從容災(zāi)系統(tǒng)的 營業(yè)數(shù)據(jù)庫中重新同步得到。 在災(zāi)難發(fā)生時可能會有一小部分數(shù)據(jù)沒有復(fù)制到容災(zāi)節(jié)點，這些數(shù)據(jù)可以從采集系統(tǒng)找回來。 計費系統(tǒng)除數(shù)據(jù)的處理之外，系統(tǒng)中參數(shù)的設(shè)定（如費率表、用戶資費變更表）等采用數(shù)據(jù)表復(fù)制的方式復(fù)制到備用系統(tǒng)中。同時，需定期將對系統(tǒng)運行的相關(guān)程序拷貝至備用系統(tǒng)，以保證應(yīng)用軟件及相關(guān)參數(shù)的同步。 計費系統(tǒng)主備結(jié)點設(shè)備可以異構(gòu)。 . 8 地市 BGW 及采集預(yù)處理系統(tǒng) 8 地市集中 BGW 及采集預(yù)處理數(shù)據(jù)的特點與計費系統(tǒng)相似，主要基于文件處理，并將處理后的數(shù)據(jù)文件送至下一環(huán)節(jié)進行處理，建議