【正文】 時(shí)進(jìn)行精確計(jì)費(fèi)。 支持“黑匣子”快速故障定位，系統(tǒng)通過獲取異常日志和程序堆棧，縮短問題定位時(shí)間，快速解決異常問題。 支持全 Web 化的界面，通過 Web 瀏覽器對(duì)所有硬件資源、虛擬資源、用戶業(yè)務(wù)發(fā)放等進(jìn)行監(jiān)控管理。 虛擬化平臺(tái)管理 虛擬化平臺(tái)管理系統(tǒng)能夠 實(shí)現(xiàn)資源的統(tǒng)一管理，包括硬件資源、虛擬化資源、云基礎(chǔ)服務(wù)，并提供服務(wù)管理等功能。核心功能是資源管理和自動(dòng)資源發(fā)放。自動(dòng)資源發(fā)放為用戶提供方便的獲取資源的途徑，用戶可以通過在服務(wù)目錄自動(dòng)化的獲取資源并在資源上部署用戶需要的應(yīng)用。管理員可以通過用戶、角色、域和用戶單位的管理，使不同用戶在不同的用戶單位的操作相互獨(dú)立，實(shí)現(xiàn)數(shù)據(jù)隔離。 3. 物理資源管理 管理員可以統(tǒng)一管理數(shù)據(jù)中心的各種物理設(shè)備，包括服務(wù)器、存儲(chǔ)設(shè)備和交換機(jī)等。資源集群是對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源的分 組，資源集群之間是相對(duì)隔離的。資源集群管理包括創(chuàng)建資源集群、刪除資源集群、擴(kuò)容資源集群、減容資源集群、查詢資源集群、資源集群性能監(jiān)控和資源集群的調(diào)度策略等。 為上層其他管理平臺(tái)提供虛擬機(jī)模板時(shí)，管理員可以將不同虛擬化環(huán)境中的相同規(guī)格的虛擬機(jī)模板關(guān)聯(lián)在一個(gè)虛擬機(jī)邏輯模板中提供給上層管理平臺(tái)，以消除各虛擬化環(huán)境中虛擬機(jī)模板的差異，使得上層管理平臺(tái)無需辨識(shí)虛擬化環(huán)境。 6. 監(jiān)控管理 提供拓?fù)涔芾?、性能監(jiān)控、告警管理、任務(wù)中心管理和操作日志管理等監(jiān)控管理功能。 7. 計(jì)量管理 支持自動(dòng)將計(jì)量數(shù)據(jù)記錄到文件，并通過 FTP 和話單服務(wù)器對(duì)接，將計(jì)量數(shù)據(jù)上傳到話單服務(wù)器。 8. 安全管理 提供全方位的安全體系。 20 可靠性設(shè)計(jì) 實(shí)現(xiàn)數(shù)據(jù)中心的有效性的目的是提升數(shù)據(jù)中心服務(wù)的最大化，減少數(shù)據(jù)中心業(yè)務(wù)中斷所帶來的影響 ， 本方案整體能力超過 %以上的有效性 ， 具體實(shí)現(xiàn)從以下幾個(gè) 方 面來實(shí)現(xiàn)： 1. 虛擬化 虛擬化是云平臺(tái)的重要組成部分，項(xiàng)目建設(shè)的虛擬化平臺(tái)，在可靠性方面，應(yīng)該保證實(shí)現(xiàn)如下幾點(diǎn)： （ 1）虛擬化平臺(tái)需要采用分布式集群，避免單點(diǎn)故障。 （ 3）虛擬化平臺(tái)需要分層結(jié)構(gòu)，如管理部分、資源部分、存儲(chǔ)部分，需要相互獨(dú)立，低耦合、細(xì)粒度實(shí)現(xiàn)，即每一層的遷移、切換，各部分的常規(guī)操作或故障，不對(duì)其他層產(chǎn)生影響。 （ 5）虛擬化平臺(tái)需支持多種隔離機(jī)制，能夠?qū)崿F(xiàn)資源維度和業(yè)務(wù)服務(wù)維度的隔離。 業(yè)務(wù)服務(wù)維度的隔離，主要是指，在不同用戶、不同子集群（同一平臺(tái)），不同虛擬數(shù)據(jù)中心間實(shí)現(xiàn)隔離，即： 某個(gè)用戶的操作，不影響到同一資源池中其他用戶的使用 ； 某個(gè)子集群中的操作，不影響到同一資源池中其他子集群的使用 ； 21 某個(gè)虛擬數(shù)據(jù)中心的操作，不影響到同一資源池中 其他虛擬數(shù)據(jù)中心的使用 。 2. HA 集群設(shè)計(jì) 傳統(tǒng)數(shù)據(jù)中心內(nèi)的服務(wù)器高可靠性保障通常會(huì)選擇依賴于集群技術(shù)的部署。 為了提升云業(yè)務(wù)系統(tǒng)的可靠性，在云計(jì)算平臺(tái)的計(jì)算資源池建設(shè)時(shí)，可以將多個(gè)物理主機(jī)合并為一個(gè)具有共享資源池的集群。當(dāng)物理主機(jī)發(fā)生故障，出 現(xiàn)宕機(jī)時(shí)， HA功能組件會(huì)立即響應(yīng)并在集群內(nèi)另一臺(tái)主機(jī)上重啟該物理主機(jī)內(nèi)運(yùn)行的虛擬機(jī)。 除了對(duì)集群中的物理服務(wù)器節(jié)點(diǎn)進(jìn)行持續(xù)檢測(cè)之外， HA 軟件模塊還對(duì)運(yùn)行于物理服務(wù)器節(jié)點(diǎn)之上的虛擬機(jī)進(jìn)行持續(xù)檢測(cè)。 當(dāng) LRMd 守護(hù)進(jìn)程檢測(cè)到本機(jī)的某臺(tái)虛擬機(jī)出現(xiàn)通信故障時(shí)，首先將事件通知給 DC，由 DC 統(tǒng)一將該虛擬機(jī)狀態(tài)告知集群內(nèi)所有的物理服務(wù)器節(jié)點(diǎn)，并按照一定的策略算法，為該故障的虛擬機(jī)選擇一個(gè)空閑的服務(wù)器節(jié)點(diǎn)，在該節(jié)點(diǎn)上重啟該虛擬機(jī)。虛擬機(jī)會(huì)保留其網(wǎng)絡(luò)標(biāo)識(shí)和連接，從而確保實(shí)現(xiàn)無縫的遷移過程。 22 （ 1） 在零停機(jī) 、 用 戶 毫無察 覺 的情況下 執(zhí) 行 實(shí)時(shí) 遷移。 （ 3） 在無需安排停機(jī) 、 不中斷 業(yè)務(wù) 運(yùn) 營 的情況下 執(zhí) 行硬件 維 護(hù) 。 （ 5） 安排遷移在預(yù)定時(shí)間發(fā)生，且無需管理員在 場(chǎng) 。在云計(jì)算平臺(tái)中，針對(duì)計(jì)算資源池中虛擬機(jī)備份也至關(guān)重要。 （ 1） 管理員可以分別選擇單個(gè)虛擬機(jī)進(jìn)行映像級(jí)備份，也可以選擇諸如數(shù)據(jù)中心、集群和資源池等容器進(jìn)行備份。同理，從容器中刪除的任何虛擬機(jī)將不再被備份。 （ 2） 確保應(yīng)用數(shù)據(jù)一致性， 在虛擬機(jī)中不僅僅是文件系統(tǒng)，還有各種數(shù)據(jù)庫，在做虛擬機(jī)備份時(shí)，要確保數(shù)據(jù)庫應(yīng)用的數(shù)據(jù)一致性。 （ 3） 基于磁盤 的備份功能，為虛擬機(jī)提供快速、簡單的數(shù)據(jù)保護(hù)。 2. 分布式數(shù)據(jù)中心 分布式數(shù)據(jù)中心是通過虛擬化技術(shù)將客戶所有數(shù)據(jù)中心 （ 單個(gè)數(shù)據(jù)中心、或 23 者多個(gè)數(shù)據(jù)中心 ） 的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全等資源進(jìn)行池化，以靈活的方式創(chuàng)建虛擬數(shù)據(jù)中心 （ VDC Virtual Data Center）， 并提供給用戶。 通過對(duì) VDC 的劃分，實(shí)現(xiàn)各單位 可以向全局業(yè)務(wù)管理員申請(qǐng)使用虛擬數(shù)據(jù)中心，一次性獲得批量的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源配額，在資源配額內(nèi)， VDC 業(yè)務(wù)管理員可以自由支配計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。 VDC 業(yè)務(wù)管理員，作為 VDC 的所有者，主 要負(fù)責(zé) VDC 的申請(qǐng)、監(jiān)控、維護(hù)、管理。 3. 自動(dòng)化資源彈性調(diào)度 為了便于后續(xù)數(shù)據(jù)中心的人員運(yùn)維，云平臺(tái)需要提供豐富的自動(dòng)化運(yùn)維技術(shù)。根據(jù)應(yīng)用場(chǎng)景，提供四種策略類型：組內(nèi)自動(dòng)伸縮策略、組間資源回收策略、時(shí)間計(jì)劃策略、負(fù)載均衡與動(dòng)態(tài)節(jié)能策略。 （ 2） 組間資源回收策略 當(dāng)系統(tǒng)資源不足的情況下，系統(tǒng)可以根據(jù)組間設(shè)置的資源復(fù)用策略，優(yōu)先使優(yōu)先級(jí)高的應(yīng)用使用資源，使優(yōu)先級(jí)低的應(yīng)用釋放資源，以供優(yōu)先級(jí)高的應(yīng)用使用。用戶可以設(shè)置計(jì)劃策略，使得不同的應(yīng)用分時(shí)段的使用系統(tǒng)資源，比如說白天讓辦公用戶的虛擬機(jī)使用系統(tǒng)資源，到了晚間可以讓一些公共的虛擬機(jī)占用資源。采用負(fù)載均衡策略可以讓虛擬機(jī)在不同的物理節(jié)點(diǎn)之間遷移，使不同物理機(jī)間的負(fù)載達(dá)到均衡，同時(shí)也可以實(shí)現(xiàn)節(jié)能降耗，實(shí)現(xiàn)輕載合并下電，重載分離上電。 系統(tǒng)重載時(shí)，再讓部分物理機(jī)上電，并遷移 VM 到新物理機(jī)，保證用戶感受。 性能設(shè)計(jì)方案（由華為提供素材補(bǔ)充） 25 存儲(chǔ)資源方案 存儲(chǔ)架構(gòu)設(shè)計(jì)方案 本次 存儲(chǔ) 設(shè)計(jì)方案， 20%結(jié)構(gòu)化數(shù)據(jù)庫單獨(dú)建池，采用 FCSAN 磁陣集中互連，對(duì)于既有現(xiàn)有高端存儲(chǔ)和新添置存儲(chǔ)通過虛擬化網(wǎng)關(guān)進(jìn)行統(tǒng)一異構(gòu)管理。 為了保證存儲(chǔ)的可靠性及性能，非結(jié)構(gòu)化數(shù)據(jù)采用采用全對(duì)等、分布式的存儲(chǔ)集群來構(gòu)建統(tǒng)一云存儲(chǔ)。 存儲(chǔ)架構(gòu)設(shè)計(jì)圖 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲(chǔ)8G8G8G8G非 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲(chǔ)8G8G數(shù) 據(jù) 庫服 務(wù) 器光 纖 交換 機(jī)…………虛 擬 化服 務(wù) 器骨 干 存 儲(chǔ) 交換 機(jī)融 合 存 儲(chǔ) 交換 機(jī)融 合 存 儲(chǔ) 交換 機(jī)光 纖萬 兆 以 太 網(wǎng)F C S A N存 儲(chǔ) 節(jié) 點(diǎn) 26 存儲(chǔ)功能設(shè)計(jì) 目前較為主流的存儲(chǔ)方式，主要有 FCSAN、 IPSAN、 NAS、分布式存儲(chǔ)等幾種方式，詳見下表。 高成本、高性能、高可靠性的塊存儲(chǔ)，滿足核心平臺(tái)的虛機(jī)文件系統(tǒng)和數(shù)據(jù)存儲(chǔ)需求，一般配置 SAS 盤，性能要求不高的可配置 SATA 盤。 以 Hadoop HDFS/HBase 為代表的大數(shù)據(jù)存儲(chǔ)系統(tǒng)和 Server San 的分布式存儲(chǔ) ，大數(shù)據(jù)存儲(chǔ)主要適合存儲(chǔ)大文件（以 G 甚至 T為單位的文件），文件存儲(chǔ)的節(jié)點(diǎn)同時(shí)也是計(jì)算的節(jié)點(diǎn)（計(jì)算靠近數(shù)據(jù)），適合與作為大數(shù)據(jù)分析數(shù)據(jù)的存儲(chǔ)。 在實(shí)現(xiàn)了文件系統(tǒng)級(jí)和塊級(jí)數(shù)據(jù)、存儲(chǔ)協(xié)議融合統(tǒng)一的基礎(chǔ)上，以業(yè)界領(lǐng)先的性能、多種效率提升機(jī)制為支撐，為用戶提供了高性能、全方位的解決方案，使用戶投資收益比最大化，能夠滿足大型數(shù)據(jù)庫 OLTP/OLAP （ Online Transaction Processing/Online Analytical Processing）、高性能計(jì)算、數(shù)字媒體、因 特網(wǎng)運(yùn)營、集中存儲(chǔ)、備份、容災(zāi)和數(shù)據(jù)遷移等 不同業(yè)務(wù)應(yīng)用的需求 。存儲(chǔ)的 IO 會(huì)不定時(shí)突發(fā)增大，因此需要存儲(chǔ)能夠有這種解決突發(fā) IO 的技術(shù)及數(shù)據(jù)自動(dòng)分層技術(shù)。 為滿足業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須強(qiáng)化數(shù)據(jù)存儲(chǔ)核心，磁盤本身性能也決定存儲(chǔ)系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時(shí)間、磁盤緩存等技術(shù)指標(biāo)衡量，存儲(chǔ)陣列采用全自動(dòng)分層存儲(chǔ)功能，將關(guān)鍵應(yīng)用訪問讀寫最為頻繁的核心一級(jí) 應(yīng)用數(shù)據(jù)和 數(shù)據(jù)庫熱點(diǎn)表、索引表以及相關(guān)的數(shù)據(jù)文件自動(dòng)遷移在第一層固態(tài)硬盤層中；將二級(jí) 應(yīng)用 數(shù)據(jù)庫文件數(shù)據(jù)存儲(chǔ)在第二層的 SAS硬盤中，將三級(jí) 應(yīng)用放置在 SATA 磁盤 上 。 安全高效： 智能精簡配置 通過 按需分配的方式來管理存儲(chǔ)設(shè)備 ，實(shí)現(xiàn)業(yè)務(wù)在線擴(kuò)容，提高資源利用率降低； 智能分級(jí)存儲(chǔ) 和 智能數(shù)據(jù)緩存 技術(shù)利用 SSD 盤高性能特點(diǎn)實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)加速，提高存儲(chǔ)整體訪問性能，實(shí)現(xiàn)數(shù)據(jù)生命周期管理；緩存分區(qū)和 服務(wù)質(zhì)量控制 QOS 技術(shù)實(shí)現(xiàn) 針對(duì)不同的業(yè)務(wù)劃分不同優(yōu)先級(jí)，系統(tǒng)優(yōu)先響應(yīng)高優(yōu)先級(jí) 的訪問請(qǐng)求，從而提升高優(yōu)先級(jí)業(yè)務(wù)的性能 ，保障關(guān)鍵業(yè)務(wù)的服務(wù)質(zhì)量。 針對(duì)上述問題，政務(wù)云資源池同時(shí)提供分布式存儲(chǔ)資源池，使用分布式存儲(chǔ)解決上述問題， 以 滿足業(yè)務(wù)平臺(tái)日益增長的存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開放性的存儲(chǔ)服務(wù)。 分布式 Server SAN 創(chuàng)建的軟件定義的存儲(chǔ)環(huán)境，利用服務(wù)器中的本地存儲(chǔ)容量，擁有一個(gè)可擴(kuò)展、高性能且容錯(cuò)的分布式共享存儲(chǔ)系統(tǒng)。隨著存儲(chǔ)和計(jì)算資源的變化，分布式 Server SAN 會(huì)自動(dòng)重新平衡存儲(chǔ)分布以優(yōu)化性能和容量使用。 存儲(chǔ)容量設(shè)計(jì) 本次需求調(diào)研共抽樣調(diào)研 13 個(gè)省直屬部門（分別是統(tǒng)計(jì)局、衛(wèi)計(jì)委、教育廳、國土廳、工商局 、財(cái)政廳、住建廳、人社廳、質(zhì)監(jiān)局、地稅局、交通廳、民政廳、旅游局），調(diào)研系統(tǒng) 55 個(gè)，目前共占用存儲(chǔ)空間 931T，單業(yè)務(wù)系統(tǒng)占用存儲(chǔ)空間 19T，按照 20%的年增長率，考慮未來 5 年的需求，規(guī)劃期內(nèi)新建及遷移 200 個(gè)應(yīng)用系統(tǒng)，本期存儲(chǔ)需求為： 19T*（ 1+20%） 5*200≈ 9500T，其中結(jié)構(gòu)化數(shù)據(jù) 1000T、非結(jié)構(gòu)化數(shù)據(jù) 6600T、本地備份存儲(chǔ) 1900T； 本地備份存儲(chǔ)測(cè)算： 1000T*+6600T*4%*≈ 1900T，其中 100%結(jié)構(gòu)化數(shù)據(jù)備份按照 倍考慮， 4%的非結(jié)構(gòu)化數(shù)據(jù)按照 倍考慮 。 業(yè)務(wù) 系統(tǒng) 數(shù)據(jù)存儲(chǔ)分析 云平臺(tái)采用“兩朵云”的方式，即內(nèi)部云和外部云分開，本期需同時(shí)滿足兩朵云的存儲(chǔ)需求。 從政務(wù)云的業(yè)務(wù)數(shù)據(jù)來看主要有以下幾類數(shù)據(jù)；核心數(shù)據(jù)庫 、 虛擬機(jī)（ OA/Web/APP） 、 GIS 應(yīng)用 、 公文共享 /視頻 /媒體 、 數(shù)據(jù)交換共享平臺(tái)，主要存儲(chǔ)需求分析如下： 核心數(shù)據(jù)庫 委辦局虛擬機(jī) GIS 應(yīng)用 文件 /媒體 /視頻 數(shù)據(jù)交換共享平臺(tái) 典型業(yè)務(wù) 各種核心Oracle 數(shù)據(jù)庫 辦公系統(tǒng)，政府網(wǎng)站，普通應(yīng)用 農(nóng)業(yè)土地確權(quán)，國土不動(dòng)產(chǎn)，地理信息共享平臺(tái) 電子證照，氣象局流媒體，文件共享 人口庫，法人庫，文件共享 存儲(chǔ)訴求 多為實(shí)時(shí)在線交易系統(tǒng) OLTP場(chǎng)景，隨機(jī)小IO，延時(shí)小于5ms， RPO=0 業(yè)務(wù)復(fù)雜，以O(shè)A、 Web 等應(yīng)用為主， IO 不均，對(duì)業(yè)務(wù)上線速度，要求較高 多并發(fā)作業(yè)，入庫、合庫性能要求高，歸檔場(chǎng)景權(quán)限管理復(fù)雜 視頻數(shù)據(jù)順序大 IO 寫，圖片文檔隨機(jī) IO，權(quán)限管理復(fù)雜 數(shù)據(jù)變化 量不大，以讀為主，同步周期 5 分鐘左右，帶寬型業(yè)務(wù)，可靠性要求較高 對(duì)應(yīng)存儲(chǔ)資源池方案 采用高端集中式存儲(chǔ)，并建議采用高等級(jí)災(zāi)備解決方案 重要業(yè)務(wù)委辦局，對(duì)業(yè)務(wù)連續(xù)性要求較高，建議采用高端集中存儲(chǔ)，一般委辦局采用分布式存儲(chǔ) 入庫、合庫等結(jié)構(gòu)化數(shù)據(jù)采用集中式存儲(chǔ)，大量地圖文件采用分布式存儲(chǔ) 文件增長較快，一般多采用分布式存儲(chǔ) 可靠性要 求較高，結(jié)構(gòu)化數(shù)據(jù)，建議采用集中式存儲(chǔ) 存儲(chǔ)管理系統(tǒng) 為了能夠真正接管企業(yè)現(xiàn)有各類存儲(chǔ)設(shè)備，未來亦能提供良好的擴(kuò)展性，簡 30 化企業(yè) IT部門日常運(yùn)維監(jiān)管的復(fù)雜度，業(yè)界提出了帶外控制面存儲(chǔ)資源池的理念。 華為 OceanStor DJ 軟件集存儲(chǔ)資源虛擬化、自動(dòng)化、服務(wù)化為一體 ， 為業(yè)務(wù)驅(qū)動(dòng)的存儲(chǔ)控制軟件 , 統(tǒng)一管理存儲(chǔ)資源 , 提供業(yè)務(wù)驅(qū)動(dòng)、自動(dòng)化的數(shù)據(jù)服務(wù)。 OceanStor DJ 將應(yīng)用與底層存儲(chǔ)解耦，能夠使客戶不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。 OceanStor DJ 功能架構(gòu) 如 圖 所示： 虛擬化 存儲(chǔ)管理系統(tǒng)的主要特點(diǎn)： ? 數(shù)據(jù)應(yīng)用服務(wù)化 通過將存儲(chǔ)功能軟件化、應(yīng)用化，訪問協(xié)議解耦，支持文件、塊、對(duì)象等類型存儲(chǔ)資源分配服 務(wù)。 ? 業(yè)務(wù)部署自動(dòng)化 通過基于策略的資源調(diào)度和任務(wù)編排，實(shí)現(xiàn)存儲(chǔ)資源按需發(fā)放和自動(dòng)化部署。 ? 向存儲(chǔ)資源虛擬化 31 從控制面通過對(duì)企業(yè)級(jí)存儲(chǔ)的管理、資源虛擬化，實(shí)現(xiàn)統(tǒng)一管理，提升資源利用率。 華為 OceanStor DJ 在控制面上將存儲(chǔ)的功能特性從物理陣列中抽象出來，