【導(dǎo)讀】數(shù)據(jù)庫(kù)平臺(tái)整體架構(gòu)...

　　

【正文】 的調(diào)整應(yīng)用實(shí)際使用的資源，當(dāng)一個(gè)應(yīng)用資源負(fù)載較高時(shí)，自動(dòng)添加虛擬機(jī)并且安裝應(yīng)用軟件；當(dāng)應(yīng)用的資源負(fù)載很低時(shí)，自動(dòng)釋放相應(yīng)的資源。 （ 2） 組間資源回收策略 當(dāng)系統(tǒng)資源不足的情況下，系統(tǒng)可以根據(jù)組間設(shè)置的資源復(fù)用策略，優(yōu)先使優(yōu)先級(jí)高的應(yīng)用使用資源，使優(yōu)先級(jí)低的應(yīng)用釋放資源，以供優(yōu)先級(jí)高的應(yīng)用使用。 （ 3） 時(shí)間計(jì)劃策略 時(shí)間計(jì)劃策略允許用戶對(duì)于不同的應(yīng)用實(shí)現(xiàn)資源的分時(shí)復(fù)用。用戶可以設(shè)置計(jì)劃策略，使得不同的應(yīng)用分時(shí)段的使用系統(tǒng)資源，比如說(shuō)白天讓辦公用戶的虛擬機(jī)使用系統(tǒng)資源，到了晚間可以讓一些公共的虛擬機(jī)占用資源。 云平臺(tái)提供多種自動(dòng)化調(diào)試策略，包括節(jié)能策略、負(fù)載均衡策略，便于用戶合理利用資源。采用負(fù)載均衡策略可以讓虛擬機(jī)在不同的物理節(jié)點(diǎn)之間遷移，使不同物理機(jī)間的負(fù)載達(dá)到均衡，同時(shí)也可以實(shí)現(xiàn)節(jié)能降耗，實(shí)現(xiàn)輕載合并下電，重載分離上電。 系統(tǒng)負(fù)荷不大時(shí)，各 VM 占用 CPU 較低，部分 VM 關(guān)機(jī)了，可以將某些服務(wù)器上的虛擬機(jī)自動(dòng)遷移到其他 節(jié)點(diǎn)，對(duì)這個(gè)服務(wù)器進(jìn)行休眠或下電，實(shí)施系統(tǒng)節(jié)能策略。 系統(tǒng)重載時(shí)，再讓部分物理機(jī)上電，并遷移 VM 到新物理機(jī)，保證用戶感受。 系統(tǒng)需分析并選擇合適的物理機(jī)上下電，減小遷移的 VM 數(shù)目。 性能設(shè)計(jì)方案（由華為提供素材補(bǔ)充） 25 存儲(chǔ)資源方案 存儲(chǔ)架構(gòu)設(shè)計(jì)方案 本次 存儲(chǔ) 設(shè)計(jì)方案， 20%結(jié)構(gòu)化數(shù)據(jù)庫(kù)單獨(dú)建池，采用 FCSAN 磁陣集中互連，對(duì)于既有現(xiàn)有高端存儲(chǔ)和新添置存儲(chǔ)通過(guò)虛擬化網(wǎng)關(guān)進(jìn)行統(tǒng)一異構(gòu)管理。 對(duì)于 80%的非結(jié)構(gòu)化數(shù)據(jù)，其中虛擬化服務(wù)通過(guò)分布式存儲(chǔ)系統(tǒng)提供后端存儲(chǔ)，虛擬機(jī)鏡像和應(yīng)用的其他非結(jié)構(gòu)化數(shù)據(jù)采用分布式存儲(chǔ) 系統(tǒng)提供。 為了保證存儲(chǔ)的可靠性及性能，非結(jié)構(gòu)化數(shù)據(jù)采用采用全對(duì)等、分布式的存儲(chǔ)集群來(lái)構(gòu)建統(tǒng)一云存儲(chǔ)。全對(duì)等指的是在整個(gè)集群架構(gòu)中，不存在獨(dú)立的元數(shù)據(jù)節(jié)點(diǎn)或者控制節(jié)點(diǎn)，所有的節(jié)點(diǎn)均完全相等，避免“關(guān)鍵節(jié)點(diǎn)”異常而導(dǎo)致的存儲(chǔ)服務(wù)異常；存儲(chǔ)資源池在物理上由多個(gè)小存儲(chǔ)構(gòu)成，邏輯上作為一個(gè)整體對(duì)外提供服務(wù)。 存儲(chǔ)架構(gòu)設(shè)計(jì)圖 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲(chǔ)8G8G8G8G非 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲(chǔ)8G8G數(shù) 據(jù) 庫(kù)服 務(wù) 器光 纖 交換 機(jī)…………虛 擬 化服 務(wù) 器骨 干 存 儲(chǔ) 交換 機(jī)融 合 存 儲(chǔ) 交換 機(jī)融 合 存 儲(chǔ) 交換 機(jī)光 纖萬(wàn) 兆 以 太 網(wǎng)F C S A N存 儲(chǔ) 節(jié) 點(diǎn) 26 存儲(chǔ)功能設(shè)計(jì) 目前較為主流的存儲(chǔ)方式，主要有 FCSAN、 IPSAN、 NAS、分布式存儲(chǔ)等幾種方式，詳見(jiàn)下表。 表 5417 存儲(chǔ)類型分類表 NAS FCSAN IPSAN 分布式 存儲(chǔ) 特點(diǎn) 成本較低，性能也較低，易部署，支持長(zhǎng)距離、跨平臺(tái)的共享文件服務(wù)器，可滿足對(duì)訪問(wèn)性能要求不高的平臺(tái)存放非系統(tǒng)類文件，例如大容量的音視頻、辦公文件資料、郵件備份文件、虛機(jī)鏡像文件等。 高成本、高性能、高可靠性的塊存儲(chǔ)，滿足核心平臺(tái)的虛機(jī)文件系統(tǒng)和數(shù)據(jù)存儲(chǔ)需求，一般配置 SAS 盤，性能要求不高的可配置 SATA 盤。 成本較低，性能和穩(wěn)定性中等的塊存儲(chǔ)，滿足非核心平臺(tái)（例如一般應(yīng)用平臺(tái)）虛機(jī)文件系統(tǒng)和數(shù)據(jù)庫(kù)存儲(chǔ)需求。 以 Hadoop HDFS/HBase 為代表的大數(shù)據(jù)存儲(chǔ)系統(tǒng)和 Server San 的分布式存儲(chǔ) ，大數(shù)據(jù)存儲(chǔ)主要適合存儲(chǔ)大文件（以 G 甚至 T為單位的文件），文件存儲(chǔ)的節(jié)點(diǎn)同時(shí)也是計(jì)算的節(jié)點(diǎn)（計(jì)算靠近數(shù)據(jù)），適合與作為大數(shù)據(jù)分析數(shù)據(jù)的存儲(chǔ)。 系統(tǒng)架構(gòu) 局域網(wǎng) +服務(wù)器 +集中存儲(chǔ) 服務(wù)器 +FC 交換機(jī)+集中存儲(chǔ) 服務(wù)器 +以太網(wǎng)交換機(jī) +集中存儲(chǔ) 服務(wù)器 +互聯(lián)網(wǎng)絡(luò) 應(yīng)用場(chǎng)景 云資源池 大數(shù)據(jù)平臺(tái) 、分布式存儲(chǔ) 傳統(tǒng)集中存儲(chǔ) 集中式存儲(chǔ)是目前市場(chǎng)主流存儲(chǔ)形態(tài)，采用專有的企業(yè)級(jí)存儲(chǔ)硬件架構(gòu)把多個(gè)硬盤組成一個(gè)陣列，當(dāng)作大資源池使用，它將數(shù)據(jù)以分段（ striping）的方式儲(chǔ)存在不同硬盤中，存取數(shù)據(jù)時(shí)，陣列中的相關(guān)磁盤一起動(dòng)作，既保證可靠性，又大幅減低數(shù)據(jù)存取時(shí)間，同時(shí)有更佳的空間利用率。 在實(shí)現(xiàn)了文件系統(tǒng)級(jí)和塊級(jí)數(shù)據(jù)、存儲(chǔ)協(xié)議融合統(tǒng)一的基礎(chǔ)上，以業(yè)界領(lǐng)先的性能、多種效率提升機(jī)制為支撐，為用戶提供了高性能、全方位的解決方案，使用戶投資收益比最大化，能夠滿足大型數(shù)據(jù)庫(kù) OLTP/OLAP （ Online Transaction Processing/Online Analytical Processing）、高性能計(jì)算、數(shù)字媒體、因 特網(wǎng)運(yùn)營(yíng)、集中存儲(chǔ)、備份、容災(zāi)和數(shù)據(jù)遷移等 不同業(yè)務(wù)應(yīng)用的需求 。 結(jié)構(gòu)化數(shù)據(jù)應(yīng)用有很多小文件隨機(jī)讀寫(xiě)的 IO，需要的是存儲(chǔ)的高 IOPS，虛 27 擬機(jī)和數(shù)據(jù)庫(kù)均對(duì)存儲(chǔ)速度和穩(wěn)定性要求特別高，優(yōu)先使用 FC SAN 作為業(yè)務(wù)的主存儲(chǔ)，配置高速的固態(tài) SSD 硬盤和 SAS 硬盤，提供極其強(qiáng)大的 IO 性能。存儲(chǔ)的 IO 會(huì)不定時(shí)突發(fā)增大，因此需要存儲(chǔ)能夠有這種解決突發(fā) IO 的技術(shù)及數(shù)據(jù)自動(dòng)分層技術(shù)。 采用大型的 FC SAN 交換設(shè)備，提供 8Gps 的全雙工光纖端口的線速互聯(lián)，為所有服務(wù)器通過(guò) FC 網(wǎng)絡(luò)連接到 FC 存儲(chǔ)系統(tǒng)， FC 存儲(chǔ)系統(tǒng)向所有服務(wù)器提供塊設(shè)備級(jí)共享存儲(chǔ)系統(tǒng)，同時(shí)為了保證系統(tǒng)的可靠性， FCSAN 存儲(chǔ)網(wǎng)采用雙路徑設(shè)計(jì)。 為滿足業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須強(qiáng)化數(shù)據(jù)存儲(chǔ)核心，磁盤本身性能也決定存儲(chǔ)系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時(shí)間、磁盤緩存等技術(shù)指標(biāo)衡量，存儲(chǔ)陣列采用全自動(dòng)分層存儲(chǔ)功能，將關(guān)鍵應(yīng)用訪問(wèn)讀寫(xiě)最為頻繁的核心一級(jí) 應(yīng)用數(shù)據(jù)和 數(shù)據(jù)庫(kù)熱點(diǎn)表、索引表以及相關(guān)的數(shù)據(jù)文件自動(dòng)遷移在第一層固態(tài)硬盤層中；將二級(jí) 應(yīng)用 數(shù)據(jù)庫(kù)文件數(shù)據(jù)存儲(chǔ)在第二層的 SAS硬盤中，將三級(jí) 應(yīng)用放置在 SATA 磁盤 上 。 集中存儲(chǔ)優(yōu)勢(shì)和 特點(diǎn)： 穩(wěn)定可靠：存儲(chǔ)系統(tǒng)部件采用全冗余設(shè)計(jì)和 A/A 工作模式，在部分設(shè)備故障時(shí)，剩余的設(shè)備可以替代原有設(shè)備功能，保證業(yè)務(wù)的連續(xù)性；快照、克隆、遠(yuǎn)程數(shù)據(jù)復(fù)制 、 陣列雙活等數(shù)據(jù)保護(hù)和容災(zāi)特性能夠保護(hù)數(shù)據(jù)不丟失，業(yè)務(wù)不中斷。 安全高效： 智能精簡(jiǎn)配置 通過(guò) 按需分配的方式來(lái)管理存儲(chǔ)設(shè)備 ，實(shí)現(xiàn)業(yè)務(wù)在線擴(kuò)容，提高資源利用率降低； 智能分級(jí)存儲(chǔ) 和 智能數(shù)據(jù)緩存 技術(shù)利用 SSD 盤高性能特點(diǎn)實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)加速，提高存儲(chǔ)整體訪問(wèn)性能，實(shí)現(xiàn)數(shù)據(jù)生命周期管理；緩存分區(qū)和 服務(wù)質(zhì)量控制 QOS 技術(shù)實(shí)現(xiàn) 針對(duì)不同的業(yè)務(wù)劃分不同優(yōu)先級(jí)，系統(tǒng)優(yōu)先響應(yīng)高優(yōu)先級(jí) 的訪問(wèn)請(qǐng)求，從而提升高優(yōu)先級(jí)業(yè)務(wù)的性能 ，保障關(guān)鍵業(yè)務(wù)的服務(wù)質(zhì)量。 分布式 存儲(chǔ) 傳統(tǒng) SAN 在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨的主要問(wèn)題： ? 存儲(chǔ)資源彈性問(wèn)題：多業(yè)務(wù)負(fù)載、資源的動(dòng)態(tài)需求變化 ； ? 存儲(chǔ)擴(kuò)展的問(wèn)題：共享、擴(kuò)展面臨了諸多的瓶頸和問(wèn)題（機(jī)頭、前后端 28 網(wǎng)絡(luò)、 CPU/Cache 與 HDD 不同步問(wèn)題） ； ? 形態(tài)和實(shí)施的成本、復(fù)雜性問(wèn)題：獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等） ； ? 容錯(cuò)和可靠性問(wèn)題：大規(guī)模集群中容忍的故障域問(wèn)題（跨機(jī)柜、跨機(jī)房），硬盤重建時(shí)間長(zhǎng)問(wèn)題 。 針對(duì)上述問(wèn)題，政務(wù)云資源池同時(shí)提供分布式存儲(chǔ)資源池，使用分布式存儲(chǔ)解決上述問(wèn)題， 以 滿足業(yè)務(wù)平臺(tái)日益增長(zhǎng)的存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開(kāi)放性的存儲(chǔ)服務(wù)。 分布式存儲(chǔ)系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，作為云計(jì)算資源池存儲(chǔ)資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲(chǔ)服務(wù)。 分布式 Server SAN 創(chuàng)建的軟件定義的存儲(chǔ)環(huán)境，利用服務(wù)器中的本地存儲(chǔ)容量，擁有一個(gè)可擴(kuò)展、高性能且容錯(cuò)的分布式共享存儲(chǔ)系統(tǒng)。聚合存儲(chǔ)和計(jì)算資源，可擴(kuò)展至數(shù)千節(jié)點(diǎn)，結(jié)合了 HDD、 DAS 以創(chuàng)建具有不同性能層的虛擬數(shù)據(jù)塊存儲(chǔ)池。隨著存儲(chǔ)和計(jì)算資源的變化，分布式 Server SAN 會(huì)自動(dòng)重新平衡存儲(chǔ)分布以優(yōu)化性能和容量使用。分布式 Server SAN 不受硬件限制，可支持物理應(yīng)用程序服務(wù)器和 /或虛擬應(yīng)用程序服務(wù)器， Server SAN 不受基礎(chǔ)架構(gòu)限制，可與混合服務(wù)器品牌、操作系統(tǒng)（物理和虛擬）以及存儲(chǔ)介質(zhì)類型（ HDD、 DAS）同時(shí)使用，因此它既是一種分布式存儲(chǔ)解決方案，又是一種存儲(chǔ)虛擬化解決方案。 存儲(chǔ)容量設(shè)計(jì) 本次需求調(diào)研共抽樣調(diào)研 13 個(gè)省直屬部門（分別是統(tǒng)計(jì)局、衛(wèi)計(jì)委、教育廳、國(guó)土廳、工商局 、財(cái)政廳、住建廳、人社廳、質(zhì)監(jiān)局、地稅局、交通廳、民政廳、旅游局），調(diào)研系統(tǒng) 55 個(gè)，目前共占用存儲(chǔ)空間 931T，單業(yè)務(wù)系統(tǒng)占用存儲(chǔ)空間 19T，按照 20%的年增長(zhǎng)率，考慮未來(lái) 5 年的需求，規(guī)劃期內(nèi)新建及遷移 200 個(gè)應(yīng)用系統(tǒng)，本期存儲(chǔ)需求為： 19T*（ 1+20%） 5*200≈ 9500T，其中結(jié)構(gòu)化數(shù)據(jù) 1000T、非結(jié)構(gòu)化數(shù)據(jù) 6600T、本地備份存儲(chǔ) 1900T； 本地備份存儲(chǔ)測(cè)算： 1000T*+6600T*4%*≈ 1900T，其中 100%結(jié)構(gòu)化數(shù)據(jù)備份按照 倍考慮， 4%的非結(jié)構(gòu)化數(shù)據(jù)按照 倍考慮 。 29 第一期建設(shè) 40%存儲(chǔ)資源，共計(jì) 9500T*40%+1900T*40%≈ 4600T。 業(yè)務(wù) 系統(tǒng) 數(shù)據(jù)存儲(chǔ)分析 云平臺(tái)采用“兩朵云”的方式，即內(nèi)部云和外部云分開(kāi)，本期需同時(shí)滿足兩朵云的存儲(chǔ)需求。根據(jù)需求調(diào)研，湖南省政府各直屬部門的系統(tǒng)存儲(chǔ)結(jié)構(gòu)化非結(jié)構(gòu)數(shù)據(jù)比例為 1:4，本次設(shè)計(jì)方案中，存儲(chǔ)需要同時(shí)滿足結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫(kù)中的表數(shù)據(jù)）以及非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)（對(duì)象數(shù)據(jù)，如聲音，圖片，視頻等）的存儲(chǔ)需求。 從政務(wù)云的業(yè)務(wù)數(shù)據(jù)來(lái)看主要有以下幾類數(shù)據(jù)；核心數(shù)據(jù)庫(kù) 、 虛擬機(jī)（ OA/Web/APP） 、 GIS 應(yīng)用 、 公文共享 /視頻 /媒體 、 數(shù)據(jù)交換共享平臺(tái)，主要存儲(chǔ)需求分析如下： 核心數(shù)據(jù)庫(kù) 委辦局虛擬機(jī) GIS 應(yīng)用 文件 /媒體 /視頻 數(shù)據(jù)交換共享平臺(tái) 典型業(yè)務(wù) 各種核心Oracle 數(shù)據(jù)庫(kù) 辦公系統(tǒng)，政府網(wǎng)站，普通應(yīng)用 農(nóng)業(yè)土地確權(quán)，國(guó)土不動(dòng)產(chǎn)，地理信息共享平臺(tái) 電子證照，氣象局流媒體，文件共享 人口庫(kù)，法人庫(kù)，文件共享 存儲(chǔ)訴求 多為實(shí)時(shí)在線交易系統(tǒng) OLTP場(chǎng)景，隨機(jī)小IO，延時(shí)小于5ms， RPO=0 業(yè)務(wù)復(fù)雜，以O(shè)A、 Web 等應(yīng)用為主， IO 不均，對(duì)業(yè)務(wù)上線速度，要求較高 多并發(fā)作業(yè)，入庫(kù)、合庫(kù)性能要求高，歸檔場(chǎng)景權(quán)限管理復(fù)雜 視頻數(shù)據(jù)順序大 IO 寫(xiě)，圖片文檔隨機(jī) IO，權(quán)限管理復(fù)雜 數(shù)據(jù)變化 量不大，以讀為主，同步周期 5 分鐘左右，帶寬型業(yè)務(wù)，可靠性要求較高 對(duì)應(yīng)存儲(chǔ)資源池方案 采用高端集中式存儲(chǔ)，并建議采用高等級(jí)災(zāi)備解決方案 重要業(yè)務(wù)委辦局，對(duì)業(yè)務(wù)連續(xù)性要求較高，建議采用高端集中存儲(chǔ)，一般委辦局采用分布式存儲(chǔ) 入庫(kù)、合庫(kù)等結(jié)構(gòu)化數(shù)據(jù)采用集中式存儲(chǔ)，大量地圖文件采用分布式存儲(chǔ) 文件增長(zhǎng)較快，一般多采用分布式存儲(chǔ) 可靠性要 求較高，結(jié)構(gòu)化數(shù)據(jù)，建議采用集中式存儲(chǔ) 存儲(chǔ)管理系統(tǒng) 為了能夠真正接管企業(yè)現(xiàn)有各類存儲(chǔ)設(shè)備，未來(lái)亦能提供良好的擴(kuò)展性，簡(jiǎn) 30 化企業(yè) IT部門日常運(yùn)維監(jiān)管的復(fù)雜度，業(yè)界提出了帶外控制面存儲(chǔ)資源池的理念。即在不改變現(xiàn)有數(shù)據(jù)通道的前提下，通過(guò)管理通道實(shí)現(xiàn)存儲(chǔ)資源虛擬化，配置自動(dòng)化和請(qǐng)求服務(wù)化來(lái)解決客戶當(dāng)前的困惑。 華為 OceanStor DJ 軟件集存儲(chǔ)資源虛擬化、自動(dòng)化、服務(wù)化為一體 ， 為業(yè)務(wù)驅(qū)動(dòng)的存儲(chǔ)控制軟件 , 統(tǒng)一管理存儲(chǔ)資源 , 提供業(yè)務(wù)驅(qū)動(dòng)、自動(dòng)化的數(shù)據(jù)服務(wù)。其核心是基于 Openstack 存儲(chǔ)相關(guān)組件的增強(qiáng)，實(shí)現(xiàn)存儲(chǔ)即服務(wù)、數(shù)據(jù)保護(hù)即服務(wù)、數(shù)據(jù)庫(kù)即服務(wù)、大數(shù)據(jù)即服務(wù)等。 OceanStor DJ 將應(yīng)用與底層存儲(chǔ)解耦，能夠使客戶不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。在云化場(chǎng)景下，將存儲(chǔ)和數(shù)據(jù)保護(hù)等能力以 服務(wù) 的方式提供，順應(yīng)存儲(chǔ)價(jià)值鏈向軟件和服務(wù)轉(zhuǎn)移。 OceanStor DJ 功能架構(gòu) 如 圖 所示： 虛擬化 存儲(chǔ)管理系統(tǒng)的主要特點(diǎn)： ? 數(shù)據(jù)應(yīng)用服務(wù)化 通過(guò)將存儲(chǔ)功能軟件化、應(yīng)用化，訪問(wèn)協(xié)議解耦，支持文件、塊、對(duì)象等類型存儲(chǔ)資源分配服 務(wù)。 作為開(kāi)放平臺(tái)，集成華為和第三方數(shù)據(jù)保護(hù)、容災(zāi)軟件，提供 XaaS 等服務(wù)能力。 ? 業(yè)務(wù)部署自動(dòng)化 通過(guò)基于策略的資源調(diào)度和任務(wù)編排，實(shí)現(xiàn)存儲(chǔ)資源按需發(fā)放和自動(dòng)化部署。 支持自服務(wù)（ SelfService），提高資源分配效率，降低 OPEX。 ? 向存儲(chǔ)資源虛擬化 31 從控制面通過(guò)對(duì)企業(yè)級(jí)存儲(chǔ)的管理、資源虛擬化，實(shí)現(xiàn)統(tǒng)一管理，提升資源利用率。 支持標(biāo)準(zhǔn)硬件，實(shí)現(xiàn)快速?gòu)椥詳U(kuò)展，承接新型業(yè)務(wù)和負(fù)載。 華為 OceanStor DJ 在控制面上將存儲(chǔ)的功能特性從物理陣列中抽象出來(lái)，把