【導(dǎo)讀】數(shù)據(jù)庫平臺整體架構(gòu)...

　　

【正文】 的調(diào)整應(yīng)用實際使用的資源，當(dāng)一個應(yīng)用資源負(fù)載較高時，自動添加虛擬機(jī)并且安裝應(yīng)用軟件；當(dāng)應(yīng)用的資源負(fù)載很低時，自動釋放相應(yīng)的資源。 （ 2） 組間資源回收策略 當(dāng)系統(tǒng)資源不足的情況下，系統(tǒng)可以根據(jù)組間設(shè)置的資源復(fù)用策略，優(yōu)先使優(yōu)先級高的應(yīng)用使用資源，使優(yōu)先級低的應(yīng)用釋放資源，以供優(yōu)先級高的應(yīng)用使用。 （ 3） 時間計劃策略 時間計劃策略允許用戶對于不同的應(yīng)用實現(xiàn)資源的分時復(fù)用。用戶可以設(shè)置計劃策略，使得不同的應(yīng)用分時段的使用系統(tǒng)資源，比如說白天讓辦公用戶的虛擬機(jī)使用系統(tǒng)資源，到了晚間可以讓一些公共的虛擬機(jī)占用資源。 云平臺提供多種自動化調(diào)試策略，包括節(jié)能策略、負(fù)載均衡策略，便于用戶合理利用資源。采用負(fù)載均衡策略可以讓虛擬機(jī)在不同的物理節(jié)點之間遷移，使不同物理機(jī)間的負(fù)載達(dá)到均衡，同時也可以實現(xiàn)節(jié)能降耗，實現(xiàn)輕載合并下電，重載分離上電。 系統(tǒng)負(fù)荷不大時，各 VM 占用 CPU 較低，部分 VM 關(guān)機(jī)了，可以將某些服務(wù)器上的虛擬機(jī)自動遷移到其他 節(jié)點，對這個服務(wù)器進(jìn)行休眠或下電，實施系統(tǒng)節(jié)能策略。 系統(tǒng)重載時，再讓部分物理機(jī)上電，并遷移 VM 到新物理機(jī)，保證用戶感受。 系統(tǒng)需分析并選擇合適的物理機(jī)上下電，減小遷移的 VM 數(shù)目。 性能設(shè)計方案（由華為提供素材補(bǔ)充） 25 存儲資源方案 存儲架構(gòu)設(shè)計方案 本次 存儲 設(shè)計方案， 20%結(jié)構(gòu)化數(shù)據(jù)庫單獨建池，采用 FCSAN 磁陣集中互連，對于既有現(xiàn)有高端存儲和新添置存儲通過虛擬化網(wǎng)關(guān)進(jìn)行統(tǒng)一異構(gòu)管理。 對于 80%的非結(jié)構(gòu)化數(shù)據(jù)，其中虛擬化服務(wù)通過分布式存儲系統(tǒng)提供后端存儲，虛擬機(jī)鏡像和應(yīng)用的其他非結(jié)構(gòu)化數(shù)據(jù)采用分布式存儲 系統(tǒng)提供。 為了保證存儲的可靠性及性能，非結(jié)構(gòu)化數(shù)據(jù)采用采用全對等、分布式的存儲集群來構(gòu)建統(tǒng)一云存儲。全對等指的是在整個集群架構(gòu)中，不存在獨立的元數(shù)據(jù)節(jié)點或者控制節(jié)點，所有的節(jié)點均完全相等，避免“關(guān)鍵節(jié)點”異常而導(dǎo)致的存儲服務(wù)異常；存儲資源池在物理上由多個小存儲構(gòu)成，邏輯上作為一個整體對外提供服務(wù)。 存儲架構(gòu)設(shè)計圖 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲8G8G8G8G非 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲8G8G數(shù) 據(jù) 庫服 務(wù) 器光 纖 交換 機(jī)…………虛 擬 化服 務(wù) 器骨 干 存 儲 交換 機(jī)融 合 存 儲 交換 機(jī)融 合 存 儲 交換 機(jī)光 纖萬 兆 以 太 網(wǎng)F C S A N存 儲 節(jié) 點 26 存儲功能設(shè)計 目前較為主流的存儲方式，主要有 FCSAN、 IPSAN、 NAS、分布式存儲等幾種方式，詳見下表。 表 5417 存儲類型分類表 NAS FCSAN IPSAN 分布式 存儲 特點 成本較低，性能也較低，易部署，支持長距離、跨平臺的共享文件服務(wù)器，可滿足對訪問性能要求不高的平臺存放非系統(tǒng)類文件，例如大容量的音視頻、辦公文件資料、郵件備份文件、虛機(jī)鏡像文件等。 高成本、高性能、高可靠性的塊存儲，滿足核心平臺的虛機(jī)文件系統(tǒng)和數(shù)據(jù)存儲需求，一般配置 SAS 盤，性能要求不高的可配置 SATA 盤。 成本較低，性能和穩(wěn)定性中等的塊存儲，滿足非核心平臺（例如一般應(yīng)用平臺）虛機(jī)文件系統(tǒng)和數(shù)據(jù)庫存儲需求。 以 Hadoop HDFS/HBase 為代表的大數(shù)據(jù)存儲系統(tǒng)和 Server San 的分布式存儲 ，大數(shù)據(jù)存儲主要適合存儲大文件（以 G 甚至 T為單位的文件），文件存儲的節(jié)點同時也是計算的節(jié)點（計算靠近數(shù)據(jù)），適合與作為大數(shù)據(jù)分析數(shù)據(jù)的存儲。 系統(tǒng)架構(gòu) 局域網(wǎng) +服務(wù)器 +集中存儲 服務(wù)器 +FC 交換機(jī)+集中存儲 服務(wù)器 +以太網(wǎng)交換機(jī) +集中存儲 服務(wù)器 +互聯(lián)網(wǎng)絡(luò) 應(yīng)用場景 云資源池 大數(shù)據(jù)平臺 、分布式存儲 傳統(tǒng)集中存儲 集中式存儲是目前市場主流存儲形態(tài)，采用專有的企業(yè)級存儲硬件架構(gòu)把多個硬盤組成一個陣列，當(dāng)作大資源池使用，它將數(shù)據(jù)以分段（ striping）的方式儲存在不同硬盤中，存取數(shù)據(jù)時，陣列中的相關(guān)磁盤一起動作，既保證可靠性，又大幅減低數(shù)據(jù)存取時間，同時有更佳的空間利用率。 在實現(xiàn)了文件系統(tǒng)級和塊級數(shù)據(jù)、存儲協(xié)議融合統(tǒng)一的基礎(chǔ)上，以業(yè)界領(lǐng)先的性能、多種效率提升機(jī)制為支撐，為用戶提供了高性能、全方位的解決方案，使用戶投資收益比最大化，能夠滿足大型數(shù)據(jù)庫 OLTP/OLAP （ Online Transaction Processing/Online Analytical Processing）、高性能計算、數(shù)字媒體、因 特網(wǎng)運營、集中存儲、備份、容災(zāi)和數(shù)據(jù)遷移等 不同業(yè)務(wù)應(yīng)用的需求 。 結(jié)構(gòu)化數(shù)據(jù)應(yīng)用有很多小文件隨機(jī)讀寫的 IO，需要的是存儲的高 IOPS，虛 27 擬機(jī)和數(shù)據(jù)庫均對存儲速度和穩(wěn)定性要求特別高，優(yōu)先使用 FC SAN 作為業(yè)務(wù)的主存儲，配置高速的固態(tài) SSD 硬盤和 SAS 硬盤，提供極其強(qiáng)大的 IO 性能。存儲的 IO 會不定時突發(fā)增大，因此需要存儲能夠有這種解決突發(fā) IO 的技術(shù)及數(shù)據(jù)自動分層技術(shù)。 采用大型的 FC SAN 交換設(shè)備，提供 8Gps 的全雙工光纖端口的線速互聯(lián)，為所有服務(wù)器通過 FC 網(wǎng)絡(luò)連接到 FC 存儲系統(tǒng)， FC 存儲系統(tǒng)向所有服務(wù)器提供塊設(shè)備級共享存儲系統(tǒng)，同時為了保證系統(tǒng)的可靠性， FCSAN 存儲網(wǎng)采用雙路徑設(shè)計。 為滿足業(yè)務(wù)系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須強(qiáng)化數(shù)據(jù)存儲核心，磁盤本身性能也決定存儲系統(tǒng)整體性能，通常磁盤性能以轉(zhuǎn)速、尋道時間、磁盤緩存等技術(shù)指標(biāo)衡量，存儲陣列采用全自動分層存儲功能，將關(guān)鍵應(yīng)用訪問讀寫最為頻繁的核心一級 應(yīng)用數(shù)據(jù)和 數(shù)據(jù)庫熱點表、索引表以及相關(guān)的數(shù)據(jù)文件自動遷移在第一層固態(tài)硬盤層中；將二級 應(yīng)用 數(shù)據(jù)庫文件數(shù)據(jù)存儲在第二層的 SAS硬盤中，將三級 應(yīng)用放置在 SATA 磁盤 上 。 集中存儲優(yōu)勢和 特點： 穩(wěn)定可靠：存儲系統(tǒng)部件采用全冗余設(shè)計和 A/A 工作模式，在部分設(shè)備故障時，剩余的設(shè)備可以替代原有設(shè)備功能，保證業(yè)務(wù)的連續(xù)性；快照、克隆、遠(yuǎn)程數(shù)據(jù)復(fù)制 、 陣列雙活等數(shù)據(jù)保護(hù)和容災(zāi)特性能夠保護(hù)數(shù)據(jù)不丟失，業(yè)務(wù)不中斷。 安全高效： 智能精簡配置 通過 按需分配的方式來管理存儲設(shè)備 ，實現(xiàn)業(yè)務(wù)在線擴(kuò)容，提高資源利用率降低； 智能分級存儲 和 智能數(shù)據(jù)緩存 技術(shù)利用 SSD 盤高性能特點實現(xiàn)熱點數(shù)據(jù)加速，提高存儲整體訪問性能，實現(xiàn)數(shù)據(jù)生命周期管理；緩存分區(qū)和 服務(wù)質(zhì)量控制 QOS 技術(shù)實現(xiàn) 針對不同的業(yè)務(wù)劃分不同優(yōu)先級，系統(tǒng)優(yōu)先響應(yīng)高優(yōu)先級 的訪問請求，從而提升高優(yōu)先級業(yè)務(wù)的性能 ，保障關(guān)鍵業(yè)務(wù)的服務(wù)質(zhì)量。 分布式 存儲 傳統(tǒng) SAN 在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨的主要問題： ? 存儲資源彈性問題：多業(yè)務(wù)負(fù)載、資源的動態(tài)需求變化 ； ? 存儲擴(kuò)展的問題：共享、擴(kuò)展面臨了諸多的瓶頸和問題（機(jī)頭、前后端 28 網(wǎng)絡(luò)、 CPU/Cache 與 HDD 不同步問題） ； ? 形態(tài)和實施的成本、復(fù)雜性問題：獨立的存儲網(wǎng)絡(luò)，建設(shè)成本高、實施復(fù)雜（初始實施、擴(kuò)減容等） ； ? 容錯和可靠性問題：大規(guī)模集群中容忍的故障域問題（跨機(jī)柜、跨機(jī)房），硬盤重建時間長問題 。 針對上述問題，政務(wù)云資源池同時提供分布式存儲資源池，使用分布式存儲解決上述問題， 以 滿足業(yè)務(wù)平臺日益增長的存儲需求，為業(yè)務(wù)平臺提供高安全性、高可靠性、高可用性和開放性的存儲服務(wù)。 分布式存儲系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實現(xiàn)，作為云計算資源池存儲資源池的一部分，為計算資源池提供高速、可靠、安全的塊存儲服務(wù)。 分布式 Server SAN 創(chuàng)建的軟件定義的存儲環(huán)境，利用服務(wù)器中的本地存儲容量，擁有一個可擴(kuò)展、高性能且容錯的分布式共享存儲系統(tǒng)。聚合存儲和計算資源，可擴(kuò)展至數(shù)千節(jié)點，結(jié)合了 HDD、 DAS 以創(chuàng)建具有不同性能層的虛擬數(shù)據(jù)塊存儲池。隨著存儲和計算資源的變化，分布式 Server SAN 會自動重新平衡存儲分布以優(yōu)化性能和容量使用。分布式 Server SAN 不受硬件限制，可支持物理應(yīng)用程序服務(wù)器和 /或虛擬應(yīng)用程序服務(wù)器， Server SAN 不受基礎(chǔ)架構(gòu)限制，可與混合服務(wù)器品牌、操作系統(tǒng)（物理和虛擬）以及存儲介質(zhì)類型（ HDD、 DAS）同時使用，因此它既是一種分布式存儲解決方案，又是一種存儲虛擬化解決方案。 存儲容量設(shè)計 本次需求調(diào)研共抽樣調(diào)研 13 個省直屬部門（分別是統(tǒng)計局、衛(wèi)計委、教育廳、國土廳、工商局 、財政廳、住建廳、人社廳、質(zhì)監(jiān)局、地稅局、交通廳、民政廳、旅游局），調(diào)研系統(tǒng) 55 個，目前共占用存儲空間 931T，單業(yè)務(wù)系統(tǒng)占用存儲空間 19T，按照 20%的年增長率，考慮未來 5 年的需求，規(guī)劃期內(nèi)新建及遷移 200 個應(yīng)用系統(tǒng)，本期存儲需求為： 19T*（ 1+20%） 5*200≈ 9500T，其中結(jié)構(gòu)化數(shù)據(jù) 1000T、非結(jié)構(gòu)化數(shù)據(jù) 6600T、本地備份存儲 1900T； 本地備份存儲測算： 1000T*+6600T*4%*≈ 1900T，其中 100%結(jié)構(gòu)化數(shù)據(jù)備份按照 倍考慮， 4%的非結(jié)構(gòu)化數(shù)據(jù)按照 倍考慮 。 29 第一期建設(shè) 40%存儲資源，共計 9500T*40%+1900T*40%≈ 4600T。 業(yè)務(wù) 系統(tǒng) 數(shù)據(jù)存儲分析 云平臺采用“兩朵云”的方式，即內(nèi)部云和外部云分開，本期需同時滿足兩朵云的存儲需求。根據(jù)需求調(diào)研，湖南省政府各直屬部門的系統(tǒng)存儲結(jié)構(gòu)化非結(jié)構(gòu)數(shù)據(jù)比例為 1:4，本次設(shè)計方案中，存儲需要同時滿足結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫中的表數(shù)據(jù)）以及非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)（對象數(shù)據(jù)，如聲音，圖片，視頻等）的存儲需求。 從政務(wù)云的業(yè)務(wù)數(shù)據(jù)來看主要有以下幾類數(shù)據(jù)；核心數(shù)據(jù)庫 、 虛擬機(jī)（ OA/Web/APP） 、 GIS 應(yīng)用 、 公文共享 /視頻 /媒體 、 數(shù)據(jù)交換共享平臺，主要存儲需求分析如下： 核心數(shù)據(jù)庫 委辦局虛擬機(jī) GIS 應(yīng)用 文件 /媒體 /視頻 數(shù)據(jù)交換共享平臺 典型業(yè)務(wù) 各種核心Oracle 數(shù)據(jù)庫 辦公系統(tǒng)，政府網(wǎng)站，普通應(yīng)用 農(nóng)業(yè)土地確權(quán)，國土不動產(chǎn)，地理信息共享平臺 電子證照，氣象局流媒體，文件共享 人口庫，法人庫，文件共享 存儲訴求 多為實時在線交易系統(tǒng) OLTP場景，隨機(jī)小IO，延時小于5ms， RPO=0 業(yè)務(wù)復(fù)雜，以O(shè)A、 Web 等應(yīng)用為主， IO 不均，對業(yè)務(wù)上線速度，要求較高 多并發(fā)作業(yè)，入庫、合庫性能要求高，歸檔場景權(quán)限管理復(fù)雜 視頻數(shù)據(jù)順序大 IO 寫，圖片文檔隨機(jī) IO，權(quán)限管理復(fù)雜 數(shù)據(jù)變化 量不大，以讀為主，同步周期 5 分鐘左右，帶寬型業(yè)務(wù)，可靠性要求較高 對應(yīng)存儲資源池方案 采用高端集中式存儲，并建議采用高等級災(zāi)備解決方案 重要業(yè)務(wù)委辦局，對業(yè)務(wù)連續(xù)性要求較高，建議采用高端集中存儲，一般委辦局采用分布式存儲 入庫、合庫等結(jié)構(gòu)化數(shù)據(jù)采用集中式存儲，大量地圖文件采用分布式存儲 文件增長較快，一般多采用分布式存儲 可靠性要 求較高，結(jié)構(gòu)化數(shù)據(jù)，建議采用集中式存儲 存儲管理系統(tǒng) 為了能夠真正接管企業(yè)現(xiàn)有各類存儲設(shè)備，未來亦能提供良好的擴(kuò)展性，簡 30 化企業(yè) IT部門日常運維監(jiān)管的復(fù)雜度，業(yè)界提出了帶外控制面存儲資源池的理念。即在不改變現(xiàn)有數(shù)據(jù)通道的前提下，通過管理通道實現(xiàn)存儲資源虛擬化，配置自動化和請求服務(wù)化來解決客戶當(dāng)前的困惑。 華為 OceanStor DJ 軟件集存儲資源虛擬化、自動化、服務(wù)化為一體 ， 為業(yè)務(wù)驅(qū)動的存儲控制軟件 , 統(tǒng)一管理存儲資源 , 提供業(yè)務(wù)驅(qū)動、自動化的數(shù)據(jù)服務(wù)。其核心是基于 Openstack 存儲相關(guān)組件的增強(qiáng)，實現(xiàn)存儲即服務(wù)、數(shù)據(jù)保護(hù)即服務(wù)、數(shù)據(jù)庫即服務(wù)、大數(shù)據(jù)即服務(wù)等。 OceanStor DJ 將應(yīng)用與底層存儲解耦，能夠使客戶不依賴于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。在云化場景下，將存儲和數(shù)據(jù)保護(hù)等能力以 服務(wù) 的方式提供，順應(yīng)存儲價值鏈向軟件和服務(wù)轉(zhuǎn)移。 OceanStor DJ 功能架構(gòu) 如 圖 所示： 虛擬化 存儲管理系統(tǒng)的主要特點： ? 數(shù)據(jù)應(yīng)用服務(wù)化 通過將存儲功能軟件化、應(yīng)用化，訪問協(xié)議解耦，支持文件、塊、對象等類型存儲資源分配服 務(wù)。 作為開放平臺，集成華為和第三方數(shù)據(jù)保護(hù)、容災(zāi)軟件，提供 XaaS 等服務(wù)能力。 ? 業(yè)務(wù)部署自動化 通過基于策略的資源調(diào)度和任務(wù)編排，實現(xiàn)存儲資源按需發(fā)放和自動化部署。 支持自服務(wù)（ SelfService），提高資源分配效率，降低 OPEX。 ? 向存儲資源虛擬化 31 從控制面通過對企業(yè)級存儲的管理、資源虛擬化，實現(xiàn)統(tǒng)一管理，提升資源利用率。 支持標(biāo)準(zhǔn)硬件，實現(xiàn)快速彈性擴(kuò)展，承接新型業(yè)務(wù)和負(fù)載。 華為 OceanStor DJ 在控制面上將存儲的功能特性從物理陣列中抽象出來，把