【正文】 據(jù)中心內(nèi)的安全威脅外，還有跨數(shù)據(jù)中心數(shù)據(jù)安全的考慮。華為針對(duì)數(shù)據(jù)中心和跨數(shù)據(jù)中心傳輸有全面的安全解決方案。例如，華為針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)，提供了以下多種安全方案：216。 互聯(lián)網(wǎng)接入?yún)^(qū)安全方案216。 外聯(lián)網(wǎng)接入安全方案216。 內(nèi)網(wǎng)接入?yún)^(qū)安全方案216。 數(shù)據(jù)中心互聯(lián)區(qū)安全方案216。 數(shù)據(jù)中心服務(wù)區(qū)安全方案216。 網(wǎng)管維護(hù)區(qū)安全方案本文中，針對(duì)雙活數(shù)據(jù)中心的業(yè)務(wù)特點(diǎn)，安全問題主要關(guān)注兩個(gè)雙活數(shù)據(jù)中心解決方案組件：防火墻和波分傳輸設(shè)備。華為波分傳輸設(shè)備可通過加解密傳輸板卡解決數(shù)據(jù)傳輸中的安全問題，該加解密為硬件加解密，性能高，幾乎對(duì)傳輸時(shí)延沒有影響。下面我們重點(diǎn)介紹以下幾種重要的訪問安全方案設(shè)計(jì)。傳輸層低時(shí)延加密方案加密網(wǎng)絡(luò)的構(gòu)成如下圖所示?？蛻魳I(yè)務(wù)在本端客戶側(cè)通過配置了加密功能的設(shè)備后，以加密后的業(yè)務(wù)形式在運(yùn)營(yíng)商網(wǎng)絡(luò)傳輸，并在遠(yuǎn)端客戶側(cè)解密，確保業(yè)務(wù)的安全傳輸。圖347加密網(wǎng)絡(luò)構(gòu)成表36安全管理單元部署及通信方式網(wǎng)絡(luò)管理系統(tǒng)分類部署位置與網(wǎng)元通信方式遠(yuǎn)程管理網(wǎng)元的功能差異安全管理終端 (SMT， Security Management Terminal)DC 內(nèi)業(yè)務(wù)分區(qū)，與傳送加密設(shè)備通信。網(wǎng)元上運(yùn)行安全管理系統(tǒng)（SMS， Security Management System )，實(shí)現(xiàn)加密參數(shù)的設(shè)定和啟用，以及加密功能運(yùn)行情況的監(jiān)控。iManager U2000DC內(nèi)管理分區(qū)，通過網(wǎng)關(guān)網(wǎng)元基于ECC方式轉(zhuǎn)發(fā)，實(shí)現(xiàn)與傳送設(shè)備通訊網(wǎng)元上運(yùn)行配置管理、性能管理、告警管理等子系統(tǒng)，通過U2000來(lái)訪問這些管理功能實(shí)現(xiàn)業(yè)務(wù)配置和網(wǎng)絡(luò)運(yùn)維。加密網(wǎng)絡(luò)的管理和運(yùn)營(yíng)需具備以下條件：216。 傳輸設(shè)備管理員完成網(wǎng)絡(luò)的建設(shè)和部署。216。 傳輸設(shè)備管理員完成基本的網(wǎng)元管理和業(yè)務(wù)參數(shù)的配置。216。 傳輸設(shè)備管理員完成業(yè)務(wù)的發(fā)放。216。 傳輸設(shè)備管理員為最終業(yè)務(wù)用戶創(chuàng)建用于加密管理的網(wǎng)元賬戶。216。 最終業(yè)務(wù)用戶完成SSH客戶端軟件的安裝。加密算法的選擇：考慮到一層加密解決方案需要應(yīng)用在數(shù)據(jù)中心、SAN等場(chǎng)景，需要對(duì)大帶寬的數(shù)據(jù)進(jìn)行加解密，因此，對(duì)加密算法有加密強(qiáng)度高、高效、簡(jiǎn)單、隨機(jī)性等要求，而且要便于硬件實(shí)現(xiàn)。綜合來(lái)看，當(dāng)前安全業(yè)界較為流行的AES (Advanced Encryption Standard)算法，能滿足上述要求，是比較合適的選擇。AES算法的密鑰長(zhǎng)度有1225512bit幾種。同時(shí)AES支持5種算法工作模式： CBC、ECB、CTR、OFB、CFB。其中，CTR模式被廣泛用于ATM網(wǎng)絡(luò)安全和IPSec應(yīng)用中。綜合來(lái)看，采用256bit的密鑰程度并工作于CTR模式的AES算法無(wú)疑從各方面來(lái)講，是傳送產(chǎn)品業(yè)務(wù)加密解決方案中加密算法的最佳選擇。SSL VPN 安全接入方案圖348 SSLVPN安全接入方案部署方案216。 SVN網(wǎng)關(guān)一般旁掛在網(wǎng)絡(luò)出入口防火墻之后，應(yīng)用服務(wù)器之前，防火墻開啟SSL 默認(rèn)端口 443。216。 SVN網(wǎng)關(guān)上配置一個(gè)私網(wǎng)IP，與內(nèi)網(wǎng)服務(wù)器路由可達(dá)；對(duì)外公布一個(gè)公網(wǎng)IP地址供用戶訪問，該地址可以配置在SSL網(wǎng)關(guān)上，或由防火墻做NAT。216。 遠(yuǎn)程用戶通過Web瀏覽器或者客戶端軟件訪問，輸入網(wǎng)關(guān)IP地址，報(bào)文先到達(dá)防火墻，防火墻發(fā)現(xiàn)目的地址是SVN網(wǎng)關(guān)，則轉(zhuǎn)發(fā)給SVN處理，SVN解密后再發(fā)送到目的服務(wù)器。圖349 DC內(nèi)部網(wǎng)絡(luò)典型安全架構(gòu)圖216。 不同業(yè)務(wù)區(qū)互訪控制amp。安全隔離（東西流量管控）實(shí)現(xiàn)設(shè)備：USG統(tǒng)一安全網(wǎng)關(guān)實(shí)現(xiàn)方式：統(tǒng)一安全網(wǎng)關(guān)旁掛對(duì)于需要互訪的區(qū)域或服務(wù)器，將流量牽引至防火墻通過安全策略進(jìn)行訪問控制，嚴(yán)格實(shí)現(xiàn)最小訪問授權(quán)；對(duì)于互相獨(dú)立、業(yè)務(wù)上無(wú)互訪需要的兩個(gè)業(yè)務(wù)區(qū)，在防火墻上進(jìn)行嚴(yán)格的訪問隔離策略，或者通過防火墻虛擬化技術(shù)為不同業(yè)務(wù)區(qū)分配獨(dú)立的v防火墻配合交換機(jī)的虛擬化技術(shù)實(shí)現(xiàn)流量的完全隔離。216。 數(shù)據(jù)中心外部與內(nèi)部的互訪控制（南北流量管控）實(shí)現(xiàn)設(shè)備：統(tǒng)一安全網(wǎng)關(guān)實(shí)現(xiàn)方式：統(tǒng)一安全網(wǎng)關(guān)旁掛（防火墻業(yè)務(wù)板+入侵防御系統(tǒng)業(yè)務(wù)板）使用防火墻嚴(yán)格控制各地市的訪問來(lái)源及訪問目的；對(duì)于進(jìn)入數(shù)據(jù)中心業(yè)務(wù)區(qū)的流量啟用入侵防御系統(tǒng)進(jìn)行清洗，尤其是對(duì)互聯(lián)網(wǎng)業(yè)務(wù)進(jìn)入的流量。做到嚴(yán)格訪問授權(quán)、攻擊防護(hù)及惡意代碼過濾等。216。 入侵攻擊\惡意滲透的監(jiān)測(cè)取證實(shí)現(xiàn)設(shè)備：入侵檢測(cè)系統(tǒng)實(shí)現(xiàn)方式：核心交換機(jī)鏡像流量給入侵檢測(cè)系統(tǒng)，對(duì)入侵攻擊進(jìn)行檢測(cè)、預(yù)警及取證。216。 虛擬化服務(wù)器內(nèi)部流量管控實(shí)現(xiàn)設(shè)備：DeepSecurity實(shí)現(xiàn)方式：通過在ESXi平臺(tái)中部署DeepSecurity安全組件，將需要管控的虛擬機(jī)流量導(dǎo)入虛擬防火墻中按規(guī)則進(jìn)行過濾。4可視化容災(zāi)管理OceanStor BCManager是一款基于華為存儲(chǔ)雙活、快照、遠(yuǎn)程復(fù)制等數(shù)據(jù)保護(hù)特性的專業(yè)容災(zāi)管理軟件，提供應(yīng)用保護(hù)、管理自動(dòng)化和管理可視化的服務(wù)能力。BCManager 可實(shí)現(xiàn)生產(chǎn)中心到災(zāi)備中心的容災(zāi)站點(diǎn)管理，實(shí)現(xiàn)業(yè)務(wù)主機(jī)應(yīng)用、業(yè)務(wù)存儲(chǔ)、災(zāi)備存儲(chǔ)端到端的容災(zāi)資源管理與監(jiān)控，實(shí)現(xiàn)雙活容災(zāi)方案的拓?fù)湔故?，并且在快照和異步遠(yuǎn)程復(fù)制保護(hù)時(shí)，能保證應(yīng)用數(shù)據(jù)的一致性，將人工單點(diǎn)操作轉(zhuǎn)化為一鍵式自動(dòng)執(zhí)行。部署方式OceanStor BCManager基于B/S架構(gòu)，通過瀏覽器即可進(jìn)行容災(zāi)的管理。它包含2個(gè)子系統(tǒng)： BCManager Agent、 BCManager Server。216。 BCManager Agent安裝在業(yè)務(wù)主機(jī)上，提供主機(jī)、應(yīng)用的發(fā)現(xiàn)功能。216。 BCManager Server安裝在獨(dú)立服務(wù)器上，提供整個(gè)容災(zāi)管理系統(tǒng)的配置、調(diào)度等業(yè)務(wù)功能。針對(duì)雙活解決方案的不同場(chǎng)景，BCManager有兩種部署方式。在雙活容災(zāi)場(chǎng)景，以及雙活+快照保護(hù)的容災(zāi)場(chǎng)景下，BCManager Server部署在生產(chǎn)中心1或者生產(chǎn)中心2，與業(yè)務(wù)主機(jī)、業(yè)務(wù)存儲(chǔ)連接在同一個(gè)管理平面，見圖1；在雙活+異步復(fù)制保護(hù)的容災(zāi)場(chǎng)景下，BCManager Server部署在災(zāi)備中心，與生產(chǎn)中心的業(yè)務(wù)主機(jī)、業(yè)務(wù)存儲(chǔ)，以及災(zāi)備中心的災(zāi)備主機(jī)、災(zāi)備存儲(chǔ)分別連接在同一個(gè)管理平面。圖41 華為存儲(chǔ)雙活保護(hù)管理部署圖圖42 華為存儲(chǔ)雙活+異步復(fù)制容災(zāi)管理部署圖在兩種部署方式下，系統(tǒng)組件間的通訊協(xié)議和方式都是一樣的，如下所示：216。 BCManager Server 與存儲(chǔ)間：REST over Https216。 BCManager Server 與 BCManager Agent： SOAP over Https216。 BCManager Agent 與存儲(chǔ)：iSCSI 或 FCOceanStor BCManager容災(zāi)管理軟件既能對(duì)物理機(jī)上的數(shù)據(jù)庫(kù)應(yīng)用，也能對(duì)虛擬機(jī)進(jìn)行保護(hù)，支持的應(yīng)用矩陣如下表所示。數(shù)據(jù)庫(kù)應(yīng)用包括Oracle RAC集群、SQL Server MSFC集群，以及IBM AIX高可用集群PowerHA上的Oracle應(yīng)用或DB2應(yīng)用。虛擬機(jī)的保護(hù)則支持華為的FusionSphere，以及VMware虛擬機(jī)。適用容災(zāi)場(chǎng)景 SAN雙活場(chǎng)景 SAN雙活場(chǎng)景在雙活的容災(zāi)環(huán)境中，OceanStor BCManager容災(zāi)管理軟件能端到端的直觀的展示從業(yè)務(wù)主機(jī)應(yīng)用到應(yīng)用所使用的存儲(chǔ)，以及業(yè)務(wù)存儲(chǔ)到災(zāi)備站點(diǎn)存儲(chǔ)之間的容災(zāi)關(guān)系，對(duì)容災(zāi)環(huán)境進(jìn)行監(jiān)控，幫助用戶掌握雙活數(shù)據(jù)中心的容災(zāi)狀態(tài)。OceanStor BCManager提供物理拓?fù)浜瓦壿嬐負(fù)鋬煞N可視化管理方式。物理拓?fù)渲饕潜O(jiān)控容災(zāi)環(huán)境中的所有網(wǎng)元和鏈路，不僅能監(jiān)控業(yè)務(wù)主機(jī)、業(yè)務(wù)存儲(chǔ)和仲裁服務(wù)器的故障，還能監(jiān)控主機(jī)到存儲(chǔ)、存儲(chǔ)到仲裁服務(wù)器之間鏈路的故障，以及存儲(chǔ)雙活的狀態(tài)。同時(shí)，在物理拓?fù)渖线€能呈現(xiàn)出主機(jī)、存儲(chǔ)、仲裁服務(wù)器的名稱、IP地址、狀態(tài)等基本信息，以及存儲(chǔ)間所有的FC或者ISCSI鏈路信息。邏輯拓?fù)鋭t是從應(yīng)用的視角出發(fā)，展現(xiàn)應(yīng)用與主機(jī)磁盤、主機(jī)磁盤與存儲(chǔ)雙活子LUN之間的邏輯關(guān)系。通過邏輯拓?fù)?，可以看到?yīng)用（或?qū)嵗┑男畔?，以及雙活LUN的名稱、ID、WWN、容量和狀態(tài)。OceanStor BCManager容災(zāi)管理軟件通過分析各網(wǎng)元之間的關(guān)系，構(gòu)造全局物理拓?fù)?。通過查詢主機(jī)HBA卡與存儲(chǔ)的啟動(dòng)器信息，識(shí)別出主機(jī)與存儲(chǔ)間的連接關(guān)系，通過查詢雙活存儲(chǔ)與存儲(chǔ)間的鏈路信息，構(gòu)造雙活存儲(chǔ)與存儲(chǔ)的鏈路關(guān)系。根據(jù)保護(hù)對(duì)象的雙活PairlD獲取該雙活Pair關(guān)系的高可用域，通過該域獲取仲裁服務(wù)器信息，以及仲裁鏈路，從而構(gòu)造生產(chǎn)存儲(chǔ)與災(zāi)備存儲(chǔ)至仲裁服務(wù)器的鏈路關(guān)系。圖1展示的是Oracle RAC應(yīng)用在存儲(chǔ)雙活場(chǎng)景下的物理拓?fù)涫纠?。圖43 Oracle RAC應(yīng)用在存儲(chǔ)雙活場(chǎng)景下的物理拓?fù)鋱DOceanStor BCManager容災(zāi)管理軟件通過分析應(yīng)用數(shù)據(jù)與業(yè)務(wù)存儲(chǔ)的關(guān)系，構(gòu)造邏輯拓?fù)?。針?duì)物理機(jī)上的數(shù)據(jù)庫(kù)應(yīng)用，通過業(yè)務(wù)主機(jī)上的agent獲取保護(hù)的數(shù)據(jù)庫(kù)信息，以及數(shù)據(jù)庫(kù)文件存放的主機(jī)磁盤信息，通過主機(jī)和存儲(chǔ)的映射關(guān)系，查詢主機(jī)磁盤與存儲(chǔ)雙活子LUN之間的邏輯關(guān)系，從而構(gòu)造應(yīng)用的邏輯拓?fù)?。?duì)于虛擬機(jī)的保護(hù)，則是通過虛擬化平臺(tái)提供的接口獲取虛擬機(jī)與數(shù)據(jù)存儲(chǔ)的關(guān)系，從而構(gòu)造虛擬機(jī)的邏輯拓?fù)?。圖1展示的是Oracle RAC應(yīng)用在存儲(chǔ)雙活場(chǎng)景下的邏輯拓?fù)涫纠?。圖44 Oracle RAC應(yīng)用在存儲(chǔ)雙活場(chǎng)景下的邏輯拓?fù)鋱D SAN雙活+快照?qǐng)鼍霸陔p活+快照的容災(zāi)場(chǎng)景中，OceanStor BCManager容災(zāi)管理軟件不僅能對(duì)雙活容災(zāi)環(huán)境進(jìn)行可視化監(jiān)控，還能提供應(yīng)用一致性、雙站點(diǎn)打快照、基于快照副本的測(cè)試，以及快照回滾同時(shí)恢復(fù)雙活關(guān)系的功能，實(shí)現(xiàn)一鍵式自動(dòng)化的管理。OceanStor BCManage可以對(duì)應(yīng)用使用的雙活子LUN分別配置時(shí)間策略，通過自動(dòng)或者手動(dòng)的方式給雙站點(diǎn)打快照，打快照的時(shí)候能通過Oracle的熱備模式或者數(shù)據(jù)庫(kù)懸掛IO的方式將緩存中的數(shù)據(jù)刷到磁盤上，以保證應(yīng)用的一致性。OceanStor BCManage提供基于快照副本的測(cè)試功能，測(cè)試時(shí)不會(huì)影響生產(chǎn)業(yè)務(wù)。執(zhí)行測(cè)試演練的過程中，BCManage軟件會(huì)自動(dòng)創(chuàng)建快照的副本、映射快照的副本給測(cè)試主機(jī)、在測(cè)試主機(jī)上配置存儲(chǔ)、下發(fā)數(shù)據(jù)庫(kù)啟動(dòng)命令，以及測(cè)試數(shù)據(jù)庫(kù)的連接。OceanStor BCManage可以對(duì)存儲(chǔ)快照?qǐng)?zhí)行一致性回滾，在回滾過程中自動(dòng)配置主機(jī)與存儲(chǔ)的映射關(guān)系、在業(yè)務(wù)主機(jī)上掃描和掛載數(shù)據(jù)存儲(chǔ)、在業(yè)務(wù)主機(jī)上啟動(dòng)和測(cè)試數(shù)據(jù)庫(kù)，并且在回滾成功后重新啟動(dòng)存儲(chǔ)雙活，自動(dòng)恢復(fù)雙活關(guān)系。SAN雙活+快照?qǐng)鼍暗奈锢硗負(fù)渫琒AN雙活場(chǎng)景。SAN雙活+快照?qǐng)鼍爸?，?yīng)用的邏輯拓?fù)涑苏宫F(xiàn)出應(yīng)用與業(yè)務(wù)存儲(chǔ)的邏輯關(guān)系外，還會(huì)展示雙活子LUN的快照副本情況，以及快照策略，如圖1Oracle RAC應(yīng)用示例所示。圖45 Oracle RAC應(yīng)用在存儲(chǔ)雙活+快照?qǐng)鼍跋碌倪壿嬐負(fù)鋱D SAN雙活+異步復(fù)制場(chǎng)景 在雙活+異步遠(yuǎn)程復(fù)制的容災(zāi)場(chǎng)景中，OceanStor BCManager容災(zāi)管理軟件不僅能對(duì)兩地三中心的容災(zāi)環(huán)境進(jìn)行可視化監(jiān)控，還能支持并聯(lián)和級(jí)聯(lián)場(chǎng)景下的應(yīng)用一致性、容災(zāi)測(cè)試演練、計(jì)劃性遷移、故障恢復(fù)、重保護(hù)，以及回切等一系列的自動(dòng)化容災(zāi)管理功能。在這個(gè)場(chǎng)景中，容災(zāi)測(cè)試和恢復(fù)主要是在異地災(zāi)備站點(diǎn)上執(zhí)行。若生產(chǎn)中心和同城災(zāi)備中心均發(fā)生災(zāi)難，可通過BCManager在異地災(zāi)備中心對(duì)遠(yuǎn)程復(fù)制進(jìn)行主從切換，并拉起災(zāi)備中心業(yè)務(wù)。在日常維護(hù)中，可通過BCManager在異地災(zāi)備中心執(zhí)行容災(zāi)測(cè)試演練和計(jì)劃性遷移。OceanStor BCManager將人工單點(diǎn)的復(fù)雜過程轉(zhuǎn)化為一鍵式自動(dòng)執(zhí)行的簡(jiǎn)單快捷操作，提供可視化和自動(dòng)化的容災(zāi)管理。在執(zhí)行計(jì)劃性遷移過程中，BCManager會(huì)自動(dòng)暫停業(yè)務(wù)存儲(chǔ)的雙活關(guān)系，分裂業(yè)務(wù)存儲(chǔ)和異地災(zāi)備存儲(chǔ)的遠(yuǎn)程復(fù)制關(guān)系，設(shè)置從端LUN 可與，將災(zāi)備端的存儲(chǔ)映射災(zāi)備主機(jī)，自動(dòng)拉起災(zāi)備端業(yè)務(wù)。重保護(hù)后，BCManager 會(huì)自動(dòng)重建保護(hù)關(guān)系，將異地災(zāi)備存儲(chǔ)的數(shù)據(jù)同步到生產(chǎn)中心。BCManager進(jìn)行生產(chǎn)回切的時(shí)候，還能自動(dòng)恢復(fù)存儲(chǔ)的雙活關(guān)系，操作簡(jiǎn)單便捷。SAN雙活+異步復(fù)制場(chǎng)景的物理拓?fù)渲袝?huì)根據(jù)雙活子LUN與異地災(zāi)備存儲(chǔ)間的遠(yuǎn)程復(fù)制關(guān)系，構(gòu)造異步復(fù)制組網(wǎng)，同時(shí)根據(jù)災(zāi)備主機(jī)上的HBA信息以及災(zāi)備存儲(chǔ)上的啟動(dòng)器信息，構(gòu)造出災(zāi)備主機(jī)與災(zāi)備存儲(chǔ)的關(guān)聯(lián)關(guān)系。最終的全局物理拓?fù)淙鐖D1Oracle RAC應(yīng)用示例所示。圖46 Oracle RAC應(yīng)用在存儲(chǔ)雙活+異步遠(yuǎn)程復(fù)制場(chǎng)景下的物理拓?fù)鋱DSAN雙活+異步復(fù)制場(chǎng)景的邏輯拓?fù)渲袑⒄故倦p活子LUN與異地災(zāi)備存儲(chǔ)LUN之間的遠(yuǎn)程復(fù)制關(guān)系，同時(shí)在遠(yuǎn)程復(fù)制關(guān)系鏈路上呈現(xiàn)保護(hù)組配置的策略信息，如圖 1Oracle RAC應(yīng)用示例所示。圖47 Oracle RAC應(yīng)用在存儲(chǔ)雙活+異步遠(yuǎn)程復(fù)制場(chǎng)景下的邏輯拓?fù)鋱D5. 故障場(chǎng)景本章主要介紹兩個(gè)數(shù)據(jù)中心相距100km場(chǎng)景下，方案可靠性驗(yàn)證結(jié)果。在各單部件和鏈路故障，甚至整個(gè)數(shù)據(jù)中心故障，都可以實(shí)現(xiàn)業(yè)務(wù)自動(dòng)無(wú)縫切換。以下列舉各種故障場(chǎng)景的連續(xù)性分析：216。 216。GSLB 故障216。 SLB 故障216。 Web服務(wù)器故障216。 應(yīng)用服務(wù)器故障216。 Oracle RA故障216。 IBM DB2 故障216。 陣列故障216。 廣域網(wǎng)鏈路故障216。 站點(diǎn)間鏈路故障216。 站點(diǎn)故障 GSLB 故障兩站點(diǎn)各部署一臺(tái)GSLB (Global Server Load Balancing)，一個(gè)DC中只需配置一臺(tái)。上級(jí)DNS通過輪詢方式保證第一臺(tái)GSLB故障時(shí)其他的GSLB可以接替工作。圖51 GSLB故障數(shù)據(jù)流向示意數(shù)據(jù)中心A的GSLB故障，原來(lái)用戶繼續(xù)使用數(shù)據(jù)中心A的Web服務(wù)器訪問，業(yè)務(wù)正常運(yùn)行，如下描述新用戶的訪問情況，處理過程如下：，查詢?cè)撚蛎腄NS。，發(fā)現(xiàn)數(shù)據(jù)中心A的GSLB故障，訪問數(shù)據(jù)中心B的 GSLB，數(shù)據(jù)中心B的GSLB根據(jù)負(fù)載均衡策略返回IP地址給用戶。數(shù)據(jù)中心A的GSLB故障恢復(fù)后，上級(jí)DNS將訪問數(shù)據(jù)中心B的GSLB