【正文】 服務(wù)器的虛擬化 建設(shè)，雙活中心以大二層模式部署； 為確保數(shù)據(jù)中心的網(wǎng)絡(luò)安全，每臺核心交換機(jī)配置防火墻模塊，防火墻模塊配置為 HA 模式，實(shí)現(xiàn)防火墻板塊的硬件冗余。通過防火墻模塊實(shí)現(xiàn)區(qū)域之間安全的控制和訪問的限制； 各數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)區(qū)域接入交換機(jī)通過采用雙鏈路，上行至核心交換機(jī)， 30 以確保鏈路冗余。因同城雙活中心大二層模式建設(shè)，同城雙活中心相同網(wǎng)絡(luò)區(qū)域可實(shí)現(xiàn)二層互通； 鏈路設(shè)計(jì) 同城數(shù)據(jù)中心間核心交換機(jī)互聯(lián)采用 DWDM分離出的兩條 10GE 鏈路實(shí)現(xiàn)互聯(lián)，并采用虛擬化集群技術(shù)形成一臺邏輯核心交換機(jī)。 數(shù)據(jù)中心核心層設(shè)計(jì) 設(shè)計(jì)思路 根據(jù)以上網(wǎng)絡(luò)結(jié)構(gòu)需求以及數(shù)據(jù)中心網(wǎng)絡(luò)層次規(guī)劃中的分析，數(shù)據(jù)中心核心層的設(shè)計(jì)要點(diǎn)為： ? 同城雙活數(shù)據(jù)中心采用大二層 (L2)結(jié)構(gòu)，雙活中心與南寧容災(zāi)中心間考慮到鏈路經(jīng)濟(jì)性采用三層 (L3)結(jié)構(gòu) ? 高性能：核心層應(yīng)能高速無阻塞的轉(zhuǎn)發(fā)生產(chǎn)數(shù)據(jù)。 ? 高可擴(kuò)展：核心層結(jié)構(gòu)應(yīng)具備較高的可擴(kuò)展能力，并隨著業(yè)務(wù)的發(fā)展能夠進(jìn)行網(wǎng)絡(luò)規(guī)模的擴(kuò)展。 ? 高可靠性：網(wǎng)絡(luò)核心應(yīng)具備極高的可靠性，各數(shù)據(jù)中心應(yīng)具備雙核心結(jié)構(gòu)。 31 根據(jù)以上設(shè)計(jì)要點(diǎn)，要實(shí)現(xiàn)同城數(shù)據(jù)中心間大二層結(jié)構(gòu)， 可采用雙活中心核心交換機(jī)建立虛擬化集群交換機(jī)后互聯(lián)（方式一）與雙活數(shù)據(jù)中心直 接建立虛擬化集群交換機(jī)（方式二） 2 種方法實(shí)現(xiàn)。 下表列出了 2 種方法的技術(shù)比較。 相關(guān)特性 方式一 方式二 大二層技術(shù)實(shí)現(xiàn) 本中心雙核心交換機(jī)形成一臺邏輯交換機(jī)，實(shí)現(xiàn)二層互通。雙活中心間采用 Trunk方式實(shí)現(xiàn)大二層互通 雙活中心 4 臺核心交換機(jī)形成一臺虛擬核心交換機(jī)，實(shí)現(xiàn)二層互通。 網(wǎng)絡(luò)性能 本中心 2臺核心交換機(jī)形成虛擬交換機(jī)，雙活中心間為邏輯獨(dú)立，對本中心網(wǎng)絡(luò)性能有較大提高。 4臺核心交換機(jī)形成虛擬交換機(jī)后，端口數(shù)目、交換容量是各臺成員設(shè)備之和，極大提高了整個(gè)雙活數(shù)據(jù)中心的網(wǎng)絡(luò)性能。 可擴(kuò)展性 具備較高的可擴(kuò)展性 具備較高的可擴(kuò)展性 可靠性 具備較高的可靠性，考慮到大二層的部署需要配置 VRRP，以便于網(wǎng)關(guān)冗余。 具備較高的可靠性，邏輯上為單一核心交換機(jī)，無需配置VRRP 可管理性 需要分別管理雙活中心邏輯交換機(jī) 4 臺核心形成單臺邏輯交換機(jī)，便于網(wǎng)絡(luò)管理 經(jīng)濟(jì)性 為確保雙活中心互聯(lián)的鏈路冗余，雙活中心間部署至少 2 條物理鏈路（ 10GE），用于同城雙數(shù)據(jù)中心互聯(lián)。鏈路成本適中。 同城雙數(shù)據(jù)中心間除了部署至少 2 條物理鏈路（ 10GE）用于數(shù)據(jù)中心間數(shù)據(jù)轉(zhuǎn)發(fā)外，還需部署 2 條物理鏈路（ GE）用于防止邏輯交換機(jī)分裂。鏈路成本較高。 根據(jù)以上特性比較，采用方式二（雙活數(shù)據(jù)中心直接建立虛擬化集群交換機(jī)）在大二層技術(shù)實(shí)現(xiàn)、網(wǎng)絡(luò)性能、可靠性、可管理性上均優(yōu)于方式一（雙活中心核心交換機(jī)建立虛擬化集群交換機(jī)后互聯(lián)）。 考慮到本期項(xiàng)目統(tǒng)計(jì)將租用運(yùn)營商裸光纖（建議采用 2 條不同運(yùn)營商裸光 32 纖），并自建 DWDM（密集型光波復(fù)用）系統(tǒng)，可通過 DWDM 系統(tǒng)分出 2 對GE 鏈路用于防止邏輯交換機(jī)的分裂。 我們推薦采用方式二建立雙活數(shù)據(jù)中心核心層。 總局雙活數(shù)據(jù)中心核心層設(shè)計(jì) 總局同城 2 個(gè)數(shù)據(jù)中心組成雙活數(shù)據(jù)中心，同時(shí)承擔(dān)全國數(shù)據(jù)大集中后的業(yè)務(wù)數(shù)據(jù)核心層轉(zhuǎn)發(fā)。為確保核心節(jié)點(diǎn)設(shè)備的可靠性，各數(shù)據(jù)中心均配置雙核心交換機(jī)； 四臺核心交換機(jī)采用虛擬化集群技術(shù)形成一臺邏輯交換機(jī)，統(tǒng)一處理數(shù)據(jù)集中后的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)發(fā)。 4 臺核心交換機(jī)形成虛擬交換機(jī)后，端口數(shù)目、交換容量是各臺成員設(shè)備之和，極大提高了整個(gè)雙活數(shù)據(jù)中心的網(wǎng)絡(luò)性能。 為確保交換機(jī)間鏈路連接的冗余，四臺核心交換機(jī)間采用環(huán)形連接，相關(guān)鏈路連接方式與鏈路需求如下表。 互聯(lián)節(jié)點(diǎn) 連接方式 鏈路用途 備注 同數(shù)據(jù)中心內(nèi)核心交換機(jī)互聯(lián) 本地 10GE 鏈路 同數(shù)據(jù)中心核心交換機(jī)間的數(shù)據(jù)轉(zhuǎn)發(fā) 可采用多條 10GE 鏈路以鏈路聚合方式互聯(lián)，以提高本數(shù)據(jù)中心內(nèi)數(shù)據(jù)轉(zhuǎn)發(fā)的性能 33 同數(shù)據(jù)中心內(nèi)核心交換機(jī)互聯(lián) 本地 GE 鏈路 同數(shù)據(jù)中心核心交換機(jī)間防止核心分裂 可采用多條 GE 鏈路確保防分裂鏈路有效。 不同數(shù)據(jù)中心核心交換機(jī)互聯(lián) 2 條 10GE 鏈路（ DWDM） 不同數(shù)據(jù)中心間核心交換機(jī)數(shù)據(jù)轉(zhuǎn)發(fā) 本地 2 臺核心交換機(jī)均采用 1 條 10GE 鏈路分別連接對端不同核心交換機(jī)。 不同數(shù)據(jù)中心核心交換機(jī)互聯(lián) 2 條 GE 鏈路（ DWDM） 不同數(shù)據(jù)中心核心交換機(jī)間防止核心分裂 本地 2 臺核心交換機(jī)均采用 1 條 GE 鏈路分別連接對端不同核心交換機(jī)。 數(shù)據(jù)中心接入層設(shè)計(jì) 設(shè)計(jì)思路 根據(jù)以上網(wǎng)絡(luò)結(jié)構(gòu)需求以及數(shù)據(jù)中心網(wǎng)絡(luò)層次規(guī)劃中的分析，數(shù)據(jù)中心核心層的設(shè)計(jì)要點(diǎn)為： ? 高可靠性：數(shù)據(jù)中心接入層將接入大量不同類型的服務(wù)器。因此，接入層的可靠性較為重要，接入層交換機(jī)采用雙鏈路上行核心層。 ? 可擴(kuò)展性：接入層應(yīng)能夠通過增加接入交換機(jī)數(shù)量輕松實(shí)現(xiàn)網(wǎng)絡(luò)的擴(kuò)展。 ? 安全性：接入層與核心層間應(yīng)考慮部署相應(yīng)的安全產(chǎn)品，實(shí)現(xiàn)不同接入?yún)^(qū)域間部署不同的安全策略。 根據(jù)以上網(wǎng)絡(luò)分區(qū)規(guī)劃，除了數(shù)據(jù)中心內(nèi)部應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器通過接入層接入核心層外，總局?jǐn)?shù)據(jù)中心還將建設(shè)安全接入?yún)^(qū)，該接入?yún)^(qū)將采用安全設(shè)備與 Inter 及其他外部網(wǎng)絡(luò)實(shí)現(xiàn)邏輯隔離，并部署直接向互聯(lián)網(wǎng)及其他外部網(wǎng)絡(luò)用戶提供服務(wù)的應(yīng)用系統(tǒng)。 應(yīng)用系統(tǒng)與數(shù)據(jù)管理區(qū)接入設(shè)計(jì) 系統(tǒng)建設(shè)完成后，各數(shù)據(jù)中心應(yīng)用服務(wù)器采用刀片結(jié)合虛擬機(jī)方式建設(shè)，數(shù) 34 據(jù)庫服務(wù)器采用小型機(jī)建設(shè)。因此，建議應(yīng)用服務(wù)器的接入采用刀片機(jī)框自帶交換機(jī)接入核心層。數(shù)據(jù)管理區(qū)配置相應(yīng)的接入交換機(jī)用于數(shù)據(jù)庫服務(wù)器的統(tǒng)一接入。 相關(guān)詳細(xì)設(shè)計(jì)如下表： 接入 類型 鏈路連接 詳細(xì)設(shè)計(jì) 應(yīng)用系統(tǒng)接入 每臺刀片接入交換機(jī)采用 2條 10GE 鏈路分別接入不同核心交換機(jī) 由于核心層交換機(jī)采用虛擬化集群技術(shù)形成一臺邏輯交換機(jī)，支持跨設(shè)備鏈路聚合， 2 條 10GE 鏈路配置為鏈路聚合（ ）模式，實(shí)現(xiàn)上連鏈路的負(fù)載均衡（全雙工 40G）與鏈路冗余。 數(shù)據(jù)管理區(qū) 各數(shù)據(jù)管理區(qū)配置 2臺全萬兆接入交換機(jī)，采用 2條 10GE 鏈路分別連接 2臺核心交換機(jī) 2 臺全萬兆接入交換機(jī)采用虛擬化集群技術(shù)形成一臺邏輯交換機(jī)。由于核心層交換機(jī)同樣采用虛擬化集群技術(shù)形成一臺邏輯交換機(jī)，支持跨設(shè)備鏈路聚合， 2條 10GE 鏈 路 配 置 為 鏈 路 聚 合（ ）模式，實(shí)現(xiàn)上連鏈路的負(fù)載均衡（全雙工 40G）與鏈路冗余。 安全接入?yún)^(qū)、直屬局接入設(shè)計(jì) 統(tǒng)計(jì)數(shù)據(jù)大集中后，將在各數(shù)據(jù)中心部署安全接入?yún)^(qū)并提供直屬局廣域網(wǎng)入口。 安全接入?yún)^(qū)部署在數(shù)據(jù)中心邊界，實(shí)現(xiàn) Inter、外部網(wǎng)絡(luò)與數(shù)據(jù)中心的邏輯隔離，該區(qū)域內(nèi)部署相應(yīng)的對外服務(wù)應(yīng)用系統(tǒng)與網(wǎng)絡(luò)安全系統(tǒng)； 各直屬局采用廣域網(wǎng)鏈路與總局雙活數(shù) 據(jù)中心互聯(lián)，各數(shù)據(jù)中心均提供直屬局網(wǎng)絡(luò)入口，并采用安全設(shè)備實(shí)現(xiàn)邏輯隔離。 安全接入?yún)^(qū)與核心層采用 UTM 實(shí)現(xiàn)網(wǎng)絡(luò)邏輯。 UTM 配置相應(yīng)的防火墻、入侵防御、防病毒模塊，并配置為熱備模式，以提高網(wǎng)絡(luò)接入的可靠性。相關(guān)部署方案如下表： UTM 區(qū)域 拓?fù)溥B接 詳細(xì)設(shè)計(jì) 35 外網(wǎng)區(qū)域 UTM 采用 2 個(gè)網(wǎng)絡(luò)端口配置為外網(wǎng)端口，分別連接 Inter與外連單位接入交換機(jī)。 配置相應(yīng)的安全策略，允許外部網(wǎng)絡(luò)訪問 DMZ 特定主機(jī)的特定服務(wù)端口。配置相應(yīng)的 IPS 策略，實(shí)時(shí)監(jiān)控外部網(wǎng)絡(luò)對DMZ 區(qū)域的訪問，并阻斷入侵行為。啟用病毒檢測策略，防止病毒侵入 DMZ區(qū)域。 DMZ 區(qū)域 UTM 采用 1 個(gè)網(wǎng)絡(luò)端口配置為 DMZ 端口，連接安全接入?yún)^(qū)接入交換機(jī)。 啟用 NAT 功能，將 DMZ 區(qū)域內(nèi)對外提供服務(wù)的主機(jī)服務(wù)端口轉(zhuǎn)換至外部網(wǎng)絡(luò)。并制定相應(yīng)的安全策略允許 DMZ區(qū)域內(nèi)主機(jī)訪問內(nèi)網(wǎng)特定主機(jī)的特定服務(wù)端口。 內(nèi)網(wǎng)區(qū)域 UTM 采用 1 個(gè)網(wǎng)絡(luò)端口配置為內(nèi)網(wǎng)端口，連接核心交換機(jī)。 建議配置相應(yīng)防火墻策略禁止外部網(wǎng)絡(luò)直接訪問內(nèi)網(wǎng)區(qū)域。 各直屬局廣域網(wǎng)鏈路連接廣域網(wǎng)核心路由，在廣域網(wǎng)核心路由器與核心交換機(jī)間采用 UTM（ UTM 配置為熱備模式）實(shí)現(xiàn)網(wǎng)絡(luò)的邏輯隔離。相關(guān)部署方案如下表。 UTM 區(qū)域 拓?fù)溥B接 詳細(xì)設(shè)計(jì) 外網(wǎng)區(qū)域 UTM 采用 1 個(gè)網(wǎng)絡(luò)端口配置為外網(wǎng)端口，連接廣域網(wǎng)核心交換機(jī)。 配置相應(yīng)的安全策略，運(yùn)行直屬局訪問內(nèi)網(wǎng)特定主機(jī)的特定服務(wù)端口。配置相應(yīng)的 IPS 策略，實(shí)時(shí)監(jiān)控外部網(wǎng)絡(luò)對內(nèi)網(wǎng)的訪問，并阻斷入侵行為。啟用病毒檢測策略，防止病毒侵入內(nèi)網(wǎng)區(qū)域。 內(nèi)網(wǎng)區(qū)域 UTM 采用 1 個(gè)網(wǎng)絡(luò)端口配置為內(nèi)網(wǎng)端口，連接核心交換機(jī)。 內(nèi)、外間采用透明模式部署，允許動態(tài)路由協(xié)議通過防火墻。 36 lP 地址規(guī)劃 IP 地址規(guī)劃原則 IP 地址規(guī)劃應(yīng)遵循以下原則： ? 按照統(tǒng)計(jì)統(tǒng)一制定的劃分規(guī)則和地址段進(jìn)行二次分配。本次數(shù)據(jù)中心建設(shè)，為確保網(wǎng)絡(luò)順利過渡，直屬局 IP 地址規(guī)劃應(yīng)原則上維持原有分配，需調(diào)整部分應(yīng)報(bào)上總局信息中心批準(zhǔn)： ? 順應(yīng)網(wǎng)絡(luò)拓?fù)鋵哟谓Y(jié)構(gòu)，在有效地利用 IP 地址空間的同時(shí)，保證網(wǎng)絡(luò)的可擴(kuò)展性、靈活性和層次性； ? IP 地址的分配應(yīng)遵循同一網(wǎng)絡(luò)區(qū)域地址連續(xù)分配原剛，便于路由聚會，縮短路由表長度； ? 注意 IP 地址的節(jié)省，充分利用無類別域間路由 (CIDR)技術(shù)和變長子網(wǎng)掩碼 ( VLSM)技術(shù)，合理高效地利用 IP 地址。 ? 應(yīng)該從總局 ——直屬局，直屬局到地市局，地市局到辦事處，逐級明確網(wǎng)絡(luò)數(shù)量和每個(gè)網(wǎng)絡(luò)所需的 IP 地址數(shù)量，然后自頂向下統(tǒng)一分配二級網(wǎng)、三級網(wǎng)所占用的地址。 ? 在分配時(shí)，需要充分考慮各個(gè)網(wǎng)絡(luò)今后的擴(kuò)充性，應(yīng)給每個(gè)網(wǎng)絡(luò)分配一個(gè)連續(xù)的、可擴(kuò)充的 IP 地址網(wǎng)段，便于路由匯聚，以減少路由數(shù)量，提高轉(zhuǎn)發(fā)效率。 ? 應(yīng)單獨(dú)分配一個(gè)網(wǎng)段，用于標(biāo)識二級網(wǎng)、三級網(wǎng)的每個(gè)路由器的環(huán)路（ LOOPBACK 地址）。 ? 應(yīng)單獨(dú)分配一個(gè)網(wǎng)段，用于二級網(wǎng)、三級網(wǎng)、四級網(wǎng)互聯(lián)地址。為了減少 IP 地址浪費(fèi)，路由器廣域網(wǎng)地址均采用 30 位 IP 地址編碼（掩碼）。 ? 二級網(wǎng)、三級網(wǎng)、四級網(wǎng)要嚴(yán)格遵循統(tǒng)計(jì)關(guān)于 IP 地址的管理辦法，對IP 地址進(jìn)行統(tǒng)一分配和管理，確保 IP 地址的唯一和可擴(kuò)充。對 IP 地址段的任何規(guī)劃改變，一定向上一級部門申報(bào)，經(jīng)批準(zhǔn)后方可實(shí)施。 IP 地址規(guī)劃時(shí)，需要經(jīng)過三個(gè)步驟： ? 確定下級網(wǎng)絡(luò)的數(shù)量； 37 ? 確定每個(gè)網(wǎng)絡(luò)的最大主機(jī)（ IP 地址的）數(shù)量： ? 為每個(gè)下級網(wǎng)絡(luò)分配一個(gè)具有可擴(kuò)充性的 IP 地址段。 同城數(shù)據(jù)中心 IP 地址規(guī)劃注意事項(xiàng) 根據(jù)以上數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)，數(shù)據(jù)中心建成后同城雙活中心采用大二層方式建設(shè)。同城雙活數(shù)據(jù)中心配置四臺核心交換機(jī)，四臺核心交換機(jī)采用 虛擬化集群方式形成一臺邏輯交換機(jī)，每臺交換機(jī)部署防火墻板卡用于各內(nèi)部網(wǎng)絡(luò)區(qū)域的隔離，同一數(shù)據(jù)中心內(nèi)的兩塊防火墻板卡配置為熱備模式。各數(shù)據(jù)中心內(nèi)服務(wù)器網(wǎng)關(guān)均部署在本中心防火墻板卡上。由于同城數(shù)據(jù)中心采用大二層方式建設(shè)，為便于廣域網(wǎng)路由的選路，我們建議對各區(qū)域 IP 地址做相應(yīng)特殊規(guī)劃，相關(guān)原則如下： 雙活數(shù)據(jù)中心內(nèi)每一個(gè)網(wǎng)絡(luò)區(qū)域規(guī)劃一段 C 類地址（掩碼為 24 位）； 同一數(shù)據(jù)中心內(nèi) IP 地址連續(xù)分配（各半個(gè) C）； 示例：以數(shù)據(jù)管理區(qū) IP 規(guī)劃為例，假設(shè)數(shù)據(jù)管理區(qū) IP 地址段分配為，總局?jǐn)?shù)據(jù)中心內(nèi)的數(shù)據(jù) 管理區(qū)主機(jī)使用 ，網(wǎng)關(guān)為 （防火墻板卡 VLAN IP 地址）：同城另一數(shù)據(jù)中心數(shù)據(jù)管理區(qū)主機(jī)使用 ，網(wǎng)關(guān)為 （防火墻板卡VLAN IP 地址） 數(shù)據(jù)中心路由設(shè)計(jì) 路由協(xié)議選擇 路由協(xié)議用于學(xué)習(xí)和維護(hù)路由，為網(wǎng)絡(luò)通訊提供最佳路徑，路由協(xié)議選擇原則如下： ? 開放性和標(biāo)準(zhǔn)化 必須使用國際標(biāo)準(zhǔn)的路由協(xié)議，保證網(wǎng)絡(luò)的開放性，支持不同廠商設(shè)備的路由互連。 ? 可擴(kuò)展性 使用的路由協(xié)議必須具備良好的擴(kuò)展能力，能夠支持網(wǎng)絡(luò)規(guī)模的持續(xù)增長。 38 ? 支持?jǐn)?shù)據(jù)分流 路由協(xié)議應(yīng)該支持靈活的路由策略，通過調(diào)整路由策略，可以實(shí)現(xiàn)數(shù)據(jù)分流。 基于以上三點(diǎn)選擇原則，部署像全國統(tǒng)計(jì)網(wǎng)絡(luò)系統(tǒng)這種大型的網(wǎng)絡(luò)系統(tǒng)，可供選擇的路由協(xié)議有 OSPF 與 BGP。 BGP 是一種外部網(wǎng)關(guān)路由協(xié)議，主要用于大型網(wǎng)絡(luò)之間的路由交換。 BGP能夠處理超大容量的路由信息，支持豐富的路由屬性，能夠?qū)崿F(xiàn)靈活的路由策略。 OSPF 是一種內(nèi)部網(wǎng)關(guān)路由協(xié)議，用于自治系統(tǒng)內(nèi)部的路由交換。 OSPF 是目前最為流行的 IGP 路由協(xié)議，支持層次化路由 體系，具備良好的擴(kuò)展能力。 根據(jù)以上分析以及廣域網(wǎng)需要流量分流的特性，我們推薦廣域網(wǎng)改造采用BGP+OSPF 的雙層路由體系， BGP、 OSPF 都是 IETF 制定的通用路由協(xié)議，具備良好的擴(kuò)展能力，