【正文】 ................................................... 20 網(wǎng)絡(luò)設(shè)計 ....................................................................................................... 20 系統(tǒng)現(xiàn)狀 ............................................................................................ 20 需求分析 ............................................................................................ 22 數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計 .................................................................... 25 同城 DWDM 系統(tǒng)設(shè)計 .................................................................... 46 統(tǒng)計云大數(shù)據(jù)平臺基礎(chǔ)設(shè)施建設(shè)需求分析 ............................................... 49 建設(shè)需求分析 .................................................................................... 49 統(tǒng)計云大數(shù)據(jù)平臺基礎(chǔ)設(shè)施建設(shè)技術(shù)方案建議 .............................. 1 統(tǒng)計云大數(shù)據(jù)平臺基礎(chǔ)設(shè)施平臺兩地三中心建設(shè)方案建議 .......... 0 第四章 大數(shù)據(jù)支撐平臺設(shè)計 ...................................................................................... 8 大數(shù)據(jù)支撐平臺設(shè)計（ IOP） ......................................錯誤 !未定義書簽。 基礎(chǔ)設(shè)施建設(shè) 在基礎(chǔ)設(shè)施建設(shè)方面， 統(tǒng)計局 通過骨干網(wǎng)擴(kuò)容提速，實現(xiàn)國家局到 31 個省（市、區(qū)）統(tǒng)計局和新疆生產(chǎn)建設(shè)兵團(tuán)統(tǒng)計局的一級主干網(wǎng)， 采用了雙設(shè)備、雙線路的冗余架構(gòu)， 專線的網(wǎng)絡(luò) 帶寬已提升到 155M（數(shù)據(jù)） +2*2M（音視頻），另外還有 1*2 鏈路用來對網(wǎng)絡(luò)系統(tǒng)的帶外管理 ，大部分異地辦公的省級調(diào)查總隊實現(xiàn)了同城百兆光線的鏈接 。 7 （圖 7：國家統(tǒng)計信息網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)） 近年來， 統(tǒng)計局 利用虛擬化、資源池、云計算等新技術(shù)、新理念，對國家統(tǒng)計核心業(yè)務(wù)系統(tǒng)進(jìn)行資源整合，構(gòu)建了大規(guī)模聯(lián)機(jī)業(yè)務(wù)處理和高并發(fā)事務(wù)處理能力的核心業(yè)務(wù)系統(tǒng)，進(jìn)一步提升了統(tǒng)計數(shù)據(jù)處理系統(tǒng)的可靠性、安全性，為未來全國統(tǒng)計業(yè)務(wù)的統(tǒng)一在線處理提供云服務(wù)打下了基礎(chǔ)。目前核心機(jī)房的設(shè)備大約分為三大部分： 1. 小型機(jī)系統(tǒng)：主要承載 統(tǒng)計局核心業(yè)務(wù)系統(tǒng) 的各個關(guān)鍵應(yīng)用及 Oracle 數(shù)據(jù)庫 ； 2. 虛擬化 平臺：包括 300 多臺 PC 服務(wù)器、 150TB 磁盤陣列的虛擬化資源池，部署了 160 多個不同類型和部門的應(yīng)用軟件系統(tǒng)； 8 3. PC 服務(wù)器：采用物理機(jī)的方式部署了覆蓋系統(tǒng)所有工作人員的電子郵件系統(tǒng)與 OA 系統(tǒng)。 采用 3G/4G 無線 網(wǎng)絡(luò)技術(shù)，已在全國 500 個城市開展了手持移動電子采價系統(tǒng)在統(tǒng)計數(shù)據(jù)采集 工作中的應(yīng)用。 統(tǒng)計局核心業(yè)務(wù)系統(tǒng)采用采用虛擬化技術(shù)，提供統(tǒng)一的 WEB 服務(wù)、數(shù)據(jù)庫服務(wù)、存儲服務(wù)以及管理調(diào)度，支持企業(yè)聯(lián)網(wǎng)直報系統(tǒng)、第六次人口 普查和第二次、第三次經(jīng)濟(jì)普查等重要統(tǒng)計業(yè)務(wù)的數(shù)據(jù)采集和處理工作。目前聯(lián)網(wǎng)直報系統(tǒng)采用全國集中部署和使用， 17 個?。▍^(qū)、市）的企業(yè)通過網(wǎng)絡(luò)直接向 統(tǒng)計局 數(shù)據(jù)中心報送數(shù)據(jù)， 14個?。▍^(qū)、市）的企業(yè)通過網(wǎng)絡(luò)向國家批準(zhǔn)的省級節(jié)點(diǎn)報送數(shù)據(jù)，國家實時從省級節(jié)點(diǎn)抓取原始數(shù)據(jù)。以農(nóng)村社會經(jīng)濟(jì)調(diào)查司為例，該司目前通過高分遙感衛(wèi)星（ 863 項目），結(jié)合 GPS、 GIS 對農(nóng)產(chǎn)品進(jìn)行種植面積、 產(chǎn)量、 災(zāi)情等數(shù)據(jù)的 調(diào)查、 統(tǒng)計、預(yù)測及可視化展現(xiàn)。 ? 專業(yè)工作數(shù)據(jù)庫 使用數(shù)據(jù)倉庫和專業(yè)統(tǒng)計分析、數(shù)據(jù)挖掘工具軟件，建設(shè)形成專業(yè)性的主題數(shù)據(jù)庫或數(shù)據(jù)倉庫系統(tǒng)，支持?jǐn)?shù)據(jù)處理階段后專業(yè)內(nèi)部針對基礎(chǔ)數(shù)據(jù)深入的分析匯總和結(jié)構(gòu)查詢，這部分功能應(yīng)在物理隔斷的涉密網(wǎng)運(yùn)行管理；支持跨專業(yè)、跨部門的綜合數(shù)據(jù)共享查詢，支持綜合應(yīng)用庫的建設(shè)和應(yīng)用，這部分功能需在邏輯隔斷的內(nèi)網(wǎng)運(yùn)行管理。 ? 基礎(chǔ)支撐數(shù)據(jù)庫 一是統(tǒng)計調(diào)查項目管理數(shù)據(jù)庫、基本單位名錄庫等元數(shù)據(jù)管理系統(tǒng)，二是地理信息和遙感信息等基礎(chǔ)信息管理系統(tǒng)，為統(tǒng)計工作和其他數(shù)據(jù)庫提供基礎(chǔ)性共享信息支撐。 ? 物理安全保障 全國約 3/4 的統(tǒng)計部門建設(shè)了專用機(jī)房，大多數(shù)機(jī)房配置了專用設(shè)備，采取了安全措施。 關(guān)鍵 問題 分析 隨著經(jīng)濟(jì)全球化和中國經(jīng)濟(jì)的快速增長，各級黨委和政府、企業(yè)、社會團(tuán)體和社會公眾都越來越多地關(guān)注統(tǒng)計信息，對統(tǒng)計數(shù)據(jù)的準(zhǔn)確及時、客觀完整提出了更高的要求。但從技術(shù)視角來看，還存在需要進(jìn)一步改進(jìn)提升的空間和薄弱環(huán)節(jié)，主要表現(xiàn)在： ? 信息化建設(shè)缺乏有效的頂層設(shè)計 和統(tǒng)籌規(guī)劃 ； ? 各個 系統(tǒng) 技術(shù)架構(gòu)封閉， 整合交互少，信息孤島多 ； ? 重生產(chǎn)支撐輕協(xié)同共享，缺乏對數(shù)據(jù)資源的深度開發(fā)利用 ； ? 缺乏統(tǒng)一的數(shù)據(jù)和技術(shù)標(biāo)準(zhǔn) ，系統(tǒng)融合困難 ； ? 現(xiàn)有技術(shù)架構(gòu)缺乏對大數(shù)據(jù)的 有效 處理能力 。 一方面，計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和空間信息技術(shù)的巨大進(jìn)步，為提高統(tǒng)計生產(chǎn)力提供了廣闊空間。 開放的統(tǒng)計云數(shù)據(jù)平臺 目前，政府統(tǒng)計部門對企業(yè)、家庭、個人的調(diào)查都是通過預(yù)先設(shè)定好的統(tǒng)計標(biāo)準(zhǔn)報表，要求調(diào)查對象按照表中的統(tǒng)計指標(biāo)填報數(shù)據(jù)，然后整理匯總成最終的統(tǒng)計數(shù)據(jù)并對外公布。 數(shù)據(jù)計算和存儲：通過建設(shè)穩(wěn)定的大數(shù)據(jù)資源平臺來支持?jǐn)?shù)據(jù)庫技術(shù)和云存儲技術(shù)，解決對基礎(chǔ)設(shè)施的管控和數(shù)據(jù)計算和存儲問題，形成整個系統(tǒng)的平臺處理基礎(chǔ)。 數(shù)據(jù)采集與拓展方面的主要需求有： 15 ：目前的政府統(tǒng)計是在統(tǒng)一標(biāo)準(zhǔn)下處理結(jié)構(gòu)化數(shù)據(jù)，然而統(tǒng)計局現(xiàn)存的歷史數(shù)據(jù)多以文本、音頻、視頻、照片等非結(jié)構(gòu)化形式存在，處理大量缺乏統(tǒng)一標(biāo)準(zhǔn)的非結(jié)構(gòu)化數(shù)據(jù)是現(xiàn)階段統(tǒng)計分析業(yè)務(wù)應(yīng)首要解決的問題。 ：從非標(biāo)準(zhǔn)化、信息量繁雜的網(wǎng)絡(luò)信息中抓取核心的關(guān)鍵數(shù)據(jù)，對這些信息進(jìn)行標(biāo)準(zhǔn)分類轉(zhuǎn)換，按照統(tǒng)計局的統(tǒng)一業(yè)務(wù)標(biāo)準(zhǔn)進(jìn)行有效分類。 ：摒棄傳統(tǒng)的表格、餅柱圖等分析方式，借助圖形化手段，清晰有效地傳達(dá)與溝通信息。統(tǒng)計局各業(yè)務(wù)司希望可以利用大數(shù)據(jù)的分析處理技術(shù)，挖掘更多數(shù)據(jù)資源來作為現(xiàn)有數(shù)據(jù)基礎(chǔ)的驗證和參考。二、雙活數(shù)據(jù)中心如果中斷了一個數(shù)據(jù)中心，另外一個數(shù)據(jù)中心還在運(yùn)行，對用戶來說是不可感知的。各 市 局到 省局 數(shù)據(jù)中心的帶寬各個局不一樣， 根據(jù) 各省條件 不同 ，配置 10Mbps 以上省屬 專線。各 市 局到 省局 數(shù)據(jù)中心的帶寬各個局不一樣， 根據(jù) 各省條件 不同 ，配置 10Mbps 以上省屬 專線。各直屬局接入路由為配置為 OSPF 區(qū)域邊界路由模式，未進(jìn)行直屬局路由匯總。因此，統(tǒng)計云數(shù)據(jù)中心對網(wǎng)絡(luò)系統(tǒng)具備 相 當(dāng)高的要求，以下簡要從網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)分區(qū)、網(wǎng)絡(luò)性能、流量負(fù)載均衡、網(wǎng)絡(luò)安全等幾個方面進(jìn)行相關(guān)的需求分析。 ? 業(yè)務(wù)應(yīng)用區(qū)：部署總局端的業(yè)務(wù)應(yīng)用系統(tǒng)。 ? 安全接入?yún)^(qū)：用于實現(xiàn)與互聯(lián)網(wǎng)的安全連接和邏輯隔離，包括各種安全保障設(shè)施，以及直接向互聯(lián)網(wǎng)用戶提供服務(wù)的應(yīng)用系統(tǒng)?？偩殖休d著總局對兩個中心的所有數(shù)據(jù)訪問流量，采用專線互聯(lián)至兩個中心，實現(xiàn)三層互聯(lián)，便于管理和使用。因此，系統(tǒng)建設(shè)完成后，需要將日常的業(yè)務(wù)流量均衡至北京雙活中心。 數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計 系統(tǒng)設(shè)計原則 安全性 根據(jù)政府行業(yè)特點(diǎn)，安全問題顯得尤為重要。 可靠性 對于統(tǒng)計全國數(shù)據(jù)大集中建設(shè)來說，可靠性也是必須重點(diǎn)考慮的目標(biāo)。 統(tǒng)計骨干網(wǎng)與數(shù)據(jù)中心建成后，系統(tǒng)應(yīng)能滿足統(tǒng)計業(yè)務(wù)發(fā)展長期需要，那么對于鏈路的帶寬，所用網(wǎng)絡(luò)設(shè)備對實時性要求高的數(shù)據(jù)傳輸?shù)闹С值?，在系統(tǒng)的設(shè)計時將重點(diǎn)考慮。 可擴(kuò)展性 統(tǒng)計數(shù)據(jù)大集中以及數(shù)據(jù)中心的建設(shè)是一個長遠(yuǎn)的建設(shè)項目，且在將來的運(yùn) 26 行過程中仍然存在根據(jù)業(yè)務(wù)發(fā)展對網(wǎng)絡(luò)進(jìn)行調(diào)整的可能，系統(tǒng)的建設(shè) 要 求靈活、可擴(kuò)展性好。 網(wǎng)絡(luò)層次規(guī)劃 根據(jù)以上對網(wǎng)絡(luò)結(jié)構(gòu)需求的分析，建設(shè)完成后的總局雙活中心應(yīng)考慮高可用遠(yuǎn)程集群技術(shù)以及虛擬機(jī)遷移技術(shù)在數(shù)據(jù)中心中的應(yīng)用，總局雙活中心將建設(shè)為大二層模式。以下簡要介紹核心層與接入層的功能。接入層所面對的是大量不同類型的服務(wù)器，要求簡單高效，同時滿足服務(wù)器高可靠連接的要求。 接入層 各業(yè)務(wù)區(qū)域連接匯接點(diǎn)，同時也是不同區(qū)域安全策略部署點(diǎn) 高可靠性：數(shù)據(jù)中心接入層將接入大量不同類型的服務(wù)器，因此，接入層的可靠性較為重要，對接入層交換機(jī)建議采用雙鏈路接入核心層，同時服務(wù)器也采用雙鏈路接入層交換機(jī)。 ? 業(yè)務(wù)應(yīng)用區(qū)：部署總局端的業(yè)務(wù)應(yīng)用系統(tǒng)。 ? 安全接入?yún)^(qū)：用于實現(xiàn)與互聯(lián)網(wǎng)的安全連接和邏輯隔離，包括各種安全保障設(shè)施，以及直接向互聯(lián)網(wǎng)用戶提供服務(wù)的應(yīng)用系統(tǒng)。 該區(qū)域主要部署接入交換機(jī)及電子業(yè)務(wù)平臺相關(guān)服務(wù)器等 公共服務(wù)區(qū) 部署公共服務(wù)、 WEB 服務(wù)和安全管理所需要的各種設(shè)施和應(yīng)用系統(tǒng)。 其他 IT 管控區(qū) 該區(qū)域為邏輯區(qū)域，負(fù)責(zé)管理數(shù)據(jù)中心全網(wǎng)相關(guān)安全設(shè)備與 IT設(shè)備。兼顧遠(yuǎn)期發(fā)展目標(biāo)，在總局建設(shè)同城雙活中心，南寧數(shù)據(jù)中心為容災(zāi)中心，形成兩地三中心的數(shù)據(jù)中心模式。為配合業(yè)務(wù)應(yīng)用服務(wù)器的虛擬化 建設(shè)，雙活中心以大二層模式部署； 為確保數(shù)據(jù)中心的網(wǎng)絡(luò)安全，每臺核心交換機(jī)配置防火墻模塊，防火墻模塊配置為 HA 模式，實現(xiàn)防火墻板塊的硬件冗余。 ? 高可擴(kuò)展：核心層結(jié)構(gòu)應(yīng)具備較高的可擴(kuò)展能力，并隨著業(yè)務(wù)的發(fā)展能夠進(jìn)行網(wǎng)絡(luò)規(guī)模的擴(kuò)展。 相關(guān)特性 方式一 方式二 大二層技術(shù)實現(xiàn) 本中心雙核心交換機(jī)形成一臺邏輯交換機(jī)，實現(xiàn)二層互通。 可擴(kuò)展性 具備較高的可擴(kuò)展性 具備較高的可擴(kuò)展性 可靠性 具備較高的可靠性，考慮到大二層的部署需要配置 VRRP，以便于網(wǎng)關(guān)冗余。鏈路成本較高。 總局雙活數(shù)據(jù)中心核心層設(shè)計 總局同城 2 個數(shù)據(jù)中心組成雙活數(shù)據(jù)中心，同時承擔(dān)全國數(shù)據(jù)大集中后的業(yè)務(wù)數(shù)據(jù)核心層轉(zhuǎn)發(fā)。 互聯(lián)節(jié)點(diǎn) 連接方式 鏈路用途 備注 同數(shù)據(jù)中心內(nèi)核心交換機(jī)互聯(lián) 本地 10GE 鏈路 同數(shù)據(jù)中心核心交換機(jī)間的數(shù)據(jù)轉(zhuǎn)發(fā) 可采用多條 10GE 鏈路以鏈路聚合方式互聯(lián)，以提高本數(shù)據(jù)中心內(nèi)數(shù)據(jù)轉(zhuǎn)發(fā)的性能 33 同數(shù)據(jù)中心內(nèi)核心交換機(jī)互聯(lián) 本地 GE 鏈路 同數(shù)據(jù)中心核心交換機(jī)間防止核心分裂 可采用多條 GE 鏈路確保防分裂鏈路有效。因此，接入層的可靠性較為重要，接入層交換機(jī)采用雙鏈路上行核心層。 應(yīng)用系統(tǒng)與數(shù)據(jù)管理區(qū)接入設(shè)計 系統(tǒng)建設(shè)完成后，各數(shù)據(jù)中心應(yīng)用服務(wù)器采用刀片結(jié)合虛擬機(jī)方式建設(shè)，數(shù) 34 據(jù)庫服務(wù)器采用小型機(jī)建設(shè)。 數(shù)據(jù)管理區(qū) 各數(shù)據(jù)管理區(qū)配置 2臺全萬兆接入交換機(jī)，采用 2條 10GE 鏈路分別連接 2臺核心交換機(jī) 2 臺全萬兆接入交換機(jī)采用虛擬化集群技術(shù)形成一臺邏輯交換機(jī)。 安全接入?yún)^(qū)與核心層采用 UTM 實現(xiàn)網(wǎng)絡(luò)邏輯。配置相應(yīng)的 IPS 策略，實時監(jiān)控外部網(wǎng)絡(luò)對DMZ 區(qū)域的訪問，并阻斷入侵行為。并制定相應(yīng)的安全策略允許 DMZ區(qū)域內(nèi)主機(jī)訪問內(nèi)網(wǎng)特定主機(jī)的特定服務(wù)端口。相關(guān)部署方案如下表。啟用病毒檢測策略，防止病毒侵入內(nèi)網(wǎng)區(qū)域。本次數(shù)據(jù)中心建設(shè)，為確保網(wǎng)絡(luò)順利過渡，直屬局 IP 地址規(guī)劃應(yīng)原則上維持原有分配，需調(diào)整部分應(yīng)報上總局信息中心批準(zhǔn)： ? 順應(yīng)網(wǎng)絡(luò)拓?fù)鋵哟谓Y(jié)構(gòu)，在有效地利用 IP 地址空間的同時，保證網(wǎng)絡(luò)的可擴(kuò)展性、靈活性和層次性； ? IP 地址的分配應(yīng)遵循同一網(wǎng)絡(luò)區(qū)域地址連續(xù)分配原剛，便于路由聚會，縮短路由表長度； ? 注意 IP 地址的節(jié)省，充分利用無類別域間路由 (CIDR)技術(shù)和變長子網(wǎng)掩碼 ( VLSM)技術(shù)，合理高效地利用 IP 地址。 ? 應(yīng)單獨(dú)分配一個網(wǎng)段，用于二級網(wǎng)、三級網(wǎng)、四級網(wǎng)互聯(lián)地址。 IP 地址規(guī)劃時，需要經(jīng)過三個步驟： ? 確定下級網(wǎng)絡(luò)的數(shù)量； 37 ? 確定每個網(wǎng)絡(luò)的最大主機(jī)（ IP 地址的）數(shù)量： ? 為每個下級網(wǎng)絡(luò)分配一個具有可擴(kuò)充性的 IP 地址段。由于同城數(shù)據(jù)中心采用大二層方式建設(shè)，為便于廣域網(wǎng)路由的選路，我們建議對各區(qū)域 IP 地址做相應(yīng)特殊規(guī)劃，相關(guān)原則如下： 雙活數(shù)據(jù)中心內(nèi)每一個網(wǎng)絡(luò)區(qū)域規(guī)劃一段 C 類地址（掩碼為 24 位）； 同一數(shù)據(jù)中心內(nèi) IP 地址連續(xù)分配（各半個 C）； 示例：以數(shù)據(jù)管理區(qū) IP 規(guī)劃為例，假設(shè)數(shù)據(jù)管理區(qū) IP 地址段分配為，總局?jǐn)?shù)據(jù)中心內(nèi)的數(shù)據(jù) 管理區(qū)主機(jī)使用 ，網(wǎng)關(guān)為 （防火墻板卡 VLAN IP 地址）：同城另一數(shù)據(jù)中心數(shù)據(jù)管理區(qū)主機(jī)使用 ，網(wǎng)關(guān)為 （防火墻板卡VLAN IP 地址） 數(shù)據(jù)中心路由設(shè)計 路由協(xié)議選擇