【導讀】更多資料請訪問達人冰川主頁——。歡迎加入社區(qū)管理資料團——。管管理理學學資資料料。二〇二〇年十二月。廣廣西西電電子子口口岸岸網(wǎng)網(wǎng)絡絡平平臺臺建建設設。技技術術建建議議書書。中國電信集團系統(tǒng)集成有限責任公司廣西分公司。內(nèi)內(nèi)容容摘摘要要。為了保證廣西電子口岸平臺項目建成后是一個穩(wěn)定、安全、性能優(yōu)秀、先。進、可擴展的信息系統(tǒng)，中國電信集團系統(tǒng)集成有限責任公司廣西分公司的相關。技術工程師認真仔細地分析了建設廣西電子口岸平臺項目建設的需求和實際情。況，對本網(wǎng)絡系統(tǒng)進行了科學、合理的設計，對其中部分內(nèi)容，根據(jù)我們的經(jīng)驗。提出了相應的建議。并考慮了網(wǎng)絡系統(tǒng)的高可靠性、穩(wěn)定性、擴展性與優(yōu)化等內(nèi)容。

　　

【正文】 出現(xiàn)網(wǎng)絡處理能力的瓶頸。 對于核心交換機的配置， 建議每單臺核心交換機的配置，在投資允許的情況下，配備雙處理引擎。這樣，在雙機熱備系統(tǒng)中就配備了二組引擎（對應二臺核心交換機），共四個處理引擎，其中單臺核心交換機的引擎組中，一個引擎工作，另一個處于待命狀態(tài)，當主引擎出現(xiàn)故障停止工作，備用引擎則立刻接管主引擎的工作；當主核心交換機的備用引擎也出現(xiàn)故障停止工作，導致主核心交換機停止工作時， HA 系統(tǒng)將指導備份核心交換機接管失效主核心交換機的工作。同樣的，備份核心交換機的引擎組里面也是主引擎 工作，備份引擎hotstandby，并（當主引擎失效）隨時接管主引擎的工作。這樣的核心交換機的配置（單機雙引擎）可以為核心交換機 HA 系統(tǒng)提供更可靠的保護，無疑也提高了數(shù)據(jù)庫系統(tǒng)的高可靠性、高可用性、高穩(wěn)定性。 更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 為了更好的實現(xiàn)數(shù)據(jù)備份，我們建議增加一臺備份服務器，配合盤陣系統(tǒng)、磁帶庫系統(tǒng)，對 DMZ2 區(qū)域中的應用服務器系統(tǒng)的數(shù)據(jù)（或應用系統(tǒng)本身）、前置服務器系統(tǒng)等數(shù)據(jù)進行備份。 由于該區(qū)域是安全高敏感區(qū)域，需要對發(fā)生在該區(qū)域的訪問行為進行監(jiān)控，基于這方面的考慮，我們建議部署入侵檢測系統(tǒng) IDS，對非法的網(wǎng)絡入 侵行為進行檢測、告警，提供相應的信息讓網(wǎng)絡系統(tǒng)管理員掌控該區(qū)域的安全情況。當然，從經(jīng)濟性角度出發(fā)，建議 IDS 對安全內(nèi)網(wǎng)區(qū)域網(wǎng)絡和 DMZ2 區(qū)域網(wǎng)絡同時進行檢測、監(jiān)控，這樣避免部署兩臺 IDS 系統(tǒng)來完成同樣的工作。進一步的防范措施，將 IDS 和核心防火墻進行聯(lián)動配置， IDS 根據(jù)攻擊特征數(shù)據(jù)庫對該區(qū)域的網(wǎng)絡訪問 /攻擊行為進行模式匹配，當發(fā)現(xiàn)可疑的訪問行為時， IDS告警；當發(fā)現(xiàn)確切的攻擊行為時（攻擊模式匹配成功）， IDS 系統(tǒng)將和告知防火墻并讓其斷開該攻擊連接，使相應的攻擊失效。當然直接部署 IPS（入侵防護系統(tǒng)）可以直接 將網(wǎng)絡攻擊行為隔離，無需和防火墻進行聯(lián)動。 在安全內(nèi)網(wǎng)還建議部署一臺 增加漏洞掃描服務器，按照掃描策略，定時對相關網(wǎng)絡區(qū)域進行漏洞 掃描 ，尋找系統(tǒng)可能存在的漏洞并建議網(wǎng)管做好應對 。 DMZ1 內(nèi)部廣域網(wǎng)部分設計 廣西電子口岸系統(tǒng)平臺要成為廣西全區(qū)進出口岸業(yè)務 的互聯(lián)、互動、信息交換、資源共享的基礎構架 ，除了核心系統(tǒng)要重點建設外，為終端系統(tǒng)提供高效的接入也很關鍵。只有終端系統(tǒng)方便的接入到核心業(yè)務網(wǎng)中，才能讓相關的電子口岸業(yè)務在大范圍內(nèi)順利開展，才能真正發(fā)揮電子口岸的價值。所以， DMZ1內(nèi)部廣域網(wǎng)區(qū)域是本次網(wǎng)絡平臺構建的 重點，主要是為廣西各口岸包括檢驗防疫、邊防等 18 個相關部門單位和 25 個口岸現(xiàn)場提供廣域網(wǎng)接入。 DMZ1 區(qū)內(nèi)廣域網(wǎng)部分的設備主要是廣域組網(wǎng)的路由設備，包括核心路由器、接入路由器以及局域網(wǎng)交換機等。 DMZ1區(qū)內(nèi)部廣域網(wǎng)是廣西電子口岸網(wǎng)絡平臺終端系統(tǒng)業(yè)務流量的匯聚點，是廣西電子口岸網(wǎng)絡平臺的核心之一。它實現(xiàn)整個網(wǎng)絡高性能、高可靠性的業(yè)務數(shù)據(jù)路由轉發(fā)，是整網(wǎng)良好運行的關鍵之一。對于廣西電子口岸網(wǎng)絡平臺這樣的星樹型結構網(wǎng)絡，路由系統(tǒng)的處理性能、可靠、穩(wěn)定性等因素決定了內(nèi)部更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 廣域網(wǎng)絡的運行狀況。 為了確保內(nèi)部廣域網(wǎng)的穩(wěn) 定、可靠運行， 對于核心路由設備的要求可以歸納如下： ? 支持雙機備份功能：由于中心的路由設備設計有可能是采用雙機備份的配置方式，所以中心的路由設備必須支持雙機備份協(xié)議，如 VRRP等。 ? 端口需求：要求具有至少三個 100Mb/s 以太端口（ GE 口更佳）分別用于連接核心防火墻系統(tǒng)和雙機連接，同時配置對應下接分支節(jié)點的 2M數(shù)字電路接口。 ? 核心路由設備需要具備運行高穩(wěn)定性。 ? 設備應有可靠性的冗余措施，建議采用雙主控，兩個路由交換單元互為備份；多電源且電源模塊相互備份，所有單板支持在線熱插拔功能；軟件上支持高可靠性備份技術， 包括鏈路備份、接口備份、路由備份等，能夠提供足夠的擴展插槽，便于擴容。 在此次的項目中我們主要考慮通過中心節(jié)點核心路由器和各個口岸單位分支節(jié)點路由器及下屬的交換設備，結合電信 SDH 傳輸網(wǎng)提供的組網(wǎng)數(shù)字線路，構建廣西電子口岸內(nèi)部廣域網(wǎng)絡系統(tǒng)平臺。其中憑祥作為重要的試點進行建設，為以后其他分支節(jié)點的建設積累工程經(jīng)驗。同時考慮將來廣西各電子口岸包括檢驗防疫、邊防等 18 個相關部門單位和 25 個口岸現(xiàn)場的接入和系統(tǒng)擴展。因此，我們在建立核心路由節(jié)點的時候，盡量保證核心節(jié)點的冗余性、穩(wěn)定、高可靠性、可靈活擴展，確保相關業(yè) 務數(shù)據(jù)在該節(jié)點處被正確、高效的路由、轉發(fā)，同樣要避免在該處形成瓶頸。 中心節(jié)點 ： 由于需要確保業(yè)務的高穩(wěn)定、高可靠、高可用性，我們建議 由兩臺高性能的路由器（建議采用雙主控）組成，兩臺核心路由器可以采用雙機熱備的方式配置，也可以配置成負載均衡的方式。從提高租用線路的利用率角度出發(fā)， 建議配置成負載均衡的方式 ，然后在核心路由器和分支節(jié)點路由器之間采用動態(tài)路由的方式，利用動態(tài)路由協(xié)議的特性，如 OSPF，實現(xiàn)內(nèi)部廣域網(wǎng)絡拓樸自動發(fā)現(xiàn)、維護，路由表項的自動更新，同時實現(xiàn)鏈路的負載均衡。核心路由器上連接下面分支節(jié)點 2M 線路 的接口模塊選擇（有高速串口、 E1 接更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 口模塊、 CPOS 接口模塊可選），詳見下面的核心接口類型分析。 分支節(jié)點 接入路由器： 主要由一臺中端性能的路由器組成，通過二條 2M電路上連至二臺核心路由器，將各個口岸單位的局域網(wǎng)接入到電子口岸廣域網(wǎng)中，形成一個統(tǒng)一、整體的網(wǎng)絡。從我們工程實施、維護的經(jīng)驗來看，建議接入路由器和核心路由器間采用動態(tài)路由，路由協(xié)議建議采用 OSPF 協(xié)議。接入路由器后接該分支節(jié)點的局域網(wǎng)交換機，為該處的終端用戶提供網(wǎng)絡接入服務。 因憑祥節(jié)點需要作為試點來進行重點建設，其覆蓋范圍要延伸至前置貨場、友誼關聯(lián) 檢樓、南山物流園，因為這幾個點就在憑祥本地，建議直接采用交換機組網(wǎng)的方式，即前置貨場、友誼關聯(lián)檢樓、南山物流園處部署接入交換機，經(jīng)過當?shù)貍鬏斁W(wǎng)的 2M 數(shù)字線路直接連接到憑祥節(jié)點的局域網(wǎng)交換機上（建議該交換機為三層交換機）。 由于該節(jié)點還要連接檢驗檢疫、邊防等口岸單位，而這些單位對于電子口岸系統(tǒng)本身而言屬處于安全區(qū)域之外，所以需要增強安全方面的防護，如增設防火墻，對于這些外接單位，在防火墻上配置成只允許相應的業(yè)務系統(tǒng)數(shù)據(jù)進出，其他則拒絕。 有關內(nèi)部廣域網(wǎng)系統(tǒng)更詳細的路由設計，請參考下面相關章節(jié) 的路由設計部分。 DMZ1 內(nèi)部廣域網(wǎng)區(qū)域拓樸，如下圖示： 更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 核心路由器和分支節(jié)點路由器之間的連接（ 2M 線路的兩端），因涉及到路由器設備上的接口模塊配置問題，選擇的接口模塊不同，價格也不盡相同，所以還有個路由器設備接口類型的選擇問題，主要是核心路由器端的接口選擇，即采用傳統(tǒng)的 接口方式、 E1 接口、還是 ChannelPOS 的方式進行連接。 以下對這幾種方式進行簡單的分析。 傳統(tǒng)的 接口方式，在 2M 線路從傳輸網(wǎng)局端拉光纖到核心路由器所在處，經(jīng)過光端機，分出若干個 2M 線路（ 接口），然后經(jīng)過協(xié)議轉換 器，上到核心路由器的高速串口模塊，連接的路徑為：（傳輸網(wǎng) ,光纖，將相應的 2M數(shù)據(jù)從傳輸網(wǎng)上解復用） （光端機 , ） （協(xié)議轉換器 , 轉 ）（核心路由器高速串口模塊， ）。 E1 接口方式，與傳統(tǒng) 方式相比，不同之處在于： 路由器上的接口模塊不同， 對應高速串口， 接口對應 E1 接口模塊； 不再使用協(xié)議轉換器。連接的路徑為：（傳輸網(wǎng) ,光纖，將相應的 2M 數(shù)據(jù)從傳輸網(wǎng)上解復用） （光端機 , ） （核心路由器高速 E1 接口模塊， ）。 ChannelPOS 的方式 ,直接從傳輸機房拉 155M 的光纖線路到核心路由器節(jié)點，不再需要光端機和協(xié)議轉換器，光纖跳線直接插入核心路由器上的 CPOS接口模塊。連接的路徑為：（傳輸網(wǎng) ,光纖） （核心路由器高速 CPOS 接口模塊，更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 從 155M 線路上將相應的 2M 數(shù)據(jù)解復用）。 這幾種接口方式的優(yōu)劣比較： 接口方式比較便宜，但是經(jīng)過協(xié)議轉換器后，對網(wǎng)絡排障增加了難度，因協(xié)議轉換器不可管理，其出現(xiàn)故障后很難定位，我們大量的工程實施經(jīng)驗表明，網(wǎng)絡出現(xiàn)問題很多情況下是由于協(xié)議轉換器的隱性故障造成的； 接 口方式比 方式稍貴，但由于不再使用協(xié)議轉換器，減少了故障點，利于網(wǎng)絡的運維。以上兩種方式都還存在一個很大的問題，由于和下面分支節(jié)點是一一對應的關系，導致核心節(jié)點處的連接線纜繁多。相比而言， CPOS 接口方式就十分清爽，只有對應的一條光纖線纜，而且 155M 線路可以通道化為 63 個 2M 線路，具備靈活的擴展性和擴展空間，今后系統(tǒng)擴容的時候無需再增加線纜，只是在傳輸網(wǎng)上將相應的線路時隙劃歸這條 155M 線路，然后在核心路由器上作相應的配置即可，但這種接口方式比較昂貴。 總之，從網(wǎng)絡運維的角度出發(fā)，不建議采用 的接口方式；從性價比方面考慮，建議采用 的接口方式；如果投資允許， 建議采用 CPOS 方式，相應的，核心路由器上的接口模塊也作對應的選擇。 DMZ2 區(qū)域部分設計 由上面的數(shù)據(jù)流路由分析可以看到，處于 DMZ2 區(qū)域的應用服務器成為電子口岸業(yè)務數(shù)據(jù)流的“集散地”，由于涉及到多個系統(tǒng)、跨越多個安全區(qū)域，電子口岸業(yè)務數(shù)據(jù)流是本網(wǎng)中最為重要、關鍵的。（＋網(wǎng)管服務器、防病毒服務器，建議單獨設立一個管理區(qū)域放置這些服務器，在三層交換機上 ACL 隔離）該區(qū)域的拓樸圖如下： 更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 在本區(qū)域中，主要部署應用服務器系統(tǒng)，對應用 系統(tǒng)終端系統(tǒng)提交的數(shù)據(jù)和命令請求進行處理。根據(jù)處理的需要，應用服務器需要跟數(shù)據(jù)庫服務器進行交互，或通過前置服務器和國家電子口岸數(shù)據(jù)中心、廣西電子口岸專網(wǎng)內(nèi)的系統(tǒng)交換數(shù)據(jù)。服務器和交換機間采用 GE 電口連接，避免在此處出現(xiàn)網(wǎng)絡瓶頸，而且該交換機到二臺核心防火墻都有鏈路相連。當然，如果考慮到該交換機的單點故障問題，也可以參照重要交換機的 HA 配置方式進行部署，而服務器則采用雙網(wǎng)卡連接交換機，如下圖示： 更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 由于應用服務器非常關鍵，一旦應用服務器出現(xiàn)故障，將導致全區(qū)的電子口岸系統(tǒng)無法使用，所以建議將二臺應用服務器配置 成高可用的 HA 雙機熱備方式，當今后數(shù)據(jù)處理量增大，該 HA 雙機熱備系統(tǒng)無法支撐時，可以替換為小型機的雙機熱備系統(tǒng)，甚至采用集群的方式來解決這方面的問題。應用服務器上的數(shù)據(jù)、應用系統(tǒng)可以通過網(wǎng)絡往內(nèi)網(wǎng)的存儲服務器上備份，以防這些應用服務器出現(xiàn)全癱瘓的情況，此時可以從備份系統(tǒng)中將相關操作系統(tǒng)、應用程序系統(tǒng)或配置數(shù)據(jù)等快速恢復。 因這個區(qū)域也是對安全高度敏感的區(qū)域，建議部署 IDS 系統(tǒng)對非法的入侵行為進行檢測、告警，同時建議 IDS 和防火墻配置為聯(lián)動，對發(fā)現(xiàn)的入侵行為進行自動阻斷。 如投資允許，也可以不再部署 IDS，直接 部署 IPS 系統(tǒng)進行安全防護。 公網(wǎng)區(qū)域部分設計 電子口岸平臺的核心防火墻系統(tǒng)通過二條 10M/100M 線路連接因特網(wǎng)，為內(nèi)部用戶提供因特網(wǎng)訪問服務，為普通公眾、企業(yè)用戶提供 Web 門戶網(wǎng)站服務，企業(yè)用戶在 Inter 上可方便查詢各種資料、辦理與通關、物流有關的各種更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 —— 手續(xù)。 核心防火墻系統(tǒng)的 DMZ2 區(qū)放置需要對外提供訪問服務的服務器，通過訪問策略的控制，公網(wǎng)區(qū)域只能訪問 DMZ2 中的門戶網(wǎng)站服務器，而不能訪問其他安全區(qū)域網(wǎng)絡。同時通過訪問規(guī)則、策略，嚴格控制 DMZ2 中的主機訪問內(nèi)部網(wǎng)絡的權限和端口，只允許所開放的 業(yè)務的數(shù)據(jù)進入內(nèi)部網(wǎng)絡，其他的一概禁止。這樣，避免 DMZ2 中的主機被入侵、攻擊，也很難將其作為跳板進入其他安全區(qū)域，使其對其他內(nèi)部區(qū)域的安全造成的影響最小。同時對內(nèi)網(wǎng)訪問因特網(wǎng)的特定應用類型進行限制，如只能訪問網(wǎng)頁（對應 80 端口），不能進行 FTP（對應 21 端口），避免一些非關鍵業(yè)務占用過多的帶寬，對關鍵業(yè)務造成沖擊。 因特網(wǎng)出口部分如下圖示： 從安全角度出發(fā)，內(nèi)部用戶上因特網(wǎng)原則上在此統(tǒng)一出口，各個分支節(jié)點不再設連接因特網(wǎng)的出口，否則破壞了安全域的規(guī)劃，將會形成安全隱患、引發(fā)安全問題（如果在增設的 因特網(wǎng)出口不進行安全防護加固的話）。 由于連接了因特網(wǎng)，普通的公眾客戶可以訪問到電子口岸系統(tǒng)的門戶網(wǎng)站，不可避免地，其他別有用心的訪問者也會對該系統(tǒng)進行窺探、攻擊、破壞等，尤其是電子口岸系統(tǒng)具有的政府背景，很容易受到對政府心存不滿的人（包括國外的反動分子）的關注，即使他們進入不了內(nèi)部，他們也會想方設法的采用其他攻擊手段，如 DDOS 攻擊等，對相關的服務進行破壞，迫使相應的業(yè)務停止。這些別有用心的訪問對電子口岸系統(tǒng)形成了潛在的威脅，同時電子口岸系統(tǒng)可能存在的漏洞、安全弱點等也有可能被別有用心的人所利用，當這些潛在的威脅和系統(tǒng)存在的弱點相互作用，對電子口岸系統(tǒng)就形成了相應的安全風險。 更多資料請訪問達人冰川主頁 —— 歡迎加入社區(qū)管理資料團 ——