【文章內(nèi)容簡介】 606A/B 交換機搬至上街作為上街機房核心交換機 。 同時 將一廠部分網(wǎng)絡(luò)設(shè)備搬遷至上街機房與新增的網(wǎng)絡(luò)設(shè)備一同搭建起上街機房網(wǎng)絡(luò)平臺。 6 其中 利舊 4 臺 4507 交換機 、 4 臺 ASA5550 及 2 臺 MA5200F 等 網(wǎng)絡(luò) 設(shè)備 。 本次搬遷 原有核心生產(chǎn)區(qū)部分系統(tǒng)未搬遷，原有核心交換機 3550 不能搬遷至上街，因此 新增 2 臺 三層高端交換機 （ 240 個以太網(wǎng)端口和 96 個 SFP 光口 ， 兼容現(xiàn)有的 Cisco PVST+生成樹協(xié)議 ） 作為上街網(wǎng)管支撐系統(tǒng)機房核心生產(chǎn)區(qū)核心交換機；由于原有數(shù)據(jù)網(wǎng)管區(qū)交換機 5624P 端口數(shù)量不足且不能增加端口板因此新增 4 臺 三層中端交換機 （ 48 個以太網(wǎng)端口和 48 個 SFP 光口 ， 兼容現(xiàn)有的Cisco PVST+生成樹協(xié)議 ） 供內(nèi)、外聯(lián) DMZ 使用 ； 防火墻立舊原有 2 臺 Juniper SSG 550 設(shè)備 ，新增電源 模塊、 PIM 模塊、光口模塊， 作為互聯(lián)網(wǎng)接口區(qū) 防火墻 使用 。 為了便于網(wǎng)管終端的接入，需新增 2 臺 二層低端交換機 （ 48 個以太網(wǎng)端口和 2 個 SFP 光口 ）。 具體搬遷步驟祥見 第 18 頁 搬遷方案描述。 搬遷后上街網(wǎng)絡(luò)拓撲如下圖所示： 圖 32 網(wǎng)管網(wǎng)絡(luò)組網(wǎng)拓撲圖（工程后） 表 31 網(wǎng)絡(luò)設(shè)備清單 序號 配置 數(shù)量 單價 (萬元 ) 分項總價 (萬元 ) 備注 1 三層中端交換機 6 ￥ 240, ￥ 1,440, 單臺配置 48個以太網(wǎng)端口和 48個 SFP光口，兼容現(xiàn)有的Cisco PVST+生成樹協(xié)議 7 2 CAT4507( 引 擎 升級 ) 4 ￥ 110, ￥ 440, 主設(shè)備立舊 ,對其雙引擎升級 3 三層高端交換機 2 ￥ 750, ￥ 1,500, 單臺配置 240個以太網(wǎng)端口和 96個 SFP光口，兼容現(xiàn)有的Cisco PVST+生成樹協(xié)議 4 二層低端交換機 2 ￥ 10, ￥ 20, 單臺配置 48個以太網(wǎng)端口和 2個 SFP光口 5 JUNIPER SSG550（設(shè)備主體立舊） SSGPSAC （電源模塊） 4 ￥ 5, ￥ 20, JXU6GESFPS（ PIM 模塊） 4 ￥ 15, ￥ 60, JXSFP1GESX（光口模塊） 24 ￥ 2, ￥ 60, 6 合計 ￥ 3,540, 2管理網(wǎng)絡(luò)建設(shè)方案 中國移動 XX 公司網(wǎng)管中心機房平臺已承載了省級話務(wù)網(wǎng)管、電子運維、網(wǎng)優(yōu)支撐、網(wǎng)絡(luò)數(shù)據(jù)綜合分析、客戶投訴支撐等多類網(wǎng)管應(yīng)用。隨著主機存儲規(guī)模的擴大，管理難度和強度也隨著增大 ，目前的管理手段已不能滿足當(dāng)前網(wǎng)管的需要。 為降低中國移動 XX 公司網(wǎng)管中心機房主機和存儲設(shè)備的管理工作負荷，加強規(guī)范化管理，貫徹系統(tǒng)標(biāo)準(zhǔn)化安裝的原則，提高解決系統(tǒng)故障的效率，提出該方案。 從網(wǎng)管系統(tǒng)的管理需求來看，建議在現(xiàn)有業(yè)務(wù)網(wǎng)絡(luò)的基礎(chǔ)上通過增加交換機建立一個專門用來管理的網(wǎng)絡(luò)，管理網(wǎng)絡(luò)由 2 臺交換機構(gòu)成冗余網(wǎng)絡(luò)，該網(wǎng)絡(luò)的安全性通過主交換機的安全策略實現(xiàn)。如下圖所示： 8 C o n s o l e 交換機C y c l a d e s A C S 3 2一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備一廠網(wǎng)絡(luò)設(shè)備4F5F6F7F華為以太網(wǎng)交換機華為以太網(wǎng)交換機C o n s o l e 交換機C y c l a d e s A C S 3 2上街網(wǎng)絡(luò)設(shè)備上街網(wǎng)絡(luò)設(shè)備上街網(wǎng)絡(luò)設(shè)備5F華為以太網(wǎng)交換機華為以太網(wǎng)交換機C o n s o l e 交換機C y c l a d e s A C S 3 2一廠和上街之間的專線一廠和上街之間的專線一廠帶外網(wǎng)絡(luò)管理系統(tǒng) 上街帶外網(wǎng)絡(luò)管理系統(tǒng)遠程接入?yún)^(qū)KVM 數(shù)字切換設(shè)備( 已有）KVM 數(shù)字切換設(shè)備( 已有）新增設(shè)備二層連接 三層連接 備份連接 利舊設(shè)備圖 32 管理網(wǎng)絡(luò)設(shè)計結(jié)構(gòu)圖 管理網(wǎng)絡(luò) 的優(yōu)點 如下： ? 操作簡便（可遠程操作） 不需 額外工作平臺，可對機器遠程操作，方便維護接入。 ? 監(jiān)控方便 可 以 實時監(jiān)控 Console 信息 ， 無需額外的電腦對 Console 信息進行記錄，方便監(jiān)控。 ? 效率高 可遠程操作機器，無需額外的時間和工具，效率大大提高。 ? 提高分析準(zhǔn)確度，縮短故障恢復(fù)時間 全面記錄故障信息，有利于故障分析與定位，增加分析度準(zhǔn)確性，降低故障分析時間，縮短故障恢復(fù)時間。 規(guī)劃 統(tǒng)一規(guī)劃管理網(wǎng)絡(luò)接入方式，方便維護 及 故障分析和處理。主要采用IPConsole 和 KVM 管理方式 ： ? 網(wǎng)絡(luò)設(shè)備接入控制臺服務(wù)器交換機，方便統(tǒng)一管理； 9 ? UNIX 主機采用 IPConsole 方案統(tǒng)一管理； ? PC 服務(wù)器采用 KVM 方案進行 管理 ； 網(wǎng)絡(luò)設(shè)備 管理網(wǎng)絡(luò)設(shè)計 對于一廠未搬遷的需要納入管理的網(wǎng)絡(luò)交換機，其 console 口統(tǒng)計如下： console口 對于上街機房內(nèi)需要納入管理的網(wǎng)絡(luò)交換機，其 console 口統(tǒng)計如下： console口 根據(jù)統(tǒng)計出來的數(shù)量，搬遷完成后上街總共需要 63 根 5 類雙絞線，一廠總共需要 21 根 5 類雙絞線。 采用 Console 服務(wù)器，需要在上街部署 3 臺 32 口的服務(wù)器 ，在 一廠每個 機房 部署 2 臺 16 口的服務(wù)器 （合計 4 臺），建議采用業(yè)務(wù)網(wǎng)絡(luò)的模式，在網(wǎng)絡(luò)設(shè)備列頭機柜部署管理網(wǎng)絡(luò)接口。 服務(wù)器管理網(wǎng)絡(luò)設(shè)計 從網(wǎng)管系統(tǒng)的管理需求來看，建議建立一個專門用來管理的網(wǎng)絡(luò)，管理網(wǎng)絡(luò)由 2 臺交換機構(gòu)成冗余網(wǎng)絡(luò)。 對于主機和 SAN 環(huán)境管理網(wǎng)絡(luò)的設(shè)計， 涉及 292 臺設(shè)備總共 需要 395 個 IP地址和 214 根 網(wǎng)線。 根據(jù)統(tǒng)計出來的網(wǎng)線數(shù)量 以及 這些服務(wù)器部署在上街機房的位置以及在每個列頭柜部署管理網(wǎng)絡(luò)的原則，我們可以計算出所需的 48 口會聚交換機的數(shù)量為 8 個。如下： 表 32 服務(wù)器管理網(wǎng)絡(luò)所需交換機 數(shù)量 機柜位置 放置的設(shè)備 端口總數(shù) 列頭柜中配置的交換機數(shù)量 A 列 4A 系統(tǒng)、 OMC 服務(wù)器 35 1 B 列 HP 服務(wù)器 85 2 C 列 SUN 服務(wù)器 33 1 D 列 SUN 服務(wù)器 62 2 G 列 存儲設(shè)備 23 1 H 列 新增存儲設(shè)備 30 1 KVM系統(tǒng) 本工程對遠端服務(wù)器設(shè)備的監(jiān)控采用 KVM 方案，提供對 網(wǎng)管機房 設(shè)備的本地機架式或遠程 IP 接入和控制， KVM 設(shè)備同時支持基于所有設(shè)備的數(shù)字和模擬連接。 根據(jù)現(xiàn)有設(shè)備統(tǒng)計出來總共需要 59 根 KVM 聯(lián)線，具體統(tǒng)計如下表所示。 10 KVM網(wǎng)絡(luò)所需聯(lián)線統(tǒng) 表 33 管理網(wǎng)絡(luò)設(shè)備清單 序號 配置 數(shù)量 單價 分項總價 備注 1 三層 低端 交換機 8 ￥ 6, ￥ 50, 48 口 2 Console服務(wù)器 16口 4 ￥ 32, ￥ 130, console管理 3 Console服務(wù)器 32口 3 ￥ 40, ￥ 120, 4 小計一 ￥ 300, 5 KVM 聯(lián)線費用 1 ￥ 60, ￥ 60, 6 小計二 ￥ 60, 7 合計 ￥ 360, 3 傳輸 帶寬 需求 目前 XX 公司的 網(wǎng)管核心 節(jié)點在一廠，為滿足今后上街機房各系統(tǒng)接入網(wǎng)絡(luò)的需求，需要在該局樓建設(shè)新的 網(wǎng)管 節(jié)點。 到 2021 年時候 上街承載 的 業(yè)務(wù) ：所有 網(wǎng)元的網(wǎng)管信息與其網(wǎng)管系統(tǒng)（包括 統(tǒng)一采集區(qū) 系統(tǒng)、省級網(wǎng)管系統(tǒng)、采集機）的數(shù)據(jù)交互 上街 網(wǎng)管鏈路需求為網(wǎng)元部分 110 芯系統(tǒng)，終端部分 44 芯系統(tǒng)，互聯(lián)部分 8 芯系統(tǒng) ；與一廠互聯(lián)有 10 路 2 兆專線。 ? 當(dāng)前網(wǎng)管對 MDCN 的傳輸帶寬需求，峰值已達到 240M。由于 帶寬限制，為避免網(wǎng)絡(luò)阻塞故障，較大流量應(yīng)用已作了停用和限流措施。實際帶寬需求已達到 1G。同時考慮到新的應(yīng)用對帶寬的非線性增長需求，網(wǎng)管上街出口帶寬需求在 2021 年底將達到 3G。 網(wǎng)管上街機房帶寬 網(wǎng)管搬遷MDCN出口 ? 搬遷臨時傳輸需求： 網(wǎng)管服務(wù)器從一廠搬遷到上街的過程中 存在較大的帶寬需 求。為 保證平滑搬遷 ，一方面 需要從一廠打通二層的 trunk 到上街，需要 MDCN 提供 帶寬 ；另一方面 需要臨時搭建光纖傳輸網(wǎng)絡(luò)滿足 4G 專線 帶寬需求。 ? 專線需求： 需要申請 4 條從一廠到上街的電口傳輸專線， 2 主 2 備，每條傳輸需滿足 100M 帶寬需求。 福州 馬尾 和廈門馬巷分別 到上街 需要開通 的 2 對 155M 光纖專線，用于采集處理設(shè)備和上街數(shù)據(jù)庫服務(wù)器之間連接 。 在上街要開通 8 條 2 兆專線至一廠與 5 樓 2 套諾西 統(tǒng)一采集區(qū)涉及網(wǎng)元路由器 相。開通 2 條從一廠到上街的電口傳輸專線，一主一備，帶寬滿足 155 兆供一廠的 2960 跟上街的網(wǎng)關(guān)（ 3560）之間的通信 11 使用。 以上所需帶寬已在 MDCN 四期 項目建設(shè)，預(yù)計 6 月份 投入使用。 四、 硬件 基礎(chǔ)架構(gòu) 建設(shè)方案 1網(wǎng)管支撐系統(tǒng)現(xiàn)狀 目前網(wǎng)管支撐網(wǎng)有 36 套支撐 系統(tǒng)，共 153 臺 PC 服務(wù)器， 80 臺 UNIX 服務(wù)器， 14 臺存儲， 60 臺網(wǎng)絡(luò)設(shè)備。網(wǎng)管網(wǎng)絡(luò)主要承載于 DCN 網(wǎng)絡(luò)，大部分系統(tǒng)實現(xiàn)了存儲、備份的集中化。 在這樣一個龐大的基礎(chǔ)架構(gòu)上運行著數(shù)十個關(guān)鍵的網(wǎng)管應(yīng)用，隨著系統(tǒng)規(guī)模的不斷擴大與系統(tǒng)復(fù)雜度的日益提高，對這些網(wǎng)管 應(yīng)用如何進行有效管理，已經(jīng)成為網(wǎng)管部門逐漸關(guān)心的一個問題。目前采用集中化管理的 網(wǎng)管系統(tǒng)基礎(chǔ)架構(gòu)主要在以下方面存在不足： (1) 主機資源利用率不均衡。每個應(yīng)用使用獨立的物理硬件，由于系統(tǒng)與硬件綁定，每個系統(tǒng)都需要按照其峰值業(yè)務(wù)量進 行主機的配置，這可能導(dǎo)致在大部分時間段內(nèi)許多資源都處于閑置狀態(tài) 。 (2) 系統(tǒng)上線、擴容周期長。每次系統(tǒng)上線和擴容都會需要硬件資源，而硬件資源又是按照項目采購獨立進行的，不能直接利用已有空閑的資源。因此上線或者擴容的周期往往很長。這對于系統(tǒng)安全穩(wěn)定的運行是一個挑戰(zhàn)，在新設(shè)備進場之前，已有設(shè)備可能已無法滿足需求并導(dǎo)致系統(tǒng)響應(yīng)慢甚至宕機等事故。 (3) 運維管理復(fù)雜。目前在系統(tǒng)運維工作中存在著大量的人工工作，比如操作系統(tǒng)與軟件安裝、存儲劃分及邏輯卷管理、網(wǎng)絡(luò)配置等等。這些人工工作一方面效率不高，另一方面也容易出 錯，導(dǎo)致各系統(tǒng)配置不盡相同，不利于日后的統(tǒng)一管理。 基于這些不足，移動網(wǎng)管系統(tǒng)迫切的需要一套有效的資源管理和調(diào)度平臺來實現(xiàn)系統(tǒng)內(nèi)對資源的統(tǒng)一調(diào)度、統(tǒng)一管理。 2建設(shè)目標(biāo) 為了 實現(xiàn)對資源的統(tǒng)一調(diào)度及管理， 建議采用基礎(chǔ)架構(gòu)層面的云計算平臺，統(tǒng)一規(guī)劃資源池平臺， 將更多的服務(wù)器和業(yè)務(wù)系統(tǒng)納入資源池中。 資源池規(guī)劃 分為主機資源池和存儲資源池。 ? 主機資源池規(guī)劃： ? 建立 PC 服務(wù)器資源池，承載上層業(yè)務(wù)的應(yīng)用 ? 建立小型機刀片服務(wù)器資源池，承載具有大量數(shù)據(jù)運算采集類服務(wù) ? 建立機架式小型機服務(wù)器資源池，承載基于數(shù)據(jù)庫應(yīng)用的服務(wù) ? 存儲資源池規(guī)劃： ? IO 密集型：面向數(shù)據(jù)庫應(yīng)用，由高端存儲陣列提供。 ? 高吞吐量：面向文件服務(wù)，由低端存儲陣列提供。 12 本期 基于替換設(shè)備并引入云計算技術(shù)進行網(wǎng)管支撐系統(tǒng)硬件資源池的搭建， 實現(xiàn)資源池的統(tǒng)一管理和監(jiān)控 。后續(xù)新增硬件逐步納入資源池管理，定期觀測資源池使用情況，根據(jù)預(yù)警進行擴容工作?，F(xiàn)有應(yīng)用及 后續(xù)新增 應(yīng)用 系統(tǒng)將 陸續(xù)遷移 部