【文章內(nèi)容簡介】 靖 CE2AR2間傳輸帶寬配置問題，經(jīng)核實，因 CE2與 AR2為異局址，中間經(jīng)過了曲靖本地網(wǎng)傳輸 SDH系統(tǒng)，在 CE入網(wǎng)之初，本地傳輸并未按規(guī)劃需求配置為 1GE帶寬，而只配置了一個 VC4，即 155M，進而留下了隱患。曲靖本地網(wǎng)重新對 AR2CE2間調(diào)度配置新的傳輸 OTN GE電路，解決了流量受限問題。經(jīng)后續(xù)流量倒回測試，此時 AR2CE2間流量達到 28%以上。 故障案例一 ——曲靖 CEAR間傳輸帶寬配置缺失引起的流量擁塞問題 （ 3） 故障案例二 ——諾西 FlexiBSC Gb上下行流量路徑不一致時閃斷問題 （ 1） 【 問題描述 】 2023年春節(jié)節(jié)前網(wǎng)絡(luò)評估中發(fā)現(xiàn)承載 GPRS核心網(wǎng)（ SGSN/GGSN）的昆明 CE1及 CE5上行至昆明 AR1的流量帶寬利用率已超過 70%以上（峰值達到 100%），為保證用戶手機上網(wǎng)感知， 1月 18日凌晨對部分 SGSN的 GB流量（通過 vrrp協(xié)議實現(xiàn)主備接入）從奇數(shù) CE疏導(dǎo)至偶數(shù) CE上行（修改 vrrp優(yōu)先級，該調(diào)整是 IP網(wǎng)中最常見的一種流量疏導(dǎo)方式）。調(diào)整過的 SGSN對應(yīng)的紅河、曲靖、玉溪三地市的諾西 BSC側(cè)的 GB入流量和出流量不對稱（圖 1），此后發(fā)現(xiàn)三個地市部分諾西 BSC出現(xiàn)業(yè)務(wù)閃斷， GBlink閃斷告警量突增。 圖 1 調(diào)整的 SGSN與地市 BSC間 GB流量上下行不一致 【 故障分析 】 當 SGSN與 BSC之間的上下行流量路徑相同時，上述地市所有 BSC與 SGSN間 GB業(yè)務(wù)均正常；當上下行流量路徑不一致時，部分 BSC業(yè)務(wù)閃斷故障出現(xiàn)。 承載網(wǎng)為雙平面組網(wǎng)，提供負荷分擔的同時也起到路由和業(yè)務(wù)的主備保護， CE下掛業(yè)務(wù)網(wǎng)元均以主備方式（配置 VRRP組，如本例的 BSC及 SGSN均通過主備方式接入， CE上提供 VRRP虛網(wǎng)關(guān)）接入 CE。因此當某一鏈路中斷時有冗余備份鏈路提供倒換和保護，且業(yè)務(wù)應(yīng)該實現(xiàn)毫秒級別的切換，不影響用戶感知。所以 BSC與 SGSN之間的 GB業(yè)務(wù)雙向路由怎么變化都不應(yīng)該受影響。 分析告警發(fā)現(xiàn)，當雙向路由不一致的情況出現(xiàn)時，大多數(shù) BSC GB業(yè)務(wù)未受影響，出現(xiàn)業(yè)務(wù)閃斷故障的均是諾西 flexiBSC，所以初步定位為型號 flexiBSC與 SGSN之間的上層協(xié)議 (TCP層以上 )是否存在兼容性問題。 【 故障處理 】 ?業(yè)務(wù)應(yīng)急恢復(fù) ：通過修改 CE上配置的 VRRP協(xié)議優(yōu)先級的方式，將 SGSN（主用上行到偶數(shù)平面）對應(yīng)的玉溪、紅河、曲靖三個地市 15臺 flexi型號 BSC的上行主用也調(diào)整到偶數(shù) CE，形成圖 314流量模式，暫時規(guī)避 GBlink閃斷問題。 ?分析定位： 當進行流量路徑調(diào)整，或網(wǎng)絡(luò)中某鏈路故障時，均可能出現(xiàn)Gb業(yè)務(wù)（其他類型的 VPN業(yè)務(wù)也一樣）上下行路徑不一致的情況。故 1中的調(diào)整不能根本解決問題。需要進一步排查 flexiBSC與 CE對接兼容性問題。云南共有 82臺 flexi BSC，占比諾西全網(wǎng) BSC 的 %，本次將調(diào)整部分 SGSN主備后涉及雙向流量路徑不一致的 15臺 flexi BSC也調(diào)整了主備，占該版本的 %。因此以這 15臺 BSC為排查對象。 為定位問題，于夜間選取紅河 BSC進行故障重現(xiàn)。情況與第一次調(diào)整時一致，當將紅河 flexi BSC上行的主用調(diào)回奇數(shù) CE后，故障立即重現(xiàn)，并及時抓取 CE側(cè)及 BSC側(cè)日志信息。 GB 鏈路是 PCU 發(fā)送一個單播的 NSIP_ALIVE 報文到 SGSN。對NSIP_ALIVE 報文的回應(yīng)是由 SGSN發(fā)送一個單播的 NSIP_ALIVE_ACK 報文到 PCU 來維持的。 GB鏈路閃斷是因為 PCU 暫時收不到由 SGSN 發(fā)出的 NSIP_ALIVE_ACK 報文。從 BSC側(cè)日志可發(fā)現(xiàn) NSIP_ALIVE_ACK有丟失，如圖 2所示 圖 3 將涉及的 flexiBSC的上行主用調(diào)至偶數(shù) CE 圖 2 BSC測日志 故障案例二 ——諾西 FlexiBSC Gb上下行流量路徑不一致時閃斷問題 （ 2） 分析得知： Gb上行流量通過 BSC內(nèi)連接 CE1的 SWU2流出（如下圖 4中黃色虛線），下行流量通過與 CE2連接的 SWU3流入。 SWU SWU3均為 BSC內(nèi)嵌的二層交換機 ESB24，且部署了廣播抑制功能，其學(xué)習(xí) PCU 的MAC地址表 agingtime為 5分鐘，而 CE的 MAC地址 agingtime為 20分鐘（一般路由器的默認值，各廠家一致）。 由上述，在上下行路徑非對稱模型下， flexi BSC內(nèi) ESB24間 mac地址表存在 5分鐘更新時間到而刪除的情況，且因為 BSC內(nèi)部署了廣播抑制功能，故此時 ESB24上 mac地址表消失。當 CE2在 20分鐘更新時間到后發(fā)一次ARP請求（ mac地址請求）報文到 BSC內(nèi) PCU時， SWU3才回送一個 Arp reply 報文到 CE2，所以 SWU3的 MAC 地址表每 20分鐘才更新一次。期間存在一段時間內(nèi)無 mac地址表的情況，導(dǎo)致下行流量流入 SWU3后因查詢不到 mac地址表而丟包，進而引起 Gb業(yè)務(wù)閃斷。 故障案例二 ——諾西 FlexiBSC Gb上下行流量路徑不一致時閃斷問題 （ 3） 圖 4 BSC內(nèi)部結(jié)果 ? 解決思路： 對于上下行流量非對稱與 ESB24的 DLF廣播抑制功能存在沖突，在此流量模型下為保證flexi BSC Gb業(yè)務(wù)正常，可以采用如下兩種方案： 1）屏蔽 ESB24的 DLF廣播抑制功能。但是由此將給網(wǎng)絡(luò)帶來很大的安全隱患，存在廣播泛洪現(xiàn)象，從而占用大量不必要帶寬，同時造成 PCU的負荷沖擊，影響設(shè)備的正常工作；諾西不推薦使用。 2）設(shè)置 SWU中的 Macagingtimer大于或等于 CE上的 MACagingtimer，此方案理論上可行，但是沒有經(jīng)過測試，建議先在某臺 BSC上經(jīng)過測試驗證后再大規(guī)模修改使用。 【 處理結(jié)果 】 將 flexi BSC的 mac地址表更新時間 agingtime由 5分鐘改為 20分鐘，以避免 5分鐘計時到mac地址表被刪除，又因 BSC內(nèi)廣播抑制功能而導(dǎo)致 ESC24無法學(xué)習(xí)到 mac地址，造成目的不可達而丟包。 因昆明的 flexi型號 BSC歸屬的 SGSN組成了 pool，且 pool內(nèi)只有一臺 SGSN與昆明 BSC有上下流量不一致情況，其余兩臺未修改 SGSN主備接入的仍與 BSC間為雙向路徑一致，此情況下，昆明的 flexi BSC GB鏈路會有告警，但業(yè)務(wù)不受影響。故首先選取昆明三臺 flexiBSC進行修改測試，觀察一周未重現(xiàn)告警。其次再選取曲靖及紅河 flexiBSC修改 agingtime并測試驗證，故障未重現(xiàn)。之后對全網(wǎng) flexiBSC修改 agingtime為 20分鐘，并上報集團建議全國規(guī)避。 【 案例點評 】 網(wǎng)絡(luò)拓撲如果要發(fā)生變化，建議事先通知各業(yè)務(wù)廠家，進行拓撲評估，驗證和可行性測試，測試通過后方可在現(xiàn)網(wǎng)進行應(yīng)用。 故障案例二 ——諾西 FlexiBSC Gb上下行流量路徑不一致時閃斷問題 （ 4） 四 、“ 規(guī)劃、建設(shè)、維護 ”端到端研究 Gb/Iups上行流量方向： C M N E T地 市 A R 1昆 明 C E 1 / 5 / 1 1昆 明 A R 1昆 明 A R 2昆 明 B R 1昆 明 B R 2地 市 C E 1地 市 C E 2昆 明 S G S N / G G S N昆 明 C E 2 / 6 / 1 2V R R P地 市 B S C / R N C1 0 0 M / 1 G1 0 0 M / 1 G廣 州 C R 1成 都 C R 2地 市 A R 2主 用 下 行 流 量 ( G b / I U P S )主 用 上 行 流 量 ( G b / I U P S )1 * 2 . 5 G1 * 2 . 5 G2 * 1 0 G2 * 1 0 G國 干 1 0 G國 干 1 0 G備 用 上 行 流 量 ( G b / I U P S )備 用 下 行 流 量 ( G b / I U P S )（ 1 ）（ 2 ）（ 3 ）（ 3 ）（ 4 ）（ 5 ）（ 1 39。 ）（ 2 39。 ）（ 3 39。 ）（ 3 39。 ）（ 4 39。 ）（ 5 39。 ）F W 1F W 2G I / G N 流 量G I / G N 流 量（ X ） : 表 示 主 用 平 面 各 級 鏈 路（ X 39。 ） : 表 示 備 用 平 面 各 級 鏈 路（ 6 ）（ 7 ）（ 6 39。 ）（ 7 39。 ）Gb/Iups下行流量方向： Gi/GN流量出 /入流量方向： 組網(wǎng)說明： IP承載網(wǎng)按雙平面 +對稱冗余組網(wǎng)，業(yè)務(wù)網(wǎng)元以主備方式或負荷分擔方式接入 CE，從而實現(xiàn)雙平面流量的主備保護及流量分擔。 以 2/3G手機上網(wǎng)流量分析為例：通過分主用上行、主用下行、備用上行、備用下行四個鏈路方向，以及無線側(cè)、核心網(wǎng)側(cè)、骨干網(wǎng)側(cè)幾個維度分析 IP專網(wǎng)對手機端到端上網(wǎng)業(yè)務(wù)流量及網(wǎng)絡(luò)配置 需求 。 地 市 B S C / R N C主 用 平 面 （ 1 ）備 用 平 面 （ 1 39。 ）地 市 C E地 市 A R（ 2 ）（ 2 39。 ）昆 明 B R（ 3 ）（ 3 39。 ）昆 明 A R（ 3 ）（ 3 39。 ）昆 明 C E（ 4 ）（ 4 39。 ）昆 明 S G S N（ 5 ）（ 5 39。 ）地 市 B S C / R N C主 用 平 面 （ 5 ）備 用 平 面 （ 5 39。 ）地 市 C E地 市 A R（ 4 ）（ 4 39。 ）昆 明 B R（ 3 ）（ 3 39。 ）昆 明 A R（ 3 ）（ 3 39。 ）昆 明 C E（ 2 ）（ 2 39。 ）昆 明 S G S N（ 1 ）（ 1 39。 ）昆 明S G S N / G G S N主 用 平 面 （ 5 ）備 用 平 面 （ 5 39。 ）防 火 墻（ 7 ）（ 7 39。 ）昆 明 C E（ 6 ）（ 6 39。 ）C M N E T四、規(guī)劃、建設(shè)、維護端到端研究 —— 網(wǎng)絡(luò)流量評估方法模型 全網(wǎng)各級鏈路峰值流量分析 BSC、 RNC接入 CE流量分析（主用平面） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36BSC上行峰值流量/Mbps BSC序號 15地市地市各 BSC上行峰值流量 版納 保山 楚雄 德宏 迪慶 大理 紅河 臨滄 麗江 怒江 普洱 曲靖 文山 玉溪 昭通