【正文】 路是檢 查 B R 、 A R 設(shè) 備 日志 、 告 警 、 狀 態(tài) 等否處 理 網(wǎng) 元 故 障 ，如 端 口 異 常 、 板卡 故 障 等檢 查 C E 的 端口 、 板 卡 、l o g 、 告 警 等網(wǎng) 元 在 同一 板 卡 下是否處 理 C E 端口 、 板 卡 等故 障處 理 鏈 路 ，如 路 由 器 端口 、 傳 輸 等處 理 B R 、 A R 故 障 ，如 端 口 、 板 卡 等案例分析 ——大量異局址多個地市網(wǎng)元上報 SCTP路徑不可達告警問題 （ 1） 【 問題描述 】 2023年 7月 30日下午 14:53監(jiān)控室反映核心網(wǎng)網(wǎng)管監(jiān)控平臺上報大量 SCTP路徑失敗告警（ SCTP PATH FAILURE），告警網(wǎng)元涉及多個地市的 MSS及 MGW。告警條目達 582條。 15:11繼續(xù)發(fā)生德宏多個 MGW上報SCTP路徑失敗告警，告警量達 152條。此類告警為業(yè)務(wù)網(wǎng)元常見的一類告警（包括 CS域及 PS域業(yè)務(wù)），其特性為：同一時間點出現(xiàn)大面積大量同類型告警，涉及不同地市不同 CE下掛的多個網(wǎng)元，均為 SCTP路徑失敗告警。此類告警為信令鏈路閃斷告警，對話音業(yè)務(wù)無影響。 部分告警截圖如下： 圖一、 兩個時間點網(wǎng)元告警信息 【 原因分析 】 根據(jù)告警內(nèi)容和范圍，因為同一時間點上報的告警涵蓋紅河、楚雄、德宏、臨滄、版納、普洱、曲靖、昆明等多個地市的軟交換網(wǎng)元，且涉及的 MSS不是同一個 POOL內(nèi)，由此可初步判斷，該告警原因可能是 IP承載網(wǎng)省干 ARBR間鏈路閃斷引起。 【 處理過程 】 ?IP承載網(wǎng)專業(yè)檢查 BR、 AR上日志信息，重點查看核心網(wǎng)元兩次出 SCTP告警時間點時的鏈路是否閃斷。根據(jù)日志信息可知，14:53分 BR1玉溪 AR1鏈路閃斷 10S， 15:11分 BR1至麗江 AR保山 AR怒江 AR德宏 AR1， BR2至大理 AR迪慶 AR2等共 6條省干鏈路出現(xiàn)過 10S左右閃斷。因BR1/2各地市 AR1/2均為省干一平面 OTN及省干二平面 SDH雙平面承載，故未造成整個地市的脫網(wǎng)和業(yè)務(wù)中斷，只是影響單邊信令 SCTP link中斷。昆明 BR1/2上日志信息如下圖二所示。 圖二、 昆明 BR BR2上鏈路閃斷日志信息 ?從鏈路同時閃斷信息，及 BR、 AR設(shè)備上并未其他異常情況可判斷，兩次時間點鏈路閃斷應(yīng)該都是由于傳輸故障或環(huán)路倒換引起。故聯(lián)合傳輸專業(yè)進行排查處理。 ?核對 IP承載網(wǎng)閃斷鏈路與傳輸側(cè)告警時間點如下： BR1: 玉溪 高新省干二平面SDH:Jul 30 14:53: 麗江 高新省干一平面OTN:Jul 30 15:11: 保山 高新省干一平面OTN:Jul 30 15:11: 怒江 高新省干一平面OTN:Jul 30 15:11: 德宏 高新省干一平面 OTN:Jul 30 15:11: BR2：大理 樞紐省干一平面OTN:Jul 30 15:11: 迪慶 樞紐省干一平面OTN:Jul 30 15:11: ?經(jīng)傳輸專業(yè)排查，明確造成 IP承載網(wǎng)多個地市鏈路閃斷進而導(dǎo)致業(yè)務(wù)側(cè) SCTP鏈路告警的原因為： 二平面 SDH承載部分：高新 玉溪閃斷，與傳輸二平面波分西南環(huán)線路光功率突然降低，又立刻恢復(fù)，致傳輸出現(xiàn)業(yè)務(wù)倒換，時間與承載網(wǎng)鏈路閃斷時間相符合。 一平面 OTN承載部分： 7個地市承載網(wǎng)鏈路閃斷，與一平面昆明祿勸到玉溪元謀間光功率突然降低，又立刻恢復(fù)，致傳輸出現(xiàn)業(yè)務(wù)倒換，時間與承載網(wǎng)鏈路閃斷時間相符合。 案例分析 ——大量異局址多個地市網(wǎng)元上報 SCTP路徑不可達告警問題 （ 2） 【 故障總結(jié) 】 此次告警由傳輸線路上出現(xiàn)光功率突然劣化導(dǎo)致 IP承載網(wǎng)鏈路閃斷引起。 IP承載網(wǎng)路由器檢測到相應(yīng) SDH信號劣化和誤碼告警從而導(dǎo)致鏈路中斷，之后傳輸側(cè)光功率恢復(fù)路由器隨即便檢測到性能恢復(fù)，從而鏈路自動恢復(fù)，閃斷時間大約為 10S。對于業(yè)務(wù)層面，因為 SCTP為 ms級別的檢測機制，且各廠家的業(yè)務(wù)網(wǎng)元對于檢測時間的設(shè)置不一致，故相對于檢測較敏感的諾西網(wǎng)元便出現(xiàn)大量信令 SCTP鏈路失敗告警，但對具體的話音、數(shù)據(jù)業(yè)務(wù)無影響，不影響用戶感知。 IP承載網(wǎng) BR及 AR設(shè)備檢測到傳輸?shù)?SDH信號有告警，因此在設(shè)備端產(chǎn)生 PRDI（遠端劣點指示）、BER（ bit錯誤告警）等告警、同時將對應(yīng)接口 down，進而引起多地市 CE下掛的多臺核心網(wǎng)元檢測 SCTP路徑失敗告警。 【 案例點評 】 “ SCTP路徑不可達告警”在日常監(jiān)控中較為常見。通常 IP承載網(wǎng)各級鏈路（ CEAR、 ARBR間）閃斷均可能導(dǎo)致端到端的網(wǎng)元如 MGWMSS、 BSC/RNCSGSN產(chǎn)生 SCTP告警，加上 MSS、 SGSN等網(wǎng)元的通過 pool組網(wǎng)的特性，故只要兩個網(wǎng)元間配置有 SCTP Link的都將同時檢測到 SCTP路徑失敗，造成每次告警量都很大的現(xiàn)象（一般為幾百條至上千條告警）。 此類告警基本對業(yè)務(wù)無影響，也不可能避免。但可以通過各專業(yè)的優(yōu)化、建立并完善告警處理聯(lián)動機制來進行優(yōu)化。關(guān)于傳輸故障或倒換引起的 IP承載網(wǎng)鏈路閃斷問題，只可優(yōu)化不可避免。論證如下： 通常傳輸側(cè)發(fā)生倒換，正常情況下可以在 50ms內(nèi)完成倒換，而與之連接的 IP承載網(wǎng)路由器（ BR、 AR）設(shè)備上均配置 200ms延時（集團統(tǒng)一配置），所以路由器應(yīng)該不會有任何感知才對，但是日常維護中卻常見到傳輸正常倒換但路由器設(shè)備仍發(fā)生端口 down的情況。因此我們會提出如下疑問： 案例分析 ——大量異局址多個地市網(wǎng)元上報 SCTP路徑不可達告警問題 （ 3） 1）傳輸是否能夠保證每次都是在 50ms內(nèi)倒換成功？ 2）數(shù)通設(shè)備是否真的延時了 200ms才倒換？ 3）兩者開始倒換的時間是否相同？ 4）兩者切換的條件是否一致？ 根據(jù)我們進行的大量的傳輸?shù)箵Q測試驗證、原理分析、路由器與傳輸對接測試等（可參考章節(jié) ），最終確認兩者切換的條件不一致：數(shù)通設(shè)備由于底層芯片比較敏感，而且只需要感知本接口的信息，所以可以判斷 LOS， LOF以及各種誤碼，反應(yīng)比較快，但是傳輸設(shè)備倒換的條件是主備鏈路的光功率差達到 5db，這樣就需要底層芯片獲取光功率信息，而且還需要兩路進行比較，這其中涉及到一些電路的放大以及比較等操作，需要消耗一定的時間，而且在倒換過程中，肯定是先出現(xiàn)誤碼，光功率降低 5db需要延遲一段時間才能感知到，這樣一來傳輸開始倒換的時間就會慢于數(shù)通設(shè)備，我們假設(shè)慢的時間為 t1，傳輸?shù)箵Q需要的時間為 t2，而數(shù)通設(shè)備設(shè)置的延時為 t3，如果 t1+t2大于 t3，那么數(shù)通設(shè)備就會感知到端口 down。這是由多種設(shè)備互聯(lián)的不同處理機制決定的，不可能完全避免。我們需注意在有多種設(shè)備互聯(lián)出問題時要多了解不同產(chǎn)品的實現(xiàn)機制。 案例分析 ——大量異局址多個地市網(wǎng)元上報 SCTP路徑不可達告警問題 （ 4） 謝 謝 謝 謝 謝 謝 謝 謝 ? 靜夜四無鄰，荒居舊業(yè)貧。 , February 3, 2023 ? 雨中黃葉樹，燈下白頭人。 06:10:5006:10:5006:102/3/2023 6:10:50 AM ? 1以我獨沈久，愧君相見頻。 :10:5006:10Feb233Feb23 ? 1故人江海別，幾度隔山川。 06:10:5006:10:5006:10Friday, February 3, 2023 ? 1乍見翻疑夢，相悲各問年。 :10:5006:10:50February 3, 2023 ? 1他鄉(xiāng)生白發(fā)，舊國見青山。 2023年 2月 3日星期五 上午 6時 10分 50秒 06:10: ? 1比不了得就不比，得不到的就不要。 。 2023年 2月 上午 6時 10分 :10February 3, 2023 ? 1行動出成果，工作出財富。 2023年 2月 3日星期五 6時 10分 50秒 06:10:503 February 2023 ? 1做前，能夠環(huán)視四周；做時，你只能或者最好沿著以腳為起點的射線向前。 上午 6時 10分 50秒 上午 6時 10分 06:10: ? 沒有失敗，只有暫時停止成功！。 , February 3, 2023 ? 很多事情努力了未必有結(jié)果，但是不努力卻什么改變也沒有。 06:10:5006:10:5006:102/3/2023 6:10:50 AM ? 1成功就是日復(fù)一日那一點點小小努力的積累。 :10:5006:10Feb233Feb23 ? 1世間成事，不求其絕對圓滿，留一份不足，可得無限完美。 06:10:5006:10:5006:10Friday, February 3, 2023 ? 1不知香積寺，數(shù)里入云峰。 :10:5006:10:50February 3, 2023 ? 1意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。 2023年 2月 3日星期五 上午 6時 10分 50秒 06:10: ? 1楚塞三湘接，荊門九派通。 。 2023年 2月 上午 6時 10分 :10February 3, 2023 ? 1少年十五二十時，步行奪得胡馬騎。 2023年 2月 3日星期五 6時 10分 50秒 06:10:503 February 2023 ? 1空山新雨后，天氣晚來秋。 上午 6時 10分 50秒 上午 6時 10分 06:10: ? 楊柳散和風(fēng)，青山澹吾慮。 , February 3, 2023 ? 閱讀一切好書如同和過去最杰出的人談話。 06:10:5006:10:5006:102/3/2023 6:10:50 AM ? 1越是沒有本領(lǐng)的就越加自命不凡。 :10:5006:10Feb233Feb23 ? 1越是無能的人，越喜歡挑剔別人的錯兒。 06:10:5006:10:5006:10Friday, February 3, 2023 ? 1知人者智，自知者明。勝人者有力，自勝者強。 :10:5006:10:50February 3, 2023 ? 1意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。 2023年 2月 3日星期五 上午 6時 10分 50秒 06:10: ? 1最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。 2023年 2月 上午 6時 10分 :10February 3, 2023 ? 1業(yè)余生活要有意義，不要越軌。 2023年 2月 3日星期五 6時 10分 50秒 06:10:503 February 2023 ? 1一個人即使已登上頂峰，也仍要自強不息。 上午 6時 10分 50秒 上午 6時 10分 06:10: MOMODA POWERPOINT Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce id urna blandit, eleifend nulla ac, fringilla purus. Nulla iaculis tempor felis ut cursus. 感 謝 您 的 下 載 觀 看 專家告訴