【正文】 備件創(chuàng)建臨時(shí)的保護(hù)組，再執(zhí)行保護(hù)倒換。如果故障定位為某個(gè)單板有問題，則更換相應(yīng)單板來解除故障。告警說明告警類型告警名稱告警說明設(shè)備類告警POWER_ABNORMAL電源失效FAN_FAIL風(fēng)扇故障會(huì)導(dǎo)致設(shè)備溫度增高，影響正常運(yùn)行BD_STATUS單板不在位HARD_BAD單板硬件錯(cuò)誤報(bào)告SYN_BAD時(shí)鐘同步源劣化NESTATE_INSTALL網(wǎng)元處于安裝態(tài)信號(hào)丟失告警ETH_LOS以太網(wǎng)口連接丟失低階業(yè)務(wù)失效告警TU_AIS_VC12VC12級別的TU告警指示TU_LOP_VC12VC12級別的TU指針丟失線路告警R_LOS接收線路側(cè)信號(hào)丟失R_LOF接收線路側(cè)幀丟失R_LOC接受線路側(cè)無時(shí)鐘R_OOF接收線路側(cè)幀失步其他高低階告警HP_TIM高階通道追蹤識(shí)別符失配HP_SLM高階通道信號(hào)標(biāo)記失配HP_UNEQ高階通道未裝載LP_UNEQ_VC12VC12級別低階通道信號(hào)未裝載說明： 上表所列告警是可能引起業(yè)務(wù)中斷，需要優(yōu)先處理的重要告警。如果存在誤操作，要根據(jù)故障發(fā)生前的操作情況進(jìn)行逆向操作恢復(fù)業(yè)務(wù)。說明： 在處理故障前，要進(jìn)行業(yè)務(wù)調(diào)離。圖排除運(yùn)行正常的部分，以縮小故障定位的范圍。但硬件環(huán)回需要到設(shè)備現(xiàn)場才能進(jìn)行操作。環(huán)回操作分為軟件環(huán)回和硬件環(huán)回，這兩種方式各有所長：A. 軟件環(huán)回即在U2000上配置環(huán)回，操作方便，但定位故障的范圍和位置不夠準(zhǔn)確。如果數(shù)據(jù)正常，可確定NE工作正常。按下圖所示，將網(wǎng)絡(luò)分析儀與設(shè)備正確連接，同時(shí)在NE上進(jìn)行內(nèi)環(huán)回，對NE進(jìn)行丟包率的測試。E. 網(wǎng)絡(luò)分析儀：用于網(wǎng)絡(luò)性能的測試和分析，測試內(nèi)容較豐富。B. 誤碼儀：用于測試傳輸通道中存在的誤碼情況，如誤碼數(shù)、誤碼率、誤碼秒等。 對于CES業(yè)務(wù)，確認(rèn)“報(bào)文裝載時(shí)間”和“抖動(dòng)緩沖時(shí)間”是否配置正確。 PW的出入標(biāo)簽是否一致。 PW ID是否正確。 對于第三方設(shè)備的端口，需要確認(rèn)以太網(wǎng)端口工作模式、VC12線序模式或時(shí)鐘模式是否與PTN設(shè)備匹配。 對于PDH端口，檢查“端口模式”、“封裝類型”、“幀格式”、“阻抗”、“幀模式”等參數(shù)是否配置正確。檢查“端口模式”、“封裝類型”、“工作模式”、“TAG標(biāo)識(shí)”、“缺省VLAN ID”、“Tunnel使能狀態(tài)”、“IP地址”等參數(shù)是否配置正確。 2. 對照網(wǎng)元規(guī)劃表，檢查端口狀態(tài)和參數(shù)配置。一般情況下，對照網(wǎng)元規(guī)劃表即可找出網(wǎng)元上配置錯(cuò)誤的參數(shù)。Tunnel節(jié)點(diǎn)類型LSP狀態(tài)Ingress遠(yuǎn)端可用狀態(tài)Egress近端可用狀態(tài)若出現(xiàn)其它狀態(tài)時(shí)，根據(jù)“LSP缺陷位置”可定位到出現(xiàn)故障的網(wǎng)元。2) 在“OAM參數(shù)”選項(xiàng)卡中，為Tunnel設(shè)置合適的“檢測報(bào)文類型”和“檢測報(bào)文周期”，使能“OAM狀態(tài)”，單擊“應(yīng)用”。如果發(fā)送報(bào)文數(shù)量等于接收報(bào)文數(shù)量，且丟包率為0，則該P(yáng)W的連通性正常。在彈出的“操作結(jié)果”對話框中單擊“關(guān)閉”。5) 在“測試結(jié)果”區(qū)域分析Ping測試結(jié)果。在彈出的“操作結(jié)果”對話框中單擊“關(guān)閉”。B、OAM分類分析定位故障時(shí)常用的OAM功能主要是Tunnel OAM和PW OAM兩種。一條MPLS LSP往往經(jīng)過多個(gè)網(wǎng)元。在網(wǎng)管上查詢該ATM業(yè)務(wù)的RMON性能，發(fā)現(xiàn)存在亂序包計(jì)數(shù)，且亂序包計(jì)數(shù)值約為接收信元計(jì)數(shù)的50%，由此判斷業(yè)務(wù)出現(xiàn)雙收，并找到問題的原因所在。 Tunnel是雙向的，可以在“對象”中選擇正向Tunnel或反向Tunnel。 PW的發(fā)送/接收方向有計(jì)數(shù)。 發(fā)送/接收方向有計(jì)數(shù)。 發(fā)送/接收方向有計(jì)數(shù)。 對于主控板，CPU占用率不應(yīng)過高。 網(wǎng)元支持的當(dāng)前性能的具體含義和解釋。以太網(wǎng)業(yè)務(wù)OAM沒有丟包。 當(dāng)前性能：下表區(qū)分不同的“對象”，列出當(dāng)前性能統(tǒng)計(jì)的判斷標(biāo)準(zhǔn)。沿此線索，發(fā)現(xiàn)與該UNI端口對接的第三方設(shè)備上出現(xiàn)了遠(yuǎn)端環(huán)回，導(dǎo)致網(wǎng)絡(luò)上出現(xiàn)環(huán)路。示例二：復(fù)雜組網(wǎng)中，通過分析新增告警和已清除的歷史告警，可以找出排除故障的關(guān)鍵所在。如下圖所示的鏈路圖中，網(wǎng)管計(jì)算機(jī)連接到NE2。倘若網(wǎng)元當(dāng)前時(shí)間與網(wǎng)管時(shí)間不同步，將導(dǎo)致信息上報(bào)錯(cuò)誤。 當(dāng)前告警 178。 告警分析法告警分析法是定位故障的常用方法之一。二、 網(wǎng)絡(luò)故障分析定位方法根據(jù)現(xiàn)網(wǎng)中處理網(wǎng)元脫管或業(yè)務(wù)中斷等故障的經(jīng)驗(yàn)，一般遵循“一分析，二倒換/復(fù)位，三換板”的處理方案?；葜莨揪W(wǎng)絡(luò)維護(hù)中心 2010年12月目錄一、 概述 4二、 網(wǎng)絡(luò)故障分析定位方法 4 告警分析法 4 性能統(tǒng)計(jì)分析法 5 OAM分析法 7 配置數(shù)據(jù)分析法 11 儀表測試分析法 12 環(huán)回法 13 排除法 14三、 業(yè)務(wù)中斷故障和業(yè)務(wù)恢復(fù) 15 流程圖 15 查詢誤操作 17 檢查告警 17 檢查環(huán)回和裝載 18 檢查業(yè)務(wù)配置 18 應(yīng)急恢復(fù)方案 18 倒換 19 復(fù)位 19 通過更換單板恢復(fù)業(yè)務(wù) 19四、 常見故障處理方法 20 帶內(nèi)DCN故障處理 20 MPLS Tunnel故障處理 24 PW故障處理 26 CES業(yè)務(wù)故障處理 27 以太網(wǎng)業(yè)務(wù)故障處理 31 offload故障處理 35 時(shí)鐘故障處理 37 QoS故障處理 39 線性MSP故障處理 42 TPS故障處理 45 LAG故障處理 48 MPLS APS故障處理 51五、部件更換注意事項(xiàng) 55 部件分類說明 56 更換處理板 57 更換子卡 59 更換接口板 60 更換XCS單板 61 更換帶有1+1保護(hù)的SCA單板 63 更換沒有1+1保護(hù)的SCA單板 65 更換風(fēng)扇板 68 更換PIU板 69 更換可插拔光模塊 70 更換CF卡 71一、 概述PTN網(wǎng)絡(luò)故障處理在日常維護(hù)中顯得至關(guān)重要，為了更好的開展PTN網(wǎng)絡(luò)的日常維護(hù)，特編制PTN網(wǎng)絡(luò)故障處理手冊。保證PTN網(wǎng)絡(luò)的穩(wěn)定運(yùn)行，盡量減少突發(fā)事故。當(dāng)設(shè)備發(fā)生故障時(shí)，一般會(huì)伴隨大量的告警。 網(wǎng)元側(cè)歷史告警 178。在維護(hù)過程中，對某網(wǎng)元重下配置后，應(yīng)特別注意將該網(wǎng)元的當(dāng)前時(shí)間與網(wǎng)管時(shí)間同步。 故障現(xiàn)象：NE1和NE2之間的ELine業(yè)務(wù)中斷，NE2上報(bào)ETH_LOS告警。某復(fù)雜環(huán)型拓?fù)浣M網(wǎng)突發(fā)廣播風(fēng)暴，各網(wǎng)元均出現(xiàn)大量FLOW_OVER告警，業(yè)務(wù)中斷。解除該環(huán)回后，故障徹底排除。表 對于端口，應(yīng)沒有誤碼。178。 RMON性能：下表區(qū)分不同的“對象”，列出RMON性能統(tǒng)計(jì)的判斷標(biāo)準(zhǔn)。 178。 OAM分析法OAM機(jī)制可以有效地檢測、確認(rèn)并定位出源于MPLS層網(wǎng)絡(luò)內(nèi)部的缺陷和網(wǎng)絡(luò)性能的監(jiān)控。l 組網(wǎng)復(fù)雜。對Tunnel和PW執(zhí)行Ping測試，通過計(jì)算OAM報(bào)文丟包率，判斷Tunnel和PW的連通性。3) 重復(fù)步驟1和步驟2，在Tunnel另一端的網(wǎng)元上，使能OAM功能，并保證兩端網(wǎng)元的參數(shù)設(shè)置一致。如果發(fā)送報(bào)文數(shù)量等于接收報(bào)文數(shù)量，且丟包率為0，則該Tunnel的連通性正常。3) 重復(fù)步驟1和步驟2，在PW另一端的網(wǎng)元上，使能OAM功能，并保證兩端網(wǎng)元的參數(shù)設(shè)置一致。E、OAM應(yīng)用業(yè)務(wù)中斷或業(yè)務(wù)出現(xiàn)丟包、誤碼時(shí)，可按照所示的流程運(yùn)用OAM功能，定位故障。在彈出的“操作結(jié)果”對話框中單擊“關(guān)閉”。5) 根據(jù)相應(yīng)的“LSP缺陷類型”，選擇清除告警，檢查光纖連接或確認(rèn)端口、Tunnel、業(yè)務(wù)的配置參數(shù)等方法，排除故障。當(dāng)PTN設(shè)備與第三方設(shè)備對接時(shí)，由于兩端的某些參數(shù)默認(rèn)取值不一致，要特別注意兩端參數(shù)的匹配問題。端口參數(shù)配置錯(cuò)誤是現(xiàn)網(wǎng)中導(dǎo)致故障最常見的原因之一。 216。 216。 3. 檢查Tunnel兩端網(wǎng)元上的參數(shù)配置是否匹配，是否選擇了正確的端口。 216。 216。 儀表測試分析法儀表測試分析法一般用于定位設(shè)備的外部問題及其它設(shè)備的對接問題。一般是將需要測試的通道進(jìn)行環(huán)回，通過誤碼儀發(fā)送偽隨機(jī)碼，并在誤碼儀上查看所測試到的通道誤碼情況。如最大線速、數(shù)據(jù)流量、幀長、吞吐量、丟包率及網(wǎng)絡(luò)延時(shí)等。圖 可再對其它網(wǎng)元進(jìn)行測試。比如在單站測試時(shí)，配置光口為內(nèi)環(huán)回，即使業(yè)務(wù)測試正常，也不能確定該單板的接口模塊沒有問題。另外，光接口在硬件環(huán)回時(shí)要避免接收光功率過載。示例：以下面的示例說明排除法的思路。組網(wǎng)圖三、 業(yè)務(wù)中斷故障和業(yè)務(wù)恢復(fù)下面介紹業(yè)務(wù)中斷故障的應(yīng)急處理流程。就是通過網(wǎng)管配置，將故障路由的業(yè)務(wù)倒換到可用路由中。 檢查告警發(fā)生業(yè)務(wù)中斷時(shí)，需要檢查設(shè)備是否存在如下表所示的告警。 檢查環(huán)回和裝載檢查業(yè)務(wù)路由上是否設(shè)置了環(huán)回或通道未裝載。 倒換倒換可分為單板級倒換和業(yè)務(wù)級倒換。OptiX PTN 3900支持的業(yè)務(wù)級倒換類型有：APS保護(hù)倒換 線性復(fù)用段（LMSP）保護(hù)倒換如果由于保護(hù)倒換失敗導(dǎo)致業(yè)務(wù)中斷，可以刪除已失效的保護(hù)組，另行創(chuàng)建可正常運(yùn)行的新保護(hù)組，并將業(yè)務(wù)倒換到新的路徑上。單板復(fù)位后可以恢復(fù)正確的程序和數(shù)據(jù)。 通過更換單板恢復(fù)業(yè)務(wù)如果一時(shí)無法定位到故障原因，又沒有備用路由用于業(yè)務(wù)倒換，而且復(fù)位單板無效時(shí)，需要考慮更換單板。替換法不僅僅適用于單板，也適用于光纖、電纜和供電設(shè)備等，但要求備件必須是完好的。 178。如下圖所示，如果懷疑NE1和NE2之間的ELine業(yè)務(wù)中斷是由于單板故障導(dǎo)致，可用正常的備件替換懷疑故障的單板進(jìn)行工作。 帶內(nèi)DCN故障處理本節(jié)介紹帶內(nèi)DCN出現(xiàn)故障時(shí)的現(xiàn)象、對系統(tǒng)的影響、可能原因、排除該故障時(shí)需要的工具、注意事項(xiàng)以及處理步驟等。 網(wǎng)管與網(wǎng)元通信中斷，網(wǎng)管上網(wǎng)元圖標(biāo)變灰色，網(wǎng)元脫管。 178。帶內(nèi)DCN故障處理流程圖D、對系統(tǒng)的影響178。 若承載帶內(nèi)DCN的物理通道故障，則會(huì)影響該物理通道上承載的其它業(yè)務(wù)。 故障網(wǎng)元的帶內(nèi)DCN端口未使能，或?qū)佣丝趨?shù)配置不一致。 接收信號(hào)丟失或接收光功率過低，無法提取DCN報(bào)文。 DCN穿越的第三方網(wǎng)絡(luò)不健康，引入DCN風(fēng)暴或DCN中斷。 故障網(wǎng)元主控板正在復(fù)位或發(fā)生了主備倒換，帶內(nèi)DCN報(bào)文得不到響應(yīng)。 如果網(wǎng)元通信未中斷，先處理非網(wǎng)關(guān)網(wǎng)元的故障，再處理網(wǎng)關(guān)網(wǎng)元的故障，避免造成非網(wǎng)關(guān)網(wǎng)元脫管。 如果不能登錄，可以采用PC機(jī)直連設(shè)備的ETH端口。 此原因一般由全網(wǎng)中新添加的網(wǎng)元引入。 178。 252。 檢查兩端端口的參數(shù)配置是否一致，例如以太網(wǎng)端口的工作模式。 檢查故障網(wǎng)元的網(wǎng)線或光纖是否從端口中脫落。 檢查網(wǎng)元的歷史告警中是否存在R_LOS、ETH_LOS或IN_PWR_ABN等告警。 252。 若帶內(nèi)DCN通信穿越了第三方網(wǎng)絡(luò)，需要檢查第三方網(wǎng)絡(luò)中是否存在端口環(huán)回、物理通道中斷等故障。 帶內(nèi)DCN通道帶寬配置過低 252。 觀察主控板的PROG指示燈是否處于綠燈閃爍狀態(tài)，若是，則主控板正處于復(fù)位狀態(tài)。 若DCN未恢復(fù)響應(yīng)，檢查其它單板是否發(fā)生保護(hù)倒換，造成帶內(nèi)DCN報(bào)文處于重路由狀態(tài)。A. 故障現(xiàn)象:處理MPLS Tunnel的故障時(shí)，通常會(huì)遇到以下故障現(xiàn)象178。 178。 路由失敗。 Tunnel所在的物理鏈路故障。 路由失敗252。 檢查Tunnel首末節(jié)點(diǎn)所在的網(wǎng)元間是否存在完整可達(dá)的鏈路。 178。 252。如果是，需要重新規(guī)劃或刪除冗余的Tunnel。若存在，優(yōu)先處理這些告警。 檢查對端設(shè)備是否存在單板故障或網(wǎng)元復(fù)位等異常狀況。 PW創(chuàng)建失敗，業(yè)務(wù)不通。 LDP會(huì)話創(chuàng)建失敗，PW創(chuàng)建不成功。 PW交叉建立失敗。 PW APS保護(hù)倒換失敗。 檢查PW兩端網(wǎng)元是否配置了LDP對等體。舉例如下： 167。 167。 檢查PW首末節(jié)點(diǎn)間物理鏈路是否正常，系統(tǒng)中是否存在HARD_BAD、LASER_MOD_ERR、R_LOS或ETH_LOS等告警。 查詢并處理系統(tǒng)中存在的PW_DOWN、PW_DROPPKT_EXC或PW_EXC_TRAFFIC告警。 檢查對端設(shè)備是否存在單板故障或網(wǎng)元復(fù)位等異常狀況。如果是，需要重新規(guī)劃或刪除冗余的PW 178。消除設(shè)備上報(bào)的告警后，故障也隨之排除表 若故障由于SCA或XCS單板造成，則可能影響設(shè)備接入的其它業(yè)務(wù)。 處理板、接口板的接口接入的信號(hào)丟失或惡化。 網(wǎng)元的同步時(shí)鐘源級別丟失，或同步時(shí)鐘源丟失。光接口及光纖內(nèi)部的激光束會(huì)傷害眼睛。252。 查詢系統(tǒng)是否有T_ALOS、UP_E1AIS或DN_E1AIS告警。 查詢系統(tǒng)是否有LASER_MOD_ERR、LSR_WILL_DIE、IN_PWR_ABN、TEM_HA或LSR_BCM_ALM告警。 252。 查詢系統(tǒng)是否有SYNC_C_LOS或LTI告警。 252。消除設(shè)備上報(bào)的告警后，故障也隨之排除。以太網(wǎng)業(yè)務(wù)故障處理流程圖 C. 對系統(tǒng)的影響:網(wǎng)絡(luò)中以太網(wǎng)業(yè)務(wù)中斷、出現(xiàn)丟包或錯(cuò)包，若故障由于SCA或XCS單板造成，則可能影響設(shè)備接入的其它業(yè)務(wù)。 接收信號(hào)丟失。 原因4：端口配置了環(huán)回。光接口及光纖內(nèi)部的激光束會(huì)傷害眼睛。 查詢系統(tǒng)當(dāng)前告警，是否有HARD_BAD、TEMP_OVER、COMMUN_FAIL或BUS_ERR告警，并確定上報(bào)告警的單板。 252。 252。 查詢系統(tǒng)是否有ETH_LINK_DOWN告警。 252。 查詢系統(tǒng)是否有FLOW_OVER告警。A. 故障現(xiàn)象處理時(shí)鐘故障時(shí)，通常會(huì)遇到以下故障現(xiàn)象，如下表所示。C. 造成時(shí)鐘故障的原因如下178。 178。 178。 178。 優(yōu)先級表中業(yè)務(wù)板上的同步時(shí)鐘源級別丟失 252。 查詢系統(tǒng)是否有LTI告警。 178。 外部時(shí)鐘源丟失252。 查詢系統(tǒng)是否有CLK_NO_TRACE_MODE告警。 QoS故障處理本節(jié)介紹QoS出現(xiàn)故障時(shí)的現(xiàn)象、對系統(tǒng)的影響、可能原因、排除該故障時(shí)需要的工具、注意事項(xiàng)以及處理步驟等。 178。 178。表 若單板的業(yè)務(wù)處理能力受限，部分業(yè)務(wù)可能得不到處理，會(huì)出現(xiàn)丟包或誤碼。 業(yè)務(wù)處理單板存在BUS_ERR告警，單板業(yè)務(wù)處理能力受限。 配置業(yè)務(wù)時(shí)選擇了錯(cuò)誤的QoS策略。 單板故障，配置數(shù)據(jù)未下達(dá)到單板。 178。 若沒有，重新配置遺漏的QoS策略。若