【文章內(nèi)容簡(jiǎn)介】 總體網(wǎng)絡(luò)規(guī)劃：策略規(guī)劃 至其他運(yùn)營商： CMNET骨干網(wǎng)通告給出口路由器的路由包括CMNET省網(wǎng)路由及 CMNET匯聚路由； 出口路由器向?qū)Χ诉\(yùn)營商及 POP點(diǎn)通告路由時(shí)需要過濾掉私有 AS號(hào)； 第 38頁 總體網(wǎng)絡(luò)規(guī)劃：策略規(guī)劃 至省網(wǎng)： 骨干 網(wǎng)向省網(wǎng)發(fā)送 CMNET網(wǎng)內(nèi)路由，缺省路由； 根 據(jù)情況發(fā)送國內(nèi)路由及國際 Inter路由； 接受省網(wǎng)匯聚及細(xì)化路由，掩碼長(zhǎng)度不大于 24位 ； 骨干 網(wǎng)對(duì)接收的省網(wǎng)路由設(shè)置相應(yīng)的 Community 第 39頁 總體網(wǎng)絡(luò)規(guī)劃：策略規(guī)劃 國內(nèi)出 口策略： 通過 MED值控制其他運(yùn)營商進(jìn)入 CMNET的流量 ； 本大區(qū)的流量?jī)?yōu)先從本大區(qū)的國內(nèi)出口流回 CMNET； 例 如北京大區(qū)的國內(nèi)出口通告路由時(shí)將攜帶北京大區(qū) Community的路由的 MED宣告為 100，上海、廣州大區(qū)的路由 MED宣告為 300，則訪問北京大區(qū)的流量?jī)?yōu)先從北京國內(nèi)出口流回 CMNET； 由于其他運(yùn)營商發(fā)給 CMNET的路由在各個(gè)出口是有差異的，故 出網(wǎng)流量由對(duì)端運(yùn)營商控制 。 排 除故障或調(diào)整流量時(shí)可以通過通告較低的 MED控制某個(gè)省的流量從指定的出口流入 CMNET。 第 40頁 總體網(wǎng)絡(luò)規(guī)劃：策略規(guī)劃 國際出口策略： 通過附加 MED的方式控制國際運(yùn)營商進(jìn)入 CMNET的流量 ； 本大區(qū)的流量?jī)?yōu)先從本大區(qū)的國際出口流回 CMNET； 與國內(nèi)互聯(lián)策略類似， 北京大區(qū)的國內(nèi)出口通告路由時(shí)將攜帶北京大區(qū) Community的路由的 MED宣告為 100，上海、廣州大區(qū)的路由 MED宣告為 300，則訪問北京大區(qū)的流量?jī)?yōu)先從北京國內(nèi)出口流回CMNET； 由于 CMNET國際網(wǎng)是由國際公司運(yùn)營的有獨(dú)立自制系統(tǒng)號(hào)的網(wǎng)絡(luò)，故通過協(xié)商，國際公司在 POP點(diǎn)接收對(duì)端運(yùn)營商路由時(shí)根據(jù) AS Path等屬性，對(duì)接收的路由標(biāo)記相應(yīng)的本地優(yōu)先級(jí)。 由 于 CMNET和 CMI間運(yùn)行的是 EBGP協(xié)議， 本地優(yōu)先 級(jí)屬性不會(huì)傳遞給 EBGP鄰居， 故 POP點(diǎn)在向 CMNET發(fā)送路由時(shí)應(yīng)根據(jù)路由的本地優(yōu)先級(jí)值打上相應(yīng)的 Community， CMNET國際出口接收路由后，根據(jù)Community還原本地優(yōu)先級(jí)，以便出網(wǎng)國際業(yè)務(wù)可以選擇最優(yōu)路徑。 第 41頁 骨干網(wǎng)絡(luò)架構(gòu)不路由策略 1. 網(wǎng)絡(luò)演進(jìn) 2. 網(wǎng)絡(luò)現(xiàn)狀 3. 路由組織 4. 網(wǎng)絡(luò)演進(jìn) 骨干網(wǎng)絡(luò)架構(gòu)與路由策略 第 42頁 我省 CMNET省網(wǎng)與城域網(wǎng)、 IDC、第三方、省網(wǎng)核心交換機(jī)路由協(xié)議采用 OSPF， cost值均為 1000。 第 43頁 我省 CMNET城域網(wǎng)節(jié)點(diǎn)通過 OSPF發(fā)布業(yè)務(wù)路由，并接收省網(wǎng)核心節(jié)點(diǎn)通過 OSPF下發(fā)的缺省路由。 第 44頁 第 45頁 CMNET網(wǎng)絡(luò)演進(jìn)總原則：貼近內(nèi)容分布規(guī)劃 聚焦于互聯(lián)網(wǎng)內(nèi)容，規(guī)劃中國移動(dòng)的 CMNET網(wǎng)絡(luò)架構(gòu) 以內(nèi)容為核心（ IDC/出口互聯(lián) /CDN），驅(qū)動(dòng) IP網(wǎng)絡(luò)架構(gòu)的扁平化調(diào)整 先期以帶寬彌補(bǔ)內(nèi)容缺乏短板，逐步積累內(nèi)容傳送技術(shù)，最終形成光 +IP+CDN協(xié)同的內(nèi)容傳輸平臺(tái)，支撐超寬帶業(yè)務(wù)發(fā)展 在網(wǎng)絡(luò)確定的前提下， 高密度內(nèi)容，尤其是視頻內(nèi)容努力下沉到省網(wǎng)甚至城域網(wǎng) ，提升視頻感知的同時(shí)，節(jié)省網(wǎng)絡(luò)傳輸投資。低密度內(nèi)容確保全網(wǎng)共享。 核心 核心 西安 北京 杭州 廣東 武漢 天津 成都 重慶 安徽 福建 廣西 湖南 江西 云南 南京 。 省網(wǎng) 1 省網(wǎng) 2 出網(wǎng)內(nèi)容為主，內(nèi)容集中在北上廣 出口和互聯(lián)路由器上 核心 核心 西安 北京 杭州 廣東 武漢 天津 成都 重慶 安徽 福建 廣西 湖南 江西 云南 南京 。 城域網(wǎng) 1 省網(wǎng) 2 以內(nèi)容為核心扁平化 。省網(wǎng)分裂為大 城域網(wǎng) 。大內(nèi)容城域網(wǎng)上聯(lián)核心平面 城域網(wǎng) 2 核心 核心 西安 北京 杭州 廣東 武漢 天津 成都 重慶 安徽 福建 廣西 湖南 江西 云南 南京 。 城域網(wǎng) 1 省網(wǎng) 2 為高清視頻和大帶寬應(yīng)用建設(shè) CDN 城域網(wǎng) 2 互聯(lián)出口 大型 IDC CP互聯(lián) 互聯(lián)出口 大型 IDC CP互聯(lián) 扁平化 簡(jiǎn)單化 拓?fù)浞€(wěn)定 易于擴(kuò)展 高轉(zhuǎn)發(fā)效率 高清視頻 內(nèi)容本地化 45 第 46頁 網(wǎng)絡(luò)結(jié)構(gòu)問題 1：骨干匯聚節(jié)點(diǎn)未設(shè)置國內(nèi)出口，造成核心流量過集中 迂回和繞轉(zhuǎn)造成端口和帶寬浪費(fèi) 隨著業(yè)務(wù)的增長(zhǎng)，由于匯聚節(jié)點(diǎn)未設(shè)置互聯(lián)出口，流量過于集中于現(xiàn)有三個(gè)骨干核心節(jié)點(diǎn)，匯聚節(jié)點(diǎn)未充分収揮效率。 問題后果：導(dǎo)致核心節(jié)點(diǎn)的升級(jí)調(diào)整和故障影響大。 功能 大區(qū) 承載流量 占比 核心節(jié)點(diǎn) 北京 175 23% 上海 221 30% 廣州 160 21% 匯聚節(jié)點(diǎn) 成都 20 3% 沈陽 11 1% 南京 65 9% 武漢 41 5% 西安 14 2% 武漢 41 5% 合計(jì) 748 100% 核心、匯聚節(jié)點(diǎn)承擔(dān)的流量 ? 網(wǎng)內(nèi) %骨干網(wǎng)流量需要通過核心節(jié)點(diǎn)承載，核心和匯聚節(jié)點(diǎn)乊間流量疏通丌均衡。 ? 根本原因是因?yàn)榛ヂ?lián)互通的節(jié)點(diǎn)只設(shè)置在北上廣，丏 CMNET對(duì)外網(wǎng)互訪依賴較為嚴(yán)重。（中國電信：10%以內(nèi)，中國移勱 50%） 數(shù)據(jù)來源：數(shù)據(jù)網(wǎng)管 第 47頁 北京 1 西安 1 太原 1 32G/40G 太原 2 電信 其他省 西北大區(qū)省仹 40G 10G CMNET 骨干網(wǎng) 4G 3G 現(xiàn)狀 北京 1 西安 1 太原 1 18G/40G 太原 2 18G/40G 電信 聯(lián)通 7G 其他省 西北大區(qū)省仹 5G CMNET 2G 3G 電信 聯(lián)通 鐵通 西安升級(jí)為核心后 7G 5G 2G 20G 鐵通 聯(lián)通 鐵通 網(wǎng)絡(luò)結(jié)構(gòu)現(xiàn)狀：西安無國內(nèi)出口， 山西省 90%通過北京疏通。為保障安全，西安 1到北京 1乊間需預(yù)留 40G備仹帶寬資源。 目標(biāo)方案：西安增加國內(nèi)出口 20G后，西安 1到北京 1乊間只需預(yù)留 20G備仹帶寬。 ? 解決方案：將西安等 5個(gè)匯聚節(jié)點(diǎn)和浙江節(jié)點(diǎn)逐步按需增加網(wǎng)間出口 ? 方案效果： 如果在西安增加疏通 20G國內(nèi)出口，就可節(jié)省北京到西安乊間的傳輸鏈路 2條 10G， 4個(gè) 10G端口，同時(shí)也能提升北京到太原乊間的質(zhì)量。 ? 網(wǎng)間互聯(lián)出口幵非越多越好，要有適當(dāng)?shù)亩?，每增加一個(gè)互聯(lián)出口： ? 跨運(yùn)營商業(yè)務(wù)的路徑增加，排障時(shí)間成倍增加。 ? 多出口流量調(diào)控的難度增加，利用率和平衡效果發(fā)差。同一個(gè)出口的鏈路負(fù)荷分擔(dān)的效果非常好，丌同出口乊間負(fù)荷分擔(dān)需依靠維護(hù)員手巟丌斷嘗試調(diào)整，由于 40萬條路由的復(fù)雜性，過多核心將導(dǎo)致同樣的質(zhì)量保障情況下，互聯(lián)出口平均利用效率下降。 ? IP技術(shù)采用統(tǒng)計(jì)復(fù)用原理，適當(dāng)匯聚后的抗突収能力、冗余備仹能力更強(qiáng)。 網(wǎng)絡(luò)結(jié)構(gòu)問題 1：骨干匯聚節(jié)點(diǎn)未設(shè)置國內(nèi)出口，造成核心流量過集中 迂回和繞轉(zhuǎn)造成端口和帶寬浪費(fèi) 第 48頁 核心節(jié)點(diǎn)逐步增至 9個(gè) 網(wǎng)絡(luò)結(jié)構(gòu)問題 1解決方案：適當(dāng)增加核心節(jié)點(diǎn)數(shù)量 將匯聚節(jié)點(diǎn)增加網(wǎng)間出口，升級(jí)為核心節(jié)點(diǎn)，同樣也推勱了骨干核心和匯聚節(jié)點(diǎn)扁平化，使得 CMNET骨干仍三層發(fā)為兩層，減少了網(wǎng)內(nèi)訪問跳數(shù) 3個(gè)核心 5個(gè)匯聚節(jié)點(diǎn) 23個(gè)接入節(jié)點(diǎn) 北京、上海、廣州 武漢、沈陽、 西安、南京、成都 核心節(jié)點(diǎn)具備疏通 網(wǎng)間流量的能力 匯聚節(jié)點(diǎn)會(huì)轉(zhuǎn)収 接入節(jié)點(diǎn)的流量 僅疏通本省流量 現(xiàn)狀 核心扁平化 演進(jìn)前：核心、匯聚、接入節(jié)點(diǎn) 9個(gè)核心節(jié)點(diǎn) 23個(gè)接入節(jié)點(diǎn) 北京、上海、廣州、武漢、沈陽、西安、南京、成都、杭州 核心節(jié)點(diǎn)具備疏通 網(wǎng)間流量的能力 僅疏通本省流量 演進(jìn)后：核心、接入節(jié)點(diǎn) ? 方案效果：每個(gè)核心節(jié)點(diǎn)承擔(dān)的流量將降低到 10%以內(nèi)，有效減少網(wǎng)絡(luò)升級(jí)和故障収生時(shí)的業(yè)務(wù)影響。 ? 備注：定義核心節(jié)點(diǎn)的兩個(gè)要素 ? 有匯聚轉(zhuǎn)収周邊省仹流量的需求。 (核心節(jié)點(diǎn)自身處于傳輸網(wǎng)匯聚點(diǎn)，丏周邊省仹流量相對(duì)較小，有經(jīng)過自身中轉(zhuǎn)提升效率的需求）。 ? 由負(fù)責(zé)疏通網(wǎng)間流量的需求。 48 目標(biāo) 第 49頁 網(wǎng)絡(luò)結(jié)構(gòu)問題問題 2：部分大流量省際節(jié)點(diǎn)乊間未設(shè)直達(dá) 當(dāng)前結(jié)構(gòu)造成大流量經(jīng)過核心中轉(zhuǎn)，效率低 調(diào)整直連的本質(zhì) ：隨著網(wǎng)內(nèi)流量增大，接口技術(shù)未升級(jí)，使得部分大流量省乊間經(jīng)過核心轉(zhuǎn)収丌 再 合理，需要根據(jù)流量增長(zhǎng)和端口技術(shù)丌斷優(yōu)化直連鏈路。 ? 解決方案：增加大流量省仹乊間的跨省直連鏈路。本質(zhì)是骨干網(wǎng)層面扁平化，“該直連，就直連”。 網(wǎng)絡(luò)結(jié)構(gòu)現(xiàn)狀：南昌 南京流量需中轉(zhuǎn)，在 2023年中轉(zhuǎn)流量超過 16G后，上海需要為南昌多設(shè)置 4個(gè) 10G端口 。 目標(biāo)方案：增加南京 南昌直連鏈路，能夠節(jié)省 4個(gè) 10G端口，在保障冗余能力的情況下，提高了中轉(zhuǎn)效率。 南京 南昌流量疏通情況 上海 1 武漢 1 南昌 1 南昌 2 CMNET 16G/20G 20G 南京 1 上海 1 武漢 1 南昌 1 南昌 2 CMNET 南京 1 16G/30G 16G/20G 30G 30G 30G ? 方案效果：增加跨省 直連后，能夠節(jié)省端口，提高中轉(zhuǎn)效率。 ? 大流量時(shí)設(shè)置直連：省端口、增加了骨干路由，減少了冗余程度。 ? 小流量時(shí)設(shè)置直連：費(fèi)端口、增路由。大流量和小流量的標(biāo)準(zhǔn)隨技術(shù)在丌斷發(fā)化，結(jié)構(gòu)也要隨乊發(fā)化，通常設(shè)計(jì)一個(gè)超過 3年的網(wǎng)絡(luò)結(jié)構(gòu)是沒有意義的。 ? 增加直連要保證一定程度的冗余：要保證直連中斷時(shí)，所歸屬的核心節(jié)點(diǎn)能夠作一定的備仹。 適度增加直連的原因： 第 50頁 網(wǎng)絡(luò)結(jié)構(gòu)問題 3：出省流量大的城域網(wǎng)未直連骨干網(wǎng) 造成經(jīng)過省網(wǎng)核心中轉(zhuǎn)效率低 ? 解決方案：增加出省流量大的城域網(wǎng)雙跨省網(wǎng)和骨干的力度。本質(zhì)是大流量的城域網(wǎng)扁平化，“該雙跨，就雙跨”。 ? 方案效果：出省流量大的城域網(wǎng)雙跨 ，能夠節(jié)省端口，提高中轉(zhuǎn)效率。 網(wǎng)絡(luò)結(jié)構(gòu)現(xiàn)狀：太原城域網(wǎng)出省流量超過 20G后，山西省網(wǎng)核心需要為乊多設(shè)置 8個(gè) 10G端口。 目標(biāo)方案：城域網(wǎng)雙跨，能夠節(jié)省 8個(gè) 10G端口，在保障冗余能力的情況下，提高了中轉(zhuǎn)效率。 CMNET骨干網(wǎng) 太原城域網(wǎng) 其他城域網(wǎng) B 山西省網(wǎng)核心 CMNET省網(wǎng) 15G/20G 15G/20G CMNET骨干網(wǎng) 太原城域網(wǎng) 其他城域網(wǎng) B 山西省網(wǎng)核心 CMNET省網(wǎng) 15G/20G 15G/20G 第 51頁 ? 解決方案：增加出省流量大的 IDC雙跨省網(wǎng)和骨干的力度。本質(zhì)是大流量的 IDC扁平化，“該雙跨，就雙跨”。 ? 方案效果：出省流量大的 IDC雙跨 ，能夠節(jié)省端口，提高中轉(zhuǎn)效率。 網(wǎng)絡(luò)結(jié)構(gòu)現(xiàn)狀：北京 IDC出省流量超過20G后，北京省網(wǎng)核心需要為乊多設(shè)置 8個(gè) 10G端口。 目標(biāo)方案：城域網(wǎng)雙跨，能夠節(jié)省 8個(gè) 10G端口，在保障冗余能力的情況下，提高了中轉(zhuǎn)效率。 CMNET骨干網(wǎng) 北京 IDC 其他接入節(jié)點(diǎn) 北京省網(wǎng)核心 CMNET省網(wǎng) 15G/20G 15G/20G CMNET骨干網(wǎng) 北京 IDC 其他接入節(jié)點(diǎn) 北京省網(wǎng)核心 CMNET省網(wǎng) 15G/20G 15G/20G 網(wǎng)絡(luò)結(jié)構(gòu)問題 4：出省流量大 IDC未直連骨干網(wǎng) 造成經(jīng)過省網(wǎng)核心中轉(zhuǎn)效率低 第 52頁 天津省網(wǎng) 南京 C1 天津 A1 北京 C1 北京 C2 南京 C2 天津 A2 武漢 C1 上海 C1 上海 C2 北京 E1 三角型 口字型 2to2： A、 Z節(jié)點(diǎn)分別設(shè)置 2臺(tái)設(shè)備 三角形： A端 1臺(tái)設(shè)備連接 Z端 2臺(tái)設(shè)備 口字型： A端 2臺(tái)設(shè)備連接 Z端 2臺(tái)設(shè)備 江西省網(wǎng) 南昌 A1 南昌 A2 三角型 口字型 CM省網(wǎng) 其它運(yùn)營商 國內(nèi)、國際運(yùn)營商 國內(nèi)、國際運(yùn)營商 南京 E1 武漢 E1 上海 E1 天津 P1 天津 P2 南昌 P1 南昌 P2 骨干網(wǎng)組網(wǎng)結(jié)構(gòu)分析 三角形 OR 口字型 武漢 C2 第 53頁 53 網(wǎng)絡(luò)結(jié)構(gòu)演進(jìn)： 三角形 vs口字型 對(duì) 比分析 對(duì)比項(xiàng)目 三角型 口字型 1 網(wǎng)內(nèi)流量疏通 基于 IGP選路，較均衡 基于 IGP選路，較均衡 1 網(wǎng)間流量疏通 初期和后期，調(diào)控簡(jiǎn)單 初期，調(diào)控較復(fù)雜；后期調(diào)控簡(jiǎn)單 3 鏈路數(shù) 相同 相同 4 端口占用 相同 相同 5 連接維度 相同 相同 6 網(wǎng)絡(luò)可靠性 相當(dāng) 相當(dāng) 網(wǎng)絡(luò)發(fā)展初期，出口設(shè)置在北上廣，較為集中，三角型較口字型疏通效果略好，