【正文】 集中向扁平化轉(zhuǎn)變 ? IP流量劇增，對設(shè)備的擴(kuò)展性提出了挑戰(zhàn) ?網(wǎng)絡(luò)流量增長迅猛，使得設(shè)備升級替換也比較頻繁，目前設(shè)備研發(fā)跟不上流量增長速度，流量約 18個(gè)月翻一倍，設(shè)備容量卻在 2－ 4年才能翻一倍 ?鏈路方面， 40G傳輸系統(tǒng)目前處于試點(diǎn)應(yīng)用階段； 100GE技術(shù)還處于在標(biāo)準(zhǔn)化中 14 169。省間互訪需經(jīng)多跳核心轉(zhuǎn)發(fā)，效率低且投資效益受影響 ? 北方八省還存在匯接與省網(wǎng)核心之間的背靠背鏈路，投資浪費(fèi)較大 15 169。 2023 163五年后的網(wǎng)絡(luò)容量有多大？（ 2023年） ? 2023年各省出口總帶寬： 9T ? 寬帶接入用戶增長（包括全球眼類似的專用終端）： 2030%/年，平均流量增長： 2030%/用戶 /年，并發(fā)用戶數(shù)增長： 510%/年 ? 按照 60%年增長率預(yù)測將來幾年帶寬如下（ T) ? 按照 80%年增長率預(yù)測將來幾年帶寬如下（ T） ? 2023年各省出口總帶寬是 2023年的： 1018倍！ 年份 2023 2023 2023 2023 2023 2023容量 增量 年份 2023 2023 2023 2023 2023 2023容量 增量 17 169。 2023 現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)面臨的挑戰(zhàn) ? 匯聚型的網(wǎng)絡(luò)結(jié)構(gòu)容量可擴(kuò)展性較差，核心節(jié)點(diǎn)設(shè)備能力成為網(wǎng)絡(luò)發(fā)展的瓶頸 ? 匯聚網(wǎng)絡(luò)層次多，轉(zhuǎn)發(fā)效率較低，投資較大 ? 現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)、設(shè)備和鏈路技術(shù)不能支撐 1216倍的網(wǎng)絡(luò)容量。 ? 10年前設(shè)計(jì)的網(wǎng)絡(luò)組織原則和思路已經(jīng)不完全匹配現(xiàn)在業(yè)務(wù)流量流向的路由組織需求。 19 169。 2023 方案一：單平面大骨干 +城域網(wǎng) 城 城 城 城 城城 城 城 城 城北 北. . .北 北北 北北 北北 北北 北北 北城 城2 0 n o d e s p a r t i a l m e s h城 城城 城 城城 城城 城 城城 城城 城 城城 城北 北 北 北 北 北 /北 北 北 北 北北 北 北 北 北 北 /北 北 北 北 北北 北 北 北 北 北 /北 北 北 北 北城 城北 / 北北 北城 城城 城 城 城城 城北 北城 城城 城… …廣 東 省城 城城 城… …福 建 省… …江 蘇 省城 城. . .… …甘 肅 省城 城城 城城 城 城整體網(wǎng)絡(luò)結(jié)構(gòu)維持骨干網(wǎng)和城域網(wǎng) 2級， IDC與城域網(wǎng)平級。 2023 方案一：單平面大骨干 +城域網(wǎng) 骨干網(wǎng)： ? 將現(xiàn) 163骨干網(wǎng)絡(luò)內(nèi)匯接節(jié)點(diǎn)和核心節(jié)點(diǎn)地位等同化，統(tǒng)稱為骨干節(jié)點(diǎn)，形成單一層次的骨干網(wǎng)絡(luò)。 ? 設(shè)置京滬穗 3個(gè)網(wǎng)間互通節(jié)點(diǎn)，負(fù)責(zé)網(wǎng)間和國際流量互通，形成一個(gè)網(wǎng)間和國際流量疏導(dǎo)層。小的省份不再設(shè)置 163骨干節(jié)點(diǎn)，整個(gè)省作為一個(gè)大城域網(wǎng)直接連 163骨干節(jié)點(diǎn)。 22 169。但是 200個(gè)城域網(wǎng)規(guī)模參差不齊，相差 10倍以上。 ? 城域網(wǎng)到城域網(wǎng)之間不部署直達(dá)鏈路，所有城域網(wǎng)之間的流量經(jīng)過骨干轉(zhuǎn)發(fā)。 2023 方案一：單平面大骨干 +城域網(wǎng) 優(yōu)點(diǎn)和特點(diǎn)： ? 與現(xiàn)有 163骨干網(wǎng)絡(luò)先比，骨干網(wǎng)絡(luò)由匯聚層次型網(wǎng)絡(luò)向單層次網(wǎng)絡(luò)轉(zhuǎn)變，向全網(wǎng)狀拓?fù)浞较虬l(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步扁平化，核心層設(shè)備壓力降低，網(wǎng)絡(luò)擴(kuò)展性提高，投資效益提高，轉(zhuǎn)發(fā)效率高。 ? 所有城域網(wǎng)、 IDC之間的流量經(jīng)過骨干網(wǎng)絡(luò)便于集團(tuán)對全網(wǎng)流量流向的管控。 2023 方案一：單平面大骨干 +城域網(wǎng) 存在困難 : ? 雖然骨干網(wǎng)絡(luò)擴(kuò)展能力提高，但是城域網(wǎng) /IDC之間全部流量經(jīng)過骨干網(wǎng)絡(luò)，骨干網(wǎng)絡(luò)的容量要求沒有明顯減少，骨干網(wǎng)絡(luò)要支持現(xiàn)網(wǎng) 18倍的容量依舊是挑戰(zhàn)。 ? 集團(tuán) NOC需要直接面向 200多個(gè)城域網(wǎng)，在人員不能增加的情況下，維護(hù)工作很難完全到位。 2023 方案二：單平面骨干 +大城域網(wǎng)直達(dá)（省網(wǎng)） C h i n a N e t北 北北 北北 北北 北北 北北 北北 北9 n o d e s f u l l m e s h北 北 北 北 北 北 /北 北 北 北 北北 北 北 北 北 北 /北 北 北 北 北北 北 北 北 北 北 /北 北 北 北 北北 北北 北城 城 城 城城 城城 城 城 城城 城城 城 城 城城 城 /城 城城 城 城 城城 城城 城 城 城城 城 /城 城3 1 城 城 城 城城 城 城 城上 連 穗 杭寧 三 核 心整體網(wǎng)絡(luò)結(jié)構(gòu)分為骨干網(wǎng)和大型城域網(wǎng) 2級， IDC根據(jù)級別單掛大型城域網(wǎng)或雙掛省網(wǎng)和骨干網(wǎng)。 2023 方案二：單平面骨干 +大城域網(wǎng)直達(dá)（省網(wǎng)） 骨干網(wǎng)： ? 網(wǎng)絡(luò)結(jié)構(gòu)基本與方案一相同。初定達(dá)到 2條 10G帶寬就允許增設(shè)直達(dá)鏈路。 ? 原則上以省和業(yè)務(wù)規(guī)模為主要因素組建大型城域網(wǎng)。 ? 估計(jì) 5年后全網(wǎng)存在 50個(gè)左右的大型城域網(wǎng)，超過一半省的城域網(wǎng)會(huì)合并為一個(gè)大型城域網(wǎng)，部分發(fā)達(dá)省份會(huì)有 24個(gè)城域網(wǎng)。 27 169。 ? 大型城域網(wǎng)間的鏈路專用，流量清晰，管理簡單。 28 169。 ? 城域網(wǎng)間的互聯(lián)互通的管理，需要制定相應(yīng)的流程。 ? 依賴大型城域網(wǎng)的整合進(jìn)度。 2023 方案一與方案二比較及建議 兩種方案的本質(zhì)差別： ? 是否允許城域網(wǎng)之間根據(jù)流量設(shè)置直達(dá)鏈路？ ? 是否鼓勵(lì)組建大型城域網(wǎng)？ 建議： ? 原則上贊同根據(jù)業(yè)務(wù)流量情況設(shè)置城域網(wǎng)間、城域網(wǎng)到其他省間的直達(dá)鏈路。 ? 業(yè)務(wù)量較小的省份直接組建單一大型城域網(wǎng)（省網(wǎng)絡(luò)）。 30 169。 2023 背景和現(xiàn)狀描述 背景描述： ? 網(wǎng)絡(luò)容量需要擴(kuò)大 1018倍，必須采用更高帶寬的鏈路，更大容量的設(shè)備，購買更多的新設(shè)備，新建更多的傳輸。但是網(wǎng)絡(luò)路由組織、結(jié)構(gòu)等依然存在當(dāng)初的思路，沒有進(jìn)行系統(tǒng)的優(yōu)化。 ? 總而言之，現(xiàn)在需要根據(jù)新的形勢，對 163骨干網(wǎng)絡(luò)和全網(wǎng)進(jìn)行優(yōu)化，尤其是路由組織的優(yōu)化。 2023 網(wǎng)絡(luò)整體鏈路利用率分析 ? 從 08年 5月各省出口到骨干網(wǎng)絡(luò)鏈路分析結(jié)果看，全網(wǎng)整體鏈路利用率%（ ） ? 網(wǎng)絡(luò)整體利用率較低 ? 影響鏈路整體利用率的原因 ? 相同出口，不同鏈路之間的鏈路不均衡 ? 流入和流出雙向不均衡 ? 以出入流量均為 10G，出口鏈路 2*10G為例 5G 5G 5G 5G 理想情況 9G 1G 9G 1G 擁塞 1條鏈路 9G 9G 1G 1G 擁塞 2條鏈路 ? 導(dǎo)致利用率偏低的根本原因是： BGP路由協(xié)議自身的不完善，城域網(wǎng)規(guī)模擴(kuò)大后出口增多以及 163網(wǎng)絡(luò) BGP路由設(shè)計(jì)、流量調(diào)度方式粗放造成的。 2023 163網(wǎng)絡(luò)路由現(xiàn)狀分析 問題： RR收到達(dá)到城域網(wǎng) B有 4個(gè)出口 C C C C4的路由信息，但是 RR只轉(zhuǎn)發(fā)其中 C1信息給 C C C C8，所以城域網(wǎng) A達(dá)到城域網(wǎng) B的流量全部通過 C1達(dá)到 B1。 2023 ? 路由過程說明： ? 城域網(wǎng) B通過 B B B B4四個(gè)出口分別廣播路由信息到骨干網(wǎng)絡(luò)的 C C C C4。 ? RR1采用最短路徑的方式，選擇其中一個(gè)出口，比如 C1，然后將到達(dá)城域網(wǎng) B經(jīng)過 C1出口的路由信息轉(zhuǎn)發(fā)給 C C C7和 C8。 ? C C C7和 C8分別將達(dá)到城域網(wǎng) B的路由信息告訴城域網(wǎng) A的 AA A3和 A4。 ? 以上就是目前 BGP協(xié)議存在的最大不足之一，也是造成流量不均衡的主要原因之一。 2023 ? 163網(wǎng)絡(luò)路由挑戰(zhàn)說明： ? 163網(wǎng)絡(luò)設(shè)計(jì)之初，城域網(wǎng)達(dá)到骨干網(wǎng)絡(luò)一般出口不超過 2個(gè)，通過兩組 RR的確當(dāng)部署，可以將大部分流量分擔(dān)到 2個(gè)出口，同時(shí)業(yè)務(wù)量和規(guī)模不大，矛盾并不突出。 ? 由于 163設(shè)計(jì)之初，按照國際、網(wǎng)間、區(qū)內(nèi)、區(qū)間、片內(nèi)、片間幾個(gè)顆粒度來組織和調(diào)度流量，現(xiàn)在這些顆粒度很大，最小也有幾十 G的流量，大的幾百 G，這么大的顆粒度給流量調(diào)度帶來困難。比如城域網(wǎng) 4個(gè)出口，如何合理分擔(dān)和調(diào)度流量沒有明確的原則。 2023 ? 解決問題的辦法 ? 方法一：虛擬地址法。 ? 目前 Cn2采用虛擬地址法。將網(wǎng)絡(luò)按照水平方向進(jìn)行分組，形成不同的相對獨(dú)立的平面，每個(gè)平面內(nèi)部進(jìn)行負(fù)載分擔(dān)和調(diào)度，保持每個(gè)平面到城域網(wǎng)的出口為 2個(gè)。 2023 平面分組法 將骨干網(wǎng)絡(luò)設(shè)備分為 A平面和 B平面，兩個(gè)平面各自獨(dú)立，沒有鏈路互聯(lián)。每個(gè)平面與城域網(wǎng)出口保持 2個(gè)。 2023 163骨干網(wǎng)絡(luò)節(jié)點(diǎn)機(jī)房和設(shè)備現(xiàn)狀 ? 每個(gè)省至少 2個(gè)機(jī)房， A和 B機(jī)房，中東部 16省份每機(jī)房至少 2臺(tái)設(shè)備，