【文章內(nèi)容簡介】 城 城 /城 城城 城 城 城城 城城 城 城 城城 城 /城 城3 1 城 城 城 城城 城 城 城上 連 穗 杭寧 三 核 心整體網(wǎng)絡(luò)結(jié)構(gòu)分為骨干網(wǎng)和大型城域網(wǎng) 2級， IDC根據(jù)級別單掛大型城域網(wǎng)或雙掛省網(wǎng)和骨干網(wǎng)。 骨干網(wǎng)絡(luò)層 城域網(wǎng)絡(luò)層 26 169。 2023 方案二：單平面骨干 +大城域網(wǎng)直達(dá)（省網(wǎng)） 骨干網(wǎng)： ? 網(wǎng)絡(luò)結(jié)構(gòu)基本與方案一相同。 大城域網(wǎng)（省網(wǎng)）： ? 允許大型城域網(wǎng)之間開設(shè)直達(dá)鏈路。初定達(dá)到 2條 10G帶寬就允許增設(shè)直達(dá)鏈路。 ? 在運(yùn)維體系以省為單位集中管理的形勢下，鼓勵各省合并中小城域網(wǎng)，組建大型城域網(wǎng)，便于城域網(wǎng)間直達(dá)。 ? 原則上以省和業(yè)務(wù)規(guī)模為主要因素組建大型城域網(wǎng)。每個城域網(wǎng)的規(guī)模為： 250400萬寬帶用戶（包括企業(yè)客戶、專用終端等）， 5000左右 IGP路由節(jié)點(diǎn)設(shè)備（路由器、 BAS、 SR、匯聚交換機(jī)等）。 ? 估計 5年后全網(wǎng)存在 50個左右的大型城域網(wǎng)，超過一半省的城域網(wǎng)會合并為一個大型城域網(wǎng)，部分發(fā)達(dá)省份會有 24個城域網(wǎng)。比如廣東由 21個縮減為 4個。 27 169。 2023 方案二：單平面骨干 +大城域網(wǎng)直達(dá)（省網(wǎng)） 優(yōu)點(diǎn)： ? 通過大型城域網(wǎng)之間的直達(dá)鏈路，分流骨干網(wǎng)絡(luò)流量，減少骨干網(wǎng)絡(luò)容量要求和擴(kuò)容壓力。 ? 大型城域網(wǎng)間的鏈路專用，流量清晰，管理簡單。 ? 網(wǎng)絡(luò)結(jié)構(gòu)與以省為單位的維護(hù)管理體系、業(yè)務(wù)平臺建設(shè)相匹配。 28 169。 2023 方案二：單平面小骨干 +大城域網(wǎng)（省網(wǎng)） 困難和配套： ? 城域網(wǎng)之間流量不經(jīng)過骨干網(wǎng)絡(luò)，集團(tuán)對網(wǎng)絡(luò)流量管理的方式需要相應(yīng)調(diào)整。 ? 城域網(wǎng)間的互聯(lián)互通的管理，需要制定相應(yīng)的流程。 ? 城域網(wǎng)邏輯結(jié)構(gòu)調(diào)整比較大，與原有的網(wǎng)絡(luò)設(shè)計和規(guī)劃原則變化較大。 ? 依賴大型城域網(wǎng)的整合進(jìn)度。 ? CN2與城域網(wǎng) 163互聯(lián)需要相應(yīng)調(diào)整 29 169。 2023 方案一與方案二比較及建議 兩種方案的本質(zhì)差別： ? 是否允許城域網(wǎng)之間根據(jù)流量設(shè)置直達(dá)鏈路？ ? 是否鼓勵組建大型城域網(wǎng)？ 建議： ? 原則上贊同根據(jù)業(yè)務(wù)流量情況設(shè)置城域網(wǎng)間、城域網(wǎng)到其他省間的直達(dá)鏈路。 ? 鼓勵根據(jù)省公司維護(hù)集中化的進(jìn)展速度推動大型城域網(wǎng)的整合工作。 ? 業(yè)務(wù)量較小的省份直接組建單一大型城域網(wǎng)（省網(wǎng)絡(luò)）。也就是 5年后，用戶規(guī)模小于 400萬的省可以直接組建單一大型城域網(wǎng)（省網(wǎng)絡(luò)）。 30 169。 2023 目 錄 ?中國電信 CHINANET發(fā)展歷程 ?網(wǎng)絡(luò)及業(yè)務(wù)現(xiàn)狀 ?網(wǎng)絡(luò)存在問題 ?163骨干網(wǎng)絡(luò)結(jié)構(gòu)探討 ?163網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)探討 ?40G引入相關(guān)探討 31 169。 2023 背景和現(xiàn)狀描述 背景描述： ? 網(wǎng)絡(luò)容量需要擴(kuò)大 1018倍，必須采用更高帶寬的鏈路，更大容量的設(shè)備，購買更多的新設(shè)備，新建更多的傳輸。 ? 現(xiàn)有 163骨干網(wǎng)絡(luò)已經(jīng)建成 10年，擴(kuò)容 10次，容量增加已經(jīng)超過 20倍以上，業(yè)務(wù)內(nèi)容、流量流向與 10年建設(shè)時，發(fā)生了更本的變化。但是網(wǎng)絡(luò)路由組織、結(jié)構(gòu)等依然存在當(dāng)初的思路，沒有進(jìn)行系統(tǒng)的優(yōu)化。 ? 由于網(wǎng)絡(luò)并行路徑越來越多，城域網(wǎng)與骨干網(wǎng)絡(luò)互聯(lián)鏈路也越來越多，并行鏈路之間的負(fù)載分擔(dān)效果欠佳，省出口帶寬總體利用率只有 50%左右。 ? 總而言之，現(xiàn)在需要根據(jù)新的形勢，對 163骨干網(wǎng)絡(luò)和全網(wǎng)進(jìn)行優(yōu)化，尤其是路由組織的優(yōu)化。 32 169。 2023 網(wǎng)絡(luò)整體鏈路利用率分析 ? 從 08年 5月各省出口到骨干網(wǎng)絡(luò)鏈路分析結(jié)果看，全網(wǎng)整體鏈路利用率%（ ） ? 網(wǎng)絡(luò)整體利用率較低 ? 影響鏈路整體利用率的原因 ? 相同出口，不同鏈路之間的鏈路不均衡 ? 流入和流出雙向不均衡 ? 以出入流量均為 10G，出口鏈路 2*10G為例 5G 5G 5G 5G 理想情況 9G 1G 9G 1G 擁塞 1條鏈路 9G 9G 1G 1G 擁塞 2條鏈路 ? 導(dǎo)致利用率偏低的根本原因是： BGP路由協(xié)議自身的不完善，城域網(wǎng)規(guī)模擴(kuò)大后出口增多以及 163網(wǎng)絡(luò) BGP路由設(shè)計、流量調(diào)度方式粗放造成的。 33 169。 2023 163網(wǎng)絡(luò)路由現(xiàn)狀分析 問題： RR收到達(dá)到城域網(wǎng) B有 4個出口 C C C C4的路由信息，但是 RR只轉(zhuǎn)發(fā)其中 C1信息給 C C C C8，所以城域網(wǎng) A達(dá)到城域網(wǎng) B的流量全部通過 C1達(dá)到 B1。 城域網(wǎng) A（網(wǎng)絡(luò)號 A） 骨干網(wǎng)絡(luò) 城域網(wǎng) B（網(wǎng)絡(luò)號 B） A1 A2 A3 A4 B1 B2 B3 B4 C2 C1 C5 C6 C3 C4 C7 C8 路由反射器 RR1 EBGP EBGP IBGP 路由反射器 RR2 34 169。 2023 ? 路由過程說明： ? 城域網(wǎng) B通過 B B B B4四個出口分別廣播路由信息到骨干網(wǎng)絡(luò)的 C C C C4。 ? C C C3和 C4分別轉(zhuǎn)發(fā)路由信息到路由反射器 RR1和 RR2， RR1和RR2收到達(dá)到城域網(wǎng) B有四個出口的路由信息。 ? RR1采用最短路徑的方式，選擇其中一個出口，比如 C1，然后將到達(dá)城域網(wǎng) B經(jīng)過 C1出口的路由信息轉(zhuǎn)發(fā)給 C C C7和 C8。 RR2根據(jù)自身計算可能選擇 C1或者 C2。 ? C C C7和 C8分別將達(dá)到城域網(wǎng) B的路由信息告訴城域網(wǎng) A的 AA A3和 A4。 ? 當(dāng)城域網(wǎng) A向 B發(fā)生流量時，通過 A A A3和 A4到達(dá) C C C7和 C8，然后只從 C1和 C2進(jìn)入 B1和 B2，而其他 C3和 C4出口空閑。 ? 以上就是目前 BGP協(xié)議存在的最大不足之一，也是造成流量不均衡的主要原因之一。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 35 169。 2023 ? 163網(wǎng)絡(luò)路由挑戰(zhàn)說明： ? 163網(wǎng)絡(luò)設(shè)計之初，城域網(wǎng)達(dá)到骨干網(wǎng)絡(luò)一般出口不超過 2個，通過兩組 RR的確當(dāng)部署，可以將大部分流量分擔(dān)到 2個出口，同時業(yè)務(wù)量和規(guī)模不大，矛盾并不突出。 ? 現(xiàn)在城域網(wǎng)容量越來越大，大型城域網(wǎng)出口數(shù)量普遍達(dá)到 4個，負(fù)載不均衡現(xiàn)象越來越明顯，流量調(diào)度的工作也越來越必要。 ? 由于 163設(shè)計之初，按照國際、網(wǎng)間、區(qū)內(nèi)、區(qū)間、片內(nèi)、片間幾個顆粒度來組織和調(diào)度流量，現(xiàn)在這些顆粒度很大，最小也有幾十 G的流量，大的幾百 G，這么大的顆粒度給流量調(diào)度帶來困難。 ? 由于流量迅速增大，為了流量均衡分布，原有的調(diào)度顆粒度被打破，但是沒有明確新的調(diào)度原則和顆粒度，而是根據(jù)實(shí)際情況進(jìn)行靈活調(diào)度，導(dǎo)致目前網(wǎng)絡(luò)流量路徑不明確。比如城域網(wǎng) 4個出口，如何合理分擔(dān)和調(diào)度流量沒有明確的原則。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 36 169。 2023 ? 解決問題的辦法 ? 方法一：虛擬地址法。將 C C C3和 C4出口對外虛擬為一個邏輯出口，也就是 4臺設(shè)備配置同一個虛擬 IP地址（如 ）對外廣播，稱之為 anycast， CC C7和 C8全部知道達(dá)到城域網(wǎng) B需要通過 ，各自根據(jù) IGP路由信息尋找 ，比如 C5找到 C1，那么 C5的流量通過 C1進(jìn)入城域網(wǎng) B， C6找到 C2最近，那么通過 C2進(jìn)入城域網(wǎng) B。 ? 目前 Cn2采用虛擬地址法。 ? 方法二：平面分組法。將網(wǎng)絡(luò)按照水平方向進(jìn)行分組，形成不同的相對獨(dú)立的平面，每個平面內(nèi)部進(jìn)行負(fù)載分擔(dān)和調(diào)度，保持每個平面到城域網(wǎng)的出口為 2個。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 37 169。 2023 平面分組法 將骨干網(wǎng)絡(luò)設(shè)備分為 A平面和 B平面，兩個平面各自獨(dú)立，沒有鏈路互聯(lián)。平面內(nèi)部自行保護(hù)和故障切換。每個平面與城域網(wǎng)出口保持 2個。 城域網(wǎng) A（網(wǎng)絡(luò)號 A） 城域網(wǎng) B（網(wǎng)絡(luò)號 B） A1 A2 A3 A4 B1 B2 B3 B4 C2 C1 C5 C6 C3 C4 C7 C8 路由反射器 RR1 EBGP EBGP IBGP 路由反射器 RR2 A平面分組 B平面分組 38 169。 2023 163骨干網(wǎng)絡(luò)節(jié)點(diǎn)機(jī)房和設(shè)備現(xiàn)狀 ? 每個省至少 2個機(jī)房， A和 B機(jī)房，中東部 16省份每機(jī)房至少 2臺設(shè)備，最多 4臺設(shè)備。 現(xiàn)有核心間的連接方式 核 心 A核 心 B省 A城 域 網(wǎng) X匯 接 1 匯 接 2D 1C R S 1D 2C R S 1福 州D 1C R S 1D 2C R