【文章內(nèi)容簡(jiǎn)介】 城 城 /城 城城 城 城 城城 城城 城 城 城城 城 /城 城3 1 城 城 城 城城 城 城 城上 連 穗 杭寧 三 核 心整體網(wǎng)絡(luò)結(jié)構(gòu)分為骨干網(wǎng)和大型城域網(wǎng) 2級(jí)， IDC根據(jù)級(jí)別單掛大型城域網(wǎng)或雙掛省網(wǎng)和骨干網(wǎng)。 骨干網(wǎng)絡(luò)層 城域網(wǎng)絡(luò)層 26 169。 2023 方案二：?jiǎn)纹矫婀歉?+大城域網(wǎng)直達(dá)（省網(wǎng)） 骨干網(wǎng)： ? 網(wǎng)絡(luò)結(jié)構(gòu)基本與方案一相同。 大城域網(wǎng)（省網(wǎng)）： ? 允許大型城域網(wǎng)之間開(kāi)設(shè)直達(dá)鏈路。初定達(dá)到 2條 10G帶寬就允許增設(shè)直達(dá)鏈路。 ? 在運(yùn)維體系以省為單位集中管理的形勢(shì)下，鼓勵(lì)各省合并中小城域網(wǎng)，組建大型城域網(wǎng)，便于城域網(wǎng)間直達(dá)。 ? 原則上以省和業(yè)務(wù)規(guī)模為主要因素組建大型城域網(wǎng)。每個(gè)城域網(wǎng)的規(guī)模為： 250400萬(wàn)寬帶用戶（包括企業(yè)客戶、專用終端等）， 5000左右 IGP路由節(jié)點(diǎn)設(shè)備（路由器、 BAS、 SR、匯聚交換機(jī)等）。 ? 估計(jì) 5年后全網(wǎng)存在 50個(gè)左右的大型城域網(wǎng)，超過(guò)一半省的城域網(wǎng)會(huì)合并為一個(gè)大型城域網(wǎng)，部分發(fā)達(dá)省份會(huì)有 24個(gè)城域網(wǎng)。比如廣東由 21個(gè)縮減為 4個(gè)。 27 169。 2023 方案二：?jiǎn)纹矫婀歉?+大城域網(wǎng)直達(dá)（省網(wǎng)） 優(yōu)點(diǎn)： ? 通過(guò)大型城域網(wǎng)之間的直達(dá)鏈路，分流骨干網(wǎng)絡(luò)流量，減少骨干網(wǎng)絡(luò)容量要求和擴(kuò)容壓力。 ? 大型城域網(wǎng)間的鏈路專用，流量清晰，管理簡(jiǎn)單。 ? 網(wǎng)絡(luò)結(jié)構(gòu)與以省為單位的維護(hù)管理體系、業(yè)務(wù)平臺(tái)建設(shè)相匹配。 28 169。 2023 方案二：?jiǎn)纹矫嫘」歉?+大城域網(wǎng)（省網(wǎng)） 困難和配套： ? 城域網(wǎng)之間流量不經(jīng)過(guò)骨干網(wǎng)絡(luò)，集團(tuán)對(duì)網(wǎng)絡(luò)流量管理的方式需要相應(yīng)調(diào)整。 ? 城域網(wǎng)間的互聯(lián)互通的管理，需要制定相應(yīng)的流程。 ? 城域網(wǎng)邏輯結(jié)構(gòu)調(diào)整比較大，與原有的網(wǎng)絡(luò)設(shè)計(jì)和規(guī)劃原則變化較大。 ? 依賴大型城域網(wǎng)的整合進(jìn)度。 ? CN2與城域網(wǎng) 163互聯(lián)需要相應(yīng)調(diào)整 29 169。 2023 方案一與方案二比較及建議 兩種方案的本質(zhì)差別： ? 是否允許城域網(wǎng)之間根據(jù)流量設(shè)置直達(dá)鏈路？ ? 是否鼓勵(lì)組建大型城域網(wǎng)？ 建議： ? 原則上贊同根據(jù)業(yè)務(wù)流量情況設(shè)置城域網(wǎng)間、城域網(wǎng)到其他省間的直達(dá)鏈路。 ? 鼓勵(lì)根據(jù)省公司維護(hù)集中化的進(jìn)展速度推動(dòng)大型城域網(wǎng)的整合工作。 ? 業(yè)務(wù)量較小的省份直接組建單一大型城域網(wǎng)（省網(wǎng)絡(luò)）。也就是 5年后，用戶規(guī)模小于 400萬(wàn)的省可以直接組建單一大型城域網(wǎng)（省網(wǎng)絡(luò)）。 30 169。 2023 目 錄 ?中國(guó)電信 CHINANET發(fā)展歷程 ?網(wǎng)絡(luò)及業(yè)務(wù)現(xiàn)狀 ?網(wǎng)絡(luò)存在問(wèn)題 ?163骨干網(wǎng)絡(luò)結(jié)構(gòu)探討 ?163網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)探討 ?40G引入相關(guān)探討 31 169。 2023 背景和現(xiàn)狀描述 背景描述： ? 網(wǎng)絡(luò)容量需要擴(kuò)大 1018倍，必須采用更高帶寬的鏈路，更大容量的設(shè)備，購(gòu)買更多的新設(shè)備，新建更多的傳輸。 ? 現(xiàn)有 163骨干網(wǎng)絡(luò)已經(jīng)建成 10年，擴(kuò)容 10次，容量增加已經(jīng)超過(guò) 20倍以上，業(yè)務(wù)內(nèi)容、流量流向與 10年建設(shè)時(shí)，發(fā)生了更本的變化。但是網(wǎng)絡(luò)路由組織、結(jié)構(gòu)等依然存在當(dāng)初的思路，沒(méi)有進(jìn)行系統(tǒng)的優(yōu)化。 ? 由于網(wǎng)絡(luò)并行路徑越來(lái)越多，城域網(wǎng)與骨干網(wǎng)絡(luò)互聯(lián)鏈路也越來(lái)越多，并行鏈路之間的負(fù)載分擔(dān)效果欠佳，省出口帶寬總體利用率只有 50%左右。 ? 總而言之，現(xiàn)在需要根據(jù)新的形勢(shì)，對(duì) 163骨干網(wǎng)絡(luò)和全網(wǎng)進(jìn)行優(yōu)化，尤其是路由組織的優(yōu)化。 32 169。 2023 網(wǎng)絡(luò)整體鏈路利用率分析 ? 從 08年 5月各省出口到骨干網(wǎng)絡(luò)鏈路分析結(jié)果看，全網(wǎng)整體鏈路利用率%（ ） ? 網(wǎng)絡(luò)整體利用率較低 ? 影響鏈路整體利用率的原因 ? 相同出口，不同鏈路之間的鏈路不均衡 ? 流入和流出雙向不均衡 ? 以出入流量均為 10G，出口鏈路 2*10G為例 5G 5G 5G 5G 理想情況 9G 1G 9G 1G 擁塞 1條鏈路 9G 9G 1G 1G 擁塞 2條鏈路 ? 導(dǎo)致利用率偏低的根本原因是： BGP路由協(xié)議自身的不完善，城域網(wǎng)規(guī)模擴(kuò)大后出口增多以及 163網(wǎng)絡(luò) BGP路由設(shè)計(jì)、流量調(diào)度方式粗放造成的。 33 169。 2023 163網(wǎng)絡(luò)路由現(xiàn)狀分析 問(wèn)題： RR收到達(dá)到城域網(wǎng) B有 4個(gè)出口 C C C C4的路由信息，但是 RR只轉(zhuǎn)發(fā)其中 C1信息給 C C C C8，所以城域網(wǎng) A達(dá)到城域網(wǎng) B的流量全部通過(guò) C1達(dá)到 B1。 城域網(wǎng) A（網(wǎng)絡(luò)號(hào) A） 骨干網(wǎng)絡(luò) 城域網(wǎng) B（網(wǎng)絡(luò)號(hào) B） A1 A2 A3 A4 B1 B2 B3 B4 C2 C1 C5 C6 C3 C4 C7 C8 路由反射器 RR1 EBGP EBGP IBGP 路由反射器 RR2 34 169。 2023 ? 路由過(guò)程說(shuō)明： ? 城域網(wǎng) B通過(guò) B B B B4四個(gè)出口分別廣播路由信息到骨干網(wǎng)絡(luò)的 C C C C4。 ? C C C3和 C4分別轉(zhuǎn)發(fā)路由信息到路由反射器 RR1和 RR2， RR1和RR2收到達(dá)到城域網(wǎng) B有四個(gè)出口的路由信息。 ? RR1采用最短路徑的方式，選擇其中一個(gè)出口，比如 C1，然后將到達(dá)城域網(wǎng) B經(jīng)過(guò) C1出口的路由信息轉(zhuǎn)發(fā)給 C C C7和 C8。 RR2根據(jù)自身計(jì)算可能選擇 C1或者 C2。 ? C C C7和 C8分別將達(dá)到城域網(wǎng) B的路由信息告訴城域網(wǎng) A的 AA A3和 A4。 ? 當(dāng)城域網(wǎng) A向 B發(fā)生流量時(shí)，通過(guò) A A A3和 A4到達(dá) C C C7和 C8，然后只從 C1和 C2進(jìn)入 B1和 B2，而其他 C3和 C4出口空閑。 ? 以上就是目前 BGP協(xié)議存在的最大不足之一，也是造成流量不均衡的主要原因之一。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 35 169。 2023 ? 163網(wǎng)絡(luò)路由挑戰(zhàn)說(shuō)明： ? 163網(wǎng)絡(luò)設(shè)計(jì)之初，城域網(wǎng)達(dá)到骨干網(wǎng)絡(luò)一般出口不超過(guò) 2個(gè)，通過(guò)兩組 RR的確當(dāng)部署，可以將大部分流量分擔(dān)到 2個(gè)出口，同時(shí)業(yè)務(wù)量和規(guī)模不大，矛盾并不突出。 ? 現(xiàn)在城域網(wǎng)容量越來(lái)越大，大型城域網(wǎng)出口數(shù)量普遍達(dá)到 4個(gè)，負(fù)載不均衡現(xiàn)象越來(lái)越明顯，流量調(diào)度的工作也越來(lái)越必要。 ? 由于 163設(shè)計(jì)之初，按照國(guó)際、網(wǎng)間、區(qū)內(nèi)、區(qū)間、片內(nèi)、片間幾個(gè)顆粒度來(lái)組織和調(diào)度流量，現(xiàn)在這些顆粒度很大，最小也有幾十 G的流量，大的幾百 G，這么大的顆粒度給流量調(diào)度帶來(lái)困難。 ? 由于流量迅速增大，為了流量均衡分布，原有的調(diào)度顆粒度被打破，但是沒(méi)有明確新的調(diào)度原則和顆粒度，而是根據(jù)實(shí)際情況進(jìn)行靈活調(diào)度，導(dǎo)致目前網(wǎng)絡(luò)流量路徑不明確。比如城域網(wǎng) 4個(gè)出口，如何合理分擔(dān)和調(diào)度流量沒(méi)有明確的原則。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 36 169。 2023 ? 解決問(wèn)題的辦法 ? 方法一：虛擬地址法。將 C C C3和 C4出口對(duì)外虛擬為一個(gè)邏輯出口，也就是 4臺(tái)設(shè)備配置同一個(gè)虛擬 IP地址（如 ）對(duì)外廣播，稱之為 anycast， CC C7和 C8全部知道達(dá)到城域網(wǎng) B需要通過(guò) ，各自根據(jù) IGP路由信息尋找 ，比如 C5找到 C1，那么 C5的流量通過(guò) C1進(jìn)入城域網(wǎng) B， C6找到 C2最近，那么通過(guò) C2進(jìn)入城域網(wǎng) B。 ? 目前 Cn2采用虛擬地址法。 ? 方法二：平面分組法。將網(wǎng)絡(luò)按照水平方向進(jìn)行分組，形成不同的相對(duì)獨(dú)立的平面，每個(gè)平面內(nèi)部進(jìn)行負(fù)載分擔(dān)和調(diào)度，保持每個(gè)平面到城域網(wǎng)的出口為 2個(gè)。 163骨干網(wǎng)絡(luò)路由現(xiàn)狀分析 37 169。 2023 平面分組法 將骨干網(wǎng)絡(luò)設(shè)備分為 A平面和 B平面，兩個(gè)平面各自獨(dú)立，沒(méi)有鏈路互聯(lián)。平面內(nèi)部自行保護(hù)和故障切換。每個(gè)平面與城域網(wǎng)出口保持 2個(gè)。 城域網(wǎng) A（網(wǎng)絡(luò)號(hào) A） 城域網(wǎng) B（網(wǎng)絡(luò)號(hào) B） A1 A2 A3 A4 B1 B2 B3 B4 C2 C1 C5 C6 C3 C4 C7 C8 路由反射器 RR1 EBGP EBGP IBGP 路由反射器 RR2 A平面分組 B平面分組 38 169。 2023 163骨干網(wǎng)絡(luò)節(jié)點(diǎn)機(jī)房和設(shè)備現(xiàn)狀 ? 每個(gè)省至少 2個(gè)機(jī)房， A和 B機(jī)房，中東部 16省份每機(jī)房至少 2臺(tái)設(shè)備，最多 4臺(tái)設(shè)備。 現(xiàn)有核心間的連接方式 核 心 A核 心 B省 A城 域 網(wǎng) X匯 接 1 匯 接 2D 1C R S 1D 2C R S 1福 州D 1C R S 1D 2C R