【正文】 路由器，所經(jīng)各設(shè)備同時啟用QoS，保障其優(yōu)先轉(zhuǎn)發(fā)；再通過路由器啟用CBQ（基于類的隊列），將ERP流量放入到中優(yōu)先級隊列，搶占低優(yōu)先級隊列的帶寬，發(fā)送報文。第二種方式：廣域網(wǎng)路由器啟用QoS站點實現(xiàn)方法：在站點的路由器上配置QoS策略，首先啟用ACL識別ERP流（如：源地址+目的地址），打上優(yōu)先級DSCP標(biāo)記AF31；再啟用CBQ（基于類的隊列），將其引入CBQ的中優(yōu)先級隊列，由CBQ進(jìn)行隊列調(diào)度，搶占低優(yōu)先級的帶寬，優(yōu)先轉(zhuǎn)發(fā)報文。為簡化網(wǎng)絡(luò)部署，XX集團(tuán)的QoS建議采用第二種方法！. 數(shù)據(jù)中心互聯(lián)數(shù)據(jù)中心的互聯(lián)包括以下三種類型：u 三層互聯(lián)：也稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián)，所謂“前端網(wǎng)絡(luò)”是指數(shù)據(jù)中心面向企業(yè)園區(qū)網(wǎng)或企業(yè)廣域網(wǎng)的出口。當(dāng)主數(shù)據(jù)中心發(fā)生災(zāi)難時，前端網(wǎng)絡(luò)將實現(xiàn)快速收斂，客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)性。在不同的數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)接入層，構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)（VLAN），以滿足服務(wù)器集群或虛擬機(jī)動態(tài)遷移等場景對二層網(wǎng)絡(luò)接入的需求。借助傳輸技術(shù)（DWDM、SDH等）實現(xiàn)主中心和災(zāi)備中心間磁盤陣列的數(shù)據(jù)復(fù)制。對于數(shù)據(jù)中心與大連災(zāi)備中心的二層互聯(lián)，有兩種方案可供選擇，這兩種方案均為標(biāo)準(zhǔn)協(xié)議方案，可以很好的與大連現(xiàn)中心及第三方設(shè)備互聯(lián)。方案組網(wǎng)如下圖所示：從主中心和備份中心的網(wǎng)關(guān)層（本方案的接入交換機(jī)）拉出互聯(lián)鏈路，經(jīng)過“異地集群連通模塊”匯聚后上波分設(shè)備；異地集群連通模塊將需要進(jìn)行集群和遷移的服務(wù)器VLAN進(jìn)行Trunk，實現(xiàn)與大連雙中心的大二層VLAN互通，保證服務(wù)器可以實現(xiàn)跨數(shù)據(jù)中心的集群（MSCS）和遷移（VMotion）；數(shù)據(jù)中心內(nèi)部端到端部署IRF虛擬化，虛擬化后的網(wǎng)關(guān)設(shè)備與大連備份中心運(yùn)行VRRP，保證網(wǎng)關(guān)設(shè)備跨數(shù)據(jù)中心熱備。方案組網(wǎng)如下圖所示：從主中心和備份中心的網(wǎng)關(guān)層（本方案的接入交換機(jī)）拉出互聯(lián)鏈路，經(jīng)過“DCI PE設(shè)備”匯聚后承載到廣域IP網(wǎng)絡(luò)；在IP核心網(wǎng)上，兩端PE間建立GRE隧道，實現(xiàn)兩PE背靠背互聯(lián)，這種方案的好處的可建立 IPSEC 保護(hù)私密性與完整性； 綜合上述兩種方案，推薦采用方案1，避免互聯(lián)帶寬和時延成為應(yīng)用的瓶頸！. 新技術(shù)應(yīng)用. FCoE數(shù)據(jù)中心網(wǎng)絡(luò)接入層是將服務(wù)器連接到網(wǎng)絡(luò)的第一層基礎(chǔ)設(shè)施，這里最常見的網(wǎng)絡(luò)類型是用于局域網(wǎng)（LAN）連接的以太網(wǎng)，以及用于存儲網(wǎng)絡(luò)（SAN）連接的FC網(wǎng)絡(luò)。多種類型的接口卡和網(wǎng)絡(luò)設(shè)備削弱了業(yè)務(wù)靈活性，增加了數(shù)據(jù)中心網(wǎng)絡(luò)管理復(fù)雜性、增加了設(shè)備成本、增加了電力等方面的開銷。然而，傳統(tǒng)以太網(wǎng)LAN和傳統(tǒng)FC SAN具有不同的技術(shù)要求，在拓?fù)浣Y(jié)構(gòu)、高可用性、傳輸保障機(jī)制、流量模型等方面存在較大差別。FCoE技術(shù)的應(yīng)用范圍擴(kuò)大到整網(wǎng)，除接入層交換機(jī)外，匯聚核心層交換機(jī)也支持FCoE功能；除服務(wù)器外，存儲設(shè)備也逐漸支持FCoE接口。2. FCOE只部署在服務(wù)器網(wǎng)絡(luò)接入層（上圖b）。服務(wù)器安裝支持FCoE的10GE CNA網(wǎng)卡，并連接到接入層FCoE交換機(jī)（FCF或NPV），接入層交換機(jī)再分別通過10GE鏈路和FC鏈路連接到現(xiàn)有的LAN和SAN。此外，從保護(hù)XX現(xiàn)有投資（已建設(shè)的FC SAN）角度出發(fā)問題，也建議現(xiàn)階段只在網(wǎng)絡(luò)接入層通過FCOE實現(xiàn)服務(wù)器IO整合，簡化接入層線纜部署，而保留原有LAN骨干與原有FC SAN骨干的獨(dú)立性。OA服務(wù)器區(qū)FCoE部署組網(wǎng)拓?fù)淙缦聢D所示：OA服務(wù)器部署萬兆CAN融合網(wǎng)卡，連接FCoE接入交換機(jī)，同時在FCoE接入交換機(jī)上配置FC接口卡，與FC SAN交換機(jī)相連。. 虛擬機(jī)(VM)部署與遷移虛擬機(jī)在數(shù)據(jù)中心的部署越來越廣泛，虛擬機(jī)的部署將會對網(wǎng)絡(luò)設(shè)計產(chǎn)生以下幾個方面的影響：u 網(wǎng)絡(luò)流量和突發(fā)性加劇。在部署了虛擬機(jī)之后，服務(wù)器的利用率得以提升，同時一臺服務(wù)器產(chǎn)生的業(yè)務(wù)流量將會成倍提升，同時一臺物理服務(wù)器上部署多個應(yīng)用系統(tǒng)，業(yè)務(wù)流的突發(fā)性也會加劇。部署虛擬機(jī)之后，虛擬機(jī)的部分流量將經(jīng)過內(nèi)部虛擬交換機(jī)轉(zhuǎn)發(fā)，虛擬交換機(jī)是位于服務(wù)器內(nèi)的軟件，網(wǎng)絡(luò)管理員配置和監(jiān)控困難。虛擬機(jī)從一臺物理服務(wù)器遷移到另一臺物理服務(wù)器之后，網(wǎng)絡(luò)接入交換機(jī)上針對原物理服務(wù)器的端口策略（ACL、QoS等）將全部失效。1. 服務(wù)器千兆接入，多萬兆捆綁上行到核心區(qū)。如下圖示：構(gòu)建無差異虛擬機(jī)接入網(wǎng)絡(luò)，部署VLAN ACL，同時將防火墻策略上移，保證虛擬機(jī)在本區(qū)域內(nèi)遷移時，網(wǎng)絡(luò)和安全策略無差異，如下圖所示：iMC網(wǎng)絡(luò)管理平臺對VMotion的感知。如下圖所示：. 數(shù)據(jù)中心管理. 數(shù)據(jù)中心管理設(shè)計原則人、設(shè)備、流程的管理是IT的主要傳統(tǒng)任務(wù),數(shù)據(jù)中心運(yùn)維管理建設(shè)的重點在于利用好現(xiàn)有資源，整合信息及其系統(tǒng)，實現(xiàn)科技的整體規(guī)劃和標(biāo)準(zhǔn)管理。數(shù)據(jù)中心運(yùn)維管理建設(shè)需要遵循的基本原則如下：w 集中性原則系統(tǒng)規(guī)劃、設(shè)計和建設(shè)要以管理系統(tǒng)集中、數(shù)據(jù)集中、處理集中為原則，統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)備、統(tǒng)一開發(fā)與應(yīng)用。w 安全、保密性原則從設(shè)備安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全等多角度考慮管理系統(tǒng)的安全性和保密性，采用多種手段對安全性和保密性進(jìn)行控制來確保企業(yè)業(yè)務(wù)經(jīng)營信息的安全。. 網(wǎng)絡(luò)管理（1）設(shè)備管理數(shù)據(jù)中心設(shè)備主要包括服務(wù)器、路由器、交換機(jī)、安全（FW、IPS）等基礎(chǔ)設(shè)施，建議按照統(tǒng)一管理的原則，由一套管理平臺來對數(shù)據(jù)中心的全局資源進(jìn)行監(jiān)控，出現(xiàn)故障或告擎后能夠快速找到故障點。（2）拓?fù)涔芾頂?shù)據(jù)中心拓?fù)涔芾聿粌H可以自動發(fā)現(xiàn)網(wǎng)絡(luò)物理拓?fù)浣Y(jié)構(gòu)，還需要提供分區(qū)拓?fù)?、機(jī)房拓?fù)?、機(jī)架拓?fù)?、設(shè)備面板、用戶拓?fù)涞裙δ埽蓪⑷W(wǎng)設(shè)備根據(jù)不同的管理區(qū)域、樓層、機(jī)房、機(jī)架、面板、用戶等進(jìn)行劃分，建立資源、業(yè)務(wù)與用戶的統(tǒng)一拓?fù)湟晥D，方便管理員從各個維度對數(shù)據(jù)中心的各種資源進(jìn)行管理。2）集中化的設(shè)備配置和軟件信息展示提供全網(wǎng)設(shè)備的配置文件、軟件版本信息集中式展示，包括設(shè)備的當(dāng)前軟件版本、最新可用于升級的軟件版本、最近備份時間、是否已加入自動備份計劃等信息；可提供管理員對設(shè)備的集中操作包括設(shè)備配置部署、設(shè)備配置備份與恢復(fù)、設(shè)備軟件升級與恢復(fù)、設(shè)備空間管理、設(shè)備軟件基線化管理功能，極大的方便了管理員直觀的掌握當(dāng)前網(wǎng)絡(luò)的配置和軟件版本。提供設(shè)備運(yùn)行配置和啟動配置的基線化版本管理，將每個設(shè)備相關(guān)的配置文件劃分為三種版本：基線、普通、草稿。并可快速恢復(fù)至基線配置。4）自動化的建立可追溯的網(wǎng)絡(luò)配置通過啟動自動備份功能，幫助管理員周期性自動地完成設(shè)備配置的歷史備份，自動建立起可追溯的網(wǎng)絡(luò)配置。支持網(wǎng)絡(luò)運(yùn)行設(shè)備的配置變化檢查，一旦配置發(fā)生變化，立刻以告警方式通知管理員關(guān)注。2）日志管理采用主動收集、被動接收等多種方式，提供有價值的集中化日志管理，并對不同類型格式的日志進(jìn)行歸一化處理。2）完善的報告提供設(shè)備、主機(jī)、應(yīng)用系統(tǒng)、漏洞、網(wǎng)絡(luò)流量、主機(jī)資產(chǎn)、法規(guī)遵從（如SOX、HIPAA、GLBA、FISMA等法案和條例）七大類報告，基本覆蓋了所有安全相關(guān)的信息，并支持以PDF、HTML、WORD、TXT等多種格式輸出；同時可通過Web界面進(jìn)行定制報告，定制內(nèi)容包括數(shù)據(jù)的時間范圍、數(shù)據(jù)的來源設(shè)備、生成周期、輸出類型等。需要在數(shù)據(jù)中心部署網(wǎng)絡(luò)流量分析系統(tǒng)?；趫笪膬?nèi)容對應(yīng)用進(jìn)行識別和分類，可針對百兆鏈路提供對常見P2P應(yīng)用的網(wǎng)絡(luò)占用帶寬趨勢圖和流量趨勢圖及應(yīng)用的詳細(xì)信息列表等報表，實現(xiàn)對此類應(yīng)用流量的監(jiān)控。（2）網(wǎng)絡(luò)監(jiān)控網(wǎng)絡(luò)監(jiān)控主要實現(xiàn)以下功能： 故障監(jiān)控檢測、隔離、更正網(wǎng)絡(luò)問題并從這些問題中恢復(fù)。 性能監(jiān)控分析和控制整個網(wǎng)絡(luò)的數(shù)據(jù)吞吐，為終端用戶提供連續(xù)的可靠的服務(wù)，同時為網(wǎng)絡(luò)優(yōu)化提供數(shù)據(jù)支撐。 NAT地址轉(zhuǎn)換審計提供用戶按照通用審計條件的基礎(chǔ)上根據(jù)NAT IP和NAT 端口進(jìn)行日志審計的功能。 Web訪問審計提供用戶按照站點地址和URI為條件進(jìn)行審計的功能。 文件傳輸審計提供用戶按照FTP用戶名、文件名、傳輸方式為條件進(jìn)行審計的功能。 郵件審計提供用戶按照發(fā)件人、收件人、主題為條件進(jìn)行審計的功能。 審計報表提供專業(yè)的報表，包括訪問站點、會話數(shù)、應(yīng)用分布、未知應(yīng)用的TopN報表，SMTP、HTTP、FTP的應(yīng)用分析報表，每種報表都可以按照天、周等周期和圖形、列表等形式輸出。（3）日志及事件管理數(shù)據(jù)中心內(nèi)部署了眾多的網(wǎng)絡(luò)和安全設(shè)備，一旦出現(xiàn)攻擊，將會引起攻擊路徑上的眾多設(shè)備產(chǎn)生告警事件及日志，需要一臺安全管理中心設(shè)備能夠?qū)?shù)據(jù)中心內(nèi)部產(chǎn)生的各種日志和事件進(jìn)行智能的關(guān)聯(lián)分析，便于運(yùn)維人員能夠迅速的找到問題根源。四、 方案實施四、. 網(wǎng)絡(luò)布線建議. 走線方式的選擇數(shù)據(jù)中心機(jī)房走線方式一般有以下三種：1. 下走線下走線是將強(qiáng)電線纜和數(shù)據(jù)線纜部置在高架地板下，如下圖所示：此種走線方式機(jī)房整體簡潔美觀，但不便于后期的線路維護(hù)，早期有較多的中小型機(jī)房采用了此種走線方式。3. 上走線此種走線方式是在機(jī)柜頂端架設(shè)走線槽進(jìn)行布線，如下圖所示：這種走線方式是目前中小機(jī)房的主流走線方式，后期維護(hù)方便。1）直連式布線l 特點：網(wǎng)絡(luò)機(jī)柜獨(dú)立排列，服務(wù)器機(jī)柜直接通過布線連接網(wǎng)絡(luò)機(jī)柜l 優(yōu)點：適合小型數(shù)據(jù)中心，或者小型業(yè)務(wù)區(qū)域，結(jié)構(gòu)簡單，容易實施l 缺點：不適合大型數(shù)據(jù)中心或業(yè)務(wù)區(qū)域，服務(wù)器密度增高后會造成電纜重疊，容易擁塞，不易維護(hù)2）分布式布線——列頭柜布線l 特點：網(wǎng)絡(luò)設(shè)備列頭柜匯聚，列頭柜連接到服務(wù)器機(jī)柜，由列頭柜上行連接到網(wǎng)絡(luò)核心機(jī)柜組 l 優(yōu)點：分布式列頭柜設(shè)計，沒有線纜重疊，連接線纜短，傳輸性好，網(wǎng)絡(luò)層次性好，容易擴(kuò)展，成本低、管理方便，空氣流通性好，便于散熱。l 缺點：當(dāng)服務(wù)器機(jī)柜列很長時，末端機(jī)柜距離列頭柜太遠(yuǎn)，難以實現(xiàn)接入。適合于大型數(shù)據(jù)中心。1） EoR方式：這是一種比較傳統(tǒng)的布線方式，在數(shù)據(jù)中心的機(jī)房中服務(wù)器機(jī)柜都是成排的擺放，每排服務(wù)器機(jī)柜的最邊緣擺放1到2個網(wǎng)絡(luò)設(shè)備機(jī)柜。網(wǎng)絡(luò)機(jī)柜中安裝接入交換機(jī)，服務(wù)器通過機(jī)柜中的配線架接入到網(wǎng)絡(luò)機(jī)柜中的交換機(jī)。比如說，服務(wù)器都是IBM的2U、4U的小型機(jī)，一個機(jī)柜42U，也就擺放612臺左右。因此對Eod of roW還有一種改進(jìn)的方法叫做middle of row。 2） ToR方式：如圖，這種方式就是在標(biāo)準(zhǔn)的42U的服務(wù)器機(jī)柜的最上面安裝接入交換機(jī)。這個接入交換機(jī)再通過銅纜或光線接入到網(wǎng)絡(luò)機(jī)柜的匯聚或核心交換機(jī)上。這種布局要求每個服務(wù)器機(jī)柜的服務(wù)器密度比較高，一般來說都采用1U的服務(wù)器，對于一個42U的機(jī)柜，可接入20到30臺1RU服務(wù)。從網(wǎng)絡(luò)設(shè)計上看，TOR布局中每臺交換機(jī)上的VLAN/子網(wǎng)不會太多，在網(wǎng)絡(luò)規(guī)劃的時候也盡量避免讓一個VLAN跨了多臺交換機(jī)，所以TOR布局時一個VLAN范圍不會太大，所包含的端口不會太多。還有一點，TOR布局的交換機(jī)數(shù)量多，EOR布局的交換機(jī)數(shù)量少，所以兩者的維護(hù)管理工作量也不同。. 機(jī)房布線建議數(shù)據(jù)中心數(shù)據(jù)中型數(shù)據(jù)中心，具體走線和布線方案需要根據(jù)數(shù)據(jù)中心實際情況進(jìn)行選擇。. VLAN規(guī)劃本次項目VLAN號段總體規(guī)劃如下：VLAN ID號段用途及業(yè)務(wù)規(guī)劃199預(yù)留，暫時不用100499各應(yīng)用區(qū)服務(wù)器接入VLAN500599核心交換機(jī)到各業(yè)務(wù)區(qū)域防火板之間的互聯(lián)VLAN600699各業(yè)務(wù)區(qū)域防火板到各業(yè)務(wù)區(qū)域接入交換機(jī)之間的互聯(lián)VLAN700799各業(yè)務(wù)區(qū)域內(nèi)交換機(jī)管理VLAN8004094預(yù)留VLAN. IP地址規(guī)劃數(shù)據(jù)中心各業(yè)務(wù)接入IP地址及VLAN規(guī)劃如下：地址段網(wǎng)關(guān)vlan id業(yè)務(wù)子業(yè)務(wù)安全區(qū)域，具體規(guī)劃如下：管理地址網(wǎng)絡(luò)設(shè)備名設(shè)備名稱系統(tǒng)名稱VLAN ID通用服務(wù)器區(qū)交換機(jī)管理地址開發(fā)測試區(qū)交換機(jī)管理地址帶外網(wǎng)管區(qū)交換機(jī)管理地址. 路由規(guī)劃OSPF（Open Shortest Path First，開放最短路徑優(yōu)先）是IETF組織開發(fā)的一個基于鏈路狀態(tài)的內(nèi)部網(wǎng)關(guān)協(xié)議，目前針對IPv4協(xié)議使用的是OSPF Version 2（RFC 2328）?；陂_放性、可擴(kuò)展性和成熟性原則，山西省電力公司信息內(nèi)網(wǎng)數(shù)據(jù)中心改造項目全網(wǎng)采用OSPF作為IGP路由協(xié)議。u OSPF Router ID規(guī)劃手工指定每臺設(shè)備的Router ID，且Router ID設(shè)置成與該設(shè)備的Loopback地址相同。u OSPF區(qū)域規(guī)劃核心交換機(jī)和各個功能分區(qū)的匯聚接入交換機(jī)組成OSPF的骨干區(qū)域。u OSPF路由發(fā)布原則OSPF進(jìn)程內(nèi)的所有設(shè)備都使用Network方式發(fā)布業(yè)務(wù)網(wǎng)段，并且將業(yè)務(wù)網(wǎng)段接口配置成Silentinterface，不允許直接引入Direct路由。將需要遷移的服務(wù)器VLAN Trunk到數(shù)據(jù)中心，并構(gòu)建跨數(shù)據(jù)中心VRRP虛擬網(wǎng)關(guān)，保證服務(wù)器遷移到數(shù)據(jù)中心后，無需更改網(wǎng)絡(luò)的任何配置即可連通業(yè)