【正文】 目錄 3 SAN網(wǎng)絡(luò)整合方案背景 3 遼寧移動(dòng)網(wǎng)管SAN網(wǎng)絡(luò)現(xiàn)狀 3 SAN網(wǎng)絡(luò)整合需求 52．SAN網(wǎng)絡(luò)方案設(shè)計(jì) 5 SAN網(wǎng)絡(luò)整體架構(gòu)設(shè)計(jì) 5 SAN網(wǎng)絡(luò)分級(jí)架構(gòu)設(shè)計(jì) 7 Back Bone to Edge Routing 7 InterSwitch Link 8 SAN網(wǎng)絡(luò)連接原則 9 SAN網(wǎng)絡(luò)安全劃分 10 SAN網(wǎng)絡(luò)路由設(shè)計(jì) 12 SAN網(wǎng)絡(luò)NPIV設(shè)計(jì) 12 Virtual Fabric網(wǎng)絡(luò)設(shè)計(jì) 14 VF0路由區(qū)域劃分 14 VF1核心數(shù)據(jù)庫(kù)區(qū)域劃分 14 VF2 OA財(cái)務(wù)區(qū)域劃分 15 VF3應(yīng)用服務(wù)區(qū)域劃分 16 VF4備份資源區(qū)域劃分 16 VF5存儲(chǔ)資源區(qū)域劃分 17 Edge Fabric區(qū)域劃分 17 SAN網(wǎng)絡(luò)擴(kuò)展設(shè)計(jì) 18 18 19 SAN邊緣擴(kuò)展 20 SAN遠(yuǎn)距離擴(kuò)展容災(zāi)設(shè)計(jì) 21 21 21 22 23 FCIP遠(yuǎn)距離容災(zāi)擴(kuò)展設(shè)計(jì) 24 SAN網(wǎng)絡(luò)優(yōu)化管理設(shè)計(jì) 24 iSCSI網(wǎng)絡(luò)設(shè)計(jì) 263．存儲(chǔ)資源池需求分析 27 遼寧移動(dòng)網(wǎng)管存儲(chǔ)設(shè)備現(xiàn)狀 27 遼寧移動(dòng)網(wǎng)管存儲(chǔ)資源池需求 284．存儲(chǔ)資源池架構(gòu)方案設(shè)計(jì) 28 存儲(chǔ)資源池基礎(chǔ)架構(gòu) 28 29 29 存儲(chǔ)資源池分級(jí)設(shè)計(jì) 31 31 32 33 存儲(chǔ)資源動(dòng)態(tài)擴(kuò)展設(shè)計(jì) 34 Volume Manager擴(kuò)展 35 Virtual Provisioning擴(kuò)展 35 存儲(chǔ)資源快速部署設(shè)計(jì) 35 存儲(chǔ)資源實(shí)時(shí)保護(hù)設(shè)計(jì) 36 測(cè)試區(qū)存儲(chǔ)架構(gòu)設(shè)計(jì) 375．附件 38 附件1 存儲(chǔ)資源池測(cè)試說(shuō)明 38 38 38 附件2 存儲(chǔ)資源池驗(yàn)收說(shuō)明 40 40 40 41 附件3 存儲(chǔ)資源池培訓(xùn)建議課程 41 Brocade Certified Fabric Professional 41 Exchange 和 SQL Server 在 CLARiiON的集成 43 CALRiiON性能工作室 44 SAN網(wǎng)絡(luò)整合方案背景實(shí)用計(jì)算的出現(xiàn)，即以“按需使用”為基礎(chǔ)配置信息系統(tǒng)和服務(wù)，要求數(shù)據(jù)中心及其存儲(chǔ)聯(lián)網(wǎng)基礎(chǔ)設(shè)施進(jìn)行相應(yīng)的改進(jìn)，以實(shí)現(xiàn)實(shí)用計(jì)算的優(yōu)勢(shì)。對(duì)于SAN, 這就意味著進(jìn)行前所未有的大規(guī)模整合，并通過(guò)存儲(chǔ)及網(wǎng)絡(luò)虛擬化方面的改進(jìn)提高可管理性。當(dāng)今的數(shù)據(jù)中心SAN可將存儲(chǔ)資源整合并分配給一系列運(yùn)行著高級(jí)應(yīng)用的服務(wù)器。 SAN 也可以部署為組織機(jī)構(gòu)的共享基礎(chǔ)設(shè)施，如業(yè)務(wù)部、部門(mén)或園區(qū)。在數(shù)據(jù)中心， 采用 SAN 的用戶正在向一種新的存儲(chǔ)模式移植，利用這種實(shí)用模式，存儲(chǔ)資源也可以像電力、網(wǎng)絡(luò)服務(wù)和冷氣一樣以“按需使用”的方式供應(yīng)和使用。 但是，許多大型數(shù)據(jù)中心通常有幾個(gè)SAN，每個(gè)用于支持不同的應(yīng)用或機(jī)構(gòu)需求。在這些環(huán)境中，SAN一般在彼此之間或與企業(yè)中的工作組和中型系統(tǒng)并不集成，主要原因是，并非企業(yè)中的所有部門(mén)或工作組均需要共享所有的數(shù)據(jù)，因此，盡管 SAN 從理論上能夠擴(kuò)展到幾千個(gè)節(jié)點(diǎn)，但實(shí)際上這種情況很少發(fā)生。擁有大量節(jié)點(diǎn)的數(shù)據(jù)中心通常包含多個(gè)相互獨(dú)立的SAN。鑒于上述原因，存儲(chǔ)管理對(duì)當(dāng)今的 SAN 管理員構(gòu)成了巨大的挑戰(zhàn)。如何將多個(gè)SAN孤島連接到一起進(jìn)行數(shù)據(jù)互通，如何保障連接在一起的交換機(jī)不受到廣播風(fēng)暴的影響，如何對(duì)眾多的交換機(jī)進(jìn)行統(tǒng)一的管理，在今后的業(yè)務(wù)發(fā)展中如何對(duì)SAN網(wǎng)絡(luò)進(jìn)行快速的擴(kuò)展部署，如何實(shí)現(xiàn)SAN架構(gòu)的容災(zāi)模式，成為當(dāng)前SAN網(wǎng)絡(luò)整合中所面臨的幾大重要問(wèn)題。 遼寧移動(dòng)網(wǎng)管SAN網(wǎng)絡(luò)現(xiàn)狀在遼寧移動(dòng)網(wǎng)管中心中已經(jīng)存在了完整的SAN架構(gòu)網(wǎng)絡(luò)，其由1臺(tái)Brocade 4900B 64口交換機(jī)和2臺(tái)Brocade 4100B 32口交換機(jī)組成端口冗余的網(wǎng)絡(luò)架構(gòu)。2臺(tái)32端口交換機(jī)相當(dāng)于1臺(tái)64口交換機(jī)，所有的服務(wù)器與存儲(chǔ)設(shè)備能夠通過(guò)這3臺(tái)交換機(jī)設(shè)備實(shí)現(xiàn)線路的冗余。其上連接了大約30套應(yīng)用系統(tǒng)，以及DMXCX500、EVA4000等存儲(chǔ)設(shè)備，端口占用情況比較緊張，目前大約占用94端口，剩余34端口左右。光纖交換交換機(jī)概況：光纖交換交換機(jī)提供廠商已使用端口速率DOMAIN ID備注博科64PORTEMC504GB/S1　博科32PORT(up)HP214GB/S3　博科32PORT(down)HP234GB/S2　博科64PORT　04GB/S　新到貨另外還有1臺(tái)新到貨Brocade 4900B 64口交換機(jī)總共是2臺(tái)64口，2臺(tái)32口交換機(jī)。以上現(xiàn)狀表明遼寧移動(dòng)網(wǎng)管系統(tǒng)的SAN網(wǎng)絡(luò)現(xiàn)狀目前面臨著幾個(gè)待解決問(wèn)題：端口不足，目前剩余34端口，無(wú)法滿足今后GEDC項(xiàng)目中大量新增業(yè)務(wù)系統(tǒng)的接入需求。在今后的擴(kuò)展中只能以添加邊緣交換機(jī)的方式擴(kuò)展，交換機(jī)之間的連接只能采用交換機(jī)自身的端口設(shè)置為Eport端口連接，在數(shù)據(jù)交換需要跨交換機(jī)訪問(wèn)時(shí)造成帶寬資源緊張。SAN網(wǎng)絡(luò)已經(jīng)部署為端口冗余方式，端口數(shù)量大約在64個(gè)，但無(wú)法對(duì)SAN網(wǎng)絡(luò)進(jìn)行邏輯隔離，當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)如果觸發(fā)廣播風(fēng)暴將影響整個(gè)SAN網(wǎng)絡(luò)的運(yùn)行性能與狀態(tài)。交換設(shè)備過(guò)多而沒(méi)有統(tǒng)一的管理，為管理者帶來(lái)管理效率問(wèn)題。數(shù)據(jù)中心機(jī)房存在單點(diǎn)故障，當(dāng)機(jī)房故障沒(méi)有容災(zāi)SAN架構(gòu)接管業(yè)務(wù)。 SAN網(wǎng)絡(luò)整合需求通過(guò)對(duì)遼寧移動(dòng)網(wǎng)管SAN網(wǎng)絡(luò)架構(gòu)的現(xiàn)狀分析，以及其目前所面臨的幾個(gè)問(wèn)題得出用戶需求，用戶需要對(duì)現(xiàn)有的SAN架構(gòu)進(jìn)行改造。需要實(shí)現(xiàn)SAN架構(gòu)系統(tǒng)的全面整合，實(shí)現(xiàn)系統(tǒng)的虛擬化要求。能夠在統(tǒng)一的架構(gòu)下分離不同的業(yè)務(wù)系統(tǒng)，使各業(yè)務(wù)系統(tǒng)獨(dú)立自制并且隔離不同業(yè)務(wù)系統(tǒng)之間的廣播干擾。能夠按業(yè)務(wù)系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行訪問(wèn)，不同的業(yè)務(wù)系統(tǒng)訪問(wèn)相應(yīng)的存儲(chǔ)。在業(yè)務(wù)量劇增時(shí)可以在不影響業(yè)務(wù)的情況下對(duì)現(xiàn)有SAN網(wǎng)絡(luò)快速擴(kuò)展。在未來(lái)本機(jī)房可能會(huì)作為沈北數(shù)據(jù)中心的容災(zāi)機(jī)房，SAN架構(gòu)需要具備擴(kuò)展容災(zāi)能力。2．SAN網(wǎng)絡(luò)方案設(shè)計(jì) SAN網(wǎng)絡(luò)整體架構(gòu)設(shè)計(jì)在遼寧移動(dòng)GEDC項(xiàng)目中SAN架構(gòu)設(shè)計(jì)方面，我方建議采用coreedge 核心邊緣的架構(gòu)設(shè)計(jì)方式。采用2臺(tái)導(dǎo)向器級(jí)別的SAN交換機(jī)替換現(xiàn)有的1臺(tái)64口與2臺(tái)32口交換機(jī)組成的冗余模式架構(gòu)，作為整個(gè)網(wǎng)管系統(tǒng)的核心，整合所有的業(yè)務(wù)主機(jī)、存儲(chǔ)系統(tǒng)及帶庫(kù)。整合后的系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，集中度更高，可減少管理的復(fù)雜度并提升業(yè)務(wù)的運(yùn)行水平。在架構(gòu)設(shè)計(jì)方面要求所有的部件都是冗余的，包括核心交換機(jī)，核心交換機(jī)端口卡、核心交換機(jī)內(nèi)的Virtual Fabric，邊緣交換機(jī)、存儲(chǔ)陣列的前后端控制器、磁盤(pán)、磁帶庫(kù)驅(qū)動(dòng)器、服務(wù)器HBA卡、光纖鏈路。%的高可用性。在本次項(xiàng)目中使用中高端存儲(chǔ)、交換、備份設(shè)備，%?？傮w架構(gòu)圖如下：在核心交換區(qū)內(nèi)要求SAN導(dǎo)向器為板卡式設(shè)計(jì)具備強(qiáng)大的擴(kuò)展功能，可以從簡(jiǎn)單的32口升級(jí)到300端口以上的擴(kuò)展能力，并且可以在Core板上支持InterChassis Link的擴(kuò)展端口用于集聯(lián)另一臺(tái)SAN導(dǎo)向器擴(kuò)展為700端口以上。SAN導(dǎo)向器支持NPIV（N_PortIDVirtualization）功能，由于GEDC的計(jì)算資源池中存在大量虛擬主機(jī)，而當(dāng)虛擬主機(jī)的單盤(pán)容量大于50GB左右的時(shí)候最佳方式是為其建立基于裸設(shè)備的磁盤(pán)影射，因此要求導(dǎo)向器具備NPIV功能能夠?qū)ⅲ瑔蝹€(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí)。SAN導(dǎo)向器應(yīng)具備Virtual Fabric功能，能夠?qū)⒁慌_(tái)導(dǎo)向器劃分為多個(gè)虛擬的FC交換設(shè)備。每個(gè)Virtual Fabric具備獨(dú)立管理的Domain根據(jù)應(yīng)用層次，可根據(jù)應(yīng)用層次、服務(wù)水準(zhǔn)或操作系統(tǒng)劃分管理區(qū)域?？梢詫?shí)現(xiàn)分區(qū)管理以及故障隔離，當(dāng)某一個(gè)Virtual Fabric中發(fā)生故障可以隔離不同virtual fabric間的廣播風(fēng)暴。并且可以將不具備Virtual Fabric功能的交換機(jī)在不間斷業(yè)務(wù)的情況下連接到VSAN中。SAN導(dǎo)向器應(yīng)具備路由功能，可以在不中斷業(yè)務(wù)，不更改交換機(jī)Domain ID和Zoning配置的情況下將多個(gè)SAN孤島連接在一起，并通過(guò)LSAN的方式使其之間能夠按需求端口互通訪問(wèn)。導(dǎo)向器可以添加長(zhǎng)波端口板與FCIP端口板，用于遠(yuǎn)程容災(zāi)設(shè)計(jì)的使用。通過(guò)以上整體架構(gòu)設(shè)計(jì)，我方建議在本次遼寧移動(dòng)GEDC項(xiàng)目中新采購(gòu)的128端口SAN導(dǎo)向器可以劃分6個(gè)Virtual Fabric環(huán)境，其中VF0作為Base, 相當(dāng)于SAN路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他virtual fabric。核心生產(chǎn)區(qū)、應(yīng)用服務(wù)區(qū)、OA及財(cái)務(wù)區(qū)分別為VF1VF3的virtual fabric用來(lái)連接業(yè)務(wù)系統(tǒng)。VF5為生產(chǎn)存儲(chǔ)區(qū)，將所有在線業(yè)務(wù)存儲(chǔ)系統(tǒng)連接到這個(gè)區(qū)域，如果需要這個(gè)區(qū)域的端口將分布在所有端口板上。將相關(guān)聯(lián)的業(yè)務(wù)主機(jī)以及與其相關(guān)的存儲(chǔ)設(shè)備端口劃分在同一塊端口卡內(nèi)，VF5中的存儲(chǔ)設(shè)備按需求分別連接到各自業(yè)務(wù)系統(tǒng)的virtual fabric上，實(shí)現(xiàn)與業(yè)務(wù)系統(tǒng)的隔離和自治、互通。同時(shí)各業(yè)務(wù)系統(tǒng)的virtual fabric又通過(guò)base與備份區(qū)VF4連通，共享備份區(qū)內(nèi)的備份設(shè)備，備份區(qū)內(nèi)連接備份服務(wù)器、VTL虛擬帶庫(kù)以及PTL物理帶庫(kù)。其他邊緣系統(tǒng)如測(cè)試開(kāi)發(fā)區(qū)、安全管理區(qū)可以利舊原有64和32端口交換機(jī)使用SAN導(dǎo)向器中的Routing功能，串接到SAN導(dǎo)向器中通過(guò)劃分LSAN的方式使其能夠?qū)?shù)據(jù)備份到備份區(qū)VF4中。單臂SAN環(huán)境拓?fù)鋱D： SAN網(wǎng)絡(luò)分級(jí)架構(gòu)設(shè)計(jì)在本期GEDC項(xiàng)目中的SAN架構(gòu)采用物理與邏輯分級(jí)設(shè)計(jì)，物理分級(jí)即在SAN網(wǎng)絡(luò)架構(gòu)中采用Coreedge核心邊緣的方式，采用SAN導(dǎo)向器作為核心交換機(jī)，其他利舊或者新購(gòu)的小型SAN交換機(jī)串接在它上面，使SAN網(wǎng)絡(luò)擴(kuò)展延伸下去。物理分級(jí)在SAN網(wǎng)絡(luò)中也分為2種架構(gòu)：一種為通過(guò)Routing的方式將小型SAN網(wǎng)絡(luò)串接在SAN導(dǎo)向器上，另一種方式通過(guò)ISL擴(kuò)展的方式將小型SAN網(wǎng)絡(luò)融入核心交換機(jī)中的某一個(gè)VF中。本期項(xiàng)目中會(huì)針對(duì)于不同系統(tǒng)的不同訪問(wèn)方式分別采用這兩種分級(jí)連接架構(gòu)。邏輯分級(jí)即在核心SAN導(dǎo)向器內(nèi)部劃分多個(gè)Virtual Fabric，將不同的業(yè)務(wù)系統(tǒng)區(qū)域邏輯分開(kāi)，隔離不同Virtual Fabric間不相關(guān)業(yè)務(wù)的網(wǎng)絡(luò)通路與廣播風(fēng)暴。 Back Bone to Edge Routing第一種方式叫做Back Bone to Edge Routing，其最大的優(yōu)勢(shì)是不需要更改接入交換機(jī)的DomainID與Zoning配置，而且SAN網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個(gè)SAN網(wǎng)絡(luò)中發(fā)生故障時(shí)不會(huì)影響其他SAN網(wǎng)絡(luò)。劣勢(shì)是交換機(jī)之間的跳數(shù)只能1跳，并且如果通過(guò)FCR做數(shù)據(jù)交互會(huì)帶來(lái)一定的性能影響。BackBone是所有在SAN導(dǎo)向器上的端口，設(shè)備可以通過(guò)LSAN_zone從Back Bone輸出到其他edge Fabric。這種SAN架構(gòu)稱為Mate SAN, Meta SAN中的Fabrics通過(guò) InterFabric Links (IFLs)相互連接：IFLs 在SAN路由器上為EX_Port, 在交換機(jī)上為E_Port，EX_Ports是增強(qiáng)的E_Port。當(dāng)Edge Fabric與Core Fabric存在大數(shù)據(jù)量交互時(shí)ISL協(xié)議與Trunking功能加大帶寬，實(shí)現(xiàn)鏈路的負(fù)載均衡與故障切換。本項(xiàng)目中，我們采用多條4GB鏈路聚合的方式將Edge Fabric與Core Fabric互連。所涉及的Edge Fabric為安全管理區(qū)以及測(cè)試開(kāi)發(fā)區(qū)。 InterSwitch Link第二種方式是傳統(tǒng)的ISL擴(kuò)展模式稱為Cascading，在本期項(xiàng)目中可以將小型SAN網(wǎng)絡(luò)加入SAN導(dǎo)向器所創(chuàng)建的某一個(gè)Virtual Fabric網(wǎng)絡(luò)中，成為其擴(kuò)展端口。其優(yōu)勢(shì)是可以將現(xiàn)有的SAN網(wǎng)絡(luò)擴(kuò)展，在一個(gè)Fabric網(wǎng)絡(luò)中最多可以連接239臺(tái)交換機(jī)，最大跳數(shù)為7跳。劣勢(shì)是一個(gè)SAN網(wǎng)絡(luò)端口過(guò)多帶來(lái)的管理難度與故障率增高，并且在連接新的SAN交換機(jī)時(shí)需要配置其DomainID與Zoning信息不能與核心交換機(jī)沖突。在數(shù)據(jù)量交互較大時(shí)仍然需要將多條鏈路聚合。本期所涉及的Cascading串接交換機(jī)為VF3中的應(yīng)用服務(wù)區(qū)的刀片服務(wù)器，由于刀片服務(wù)器眾多，VF3中端口分配有限，需要在刀片機(jī)籠配置SAN交換機(jī)或者配置利舊32口交換機(jī)，然后將此交換機(jī)連接到VF3中。 SAN網(wǎng)絡(luò)連接原則交換機(jī)本身的設(shè)計(jì)有很多考慮的因素，為了確保很好的性能，在大型的SAN交換機(jī)設(shè)計(jì)上都要評(píng)估其超載比。所謂超載比，就是每個(gè)交換機(jī)的對(duì)外部端口和對(duì)內(nèi)端口的比值。當(dāng)然，為了確保性能，最好是具有1:1的超載比，才能確保性能充分發(fā)揮。但是，某些產(chǎn)品設(shè)計(jì)時(shí)為了降低成本，往往采用2:1到4:1的超載比，從而在復(fù)雜的環(huán)境下造成不可預(yù)知的性能瓶徑。為了最大限度的確保性能，在SAN網(wǎng)絡(luò)設(shè)計(jì)中還有一個(gè)很重要的原則—本地化設(shè)計(jì)。所謂本地化，就是主機(jī)要訪問(wèn)的存儲(chǔ)和主機(jī)盡可能連接到同一個(gè)交換機(jī)或者端口卡上，從而實(shí)現(xiàn)本地交換機(jī)內(nèi)部交換。在簡(jiǎn)單網(wǎng)絡(luò)環(huán)境中，本地化設(shè)計(jì)比較容易實(shí)現(xiàn)；但隨著網(wǎng)絡(luò)復(fù)雜性的提升，本地化基本上不可能實(shí)現(xiàn)。在SAN網(wǎng)絡(luò)設(shè)計(jì)中，一般遵循的原則是：盡可能確保主機(jī)到存儲(chǔ)的訪問(wèn)路徑具有一致的跳躍數(shù)。在本期的SAN網(wǎng)絡(luò)設(shè)計(jì)中相關(guān)聯(lián)的主機(jī)與存儲(chǔ)設(shè)備都將處于SAN導(dǎo)向器中同一塊端口卡中，確保生產(chǎn)數(shù)據(jù)實(shí)現(xiàn)本地內(nèi)部交換，在SAN導(dǎo)向器端口卡內(nèi)部可以實(shí)現(xiàn)1:1的全雙工超載。例如：核心生產(chǎn)區(qū)的業(yè)務(wù)主機(jī)部署在VF1區(qū)，連接在端口卡1上，DMX、EVA存儲(chǔ)分配給這套系統(tǒng)得存儲(chǔ)LUN部署在VF2區(qū)，但端口同樣連接在端口卡1上。這樣雖然VF1與VF5互通需要routing功能，但保證數(shù)據(jù)流在一塊卡內(nèi)。超載比仍然為1:1。利舊的邊緣交換機(jī)上同樣將部署業(yè)務(wù)相關(guān)的主機(jī)與存儲(chǔ)設(shè)備。只有當(dāng)業(yè)務(wù)主機(jī)進(jìn)行LANFree備份時(shí)會(huì)通過(guò)Routing功能跨背板進(jìn)行數(shù)據(jù)傳輸。但備份作業(yè)一般在業(yè)務(wù)不繁忙的夜間進(jìn)行，因此不會(huì)給業(yè)務(wù)系統(tǒng)帶來(lái)壓力。 SAN網(wǎng)絡(luò)安全劃分分區(qū)是在存