【正文】 張。 交換設(shè)備過(guò)多而沒(méi)有統(tǒng)一的管理，為管理者帶來(lái)管理效率問(wèn)題。 SAN 網(wǎng)絡(luò)整合 需求 通過(guò)對(duì)遼寧移動(dòng)網(wǎng)管 SAN 網(wǎng)絡(luò)架構(gòu)的現(xiàn)狀分析，以及其目前所面臨的幾個(gè)問(wèn)題 得出用戶需求， 用戶需要對(duì)現(xiàn)有的 SAN 架構(gòu)進(jìn)行改造。 能夠在統(tǒng)一的架構(gòu)下分離不同的業(yè)務(wù)系統(tǒng)，使各業(yè)務(wù)系統(tǒng)獨(dú)立自制并且隔離不同業(yè)務(wù)系統(tǒng)之間的廣播干擾。 在業(yè)務(wù)量劇增時(shí)可以 在不影響業(yè)務(wù)的情況下 對(duì)現(xiàn)有 SAN 網(wǎng)絡(luò)快速擴(kuò)展。 2． SAN 網(wǎng)絡(luò)方案設(shè)計(jì) SAN 網(wǎng)絡(luò)整體架構(gòu) 設(shè)計(jì) 在遼寧移動(dòng) GEDC 項(xiàng)目中 SAN 架構(gòu)設(shè)計(jì)方面，我方建議采用 coreedge 核心 邊緣的架構(gòu)設(shè)計(jì)方式。整合后的系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，集中度更高，可減少管理的復(fù)雜度并提升業(yè)務(wù)的運(yùn)行水平。以達(dá)到整個(gè) SAN 網(wǎng)絡(luò)架構(gòu) %的高可用性。 總體架構(gòu)圖如下： 圖 在核心交換區(qū)內(nèi) 要求 SAN 導(dǎo)向器 為板卡式設(shè)計(jì) 具備 強(qiáng)大的擴(kuò)展功能，可以從簡(jiǎn)單的 32口升級(jí)到 300 端口以上的擴(kuò)展能力，并且可以在 Core 板上支持 InterChassis Link 的擴(kuò)展端 口 用于 集聯(lián) 另一 臺(tái) SAN 導(dǎo)向 器擴(kuò) 展 為 700 端口 以上 。 SAN 導(dǎo)向器應(yīng)具備 Virtual Fabric功能，能夠?qū)⒁慌_(tái)導(dǎo)向器劃分為多個(gè)虛擬的 FC 交換設(shè)備。 可以實(shí)現(xiàn)分區(qū)管理以及故障隔離，當(dāng)某一個(gè) Virtual Fabric 中發(fā)生故障可以 隔離不同 virtual fabric 間的廣播風(fēng)暴 。 SAN導(dǎo)向器應(yīng)具備路由功能，可以在不中斷業(yè)務(wù)，不更改交換機(jī) Domain ID 和 Zoning 配置的情況下將多個(gè) SAN 孤島連接在一起，并通過(guò) LSAN 的方式使其之間能夠按需求端口互通訪問(wèn)。 通過(guò)以上整體架構(gòu)設(shè)計(jì)，我方建議在本次遼寧移動(dòng) GEDC 項(xiàng)目中新采購(gòu)的 128 端口 SAN導(dǎo)向器可以劃分 6 個(gè) Virtual Fabric 環(huán)境，其中 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric。 VF5 為生產(chǎn)存儲(chǔ)區(qū)，將所有在線業(yè)務(wù)存儲(chǔ)系統(tǒng)連接到這個(gè)區(qū)域，如果需要這個(gè)區(qū)域的端口將分布在所有端口板上。 同時(shí) 各業(yè)務(wù)系統(tǒng)的 virtual fabric 又通過(guò) base 與備份區(qū) VF4 連通 ，共享備份區(qū)內(nèi)的備份設(shè)備 ，備份區(qū)內(nèi)連接備份服務(wù)器、 VTL 虛擬帶庫(kù)以及 PTL 物理帶庫(kù) 。 單 臂 SAN環(huán)境拓?fù)鋱D： 圖 SAN 網(wǎng)絡(luò)分級(jí)架構(gòu) 設(shè)計(jì) 在本期 GEDC 項(xiàng)目中的 SAN 架構(gòu)采用物理 與邏輯 分級(jí)設(shè)計(jì) ，物理分級(jí)即在 SAN 網(wǎng)絡(luò)架構(gòu)中采用 Coreedge 核心 邊緣 的方式，采用 SAN 導(dǎo)向器作為核心交換機(jī)，其他利舊或者新購(gòu)的小型 SAN 交換機(jī)串接在它上面，使 SAN 網(wǎng)絡(luò)擴(kuò)展 延伸 下去。 本期項(xiàng)目中會(huì)針對(duì)于不同系統(tǒng)的不同訪問(wèn)方式分別采用這兩種分級(jí)連接架構(gòu)。 Back Bone to Edge Routing 第一種方式叫做 Back Bone to Edge Routing，其最大的優(yōu)勢(shì)是不需要更改接入交換機(jī)的 DomainID 與 Zoning 配置，而且 SAN 網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個(gè) SAN 網(wǎng)絡(luò)中發(fā)生故障時(shí)不會(huì)影響其他 SAN 網(wǎng)絡(luò)。 BackBone 是所有在 SAN 導(dǎo)向器上的端口，設(shè)備可以通過(guò) LSAN_zone 從Back Bone 輸出到其他 edge Fabric。 圖 當(dāng) Edge Fabric 與 Core Fabric 存在大數(shù)據(jù)量交互時(shí) ISL 協(xié)議與 Trunking 功能加大帶寬，實(shí)現(xiàn)鏈路的負(fù)載均衡與故障切換。 所涉及的 Edge Fabric 為安全管理區(qū)以及測(cè)試開(kāi)發(fā)區(qū)。 其優(yōu)勢(shì)是可以將現(xiàn)有的 SAN 網(wǎng)絡(luò)擴(kuò)展 ，在一個(gè) Fabric 網(wǎng)絡(luò)中最多可以連接 239 臺(tái)交換機(jī)，最大跳數(shù)為 7跳。 在數(shù)據(jù)量交互較大時(shí)仍然需要將多條鏈路聚合。 圖 SAN 網(wǎng)絡(luò)連接原則 交換機(jī)本身的設(shè)計(jì)有很多考慮的因素，為了確保很好的性能，在大型的 SAN 交換機(jī)設(shè)計(jì)上都要評(píng)估其超載比。當(dāng)然，為了確保性能，最好是具有 1:1 的超載比，才能確保性能充分發(fā)揮。 為了最大限度的確保性能，在 SAN 網(wǎng)絡(luò)設(shè)計(jì)中還有一個(gè)很重要的原則 — 本地化設(shè)計(jì)。在簡(jiǎn)單網(wǎng)絡(luò)環(huán)境中，本地化設(shè)計(jì)比較容易實(shí)現(xiàn)；但隨著網(wǎng)絡(luò)復(fù)雜性的提升，本地化基本上不可能實(shí)現(xiàn)。 在本期的 SAN網(wǎng)絡(luò)設(shè)計(jì)中相關(guān)聯(lián)的主機(jī)與存儲(chǔ)設(shè)備都 將 處于 SAN導(dǎo)向器中 同一塊端口卡中，確保生產(chǎn)數(shù)據(jù)實(shí)現(xiàn)本地內(nèi)部交換，在 SAN 導(dǎo)向器端口卡內(nèi)部可以實(shí)現(xiàn) 1:1 的全雙工超載。這樣雖然 VF1 與 VF5互通需要 routing 功能，但保證數(shù)據(jù)流在一塊卡內(nèi)。 利舊的邊緣交換機(jī)上同樣將部署業(yè)務(wù)相關(guān) 的主機(jī)與存儲(chǔ)設(shè)備。但備份作業(yè)一般在業(yè)務(wù)不繁忙的夜間進(jìn)行，因此不會(huì)給業(yè)務(wù)系統(tǒng)帶來(lái)壓力。分區(qū)造成一種只有當(dāng)他們的成員，在同一區(qū)域時(shí)節(jié)點(diǎn)可以互相溝通的情形。 分區(qū)不僅阻止主機(jī)免受未授權(quán)的存儲(chǔ)資產(chǎn)訪問(wèn)，而且可以停止不受歡迎的主機(jī)到主機(jī)的通信和 全 fabric的注冊(cè)狀態(tài)變更通知（ RSCN ）的中斷 。對(duì)于大多數(shù)存儲(chǔ)陣列來(lái)說(shuō)，該存儲(chǔ)空間的單位是邏輯單元號(hào)（ LUN ），多個(gè) LUNs被映射到陣列的光纖通道（ FC ）端口上。分區(qū)允許主機(jī)訪問(wèn)某個(gè)存儲(chǔ)陣列特定端口上的所有 LUNs。 雖然 LUN masking可專門用于映射 LUNs到主機(jī)， 但是在 fabric中會(huì)使每個(gè)主機(jī)暴露在每個(gè)危及穩(wěn)定的 RSCN上。 因此在 SAN網(wǎng)絡(luò)中始終實(shí)施分區(qū)，不論是否使用 LUN masking。內(nèi)置于存儲(chǔ)和主機(jī)接口的 pWWN識(shí)別使用全局唯一標(biāo)識(shí)符，對(duì)于所有 fabric，唯一的識(shí)別方法是獨(dú)一無(wú)二的 pWWN。 包括在使用光纖通道路由 FCR時(shí)，同樣適用 PWWN識(shí)別。 對(duì)某一分區(qū)配置有很多方法可以把 SAN主機(jī)和存儲(chǔ)節(jié)點(diǎn)分組。主機(jī)彼此之間很少需要直接互動(dòng)，且存儲(chǔ)端口由于其作為目標(biāo)的本性從未發(fā)起 SAN交通。在大多數(shù)情況下，所有這些方法推薦給上文所述的原因。 ” 與SIZ ，每個(gè)區(qū)域只有一個(gè)單獨(dú)的 HBA卡和一個(gè)或多個(gè)存儲(chǔ)端口。 SIZ是最佳的，因?yàn)樗梢宰柚谷魏沃鳈C(jī)到主機(jī)的互動(dòng)和限制 RSCNs只到在RSCN內(nèi)包含所需信息的正確區(qū)域。 分離 磁盤和磁帶設(shè)備到單獨(dú)的區(qū)域防止磁盤 RSCNs沖擊磁帶設(shè)備，這往往是更敏感的RSCNs 。 SAN 網(wǎng)絡(luò)路由設(shè)計(jì) 由于本期項(xiàng)目的 SAN 網(wǎng)絡(luò)過(guò)于龐大，無(wú)法在一個(gè) Fabric 中實(shí)現(xiàn)所有 計(jì)算、存儲(chǔ)、備份設(shè)備的互聯(lián)，因此需要對(duì) SAN 架構(gòu)劃分 多個(gè) Virtual Fabric 的方式將不相關(guān)的 SAN 區(qū)域分開(kāi)， 每個(gè) virtual fabric 相當(dāng)于一臺(tái)獨(dú)立的交換機(jī)，互相沒(méi)有聯(lián)系，將不 同的設(shè)備連接到不同 virtual fabric 上即加入了相應(yīng)的 virtual fabric。 設(shè)備之間通過(guò) LSAN_zone 方式互聯(lián)，但為了保證 VF 之間、 Core Fabric 與 Edge Fabric 之間無(wú)關(guān)系統(tǒng)的隔離，需要對(duì) SAN路由作詳細(xì)設(shè)計(jì)。 保證每個(gè)生產(chǎn)區(qū) VF 的主機(jī)可以與備份區(qū) VF4 的 VTL 和物理帶庫(kù)互通，以實(shí)現(xiàn) LANFree備份。 必要時(shí)各個(gè)生產(chǎn)區(qū)的存儲(chǔ)可以與開(kāi)發(fā)測(cè)試區(qū)的存儲(chǔ)互通，將數(shù)據(jù)由存儲(chǔ)設(shè)備直接推送到開(kāi)發(fā)測(cè)試區(qū)存儲(chǔ)上，用于測(cè)試。 SAN 網(wǎng)絡(luò) NPIV 設(shè)計(jì) N_Port ID Virtualization (NPIV) 將單個(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí)（對(duì)每個(gè)操 作系統(tǒng)看起來(lái)就像有自己獨(dú)立的物理端口一樣）。它允許你去分配虛擬地址而不影響現(xiàn)有連接和設(shè)備。 每個(gè) NPIV 設(shè)備有獨(dú)立的 device PID,Port WWN, 和 Node WWN，執(zhí)行同 Fabric 中其他端口相同的功能。對(duì)于完全由 virtual N_Port ID 構(gòu)成的Zone，必須使用 WWNZone。如果這個(gè)設(shè)備不能處理這種異常的 PLOGI 信號(hào)， 就應(yīng)該使用 WWNbased zoning。 當(dāng)這些虛擬機(jī)需要連接存儲(chǔ)資源池中的 LUN 時(shí)，需要通過(guò)虛擬機(jī)的虛擬端口影射到刀片機(jī)籠的內(nèi)聯(lián) FC端口，再通過(guò)外聯(lián) FC端口連接到 SAN導(dǎo)向器上識(shí)別存儲(chǔ)資源池中的 LUN。再通過(guò)Zone 分區(qū)的方式將多個(gè) NPIV 邏輯上分離，保證單一主機(jī)到單一存儲(chǔ) LUN 的訪問(wèn)。如下是一個(gè)具體的案例(Brocade 5100 port 10): switch:admin portCfgNPIVPort 10, 1 同時(shí)考慮到虛擬機(jī)內(nèi)各業(yè)務(wù)系統(tǒng)的重要程度不同，應(yīng)可利用交換機(jī)端的 數(shù)據(jù)流控制機(jī)制，實(shí)現(xiàn) I/O 流量的控制管理 。有了這些數(shù)據(jù)流控制機(jī)制，客戶可以很好的分配和利用帶 寬資源，為應(yīng)用程序服務(wù)，例如 虛擬機(jī) SQL 數(shù)據(jù)庫(kù) 為 核心業(yè)務(wù)，劃分為高優(yōu)先級(jí)，而 文件歸檔等 則為低優(yōu)先級(jí)應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達(dá)到瓶頸時(shí)，高優(yōu)先級(jí)別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級(jí)別業(yè)務(wù)的服務(wù)水準(zhǔn)。以下我們分別對(duì)這幾個(gè) VF 在實(shí)際環(huán)境中的部署作分別闡述。 它包含 SAN 導(dǎo)向器中 所有需要交互端口。連接主機(jī)見(jiàn)下表： 核心生產(chǎn)主機(jī)表： Solaris+Veritas LVM E6901/E6902 SUN E6900 NMC 數(shù)據(jù)庫(kù) (ORACLE 9i RAC) 有表可見(jiàn)總共大約 11 臺(tái)服務(wù)器占用 11 個(gè)端口 (包括 TeMIP HP 主機(jī) Npart)。 VF2 OA 財(cái)務(wù) 區(qū)域劃分 VF2 區(qū)劃分系統(tǒng)為 OA 以及財(cái)務(wù)，劃分 1 塊 32 端口 板 中的 24 端口 ，連接主機(jī)見(jiàn)下表 。 VF3 應(yīng)用服務(wù) 區(qū)域劃分 VF3 區(qū)域?yàn)閼?yīng)用服務(wù)區(qū)，此區(qū)域劃分 1 塊端口卡中的 32 個(gè)端口 中的 24 端口 ，此區(qū)域連接應(yīng)用服務(wù)區(qū)的 3 組刀片機(jī)籠 48 臺(tái)刀片服務(wù)器，由于刀片機(jī)籠中配置 SAN 交換機(jī)， SAN 導(dǎo)向器可以將刀片機(jī)籠中的 SAN 交換機(jī)加入到 VF3 區(qū)內(nèi)成為 VF3 區(qū)內(nèi)的一部分，因此不需要為其配置過(guò)多的端口，每臺(tái) 機(jī)籠內(nèi) SAN 交換機(jī)可通過(guò) 8 條 8GB 光纖通過(guò) ISL 協(xié)議連接到 SAN導(dǎo)向器中的 VF3 區(qū)內(nèi)，自動(dòng)實(shí)現(xiàn)鏈路聚合。 3 組機(jī)籠占用 VF3 24 個(gè)端口，每組機(jī)籠可具備 64Gb 帶寬，每臺(tái)服務(wù)器 4Gb 帶寬，如果每臺(tái)刀片服務(wù)器虛擬 5 臺(tái)虛機(jī)則每臺(tái)虛機(jī)可分配 80MB 帶寬，基本滿足業(yè)務(wù)需要。如果刀片機(jī)籠沒(méi)有配置 SAN 交換機(jī)，則需要利舊原有的 3 臺(tái) 32 端口交換機(jī)，刀片服務(wù)器連接 32 口 Brocade 4100B 交換機(jī)，在通過(guò) 4100B 中 8 條 4GB 光纖通過(guò) ISL 協(xié)議連接到 SAN導(dǎo)向器中的連接到 VF3 中。 在虛擬機(jī)不存在大數(shù)據(jù)量時(shí)采用傳統(tǒng)的 LUN 映射、Zone 劃分方式將 LUN 分配給 EXSserver， EXSserver 將虛擬機(jī)的映像文件 VMDK 存儲(chǔ)在 LUN中。 VF4 備份資源 區(qū)域劃分 VF4 區(qū)為備份區(qū)，此區(qū)域內(nèi)劃分 2 臺(tái)備份服務(wù)器， 1臺(tái) VTL 虛擬帶庫(kù)設(shè)備，以及 1 臺(tái)利舊 8 驅(qū)動(dòng)器的 HP EML245E 磁帶庫(kù)，其中備份服務(wù)器每臺(tái)需占用 1 個(gè) FC 端口， EML245 可以將 8 個(gè)驅(qū)動(dòng)器分別連接到 2 臺(tái) SAN 導(dǎo)向器中的 VF4 區(qū)中，因此每臺(tái) SAN 導(dǎo)向器占用 4 端口，機(jī)械手占用 1 端口，虛擬帶庫(kù)按每交換機(jī) 4 端口計(jì)算，則備份區(qū) VF4 區(qū)內(nèi)占用大約 11 端口。 以 Brocade 交換機(jī)為例， 執(zhí)行以下命令： zonecreate lsan_stn_w2k_hdsB, stn_w2k。 然后將它們加入到 config 中。 ??” NMCA3D10SVR1/NMCA3D10SVR2 SQL SERVER 2020 OLAP 將生成的 config 激活并保存。保證相關(guān)的業(yè)務(wù)計(jì)算區(qū)主機(jī)與存儲(chǔ)資源池中分配的 LUN 影射端口處于同一塊端口板上。 本項(xiàng)目中計(jì)劃為 VF5 分配端口板 1 中的 16 端口，端口板 2 中的 8 端口，端口板 3中的 8 端口。 在本項(xiàng)目中核心生產(chǎn)區(qū)的存儲(chǔ)設(shè)備 DMX3 配置 2 個(gè)控制器， 每控制器 8 個(gè)前端端口，設(shè)計(jì)連接到 VF5 區(qū)中的端口卡 1 上 。存儲(chǔ)資源區(qū)占用端口板 1 12端口。為 OA、財(cái)務(wù)、應(yīng)用服務(wù)系統(tǒng)的服務(wù)器提供存儲(chǔ)空間。存儲(chǔ)資源區(qū)共占用 20 端口，剩余 12 端口?？梢园凑宅F(xiàn)有實(shí)際端口使用數(shù)量劃分每一個(gè) VF 的端口數(shù)量，剩余端口可以在今后的擴(kuò)展中按需求隨用隨加。 由于本期 SAN 導(dǎo)向器配置 128 端口，通過(guò)以上劃分的 6 個(gè) VFabric 剩余 16 個(gè)端口， 如果采用隨用隨加的方式， SAN 導(dǎo)向器大約剩余 3040 端口，但建議這些端口為系統(tǒng)升級(jí)保留。 本期計(jì)劃利舊 2 臺(tái) 32 口 4100 交換機(jī)連接安全管理區(qū)自盤陣列與服務(wù)器設(shè)備，同過(guò)Routing 功能使其能夠 識(shí)別 VF4 區(qū)內(nèi)的 VTL 與磁帶庫(kù)進(jìn)行 LANFree 備份。由于安全管理區(qū)內(nèi)服務(wù)器與存儲(chǔ)設(shè)備數(shù)量不多，這部分空余的交換機(jī)端口可作為近期內(nèi)新增的其他系統(tǒng)使用。利舊2 臺(tái) 4900B 64 口交換機(jī)作為測(cè)試區(qū)的核心交換機(jī)通過(guò) Rounting 功能連接到 SAN 導(dǎo)向器中 。使 VF VF VF3 中的 EMC 存儲(chǔ)設(shè)備可以與測(cè)試區(qū)的存儲(chǔ) HP EVA4000 互通，這樣可以利用 Open Replicater 與 SANcopy 功能將數(shù) 據(jù)發(fā)送到測(cè)試