【文章內(nèi)容簡(jiǎn)介】 不 同的設(shè)備連接到不同 virtual fabric 上即加入了相應(yīng)的 virtual fabric。然后通過(guò) Routing 的方式將多個(gè) VF 以及 edge Fabric 連接在一起 ，共享備份設(shè)備。 設(shè)備之間通過(guò) LSAN_zone 方式互聯(lián)，但為了保證 VF 之間、 Core Fabric 與 Edge Fabric 之間無(wú)關(guān)系統(tǒng)的隔離，需要對(duì) SAN路由作詳細(xì)設(shè)計(jì)。 確保各個(gè)生產(chǎn)區(qū) VF 之間的主機(jī)與存儲(chǔ)不互通，確保測(cè)試開(kāi)發(fā)區(qū)的主機(jī)與生產(chǎn)區(qū)的主機(jī)及存儲(chǔ)不互通。 保證每個(gè)生產(chǎn)區(qū) VF 的主機(jī)可以與備份區(qū) VF4 的 VTL 和物理帶庫(kù)互通，以實(shí)現(xiàn) LANFree備份。 確保開(kāi)發(fā)測(cè)試區(qū)的主機(jī)和備份區(qū) VF4 的 VTL 和物理帶庫(kù)互通，以實(shí)現(xiàn)將歷史數(shù)據(jù)恢復(fù)到開(kāi)發(fā)測(cè)試區(qū)用于測(cè)試研發(fā)。 必要時(shí)各個(gè)生產(chǎn)區(qū)的存儲(chǔ)可以與開(kāi)發(fā)測(cè)試區(qū)的存儲(chǔ)互通，將數(shù)據(jù)由存儲(chǔ)設(shè)備直接推送到開(kāi)發(fā)測(cè)試區(qū)存儲(chǔ)上，用于測(cè)試。 必要時(shí)各個(gè)生產(chǎn)區(qū)的主機(jī)可以與開(kāi)發(fā)測(cè)試區(qū)存儲(chǔ)互通，用戶數(shù)據(jù)拷貝恢復(fù)。 SAN 網(wǎng)絡(luò) NPIV 設(shè)計(jì) N_Port ID Virtualization (NPIV) 將單個(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí)（對(duì)每個(gè)操 作系統(tǒng)看起來(lái)就像有自己獨(dú)立的物理端口一樣）。 NPIV 分配一個(gè)獨(dú)立的 virtual port ID 給每個(gè)光纖通道協(xié)議設(shè)備。它允許你去分配虛擬地址而不影響現(xiàn)有連接和設(shè)備。虛擬端口有與 N_port 相同的屬性，因此能夠提供 Fabric 相關(guān)的所有服務(wù)。 每個(gè) NPIV 設(shè)備有獨(dú)立的 device PID,Port WWN, 和 Node WWN，執(zhí)行同 Fabric 中其他端口相同的功能。也就是說(shuō)， NPIV 虛擬出的多個(gè) virtual devices 與連接在非 NPIV 端口的普通設(shè)備無(wú)異， zone 配置對(duì)于 NPIV 端口和非 NPIV 端口也沒(méi)有區(qū)別，能夠根據(jù) domain和 port 符號(hào)，或 WWN，或兩者兼有的方式劃分。對(duì)于完全由 virtual N_Port ID 構(gòu)成的Zone，必須使用 WWNZone。 因?yàn)?對(duì)于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個(gè)不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。如果這個(gè)設(shè)備不能處理這種異常的 PLOGI 信號(hào)， 就應(yīng)該使用 WWNbased zoning。 在本期 遼寧移動(dòng) GEDC 項(xiàng)目中存在大量刀片服務(wù)器，每臺(tái)刀片機(jī)種大約分配 5 臺(tái)左右的虛擬機(jī)。 當(dāng)這些虛擬機(jī)需要連接存儲(chǔ)資源池中的 LUN 時(shí)，需要通過(guò)虛擬機(jī)的虛擬端口影射到刀片機(jī)籠的內(nèi)聯(lián) FC端口，再通過(guò)外聯(lián) FC端口連接到 SAN導(dǎo)向器上識(shí)別存儲(chǔ)資源池中的 LUN。在虛擬機(jī) LUN 需求超過(guò) 75GB 時(shí)，建議采用 LDM 方式，通過(guò) NPIV 連接存儲(chǔ)上的 LUN。再通過(guò)Zone 分區(qū)的方式將多個(gè) NPIV 邏輯上分離，保證單一主機(jī)到單一存儲(chǔ) LUN 的訪問(wèn)。 連接 拓?fù)?圖如下： 圖 NPIV 配置： 使用 portCfgNPIVPort 打開(kāi)和關(guān)閉 port 的 NPIV 功能。如下是一個(gè)具體的案例(Brocade 5100 port 10): switch:admin portCfgNPIVPort 10, 1 同時(shí)考慮到虛擬機(jī)內(nèi)各業(yè)務(wù)系統(tǒng)的重要程度不同，應(yīng)可利用交換機(jī)端的 數(shù)據(jù)流控制機(jī)制，實(shí)現(xiàn) I/O 流量的控制管理 。 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級(jí)別 ,可以將 NPIV 連接線的內(nèi)部劃分成高，中，低三個(gè)優(yōu)先級(jí)別，高優(yōu)先級(jí)獲得最高的帶寬，而低優(yōu)先級(jí)別獲得最低的傳輸帶寬。有了這些數(shù)據(jù)流控制機(jī)制，客戶可以很好的分配和利用帶 寬資源，為應(yīng)用程序服務(wù)，例如 虛擬機(jī) SQL 數(shù)據(jù)庫(kù) 為 核心業(yè)務(wù)，劃分為高優(yōu)先級(jí)，而 文件歸檔等 則為低優(yōu)先級(jí)應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達(dá)到瓶頸時(shí)，高優(yōu)先級(jí)別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級(jí)別業(yè)務(wù)的服務(wù)水準(zhǔn)。 圖 Virtual Fabric 網(wǎng)絡(luò)設(shè)計(jì) 在 Virtual Fabric網(wǎng)絡(luò)設(shè)計(jì)中，我們參見(jiàn)圖 ，劃分為 VF0VF5， 6個(gè) Virtual Fabric網(wǎng)絡(luò) ， 以及 edge Fabric 網(wǎng)絡(luò)。以下我們分別對(duì)這幾個(gè) VF 在實(shí)際環(huán)境中的部署作分別闡述。 VF0 路由 區(qū)域劃分 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric, 并且隔離不同 virtual fabric 間的廣播風(fēng)暴。 它包含 SAN 導(dǎo)向器中 所有需要交互端口。 VF1 核心 數(shù)據(jù)庫(kù) 區(qū)域劃分 本期計(jì)劃為 VF1 核心 數(shù)據(jù)庫(kù) 區(qū)劃分 1 個(gè)端口板 32 端口 中的 16 端口 ，連接 NMC 數(shù)據(jù)庫(kù) 2 臺(tái) SUN E6900、 TDDB \ NPMDB 集群數(shù)據(jù)庫(kù) 4 臺(tái) SUN E4900、 XNGDB 1 臺(tái) SUN V890、bpmapp01， 1 臺(tái) SUN V4800、 TeMIP 4 臺(tái) HP 服務(wù)器集群。連接主機(jī)見(jiàn)下表： 核心生產(chǎn)主機(jī)表： Solaris+Veritas LVM E6901/E6902 SUN E6900 NMC 數(shù)據(jù)庫(kù) (ORACLE 9i RAC) 有表可見(jiàn)總共大約 11 臺(tái)服務(wù)器占用 11 個(gè)端口 (包括 TeMIP HP 主機(jī) Npart)。 VF1 還具備 5 端口的擴(kuò)展能力，在近期內(nèi)能夠充分滿足用戶對(duì)核心數(shù)據(jù)庫(kù) 區(qū)的擴(kuò)展需求。 VF2 OA 財(cái)務(wù) 區(qū)域劃分 VF2 區(qū)劃分系統(tǒng)為 OA 以及財(cái)務(wù)，劃分 1 塊 32 端口 板 中的 24 端口 ，連接主機(jī)見(jiàn)下表 。 OA 系統(tǒng)主機(jī)表： Solaris E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) xngserver SUN V890 XNGDB(ORACLE 10g) HP UX temip1,temip2,temip3,temip4 TeMIP SUN Solaris bpmapp01/bpmdb01 SUN V4800 bpmapp01/bpmdb01 Windows Archive2 HP DL380 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) EPM1/2 HP DL580 EPM Elearning HP DL580 Elearning HP UX UIPORACLE/UIPPORTAL HP RP4440 UIPORACLE/UIPPORTAL OVSA1/OVSA2 HP RP4440 OVSA1/OVSA2 HP UX Archive1 HP RX4640 OA 檔案系統(tǒng) Documentum/MAXIMO1/MAXIMO2 HP RP4440 Documentum/MAXIMO1/MAXIMO2 Windows DocBack1/DocBack2 HP DL580 公文后端 1,2,3,4 OASQL1 HP DL580 OA SQL SERVER Windows DocBack3/DocBack4 HP DL580 公文后端 1,2,3,4 OASQL2 HP DL580 OA SQL SERVER Windows NMC4 IBM X440 SQL SERVER2020 NMC5/NMC6 IBM X440 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 SQL SERVER 2020 (SQL3) 由此表可見(jiàn)大約在 OA 系統(tǒng) 與 財(cái)務(wù)系統(tǒng)中存在 20 臺(tái)左右服務(wù)器 需要連接存儲(chǔ) LUN，占用端口大約 20 個(gè)，這樣 VF2 區(qū)內(nèi)共占用端口大約 20 個(gè)，剩余 4個(gè)左右端口供用戶擴(kuò)展。 VF3 應(yīng)用服務(wù) 區(qū)域劃分 VF3 區(qū)域?yàn)閼?yīng)用服務(wù)區(qū)，此區(qū)域劃分 1 塊端口卡中的 32 個(gè)端口 中的 24 端口 ，此區(qū)域連接應(yīng)用服務(wù)區(qū)的 3 組刀片機(jī)籠 48 臺(tái)刀片服務(wù)器，由于刀片機(jī)籠中配置 SAN 交換機(jī)， SAN 導(dǎo)向器可以將刀片機(jī)籠中的 SAN 交換機(jī)加入到 VF3 區(qū)內(nèi)成為 VF3 區(qū)內(nèi)的一部分，因此不需要為其配置過(guò)多的端口，每臺(tái) 機(jī)籠內(nèi) SAN 交換機(jī)可通過(guò) 8 條 8GB 光纖通過(guò) ISL 協(xié)議連接到 SAN導(dǎo)向器中的 VF3 區(qū)內(nèi)，自動(dòng)實(shí)現(xiàn)鏈路聚合。（如需要實(shí)現(xiàn)負(fù)載均衡則需要添加 Trunking License）。 3 組機(jī)籠占用 VF3 24 個(gè)端口，每組機(jī)籠可具備 64Gb 帶寬，每臺(tái)服務(wù)器 4Gb 帶寬，如果每臺(tái)刀片服務(wù)器虛擬 5 臺(tái)虛機(jī)則每臺(tái)虛機(jī)可分配 80MB 帶寬，基本滿足業(yè)務(wù)需要。 VF3中共占用大約 24 端口， 目前沒(méi)有擴(kuò)展能力，但可通過(guò)增加端口板或者添加邊緣交換機(jī)擴(kuò)展VF3。如果刀片機(jī)籠沒(méi)有配置 SAN 交換機(jī)，則需要利舊原有的 3 臺(tái) 32 端口交換機(jī)，刀片服務(wù)器連接 32 口 Brocade 4100B 交換機(jī)，在通過(guò) 4100B 中 8 條 4GB 光纖通過(guò) ISL 協(xié)議連接到 SAN導(dǎo)向器中的連接到 VF3 中。 在 VF3 中大量應(yīng)用服務(wù)器以虛擬機(jī)的形式存在 ，因此要求涉及連接的所有交換機(jī)都支持 NPIV 的劃分方式。 在虛擬機(jī)不存在大數(shù)據(jù)量時(shí)采用傳統(tǒng)的 LUN 映射、Zone 劃分方式將 LUN 分配給 EXSserver， EXSserver 將虛擬機(jī)的映像文件 VMDK 存儲(chǔ)在 LUN中。當(dāng)虛擬機(jī)需要的存儲(chǔ)空間大于 75GB 時(shí)，建議直接將 LUN 映射給虛擬機(jī)采用 LDM 的方式，利用交換機(jī) NPIV 技術(shù)使虛擬端口和 LUN 仍然實(shí)現(xiàn)單個(gè)啟 動(dòng)程序分區(qū) SIZ 的方式。 VF4 備份資源 區(qū)域劃分 VF4 區(qū)為備份區(qū)，此區(qū)域內(nèi)劃分 2 臺(tái)備份服務(wù)器， 1臺(tái) VTL 虛擬帶庫(kù)設(shè)備，以及 1 臺(tái)利舊 8 驅(qū)動(dòng)器的 HP EML245E 磁帶庫(kù)，其中備份服務(wù)器每臺(tái)需占用 1 個(gè) FC 端口， EML245 可以將 8 個(gè)驅(qū)動(dòng)器分別連接到 2 臺(tái) SAN 導(dǎo)向器中的 VF4 區(qū)中，因此每臺(tái) SAN 導(dǎo)向器占用 4 端口，機(jī)械手占用 1 端口，虛擬帶庫(kù)按每交換機(jī) 4 端口計(jì)算，則備份區(qū) VF4 區(qū)內(nèi)占用大約 11 端口。 VF1VF3 生產(chǎn)環(huán)境的 Virtual Fabric 通過(guò) VF0 Base Virtual Fabric Rounting 功能與備份區(qū)互通，設(shè)置交換機(jī)的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 以 Brocade 交換機(jī)為例， 執(zhí)行以下命令： zonecreate lsan_stn_w2k_hdsB, stn_w2k。 stn_hdsB。 然后將它們加入到 config 中。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 ??” NMCA3D10SVR1/NMCA3D10SVR2 SQL SERVER 2020 OLAP 將生成的 config 激活并保存。 cfgEanble “ config1” VF5 存儲(chǔ)資源區(qū)域劃分 VF5 區(qū)劃分為存儲(chǔ)資源 池， VF5 劃分原則為橫跨所有會(huì)與存儲(chǔ)資源池有數(shù)據(jù)交互的 VF計(jì)算資源區(qū)所存在的端口板上。保證相關(guān)的業(yè)務(wù)計(jì)算區(qū)主機(jī)與存儲(chǔ)資源池中分配的 LUN 影射端口處于同一塊端口板上。 VF1VF3 計(jì)算資源區(qū)的 VF 同樣通過(guò) VF0 Base Virtual Fabric Rounting 功能與存儲(chǔ)資源區(qū)互通，設(shè)置交換機(jī)的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 本項(xiàng)目中計(jì)劃為 VF5 分配端口板 1 中的 16 端口，端口板 2 中的 8 端口，端口板 3中的 8 端口?？偣?32 端口。 在本項(xiàng)目中核心生產(chǎn)區(qū)的存儲(chǔ)設(shè)備 DMX3 配置 2 個(gè)控制器， 每控制器 8 個(gè)前端端口，設(shè)計(jì)連接到 VF5 區(qū)中的端口卡 1 上 。 TIMP 系統(tǒng)所使用的 EVA4000 磁盤陣列配置 2 個(gè)控制器，每控制器 4 個(gè)前端端口，設(shè)計(jì)連接到 VF5 區(qū)中的端口卡 1 上。存儲(chǔ)資源區(qū)占用端口板 1 12端口。新增的 CX4 磁盤陣列建議配置 2 個(gè)控制器，每控制器 8 個(gè)前端端口，設(shè)計(jì)連接到 VF5區(qū)中的端口卡 2 和 3 上。為 OA、財(cái)務(wù)、應(yīng)用服務(wù)系統(tǒng)的服務(wù)器提供存儲(chǔ)空間。將占用 2 和 3端口板各 4 個(gè)端口。存儲(chǔ)資源區(qū)共占用 20 端口，剩余 12 端口。 以上 Virtual Fabric 的劃分建議僅僅根據(jù)我方對(duì)現(xiàn)有設(shè)備架構(gòu)理解制定，在實(shí)際實(shí)施環(huán)境中可以按照 Virtual Fabric 網(wǎng)絡(luò)中端口擴(kuò)展靈活性，動(dòng)態(tài)的添加端口?？梢园凑宅F(xiàn)有實(shí)際端口使用數(shù)量劃分每一個(gè) VF 的端口數(shù)量，剩余端口可以在今后的擴(kuò)展中按需求隨用隨加。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主