【正文】 需求端口互通訪問。 SAN 導(dǎo)向器應(yīng)具備 Virtual Fabric功能，能夠?qū)⒁慌_(tái)導(dǎo)向器劃分為多個(gè)虛擬的 FC 交換設(shè)備。以達(dá)到整個(gè) SAN 網(wǎng)絡(luò)架構(gòu) %的高可用性。 2． SAN 網(wǎng)絡(luò)方案設(shè)計(jì) SAN 網(wǎng)絡(luò)整體架構(gòu) 設(shè)計(jì) 在遼寧移動(dòng) GEDC 項(xiàng)目中 SAN 架構(gòu)設(shè)計(jì)方面，我方建議采用 coreedge 核心 邊緣的架構(gòu)設(shè)計(jì)方式。 能夠在統(tǒng)一的架構(gòu)下分離不同的業(yè)務(wù)系統(tǒng)，使各業(yè)務(wù)系統(tǒng)獨(dú)立自制并且隔離不同業(yè)務(wù)系統(tǒng)之間的廣播干擾。 交換設(shè)備過多而沒有統(tǒng)一的管理，為管理者帶來管理效率問題。 光纖交換交換機(jī)概況： 光纖交換交換機(jī) 提供廠商 已使用端口 速率 DOMAIN ID 備注 博科 64PORT EMC 50 4GB/S 1 博科 32PORT(up) HP 21 4GB/S 3 博科 32PORT(down) HP 23 4GB/S 2 博科 64PORT 0 4GB/S 新到貨 表 另外還有 1 臺(tái)新到貨 Brocade 4900B 64 口交換機(jī)總共是 2 臺(tái) 64 口， 2臺(tái) 32 口交換機(jī)。 如何將多個(gè)SAN 孤島連接到一起進(jìn)行數(shù)據(jù)互通，如何保障連接在一起的交換機(jī)不受到廣播風(fēng)暴的影響，如何對(duì)眾多的交換機(jī)進(jìn)行統(tǒng)一的管理，在今后的業(yè)務(wù)發(fā)展中如何對(duì) SAN 網(wǎng)絡(luò)進(jìn)行快速的擴(kuò)展部署 ，如何實(shí)現(xiàn) SAN 架構(gòu)的容災(zāi)模式， 成為當(dāng)前 SAN 網(wǎng)絡(luò)整合中所面臨的幾大重要問題。 但是，許多大型數(shù)據(jù)中心通常有幾個(gè) SAN，每個(gè)用于支持不同的應(yīng)用或機(jī)構(gòu)需求。對(duì)于 SAN, 這就意味著進(jìn)行前所未有的大規(guī)模整合， 并通過存儲(chǔ)及網(wǎng)絡(luò)虛擬化方面的改進(jìn)提高可管理性。 當(dāng)今的數(shù)據(jù)中心 SAN 可將存儲(chǔ)資源整合并分配給一系列運(yùn)行著高級(jí)應(yīng)用的服務(wù) 器。在這些環(huán)境中， SAN 一般在彼此之間或與企業(yè)中的工作組和中型系統(tǒng)并不集成，主要原因是，并非企業(yè)中的所有部門或工作組均 需要 共享所有的數(shù)據(jù)，因此，盡管 SAN 從理論上能夠擴(kuò)展到幾千個(gè)節(jié)點(diǎn)，但實(shí)際上這種情況很少發(fā)生。 遼寧移動(dòng)網(wǎng)管 SAN 網(wǎng)絡(luò) 現(xiàn)狀 在遼寧移動(dòng) 網(wǎng)管中心 中已經(jīng)存在了完整的 SAN 架構(gòu)網(wǎng)絡(luò)，其由 1 臺(tái) Brocade 4900B 64口交換機(jī) 和 2 臺(tái) Brocade 4100B 32 口交換機(jī) 組成端口冗余的網(wǎng)絡(luò)架構(gòu) 。 以上現(xiàn)狀表明遼寧移動(dòng)網(wǎng)管系統(tǒng)的 SAN 網(wǎng)絡(luò)現(xiàn)狀目前面臨著 幾 個(gè)待解決問題： 端口不足 ，目前剩余 34 端口， 無法滿足今后 GEDC 項(xiàng)目中 大量 新增業(yè)務(wù)系統(tǒng)的接入需求。 數(shù)據(jù)中心機(jī)房存在單點(diǎn)故障，當(dāng)機(jī)房故障沒有容災(zāi) SAN 架構(gòu)接管業(yè)務(wù)。 能夠按業(yè)務(wù)系統(tǒng)對(duì) 存儲(chǔ)系統(tǒng)進(jìn)行訪問 ， 不同的業(yè)務(wù)系統(tǒng)訪問相應(yīng)的存儲(chǔ) 。采用 2 臺(tái) 導(dǎo)向器級(jí)別的 SAN 交換機(jī)替換現(xiàn)有的 1臺(tái) 64 口與 2臺(tái) 32 口交換機(jī)組成的冗余模式架構(gòu)， 作為整個(gè)網(wǎng)管系統(tǒng)的核心，整合所有的業(yè)務(wù)主機(jī) 、 存儲(chǔ)系統(tǒng)及帶庫。 在 本次項(xiàng)目中使用中高端存儲(chǔ)、交換、備份設(shè)備，要求每臺(tái)設(shè)備自身的高可用性可達(dá)到 %。每個(gè) Virtual Fabric 具備獨(dú)立管理的 Domain 根據(jù)應(yīng)用層次，可根據(jù)應(yīng)用層次、服務(wù)水準(zhǔn)或操作系統(tǒng)劃分管理區(qū)域。 導(dǎo)向器可以添加長(zhǎng)波端口板與 FCIP 端口板，用于遠(yuǎn)程容災(zāi)設(shè)計(jì)的使用。將相關(guān)聯(lián)的業(yè)務(wù)主機(jī)以及與其相關(guān)的存儲(chǔ)設(shè)備端口 劃分 在同一塊 端口卡內(nèi) ， VF5 中的存儲(chǔ)設(shè)備按需求分別連接到 各自 業(yè)務(wù)系統(tǒng) 的 virtual fabric 上，實(shí)現(xiàn) 與 業(yè)務(wù)系統(tǒng)的隔離和自治 、互通。 物理分級(jí)在 SAN 網(wǎng)絡(luò)中也分為 2 種架構(gòu)：一種為通過 Routing 的方式將小型 SAN 網(wǎng)絡(luò)串接在 SAN 導(dǎo)向器上，另一種方式通過 ISL 擴(kuò)展的方式將小型 SAN 網(wǎng)絡(luò)融入 核心交換機(jī)中的某一個(gè) VF 中。劣勢(shì)是交換機(jī)之間的跳數(shù)只能 1 跳，并且 如果通過 FCR 做數(shù)據(jù)交互 會(huì)帶來一定的性能影響。本項(xiàng)目中，我們采用多條 4GB 鏈路聚合的 方式將 Edge Fabric 與 Core Fabric 互連。 劣勢(shì)是一個(gè) SAN 網(wǎng)絡(luò)端口過多帶來的管理難度與故障率 增高，并且在連接新的 SAN 交換機(jī)時(shí)需要配置其 DomainID 與 Zoning 信息不 能 與核心交換機(jī)沖突。所謂超載比，就是 每個(gè)交換機(jī)的對(duì)外部端口和對(duì)內(nèi)端口的比值。所謂本地化，就是主機(jī)要訪問的存儲(chǔ)和主機(jī)盡可能連接到同一個(gè)交換機(jī) 或者端口卡 上，從而實(shí)現(xiàn)本地交換機(jī)內(nèi)部交換。 例如：核心生產(chǎn)區(qū)的業(yè)務(wù)主機(jī)部署在 VF1 區(qū)，連接在端口卡 1 上， DMX、 EVA 存儲(chǔ)分配給這套系統(tǒng)得存儲(chǔ) LUN 部署在 VF2 區(qū)，但端口同樣連接在端口卡 1 上。 只有當(dāng)業(yè)務(wù)主機(jī)進(jìn)行LANFree 備份時(shí)會(huì)通過 Routing 功能跨背板進(jìn)行數(shù)據(jù)傳輸。當(dāng)你在一個(gè) SAN使用分區(qū)時(shí)，節(jié)點(diǎn)可以是多個(gè)區(qū)域的成員，這體現(xiàn)了很大的靈活性。目前，分區(qū)幾乎總是用來組合存儲(chǔ)端口和主機(jī)。分區(qū)和 LUN masking相結(jié)合，提供了兩個(gè)層次的安全，即使當(dāng)其中一層被錯(cuò)誤配置時(shí)，也可防止對(duì)一個(gè) LUN的不適當(dāng)訪問。 pWWN識(shí)別比 D， P識(shí)別可以更安全，因?yàn)槲锢砩媳浑娎|連接到端口的任 何設(shè)備可以不適當(dāng)?shù)販?zhǔn)許存儲(chǔ)存取未經(jīng)授權(quán)的主機(jī)。區(qū)域成員首先有基于一個(gè)主機(jī)訪問存儲(chǔ)端口的需要。 建議的分區(qū)分組方法是單個(gè)啟動(dòng)程序分區(qū)（ SIZ ） ， 有時(shí)被稱為 “ 單 HBA的分區(qū)。 如下圖所示： 圖 當(dāng)一塊 HBA連接存儲(chǔ)與帶庫時(shí)我們按照 SIZ方式劃分為 2個(gè) zone區(qū)域 ，由上圖可見 HBA在Switch中的端口分別屬于 Zone1和 zone2。然后通過 Routing 的方式將多個(gè) VF 以及 edge Fabric 連接在一起 ，共享備份設(shè)備。 確保開發(fā)測(cè)試區(qū)的主機(jī)和備份區(qū) VF4 的 VTL 和物理帶庫互通，以實(shí)現(xiàn)將歷史數(shù)據(jù)恢復(fù)到開發(fā)測(cè)試區(qū)用于測(cè)試研發(fā)。 NPIV 分配一個(gè)獨(dú)立的 virtual port ID 給每個(gè)光纖通道協(xié)議設(shè)備。也就是說， NPIV 虛擬出的多個(gè) virtual devices 與連接在非 NPIV 端口的普通設(shè)備無異， zone 配置對(duì)于 NPIV 端口和非 NPIV 端口也沒有區(qū)別，能夠根據(jù) domain和 port 符號(hào)，或 WWN，或兩者兼有的方式劃分。 在本期 遼寧移動(dòng) GEDC 項(xiàng)目中存在大量刀片服務(wù)器，每臺(tái)刀片機(jī)種大約分配 5 臺(tái)左右的虛擬機(jī)。 連接 拓?fù)?圖如下： 圖 NPIV 配置： 使用 portCfgNPIVPort 打開和關(guān)閉 port 的 NPIV 功能。 圖 Virtual Fabric 網(wǎng)絡(luò)設(shè)計(jì) 在 Virtual Fabric網(wǎng)絡(luò)設(shè)計(jì)中，我們參見圖 ，劃分為 VF0VF5， 6個(gè) Virtual Fabric網(wǎng)絡(luò) ， 以及 edge Fabric 網(wǎng)絡(luò)。 VF1 核心 數(shù)據(jù)庫 區(qū)域劃分 本期計(jì)劃為 VF1 核心 數(shù)據(jù)庫 區(qū)劃分 1 個(gè)端口板 32 端口 中的 16 端口 ，連接 NMC 數(shù)據(jù)庫 2 臺(tái) SUN E6900、 TDDB \ NPMDB 集群數(shù)據(jù)庫 4 臺(tái) SUN E4900、 XNGDB 1 臺(tái) SUN V890、bpmapp01， 1 臺(tái) SUN V4800、 TeMIP 4 臺(tái) HP 服務(wù)器集群。 OA 系統(tǒng)主機(jī)表： Solaris E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) xngserver SUN V890 XNGDB(ORACLE 10g) HP UX temip1,temip2,temip3,temip4 TeMIP SUN Solaris bpmapp01/bpmdb01 SUN V4800 bpmapp01/bpmdb01 Windows Archive2 HP DL380 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) EPM1/2 HP DL580 EPM Elearning HP DL580 Elearning HP UX UIPORACLE/UIPPORTAL HP RP4440 UIPORACLE/UIPPORTAL OVSA1/OVSA2 HP RP4440 OVSA1/OVSA2 HP UX Archive1 HP RX4640 OA 檔案系統(tǒng) Documentum/MAXIMO1/MAXIMO2 HP RP4440 Documentum/MAXIMO1/MAXIMO2 Windows DocBack1/DocBack2 HP DL580 公文后端 1,2,3,4 OASQL1 HP DL580 OA SQL SERVER Windows DocBack3/DocBack4 HP DL580 公文后端 1,2,3,4 OASQL2 HP DL580 OA SQL SERVER Windows NMC4 IBM X440 SQL SERVER2020 NMC5/NMC6 IBM X440 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 SQL SERVER 2020 (SQL3) 由此表可見大約在 OA 系統(tǒng) 與 財(cái)務(wù)系統(tǒng)中存在 20 臺(tái)左右服務(wù)器 需要連接存儲(chǔ) LUN，占用端口大約 20 個(gè)，這樣 VF2 區(qū)內(nèi)共占用端口大約 20 個(gè)，剩余 4個(gè)左右端口供用戶擴(kuò)展。 VF3中共占用大約 24 端口， 目前沒有擴(kuò)展能力，但可通過增加端口板或者添加邊緣交換機(jī)擴(kuò)展VF3。當(dāng)虛擬機(jī)需要的存儲(chǔ)空間大于 75GB 時(shí)，建議直接將 LUN 映射給虛擬機(jī)采用 LDM 的方式，利用交換機(jī) NPIV 技術(shù)使虛擬端口和 LUN 仍然實(shí)現(xiàn)單個(gè)啟 動(dòng)程序分區(qū) SIZ 的方式。 stn_hdsB。 cfgEanble “ config1” VF5 存儲(chǔ)資源區(qū)域劃分 VF5 區(qū)劃分為存儲(chǔ)資源 池， VF5 劃分原則為橫跨所有會(huì)與存儲(chǔ)資源池有數(shù)據(jù)交互的 VF計(jì)算資源區(qū)所存在的端口板上?？偣?32 端口。新增的 CX4 磁盤陣列建議配置 2 個(gè)控制器，每控制器 8 個(gè)前端端口，設(shè)計(jì)連接到 VF5區(qū)中的端口卡 2 和 3 上。 以上 Virtual Fabric 的劃分建議僅僅根據(jù)我方對(duì)現(xiàn)有設(shè)備架構(gòu)理解制定，在實(shí)際實(shí)施環(huán)境中可以按照 Virtual Fabric 網(wǎng)絡(luò)中端口擴(kuò)展靈活性，動(dòng)態(tài)的添加端口。因此其他區(qū)域需要以邊 緣的模式，通過 Routing 連接到 SAN 導(dǎo)向器中。 由于測(cè)試區(qū)要求存儲(chǔ)、備份設(shè)備要與生產(chǎn)區(qū)物理分開，因此在測(cè)試區(qū)我方建議利舊傳輸網(wǎng) 管下線的 1 臺(tái) HP EVA4000 作為主存儲(chǔ)設(shè)備，利舊 ADIC i500 磁帶庫作為備份設(shè)備。在必要時(shí)可以使生產(chǎn)端主機(jī)看到測(cè)試區(qū)存儲(chǔ)，但不允許測(cè)試區(qū)主機(jī)與生產(chǎn)端存儲(chǔ)互通。主要可分為交換機(jī)內(nèi)部擴(kuò)展、交換機(jī)互聯(lián)擴(kuò)展、數(shù)據(jù)中心互聯(lián)擴(kuò)展等。在 VF 網(wǎng)絡(luò)設(shè)計(jì)部分我方建議將 Core Fabric 分為 04， 5 個(gè) Virtual Fabric，新增的端口板可以加入原有的 VF 內(nèi)，也可以單獨(dú)組建 VF。導(dǎo)向器之間的互聯(lián)可以采用 Core 板上的核心互聯(lián)端口ICL 進(jìn)行互聯(lián)。實(shí)現(xiàn)步驟如下： 第一臺(tái) DCX 上線時(shí)已經(jīng)配置了 Default Switch 包括所有的端口， Default Switch自動(dòng)分配 1 個(gè)保留的 FabricID FID 為 128。 將擴(kuò)展 DCX 啟動(dòng)。 Brocade Extended Fabric 功能支持在 2Gbit/sec 速率下連接 60 公里、在 1Gbit/sec 速率下連接 100 公里的 ISL，同時(shí)保證滿帶寬傳輸。 通過以上步驟可以實(shí)現(xiàn) 2 臺(tái) DCX 之間的擴(kuò)展。 2 種方式雖然都能起到 SAN網(wǎng)絡(luò)擴(kuò)展的效果，但所采用的技術(shù)不同，所以應(yīng)根據(jù)實(shí)際環(huán)境分別設(shè)計(jì)。 而且 SAN 網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個(gè) SAN網(wǎng)絡(luò)中發(fā)生故障時(shí)不會(huì)影響其他 SAN 網(wǎng)絡(luò)。劣勢(shì)是一個(gè) SAN 網(wǎng)絡(luò)端口過多帶來的管理難度與故障率增高，并且在連接新的 SAN交換機(jī)時(shí)需要配置其 DomainID與 Zoning 信息不能與核心交換機(jī)沖突。設(shè)計(jì)一個(gè)遠(yuǎn)程連接解決方案涉及很多考慮因素。 ? 中等級(jí)別： RTO從幾分鐘到幾小時(shí)之間，兩站點(diǎn)間需要高速的數(shù)據(jù)復(fù)制，可以是同步，也可以是異步。多模光纖直徑較大，有 50 μ m 或 m(后者通 常用于 FDDI)并通過波導(dǎo)傳載多種光的模式，多模光纖比單模的便宜得多，但它的特性決定了它不適合太遠(yuǎn)距離，也就能達(dá)到幾百米遠(yuǎn)，因此多模光纖通常用于短距離連接并且通常是在同一數(shù)據(jù)中心內(nèi)部做 SAN設(shè)備間的互聯(lián)。 有多種類型的單模光纖，每一種都有各自不同的特性，因此當(dāng)部署一個(gè) SAN延展解決方案時(shí)要充分考慮這些因素。 因此應(yīng)選擇 9um非零色散位移光纖作為DR實(shí)施時(shí)使用。即用長(zhǎng)波 SFP光收發(fā)器將 FC交換機(jī)之間用暗光纖直連。 通過暗光纖直連 FC交換機(jī)需要使用長(zhǎng)波 SFP的光收發(fā)器。 DWDM適用于大企業(yè)及租借波長(zhǎng)給客戶的服務(wù)提供商。從運(yùn)行路徑到受保