【正文】 config1” VF5 存儲(chǔ)資源區(qū)域劃分 VF5 區(qū)劃分為存儲(chǔ)資源 池， VF5 劃分原則為橫跨所有會(huì)與存儲(chǔ)資源池有數(shù)據(jù)交互的 VF計(jì)算資源區(qū)所存在的端口板上。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 stn_hdsB。 VF1VF3 生產(chǎn)環(huán)境的 Virtual Fabric 通過 VF0 Base Virtual Fabric Rounting 功能與備份區(qū)互通，設(shè)置交換機(jī)的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。當(dāng)虛擬機(jī)需要的存儲(chǔ)空間大于 75GB 時(shí)，建議直接將 LUN 映射給虛擬機(jī)采用 LDM 的方式，利用交換機(jī) NPIV 技術(shù)使虛擬端口和 LUN 仍然實(shí)現(xiàn)單個(gè)啟 動(dòng)程序分區(qū) SIZ 的方式。 在 VF3 中大量應(yīng)用服務(wù)器以虛擬機(jī)的形式存在 ，因此要求涉及連接的所有交換機(jī)都支持 NPIV 的劃分方式。 VF3中共占用大約 24 端口， 目前沒有擴(kuò)展能力，但可通過增加端口板或者添加邊緣交換機(jī)擴(kuò)展VF3。（如需要實(shí)現(xiàn)負(fù)載均衡則需要添加 Trunking License）。 OA 系統(tǒng)主機(jī)表： Solaris E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) xngserver SUN V890 XNGDB(ORACLE 10g) HP UX temip1,temip2,temip3,temip4 TeMIP SUN Solaris bpmapp01/bpmdb01 SUN V4800 bpmapp01/bpmdb01 Windows Archive2 HP DL380 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) Archive3/4 HP DL580 OA 檔案系統(tǒng) EPM1/2 HP DL580 EPM Elearning HP DL580 Elearning HP UX UIPORACLE/UIPPORTAL HP RP4440 UIPORACLE/UIPPORTAL OVSA1/OVSA2 HP RP4440 OVSA1/OVSA2 HP UX Archive1 HP RX4640 OA 檔案系統(tǒng) Documentum/MAXIMO1/MAXIMO2 HP RP4440 Documentum/MAXIMO1/MAXIMO2 Windows DocBack1/DocBack2 HP DL580 公文后端 1,2,3,4 OASQL1 HP DL580 OA SQL SERVER Windows DocBack3/DocBack4 HP DL580 公文后端 1,2,3,4 OASQL2 HP DL580 OA SQL SERVER Windows NMC4 IBM X440 SQL SERVER2020 NMC5/NMC6 IBM X440 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 SQL SERVER 2020 (SQL3) 由此表可見大約在 OA 系統(tǒng) 與 財(cái)務(wù)系統(tǒng)中存在 20 臺(tái)左右服務(wù)器 需要連接存儲(chǔ) LUN，占用端口大約 20 個(gè)，這樣 VF2 區(qū)內(nèi)共占用端口大約 20 個(gè)，剩余 4個(gè)左右端口供用戶擴(kuò)展。 VF1 還具備 5 端口的擴(kuò)展能力，在近期內(nèi)能夠充分滿足用戶對(duì)核心數(shù)據(jù)庫 區(qū)的擴(kuò)展需求。 VF1 核心 數(shù)據(jù)庫 區(qū)域劃分 本期計(jì)劃為 VF1 核心 數(shù)據(jù)庫 區(qū)劃分 1 個(gè)端口板 32 端口 中的 16 端口 ，連接 NMC 數(shù)據(jù)庫 2 臺(tái) SUN E6900、 TDDB \ NPMDB 集群數(shù)據(jù)庫 4 臺(tái) SUN E4900、 XNGDB 1 臺(tái) SUN V890、bpmapp01， 1 臺(tái) SUN V4800、 TeMIP 4 臺(tái) HP 服務(wù)器集群。 VF0 路由 區(qū)域劃分 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric, 并且隔離不同 virtual fabric 間的廣播風(fēng)暴。 圖 Virtual Fabric 網(wǎng)絡(luò)設(shè)計(jì) 在 Virtual Fabric網(wǎng)絡(luò)設(shè)計(jì)中，我們參見圖 ，劃分為 VF0VF5， 6個(gè) Virtual Fabric網(wǎng)絡(luò) ， 以及 edge Fabric 網(wǎng)絡(luò)。 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級(jí)別 ,可以將 NPIV 連接線的內(nèi)部劃分成高，中，低三個(gè)優(yōu)先級(jí)別，高優(yōu)先級(jí)獲得最高的帶寬，而低優(yōu)先級(jí)別獲得最低的傳輸帶寬。 連接 拓?fù)?圖如下： 圖 NPIV 配置： 使用 portCfgNPIVPort 打開和關(guān)閉 port 的 NPIV 功能。在虛擬機(jī) LUN 需求超過 75GB 時(shí)，建議采用 LDM 方式，通過 NPIV 連接存儲(chǔ)上的 LUN。 在本期 遼寧移動(dòng) GEDC 項(xiàng)目中存在大量刀片服務(wù)器，每臺(tái)刀片機(jī)種大約分配 5 臺(tái)左右的虛擬機(jī)。 因?yàn)?對(duì)于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個(gè)不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。也就是說， NPIV 虛擬出的多個(gè) virtual devices 與連接在非 NPIV 端口的普通設(shè)備無異， zone 配置對(duì)于 NPIV 端口和非 NPIV 端口也沒有區(qū)別，能夠根據(jù) domain和 port 符號(hào)，或 WWN，或兩者兼有的方式劃分。虛擬端口有與 N_port 相同的屬性，因此能夠提供 Fabric 相關(guān)的所有服務(wù)。 NPIV 分配一個(gè)獨(dú)立的 virtual port ID 給每個(gè)光纖通道協(xié)議設(shè)備。 必要時(shí)各個(gè)生產(chǎn)區(qū)的主機(jī)可以與開發(fā)測(cè)試區(qū)存儲(chǔ)互通，用戶數(shù)據(jù)拷貝恢復(fù)。 確保開發(fā)測(cè)試區(qū)的主機(jī)和備份區(qū) VF4 的 VTL 和物理帶庫互通，以實(shí)現(xiàn)將歷史數(shù)據(jù)恢復(fù)到開發(fā)測(cè)試區(qū)用于測(cè)試研發(fā)。 確保各個(gè)生產(chǎn)區(qū) VF 之間的主機(jī)與存儲(chǔ)不互通，確保測(cè)試開發(fā)區(qū)的主機(jī)與生產(chǎn)區(qū)的主機(jī)及存儲(chǔ)不互通。然后通過 Routing 的方式將多個(gè) VF 以及 edge Fabric 連接在一起 ，共享備份設(shè)備。雖然這一級(jí)別的分區(qū)似乎可能比減少顆粒分組方法更勞力密集，但對(duì)于 SAN它奠定了最好的基礎(chǔ)，并最終將增加正常運(yùn)行時(shí)間和減少故障檢修所需的時(shí)間。 如下圖所示： 圖 當(dāng)一塊 HBA連接存儲(chǔ)與帶庫時(shí)我們按照 SIZ方式劃分為 2個(gè) zone區(qū)域 ，由上圖可見 HBA在Switch中的端口分別屬于 Zone1和 zone2。如果 HBA卡都連接磁盤和磁帶存儲(chǔ)設(shè)備，那么你需要?jiǎng)?chuàng)建兩個(gè)區(qū)域：一個(gè)帶 HBA卡和磁盤設(shè)備的區(qū)域和第二個(gè)帶 HBA卡和磁帶設(shè)備的區(qū)域。 建議的分區(qū)分組方法是單個(gè)啟動(dòng)程序分區(qū)（ SIZ ） ， 有時(shí)被稱為 “ 單 HBA的分區(qū)。區(qū)域可以由陣列，由主機(jī)操作系統(tǒng)，由應(yīng)用，或由在數(shù)據(jù)中心之內(nèi)的位置分組。區(qū)域成員首先有基于一個(gè)主機(jī)訪問存儲(chǔ)端口的需要。 建議在安全和業(yè)務(wù)的一致性上，使用 pWWN識(shí)別分區(qū)。 pWWN識(shí)別比 D， P識(shí)別可以更安全，因?yàn)槲锢砩媳浑娎|連接到端口的任 何設(shè)備可以不適當(dāng)?shù)販?zhǔn)許存儲(chǔ)存取未經(jīng)授權(quán)的主機(jī)。 在分區(qū)類型中存在兩種分區(qū)： 端口萬維網(wǎng)名稱（ pWWN）和域名，端口（ D， P）。分區(qū)和 LUN masking相結(jié)合，提供了兩個(gè)層次的安全，即使當(dāng)其中一層被錯(cuò)誤配置時(shí)，也可防止對(duì)一個(gè) LUN的不適當(dāng)訪問。 LUN masking可以經(jīng)由 HBA卡或更常見的存儲(chǔ)陣列執(zhí)行，確保被授權(quán)的主機(jī)能有權(quán)使用僅僅被每個(gè)存儲(chǔ)端口提出被定義的一組 LUNs。目前，分區(qū)幾乎總是用來組合存儲(chǔ)端口和主機(jī)。 連接主機(jī)到存儲(chǔ)是一個(gè) SAN的最基本的功能。當(dāng)你在一個(gè) SAN使用分區(qū)時(shí)，節(jié)點(diǎn)可以是多個(gè)區(qū)域的成員，這體現(xiàn)了很大的靈活性。 圖 SAN 網(wǎng)絡(luò)安全劃分 分區(qū)是在存儲(chǔ)區(qū)域網(wǎng)絡(luò)中聚合需要溝通的主機(jī)和存儲(chǔ)節(jié)點(diǎn)的 fabric服務(wù) 。 只有當(dāng)業(yè)務(wù)主機(jī)進(jìn)行LANFree 備份時(shí)會(huì)通過 Routing 功能跨背板進(jìn)行數(shù)據(jù)傳輸。超載比仍然為 1:1。 例如：核心生產(chǎn)區(qū)的業(yè)務(wù)主機(jī)部署在 VF1 區(qū)，連接在端口卡 1 上， DMX、 EVA 存儲(chǔ)分配給這套系統(tǒng)得存儲(chǔ) LUN 部署在 VF2 區(qū)，但端口同樣連接在端口卡 1 上。在 SAN 網(wǎng)絡(luò)設(shè)計(jì)中，一般 遵循的原則是：盡可能確保主機(jī)到存儲(chǔ)的訪問路徑具有一致的跳躍數(shù)。所謂本地化，就是主機(jī)要訪問的存儲(chǔ)和主機(jī)盡可能連接到同一個(gè)交換機(jī) 或者端口卡 上，從而實(shí)現(xiàn)本地交換機(jī)內(nèi)部交換。但是，某些產(chǎn)品設(shè)計(jì)時(shí)為了降低成本，往往采用 2:1到 4:1 的超載比，從而在復(fù)雜的環(huán)境下造成不可預(yù)知的性能瓶徑。所謂超載比，就是 每個(gè)交換機(jī)的對(duì)外部端口和對(duì)內(nèi)端口的比值。本期所涉及的 Cascading 串接交換機(jī)為 VF3 中的應(yīng)用服務(wù)區(qū)的刀片服務(wù)器，由于刀片服務(wù)器眾多， VF3 中端口分配有限，需要在刀片機(jī)籠配置 SAN 交換機(jī)或者配置利舊 32 口交換機(jī)，然后將此交換機(jī)連接到 VF3 中。 劣勢(shì)是一個(gè) SAN 網(wǎng)絡(luò)端口過多帶來的管理難度與故障率 增高，并且在連接新的 SAN 交換機(jī)時(shí)需要配置其 DomainID 與 Zoning 信息不 能 與核心交換機(jī)沖突。 圖 InterSwitch Link 第二種方式是傳統(tǒng)的 ISL 擴(kuò)展模式 稱為 Cascading， 在本期項(xiàng)目中可以將小型 SAN 網(wǎng)絡(luò)加入 SAN 導(dǎo)向器所創(chuàng)建的某一個(gè) Virtual Fabric 網(wǎng)絡(luò)中，成為 其擴(kuò)展端口。本項(xiàng)目中，我們采用多條 4GB 鏈路聚合的 方式將 Edge Fabric 與 Core Fabric 互連。這種 SAN 架構(gòu)稱為 Mate SAN, Meta SAN 中的 Fabrics通過 InterFabric Links (IFLs)相互連接： IFLs 在 SAN 路由器上為 EX_Port, 在交換機(jī)上為 E_Port， EX_Ports 是增強(qiáng)的 E_Port。劣勢(shì)是交換機(jī)之間的跳數(shù)只能 1 跳，并且 如果通過 FCR 做數(shù)據(jù)交互 會(huì)帶來一定的性能影響。 邏輯分級(jí)即在核心 SAN 導(dǎo)向器內(nèi)部劃分多個(gè) Virtual Fabric，將不同的業(yè)務(wù)系統(tǒng)區(qū)域邏輯分開，隔離不同 Virtual Fabric 間不相 關(guān)業(yè)務(wù)的網(wǎng)絡(luò)通路與廣播風(fēng)暴。 物理分級(jí)在 SAN 網(wǎng)絡(luò)中也分為 2 種架構(gòu)：一種為通過 Routing 的方式將小型 SAN 網(wǎng)絡(luò)串接在 SAN 導(dǎo)向器上，另一種方式通過 ISL 擴(kuò)展的方式將小型 SAN 網(wǎng)絡(luò)融入 核心交換機(jī)中的某一個(gè) VF 中。其他邊緣系統(tǒng)如測(cè)試開發(fā)區(qū)、安全管理區(qū)可以利舊原有 64 和 32 端口交換機(jī)使用 SAN 導(dǎo)向器中的 Routing 功能，串接到 SAN 導(dǎo)向器中通過劃分 LSAN 的方式使其能夠?qū)?shù)據(jù)備份到備份區(qū) VF4中。將相關(guān)聯(lián)的業(yè)務(wù)主機(jī)以及與其相關(guān)的存儲(chǔ)設(shè)備端口 劃分 在同一塊 端口卡內(nèi) ， VF5 中的存儲(chǔ)設(shè)備按需求分別連接到 各自 業(yè)務(wù)系統(tǒng) 的 virtual fabric 上，實(shí)現(xiàn) 與 業(yè)務(wù)系統(tǒng)的隔離和自治 、互通。核心生產(chǎn)區(qū)、應(yīng)用服務(wù) 區(qū) 、 OA 及財(cái)務(wù)區(qū)分別為 VF1VF3 的 virtual fabric 用來連接業(yè)務(wù)系統(tǒng) 。 導(dǎo)向器可以添加長(zhǎng)波端口板與 FCIP 端口板，用于遠(yuǎn)程容災(zāi)設(shè)計(jì)的使用。并且 可以 將不具備 Virtual Fabric 功能 的交換機(jī)在不間斷業(yè)務(wù)的情況下連接到 VSAN中。每個(gè) Virtual Fabric 具備獨(dú)立管理的 Domain 根據(jù)應(yīng)用層次，可根據(jù)應(yīng)用層次、服務(wù)水準(zhǔn)或操作系統(tǒng)劃分管理區(qū)域。 SAN 導(dǎo)向 器支 持 NPIV（ N_Port ID Virtualization） 功能，由于 GEDC 的計(jì)算資源池中存在大量虛擬主機(jī)，而當(dāng)虛擬主機(jī)的單盤容量大 于 50GB 左右的時(shí)候最佳方式是為其建立基于裸設(shè)備的磁盤影射，因此要求導(dǎo)向器具備 NPIV 功能能夠?qū)ⅲ?單個(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí) 。 在 本次項(xiàng)目中使用中高端存儲(chǔ)、交換、備份設(shè)備，要求每臺(tái)設(shè)備自身的高可用性可達(dá)到 %。 在架構(gòu)設(shè)計(jì)方面要求 所有 的部件都是冗余的，包括核心交換機(jī)，核心交換機(jī)端口卡、核心交換機(jī)內(nèi)的Virtual Fabric，邊緣交換機(jī)、存儲(chǔ)陣列的前后端控制器、磁盤、磁帶庫驅(qū)動(dòng)器、服務(wù)器HBA 卡、光纖鏈路。采用 2 臺(tái) 導(dǎo)向器級(jí)別的 SAN 交換機(jī)替換現(xiàn)有的 1臺(tái) 64 口與 2臺(tái) 32 口交換機(jī)組成的冗余模式架構(gòu)， 作為整個(gè)網(wǎng)管系統(tǒng)的核心，整合所有的業(yè)務(wù)主機(jī) 、 存儲(chǔ)系統(tǒng)及帶庫。 在未來本機(jī)房可能會(huì)作為沈北數(shù)據(jù)中心的容災(zāi)機(jī)房， SAN 架構(gòu)需要具備擴(kuò)展容災(zāi)能力。 能夠按業(yè)務(wù)系統(tǒng)對(duì) 存儲(chǔ)系統(tǒng)進(jìn)行訪問 ， 不同的業(yè)務(wù)系統(tǒng)訪問相應(yīng)的存儲(chǔ) 。 需要實(shí)現(xiàn) SAN 架構(gòu)系統(tǒng)的全面整合，實(shí)現(xiàn)系統(tǒng)的虛擬化要求。 數(shù)據(jù)中心機(jī)房存在單點(diǎn)故障，當(dāng)機(jī)房故障沒有容災(zāi) SAN 架構(gòu)接管業(yè)務(wù)。 SAN 網(wǎng)