【正文】 nking 功能加大帶寬，實(shí)現(xiàn)鏈路的負(fù)載均衡與故障切換。 在本期的 SAN網(wǎng)絡(luò)設(shè)計(jì)中相關(guān)聯(lián)的主機(jī)與存儲(chǔ)設(shè)備都 將 處于 SAN導(dǎo)向器中 同一塊端口卡中，確保生產(chǎn)數(shù)據(jù)實(shí)現(xiàn)本地內(nèi)部交換，在 SAN 導(dǎo)向器端口卡內(nèi)部可以實(shí)現(xiàn) 1:1 的全雙工超載。 雖然 LUN masking可專門用于映射 LUNs到主機(jī)， 但是在 fabric中會(huì)使每個(gè)主機(jī)暴露在每個(gè)危及穩(wěn)定的 RSCN上。 SIZ是最佳的，因?yàn)樗梢宰柚谷魏沃鳈C(jī)到主機(jī)的互動(dòng)和限制 RSCNs只到在RSCN內(nèi)包含所需信息的正確區(qū)域。 每個(gè) NPIV 設(shè)備有獨(dú)立的 device PID,Port WWN, 和 Node WWN，執(zhí)行同 Fabric 中其他端口相同的功能。 它包含 SAN 導(dǎo)向器中 所有需要交互端口。 以 Brocade 交換機(jī)為例， 執(zhí)行以下命令： zonecreate lsan_stn_w2k_hdsB, stn_w2k。存儲(chǔ)資源區(qū)共占用 20 端口，剩余 12 端口。 SAN 網(wǎng)絡(luò)的擴(kuò)展方式基于其擴(kuò)展環(huán)境的不同可以通過(guò)多種手段實(shí)現(xiàn)。 將 Core 板中的核心互聯(lián)端口 ICL 配置為 Base Switch， FID 為 1， 將 ICL 協(xié)議分配給前端互聯(lián)端口 。 Fabric Channel Routing 主要用于連接多個(gè) SAN 孤島，可以做到不 需要更改接入交換機(jī)的 DomainID 與 Zoning 配置， SAN 網(wǎng)絡(luò)間相對(duì)獨(dú)立。 光纖 線路 有兩種基本類型的光纖線：多模光纖 (MMF)和單模光纖 (SMF)。另外，一項(xiàng)更廣泛的部件挑選已經(jīng)通過(guò) Brocade Data Centre Ready Program被認(rèn)證。 DWDM設(shè)備部署雙環(huán)路設(shè)計(jì)，同步不同的電信運(yùn)營(yíng)商提供鏈路冗余。 圖 iSCSI網(wǎng)絡(luò)設(shè)計(jì) 目前 隨著以太網(wǎng)絡(luò)的發(fā)展， iSCSI網(wǎng)絡(luò)在越來(lái)越多地運(yùn)用到用戶的實(shí)際生產(chǎn)環(huán)境 ，其最大的優(yōu)勢(shì)就是部署簡(jiǎn)單，可以與現(xiàn)有以太網(wǎng)環(huán)境結(jié)合。 沒(méi)有采用數(shù)據(jù)分級(jí)存儲(chǔ)，在主存儲(chǔ)上存儲(chǔ)太多的歷史數(shù)據(jù)，從而導(dǎo)致空間不足 。邏輯層面 依賴于物理層面 主要包括存儲(chǔ)資 源池創(chuàng)建、存儲(chǔ)虛擬化 等方面。 目前實(shí)現(xiàn)存儲(chǔ)虛擬化的手段有 2 種。 其中數(shù)據(jù)重要等級(jí)將按照數(shù)據(jù)在遼寧移動(dòng)網(wǎng)管 OA 系統(tǒng)中的重要程度劃分，存儲(chǔ)在不同級(jí)別的存儲(chǔ)設(shè)備上。要快速分配容量，用戶只需選擇 一個(gè)池，然后選擇主機(jī)并指定要分配的虛擬容量即可。目前遼寧移動(dòng)基本實(shí)現(xiàn)了存儲(chǔ)集中化，核心業(yè)務(wù)系統(tǒng)存儲(chǔ)在高端的 DMX 系統(tǒng)上， OA、財(cái)務(wù)等系統(tǒng)存儲(chǔ)在中端存儲(chǔ)設(shè)備上。 除了采用數(shù)據(jù)備份的物理保護(hù)機(jī)制，存儲(chǔ)資源池應(yīng)具備快照、鏡像等邏輯保護(hù)機(jī)制以便在發(fā)生邏輯錯(cuò)誤時(shí)快速恢復(fù)。缺點(diǎn)是需要為其多分配卡、交換機(jī)資源，并且線纜連接走向設(shè)計(jì)需要重新部署?？梢酝ㄟ^(guò) Traffic isolation 功能為特定業(yè)務(wù)主機(jī)指定特定的傳輸路徑而無(wú)須和其他業(yè)務(wù)共享傳輸通道，而保證業(yè)務(wù)核心業(yè)務(wù)的更高服務(wù)水準(zhǔn)。 1. 如果適當(dāng)，為適當(dāng)?shù)木嚯x配置 Brocade Extended Fabrics. 2. 在長(zhǎng)距離 E_Ports上設(shè)置 FC端口速度 . 下面的例子展示了 FC端口是怎樣被設(shè)置成在通過(guò) CWDM設(shè)備上傳遞 75km距離，并達(dá)到 4 Gbit/sec的比特率： Switch portCfgLongDistance 1/0 LS 1 75 Switch portCfgSpeed 1/0 4 線路冗余 許多距離延展設(shè)備都能提供一些選擇用于保持容錯(cuò)和跨光網(wǎng)傳播時(shí)的 ISL的可用性。 暗光纖通常是指已經(jīng)鋪好但未被使用的光纖線，對(duì)于遠(yuǎn)距離延展 SANs是最簡(jiǎn)單但并不是最節(jié)省成本或可擴(kuò)展的方法。 ? 最高級(jí)別：要求最苛 刻，要求最短的 RTO和最小的 RPO，需要在兩站點(diǎn)或應(yīng)用集群間做高速同步或近同步的復(fù)制以便于服務(wù)在災(zāi)難發(fā)生后能立即恢復(fù)。一種是采用 ISL 協(xié)議在現(xiàn)有 SAN 網(wǎng)絡(luò)中擴(kuò)展端口。如下圖所示： 圖 2 臺(tái) DCX 串接后 ，通過(guò) Virtual Fabric 互通。使 VF VF VF3 中的 EMC 存儲(chǔ)設(shè)備可以與測(cè)試區(qū)的存儲(chǔ) HP EVA4000 互通，這樣可以利用 Open Replicater 與 SANcopy 功能將數(shù) 據(jù)發(fā)送到測(cè)試區(qū)陣列進(jìn)行測(cè)試。存儲(chǔ)資源區(qū)占用端口板 1 12端口。 在虛擬機(jī)不存在大數(shù)據(jù)量時(shí)采用傳統(tǒng)的 LUN 映射、Zone 劃分方式將 LUN 分配給 EXSserver， EXSserver 將虛擬機(jī)的映像文件 VMDK 存儲(chǔ)在 LUN中。有了這些數(shù)據(jù)流控制機(jī)制，客戶可以很好的分配和利用帶 寬資源，為應(yīng)用程序服務(wù)，例如 虛擬機(jī) SQL 數(shù)據(jù)庫(kù) 為 核心業(yè)務(wù)，劃分為高優(yōu)先級(jí)，而 文件歸檔等 則為低優(yōu)先級(jí)應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達(dá)到瓶頸時(shí)，高優(yōu)先級(jí)別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級(jí)別業(yè)務(wù)的服務(wù)水準(zhǔn)。 SAN 網(wǎng)絡(luò) NPIV 設(shè)計(jì) N_Port ID Virtualization (NPIV) 將單個(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí)（對(duì)每個(gè)操 作系統(tǒng)看起來(lái)就像有自己獨(dú)立的物理端口一樣）。在大多數(shù)情況下，所有這些方法推薦給上文所述的原因。對(duì)于大多數(shù)存儲(chǔ)陣列來(lái)說(shuō)，該存儲(chǔ)空間的單位是邏輯單元號(hào)（ LUN ），多個(gè) LUNs被映射到陣列的光纖通道（ FC ）端口上。 為了最大限度的確保性能，在 SAN 網(wǎng)絡(luò)設(shè)計(jì)中還有一個(gè)很重要的原則 — 本地化設(shè)計(jì)。 Back Bone to Edge Routing 第一種方式叫做 Back Bone to Edge Routing，其最大的優(yōu)勢(shì)是不需要更改接入交換機(jī)的 DomainID 與 Zoning 配置，而且 SAN 網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個(gè) SAN 網(wǎng)絡(luò)中發(fā)生故障時(shí)不會(huì)影響其他 SAN 網(wǎng)絡(luò)。 SAN 導(dǎo)向器應(yīng)具備 Virtual Fabric功能，能夠?qū)⒁慌_(tái)導(dǎo)向器劃分為多個(gè)虛擬的 FC 交換設(shè)備。 交換設(shè)備過(guò)多而沒(méi)有統(tǒng)一的管理，為管理者帶來(lái)管理效率問(wèn)題。對(duì)于 SAN, 這就意味著進(jìn)行前所未有的大規(guī)模整合， 并通過(guò)存儲(chǔ)及網(wǎng)絡(luò)虛擬化方面的改進(jìn)提高可管理性。 以上現(xiàn)狀表明遼寧移動(dòng)網(wǎng)管系統(tǒng)的 SAN 網(wǎng)絡(luò)現(xiàn)狀目前面臨著 幾 個(gè)待解決問(wèn)題： 端口不足 ，目前剩余 34 端口， 無(wú)法滿足今后 GEDC 項(xiàng)目中 大量 新增業(yè)務(wù)系統(tǒng)的接入需求。 在 本次項(xiàng)目中使用中高端存儲(chǔ)、交換、備份設(shè)備，要求每臺(tái)設(shè)備自身的高可用性可達(dá)到 %。 物理分級(jí)在 SAN 網(wǎng)絡(luò)中也分為 2 種架構(gòu)：一種為通過(guò) Routing 的方式將小型 SAN 網(wǎng)絡(luò)串接在 SAN 導(dǎo)向器上，另一種方式通過(guò) ISL 擴(kuò)展的方式將小型 SAN 網(wǎng)絡(luò)融入 核心交換機(jī)中的某一個(gè) VF 中。所謂超載比，就是 每個(gè)交換機(jī)的對(duì)外部端口和對(duì)內(nèi)端口的比值。當(dāng)你在一個(gè) SAN使用分區(qū)時(shí)，節(jié)點(diǎn)可以是多個(gè)區(qū)域的成員，這體現(xiàn)了很大的靈活性。區(qū)域成員首先有基于一個(gè)主機(jī)訪問(wèn)存儲(chǔ)端口的需要。 確保開發(fā)測(cè)試區(qū)的主機(jī)和備份區(qū) VF4 的 VTL 和物理帶庫(kù)互通，以實(shí)現(xiàn)將歷史數(shù)據(jù)恢復(fù)到開發(fā)測(cè)試區(qū)用于測(cè)試研發(fā)。 連接 拓?fù)?圖如下： 圖 NPIV 配置： 使用 portCfgNPIVPort 打開和關(guān)閉 port 的 NPIV 功能。 VF3中共占用大約 24 端口， 目前沒(méi)有擴(kuò)展能力，但可通過(guò)增加端口板或者添加邊緣交換機(jī)擴(kuò)展VF3?？偣?32 端口。 由于測(cè)試區(qū)要求存儲(chǔ)、備份設(shè)備要與生產(chǎn)區(qū)物理分開，因此在測(cè)試區(qū)我方建議利舊傳輸網(wǎng) 管下線的 1 臺(tái) HP EVA4000 作為主存儲(chǔ)設(shè)備，利舊 ADIC i500 磁帶庫(kù)作為備份設(shè)備。導(dǎo)向器之間的互聯(lián)可以采用 Core 板上的核心互聯(lián)端口ICL 進(jìn)行互聯(lián)。 通過(guò)以上步驟可以實(shí)現(xiàn) 2 臺(tái) DCX 之間的擴(kuò)展。設(shè)計(jì)一個(gè)遠(yuǎn)程連接解決方案涉及很多考慮因素。 因此應(yīng)選擇 9um非零色散位移光纖作為DR實(shí)施時(shí)使用。從運(yùn)行路徑到受保護(hù)路徑之間的交換典型的要小于 50ms. 依賴于 WDM設(shè)備的光網(wǎng)需求。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時(shí)刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時(shí)可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。 iSCSI設(shè)備的端口可以實(shí)現(xiàn)后端聚合用以增大帶寬 。 采用分級(jí)存儲(chǔ)功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲(chǔ)在不同的存儲(chǔ)設(shè)備與RAID 保護(hù)機(jī)制上。 邏輯層面 存儲(chǔ)資源池物理層面搭建完善后，我們需要從邏輯層面對(duì)資源池進(jìn)行規(guī)劃創(chuàng)建。用戶可以為應(yīng)用程序提供比在存儲(chǔ)陣列中分配給它的物理容量更多的容量。 當(dāng)數(shù)據(jù)對(duì)生產(chǎn)系統(tǒng)完全失效時(shí)將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計(jì)需求使用。 基于軟件的架構(gòu)是在需要進(jìn)行虛擬化存儲(chǔ)的主機(jī)上安裝類似卷管理軟件，由卷管理軟件對(duì)底層硬件設(shè)備的 LUN 進(jìn)行管理、擴(kuò)展。 存儲(chǔ)資源池中應(yīng)包括在線存儲(chǔ)：高端存儲(chǔ)、中端存儲(chǔ)、低端存儲(chǔ)，近線存儲(chǔ)：虛擬帶庫(kù)存儲(chǔ)、低端存儲(chǔ)，離線存儲(chǔ)：磁帶庫(kù)存儲(chǔ)等設(shè)備。雖然 LTO3 磁帶在備份數(shù)據(jù)時(shí)可以達(dá)到最大 80MB/s 左右的備份速度， 8臺(tái)驅(qū)動(dòng)器同時(shí)工作可以達(dá)到 640MB/s 左右，但 80MB/s 為理論值，實(shí)際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時(shí)可以達(dá)到 50MB/s，備份多個(gè)小容量任務(wù)時(shí)由于機(jī)械手處于頻繁定位磁帶，抓帶、卷帶的物理動(dòng)作，因此只能達(dá)到 30MB/s 左右。 在遼寧 GEDC項(xiàng)目中如果 用戶購(gòu)買的存儲(chǔ)設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。 通過(guò)采用FCIP 方式實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)的遠(yuǎn)程擴(kuò)展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯(cuò)機(jī)制，減少了外部設(shè)備和 SAN 交換機(jī)互連所產(chǎn)生的額外故障點(diǎn)，流量可以在 SAN 導(dǎo)向器 交換機(jī)上的 FCIP 端口與其它存儲(chǔ)端口之間任意交換。另外在可能需要多個(gè)E_Ports的地方，有必要把他們分散到不同的 port groups里以最大化可用的 buffer credits數(shù)量。單模光纖總是用于光網(wǎng)絡(luò)的長(zhǎng)距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。 ISL 擴(kuò)展模式稱為 Cascading，主要作用是將現(xiàn)有 SAN 網(wǎng)或者 Virtual Fabric 中的交換機(jī)端口擴(kuò)展，需要將新的交換機(jī)加入原有 SAN 中 成為原有 SAN 網(wǎng)中的組組成部分，受Primary SAN 交換機(jī)控制，分配 zoning 信息配置。兩臺(tái) DCX 物理鏈路互通。端口板擴(kuò)展在近期內(nèi)最適用于本項(xiàng)目為了聯(lián)入更多系統(tǒng)而采用的 SAN 擴(kuò)展方式。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主要是用于核心交換機(jī)連接邊緣交換機(jī)用于擴(kuò)展核心交換機(jī)的端口擴(kuò)展能力。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 VF1 還具備 5 端口的擴(kuò)展能力，在近期內(nèi)能夠充分滿足用戶對(duì)核心數(shù)據(jù)庫(kù) 區(qū)的擴(kuò)展需求。 因?yàn)?對(duì)于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個(gè)不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。雖然這一級(jí)別的分區(qū)似乎可能比減少顆粒分組方法更勞力密集，但對(duì)于 SAN它奠定了最好的基礎(chǔ)，并最終將增加正常運(yùn)行時(shí)間和減少故障檢修所需的時(shí)間。 在分區(qū)類型中存在兩種分區(qū)： 端口萬(wàn)維網(wǎng)名稱（ pWWN）和域名，端口（ D， P）。超載比仍然為 1:1。 圖 InterSwitch Link 第二種方式是傳統(tǒng)的 ISL 擴(kuò)展模式 稱為 Cascading， 在本期項(xiàng)目中可以將小型 SAN 網(wǎng)絡(luò)加入 SAN 導(dǎo)向器所創(chuàng)建的某一個(gè) Virtual Fabric 網(wǎng)絡(luò)中，成為 其擴(kuò)展端口。核心生產(chǎn)區(qū)、應(yīng)用服務(wù) 區(qū) 、 OA 及財(cái)務(wù)區(qū)分別為 VF1VF3 的 virtual fabric 用來(lái)連接業(yè)務(wù)系統(tǒng) 。 在未來(lái)本機(jī)房可能會(huì)作為沈北數(shù)據(jù)中心的容災(zāi)機(jī)房， SAN 架構(gòu)需要具備擴(kuò)展容災(zāi)能力。鑒于上述原因，存儲(chǔ)管理對(duì)當(dāng)今的 SAN 管理員構(gòu)成了巨大的挑戰(zhàn)。 擁有大量節(jié)點(diǎn)的數(shù)據(jù)中心通常包含多個(gè)相互獨(dú)立的 SAN。 在業(yè)務(wù)量劇增時(shí)可以 在不影響業(yè)務(wù)的情況下 對(duì)現(xiàn)有 SAN 網(wǎng)絡(luò)快速擴(kuò)展。 通過(guò)以上整體架構(gòu)設(shè)計(jì)，我方建議在本次遼寧移動(dòng) GEDC 項(xiàng)目中新采購(gòu)的 128 端口 SAN導(dǎo)向器可以劃分 6 個(gè) Virtual Fabric 環(huán)境，其中 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric。 所涉及的 Edge Fabric 為安全管理區(qū)以及測(cè)試開發(fā)區(qū)。這樣雖然 VF1 與 VF5互通需要 routing 功能，但保證數(shù)據(jù)流在一塊卡內(nèi)。 因此在 SAN網(wǎng)絡(luò)中始終實(shí)施分區(qū)，不論是否使用 LUN masking。 分離 磁盤和磁帶設(shè)備到單獨(dú)的區(qū)域防止磁盤 RSCNs沖擊磁帶設(shè)備，這往往是更敏感的RSCNs 。對(duì)于完全由 virtual N_Port ID 構(gòu)成的Zone，必須使用 WWNZone。連接主機(jī)見(jiàn)下表： 核心生產(chǎn)主機(jī)表： Solaris+Veritas LVM E6901/E6902 SUN E6900 NMC 數(shù)據(jù)庫(kù) (ORACLE 9i RAC) 有表可見(jiàn)總共大約 11 臺(tái)服務(wù)器占用 11 個(gè)端口 (包括 TeMIP HP 主機(jī) Npart)。 然后將它們加入到