【正文】 護路徑之間的交換典型的要小于 50ms. 依賴于 WDM設(shè)備的光網(wǎng)需求。不同的方法提供了不同層次的可用性并且為了滿足可用性的需求這些方法可能被單獨使用或是一起使用。 圖 FCIP 遠距離 容災(zāi) 擴展 設(shè)計 通過上節(jié)對 SAN 網(wǎng)絡(luò)在 同城 內(nèi)的幾種擴展容災(zāi)方式的分析，可以解決 GEDC 相距在100MK 左右時所要實現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。 核心骨干 路由器 連接兩臺 SAN導(dǎo)向器 的千兆以太網(wǎng)端口和其 ATM 端口可以定義為一個 Bridge Group，北京端也按同樣的配置，這樣核心骨干 路由器 上無需配置任何 IP 地址就可實現(xiàn)兩邊存儲網(wǎng)絡(luò)的互通，由于無IP 地址，不參加核心骨干 路由器 內(nèi)部的 IP 路由，存儲網(wǎng)絡(luò)流量和核心骨干 路由器 上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。 例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫、應(yīng)用傳輸鏈路隔離 從而保證各自的帶寬需求。投資少，不需要購買昂貴的 HBA卡和FC交換機。 為 iSCSI存儲新建專署的存儲網(wǎng)絡(luò)。 iSCSI設(shè)備的端口可以實現(xiàn)后端聚合用以增大帶寬 。 3．存儲 資源池 需求分析 遼寧移動網(wǎng)管存儲設(shè)備現(xiàn)狀 目前遼寧移動網(wǎng)管系統(tǒng)已經(jīng)采用了 EMC DMX EMC CX500、 HP EVA4000 等存儲陣列作為在線生產(chǎn)系統(tǒng)的存儲設(shè)備，采用 HP EML24 ADIC i500 磁帶庫作為備份磁帶設(shè)備。 對于數(shù)據(jù)的保護沒有分級，不論安全級別高低全部采用一種保護模式。因此遼寧移動已經(jīng)提交了 VTL 虛擬磁帶庫的采購計劃。 采用分級存儲功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲在不同的存儲設(shè)備與RAID 保護機制上。 為虛擬機分配的存儲資源在不中斷主機 I/O 的情況下的動態(tài)調(diào)整。以下我方將就這兩方面內(nèi)容設(shè)計存儲資源池的基礎(chǔ)架構(gòu)。 采用安全級別 %的存儲設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲資源池的安全可靠。 邏輯層面 存儲資源池物理層面搭建完善后，我們需要從邏輯層面對資源池進行規(guī)劃創(chuàng)建。存儲設(shè)備數(shù)量大大減少并且管理統(tǒng)一。 1 種基于硬件架構(gòu)， 1 種基于軟件架構(gòu)。其缺點是每臺需要實現(xiàn)虛擬化存儲的主機都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫系統(tǒng)部署此軟件 。用戶可以為應(yīng)用程序提供比在存儲陣列中分配給它的物理容量更多的容量。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動發(fā)出警報，以便能夠無中斷地擴展池容量。比如核心數(shù)據(jù)庫存出在 高端存儲 DMX 上， OA、財務(wù)系統(tǒng)存儲在 中端存儲CX4 上。 以下將分別對這 3 種方式進行闡述。 當(dāng)數(shù)據(jù)對生產(chǎn)系統(tǒng)完全失效時將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計需求使用。 圖 存儲資源池 分級設(shè)計 在存儲資源池的分級設(shè)計中我們將其按照數(shù)據(jù)重要等級、信息生命周期變化和備份數(shù)據(jù)分級變化的 3 種方式進行存儲資源架構(gòu)的劃分。 創(chuàng)建虛擬池的方法很簡單，您只需指定一個名稱，選擇驅(qū)動器類型和容量，然后選擇適當(dāng)?shù)? RAID 保護級別即可。也就是說 2 個或多個存儲系統(tǒng) 的 LUN 通過卷管理軟件條帶化后映射給 一個計算資源，這些存儲系統(tǒng)必須級別相同，否則會給數(shù)據(jù)讀寫帶來不穩(wěn)定性波動。 基于軟件的架構(gòu)是在需要進行虛擬化存儲的主機上安裝類似卷管理軟件，由卷管理軟件對底層硬件設(shè)備的 LUN 進行管理、擴展。對存儲資源池中眾多的設(shè)備管理最好的手段就是存儲虛擬化。 存儲集中化與虛擬化都是解決了存儲設(shè)備資源利用率、存儲擴展靈活 性、存儲管理統(tǒng)一性等問題。備份資源池分配給 Virtual Fabric4 區(qū)作為所有計算資源池主機的備份設(shè)備。 存儲資源池中應(yīng)包括在線存儲：高端存儲、中端存儲、低端存儲，近線存儲：虛擬帶庫存儲、低端存儲，離線存儲：磁帶庫存儲等設(shè)備。 4．存儲 資源池 架構(gòu)方案設(shè)計 存儲 資源池 基礎(chǔ)架構(gòu) 存儲資源池的基礎(chǔ)架構(gòu)可以分為物理與邏輯兩個層面，在物理層面主要包括設(shè)備的選型、連接、硬件分級架構(gòu)搭建等方面。并且保證數(shù)據(jù)的遷移對于用戶完全透明。 遼寧移動網(wǎng)管存儲資源池需求 通過以上對遼寧移動存儲資源現(xiàn)狀分析我們得出遼寧移動網(wǎng)管 OA系統(tǒng) 存儲資源現(xiàn)在所面臨的問題： 部署大量的虛擬主機需要存儲系統(tǒng)對虛擬機快速部署的支持。雖然 LTO3 磁帶在備份數(shù)據(jù)時可以達到最大 80MB/s 左右的備份速度， 8臺驅(qū)動器同時工作可以達到 640MB/s 左右，但 80MB/s 為理論值，實際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時可以達到 50MB/s，備份多個小容量任務(wù)時由于機械手處于頻繁定位磁帶，抓帶、卷帶的物理動作，因此只能達到 30MB/s 左右。因此遼寧移動已經(jīng)針 對此狀況申請購買了如下存儲備份設(shè)備： 設(shè)備類型 數(shù)量 容量 中端存儲 1 70TB 虛擬帶庫 1 DMX3 磁盤 76 從現(xiàn)狀中我們不難發(fā)現(xiàn)，遼寧移動網(wǎng)管系統(tǒng)的存儲設(shè) 備比較全面，但所面臨的最大問題就是資源不足，導(dǎo)致資源不足的原因有幾種： 數(shù)據(jù)增長過快 。 這種搭建方式的優(yōu)勢是存儲網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。這樣需要在計算主機端多分配適配卡（可以是普通以太網(wǎng)卡也可以是專用 iSCSI適配卡）或以太端口， 采用 以太網(wǎng)交換機作為數(shù)據(jù)交換設(shè)備。 在遼寧 GEDC項目中如果 用戶購買的存儲設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。有了這些數(shù)據(jù)流控制機制，客戶可以很好的分 配和利用帶寬資源，為應(yīng)用程序服務(wù)，例如 核心數(shù)據(jù)庫應(yīng)用 為最核心業(yè)務(wù)，劃分為高優(yōu)先級，而 OA、郵件 則為低優(yōu)先級應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達到瓶頸時，高優(yōu)先級別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級別業(yè)務(wù)的服務(wù)水準(zhǔn)。 圖 b. Traffic isolation 指定特定設(shè)備使用特定的端口和路徑。 要求為 SAN 網(wǎng)絡(luò)配置 一種功能全面的網(wǎng)絡(luò)管理應(yīng)用平臺 ， 可實現(xiàn)數(shù)據(jù)中心 Fabric 架構(gòu)的端到端 管理。 通過采用FCIP 方式實現(xiàn)存儲網(wǎng)絡(luò)的遠程擴展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯機制，減少了外部設(shè)備和 SAN 交換機互連所產(chǎn)生的額外故障點，流量可以在 SAN 導(dǎo)向器 交換機上的 FCIP 端口與其它存儲端口之間任意交換。多個 ISLs通過網(wǎng)絡(luò)互聯(lián)以提供額外的帶寬和冗余以防交換機上或距離延展設(shè)備上的端口失效。注意你應(yīng)當(dāng)“硬”設(shè)置FC端口速率到所期望的速率以確保 WDM衰減器能鎖定這個 ISL的比特率。而節(jié)點之間的距離一般都能擴 展到 100km或更遠。另外在可能需要多個E_Ports的地方，有必要把他們分散到不同的 port groups里以最大化可用的 buffer credits數(shù)量。 Brocade及其合 作伙伴對于不同距離，已列出全部測試過合格的光收發(fā)器。以下任一種技術(shù)都能提供切實可行的長距離連接解決方案，但要選擇適合的方案取決于多種因素 包括技術(shù)，成本或是可擴展性的需求。為了解決這一問題，引入了色散位移光纖 (DSF)， DSF在 1550nm波長得到優(yōu)化，但當(dāng)部署在密集波分復(fù)用 (DWDM)環(huán)境時又引入了另外的問題。單模光纖總是用于光網(wǎng)絡(luò)的長距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。 ? 其他的一些技術(shù)如持續(xù)數(shù)據(jù)保護 (CDP)能被用于適當(dāng)?shù)?RPO及 RTO的場景。 在設(shè)計過程中的兩個重要的概念為： 恢復(fù)點目標(biāo) (RPO)和 恢 復(fù)時間目標(biāo) (RTO)。 使用環(huán)境拓?fù)淙缦拢? 圖 SAN 遠距離 擴展 容災(zāi) 設(shè)計 根據(jù)本次 GEDC 項目要求，需要考慮未來本中心 將會作為 沈北數(shù)據(jù)中心的災(zāi)備中心的需求，我方在本節(jié)闡述 SAN 網(wǎng)絡(luò) 在同城遠 距離擴展容災(zāi)方案。 ISL 擴展模式稱為 Cascading，主要作用是將現(xiàn)有 SAN 網(wǎng)或者 Virtual Fabric 中的交換機端口擴展，需要將新的交換機加入原有 SAN 中 成為原有 SAN 網(wǎng)中的組組成部分，受Primary SAN 交換機控制，分配 zoning 信息配置。這 2 種方式同樣構(gòu)成 SAN 邊緣擴展方式 。具體可分為 2 種方式，一種是采用光纖通道路由 FCR 的方式將多個 SAN孤島連接擴展。 我們會在后面 SAN Distance extended 中詳細(xì)描述。兩臺 DCX 物理鏈路互通。分配好的端口將從 Default Switch 中移出。 以 Brocade DCX 為例：雙機箱串聯(lián) 配置可以達到 13 Tbit/sec 聚合帶寬， 768 個通用FC 端口， 2 個 domain； 每個機箱 4 個特殊 的 ICL 端口 (銅針 ) 來進行機箱的互連，每個ICL 端口包含 16個 8G FC 連接，總共 Tbit/sec 集合帶寬， ICL 保留 128 個 8G E_port來連接兩個機箱。如下圖所示， 在現(xiàn)有環(huán)境下右邊 部分 配置添加 端口卡。端口板擴展在近期內(nèi)最適用于本項目為了聯(lián)入更多系統(tǒng)而采用的 SAN 擴展方式。 SAN 網(wǎng)絡(luò)擴展設(shè)計 為了保證在今后的業(yè)務(wù)發(fā)展 GEDC 數(shù)據(jù)中心要求 SAN 網(wǎng)絡(luò)可以實現(xiàn)基本無限制的擴展延伸，以達到更多服務(wù)器與存儲設(shè)備的接入，適應(yīng) GEDC 機房的健康成長與快速部署。 在測試區(qū)交換機與核心 SAN 導(dǎo)向器間的路由原則為，通過 LSAN 的劃分，使測試區(qū)與 VF4備份區(qū)互通，這樣可以保證備份服務(wù)器可以將核心區(qū)備份的數(shù)據(jù)恢復(fù)到測試區(qū)進行測試、開發(fā)。 由于僅僅通過Rounting 功能進行數(shù)據(jù)備份，因此 32口 4100B 交換機不需要太多端口連接到 SAN 導(dǎo)向器，建議采用 24 條鏈路。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主要是用于核心交換機連接邊緣交換機用于擴展核心交換機的端口擴展能力。將占用 2 和 3端口板各 4 個端口。 TIMP 系統(tǒng)所使用的 EVA4000 磁盤陣列配置 2 個控制器，每控制器 4 個前端端口，設(shè)計連接到 VF5 區(qū)中的端口卡 1 上。 VF1VF3 計算資源區(qū)的 VF 同樣通過 VF0 Base Virtual Fabric Rounting 功能與存儲資源區(qū)互通，設(shè)置交換機的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 VF1VF3 生產(chǎn)環(huán)境的 Virtual Fabric 通過 VF0 Base Virtual Fabric Rounting 功能與備份區(qū)互通，設(shè)置交換機的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 在 VF3 中大量應(yīng)用服務(wù)器以虛擬機的形式存在 ，因此要求涉及連接的所有交換機都支持 NPIV 的劃分方式。（如需要實現(xiàn)負(fù)載均衡則需要添加 Trunking License）。 VF1 還具備 5 端口的擴展能力，在近期內(nèi)能夠充分滿足用戶對核心數(shù)據(jù)庫 區(qū)的擴展需求。 VF0 路由 區(qū)域劃分 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric, 并且隔離不同 virtual fabric 間的廣播風(fēng)暴。 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級別 ,可以將 NPIV 連接線的內(nèi)部劃分成高，中，低三個優(yōu)先級別，高優(yōu)先級獲得最高的帶寬，而低優(yōu)先級別獲得最低的傳輸帶寬。在虛擬機 LUN 需求超過 75GB 時，建議采用 LDM 方式，通過 NPIV 連接存儲上的 LUN。 因為 對于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。虛擬端口有與 N_port 相同的屬性，因此能夠提供 Fabric 相關(guān)的所有服務(wù)。 必要時各個生產(chǎn)區(qū)的主機可以與開發(fā)測試區(qū)存儲互通，用戶數(shù)據(jù)拷貝恢復(fù)。 確保各個生產(chǎn)區(qū) VF 之間的主機與存儲不互通，確保測試開發(fā)區(qū)的主機與生產(chǎn)區(qū)的主機及存儲不互通。雖然這一級別的分區(qū)似乎可能比減少顆粒分組方法更勞力密集，但對于 SAN它奠定了最好的基礎(chǔ)，并最終將增加正常運行時間和減少故障檢修所需的時間。如果 HBA卡都連接磁盤和磁帶存儲設(shè)備，那么你需要創(chuàng)建兩個區(qū)域：一個帶 HBA卡和磁盤設(shè)備的區(qū)域和第二個帶 HBA卡和磁帶設(shè)備的區(qū)域。區(qū)域可以由陣列，由主機操作系統(tǒng)，由應(yīng)用，或由在數(shù)據(jù)中心之內(nèi)的位置分組。 建議在安全和業(yè)務(wù)的一致性上，使用 pWWN識別分區(qū)。 在分區(qū)類型中存在兩種分區(qū)： 端口萬維網(wǎng)名稱（ pWWN）和域名，端口（ D， P）。 LUN masking可以經(jīng)由 HBA卡或更常見的存儲陣列執(zhí)行，確保被授權(quán)的主機能有權(quán)使用僅僅被每個存儲端口提出被定義的一組 LUNs。 連接主機到存儲是一個 SAN的最基本的功能。 圖 SAN 網(wǎng)絡(luò)安全劃分 分區(qū)是在存儲區(qū)域網(wǎng)絡(luò)中聚合需要溝通的主機和存儲節(jié)點的 fabric服務(wù) 。超載比仍然為 1:1。在 SAN 網(wǎng)絡(luò)設(shè)計中，一般 遵循的原則是：盡可能確保主機到存儲的訪問路徑具有一致的跳躍數(shù)。但是，某些產(chǎn)品設(shè)計時為了降低成本，往往采用 2:1到 4: