【正文】 署雙環(huán)路設(shè)計，同步不同的電信運營商提供鏈路冗余。 圖 FCIP 遠距離 容災(zāi) 擴展 設(shè)計 通過上節(jié)對 SAN 網(wǎng)絡(luò)在 同城 內(nèi)的幾種擴展容災(zāi)方式的分析，可以解決 GEDC 相距在100MK 左右時所要實現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。 當(dāng) GEDC 的容災(zāi) 需求達到數(shù)百直至上千公里時任何光纖技術(shù)都無法滿足時，需要利用 TCP/IP 架構(gòu) 實現(xiàn)異地的數(shù)據(jù)復(fù)制 。 通過采用FCIP 方式實現(xiàn)存儲網(wǎng)絡(luò)的遠程擴展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯機制，減少了外部設(shè)備和 SAN 交換機互連所產(chǎn)生的額外故障點，流量可以在 SAN 導(dǎo)向器 交換機上的 FCIP 端口與其它存儲端口之間任意交換。 以混南數(shù)據(jù)中心作為沈北數(shù)據(jù)中心的同城容災(zāi)中心，在北京搭建異地容災(zāi)中心為例： 建議 每臺 SAN 導(dǎo)向器 配置四個 FCIP 端口，分別連接 混南 備份中心兩臺核心骨干路由器的千兆以太網(wǎng)端口，每臺路由器各連一條 ATM 線路到北京， 路由器采用 當(dāng)今最高端的企業(yè)級骨干路由器，高速處理能力，全容錯配置，無任何單點故障。 核心骨干 路由器 連接兩臺 SAN導(dǎo)向器 的千兆以太網(wǎng)端口和其 ATM 端口可以定義為一個 Bridge Group，北京端也按同樣的配置，這樣核心骨干 路由器 上無需配置任何 IP 地址就可實現(xiàn)兩邊存儲網(wǎng)絡(luò)的互通，由于無IP 地址，不參加核心骨干 路由器 內(nèi)部的 IP 路由，存儲網(wǎng)絡(luò)流量和核心骨干 路由器 上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。 SAN 網(wǎng)絡(luò)優(yōu)化管理設(shè)計 在業(yè)務(wù)系統(tǒng)進行了全面整合和邏輯劃分之后，系統(tǒng)需要對業(yè)務(wù)進行全面統(tǒng)一的管理。 要求為 SAN 網(wǎng)絡(luò)配置 一種功能全面的網(wǎng)絡(luò)管理應(yīng)用平臺 ， 可實現(xiàn)數(shù)據(jù)中心 Fabric 架構(gòu)的端到端 管理。 主要功能如下： ? 自動發(fā)現(xiàn)所有可管理設(shè)備，包括 SAN 設(shè)備，主機及存儲設(shè)備，并且進行視圖化，并動態(tài)顯示各設(shè)備之間連接的流量； ? 以不同的詳細程度主動監(jiān)控關(guān)鍵架構(gòu)運行狀態(tài)信息； ? 為在物理和虛擬服務(wù)器上運行的應(yīng)用配置服務(wù)質(zhì)量 （ QoS） 優(yōu)先級 ， 優(yōu)化高優(yōu)先級應(yīng)用的性能 ? 實時收集并顯示性能統(tǒng)計數(shù)據(jù) ， 顯示歷史視圖來實現(xiàn)主動故障檢測； ? 通過先進的克隆功能幫助企業(yè)捕獲、備份并對比交換機配置文件； ? 完成自動數(shù)據(jù)收集 ， 觸發(fā) Call Home通知功能 ， 簡化故障隔離、診斷和遠程支持； ? 利用實時日志、診斷 和故障隔離功能來提供主動預(yù)警 ， 在故障影響到服務(wù)水平協(xié)議之前予以排除； 要求管理優(yōu)化平臺提供數(shù)據(jù)流控制機制，實現(xiàn) I/O 流量的控制管理： a. Ingress Rate Limiting: 可以限定設(shè)備連入交換機的端口流量，當(dāng)某個業(yè)務(wù)主機端口流量過大影響其他業(yè)務(wù)主機的運行時，可以使用這個功能來限定這個設(shè)備端口的流量，從而達到保證其他業(yè)務(wù)系統(tǒng)正常運行的目的。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。從而保證其他系統(tǒng)的快速訪問。 圖 b. Traffic isolation 指定特定設(shè)備使用特定的端口和路徑?？梢酝ㄟ^ Traffic isolation 功能為特定業(yè)務(wù)主機指定特定的傳輸路徑而無須和其他業(yè)務(wù)共享傳輸通道，而保證業(yè)務(wù)核心業(yè)務(wù)的更高服務(wù)水準(zhǔn)。 例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫、應(yīng)用傳輸鏈路隔離 從而保證各自的帶寬需求。 圖 c. Flow based QoS 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級別 ,可以將 SAN 連接線的內(nèi)部劃分成高，中，低三個優(yōu)先級別，高優(yōu)先級獲得最高的帶寬，而低優(yōu)先級別獲得最低的傳輸帶寬。有了這些數(shù)據(jù)流控制機制，客戶可以很好的分 配和利用帶寬資源，為應(yīng)用程序服務(wù)，例如 核心數(shù)據(jù)庫應(yīng)用 為最核心業(yè)務(wù)，劃分為高優(yōu)先級，而 OA、郵件 則為低優(yōu)先級應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達到瓶頸時，高優(yōu)先級別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級別業(yè)務(wù)的服務(wù)水準(zhǔn)。 圖 iSCSI網(wǎng)絡(luò)設(shè)計 目前 隨著以太網(wǎng)絡(luò)的發(fā)展， iSCSI網(wǎng)絡(luò)在越來越多地運用到用戶的實際生產(chǎn)環(huán)境 ，其最大的優(yōu)勢就是部署簡單，可以與現(xiàn)有以太網(wǎng)環(huán)境結(jié)合。投資少，不需要購買昂貴的 HBA卡和FC交換機。管理簡單， 以 太網(wǎng)管理人員即可對其管理。 在遼寧 GEDC項目中如果 用戶購買的存儲設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。部署的架構(gòu)可分為兩種： 利用現(xiàn)有生產(chǎn)網(wǎng)絡(luò)。 為 iSCSI存儲新建專署的存儲網(wǎng)絡(luò)。 由于利用現(xiàn)有生產(chǎn)網(wǎng)絡(luò)會占用部分生產(chǎn)帶寬資源，因此我方建議在現(xiàn)階段采用新建iSCSI網(wǎng)絡(luò)的方式搭建。這樣需要在計算主機端多分配適配卡（可以是普通以太網(wǎng)卡也可以是專用 iSCSI適配卡）或以太端口， 采用 以太網(wǎng)交換機作為數(shù)據(jù)交換設(shè)備。按照 SAN網(wǎng)絡(luò)連接架構(gòu)將 iSCSI存儲設(shè)備與主機連接在以太網(wǎng)交換機上 。 iSCSI設(shè)備的端口可以實現(xiàn)后端聚合用以增大帶寬 。同過后端 存儲設(shè)備的 LUN劃分、影射，以及主機系統(tǒng)安裝 initiate使主機識別iSCSI LUN，實現(xiàn)數(shù)據(jù)塊級數(shù)據(jù)訪問。 這種搭建方式的優(yōu)勢是存儲網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。缺點是需要為其多分配卡、交換機資源，并且線纜連接走向設(shè)計需要重新部署。 3．存儲 資源池 需求分析 遼寧移動網(wǎng)管存儲設(shè)備現(xiàn)狀 目前遼寧移動網(wǎng)管系統(tǒng)已經(jīng)采用了 EMC DMX EMC CX500、 HP EVA4000 等存儲陣列作為在線生產(chǎn)系統(tǒng)的存儲設(shè)備，采用 HP EML24 ADIC i500 磁帶庫作為備份磁帶設(shè)備。 設(shè)備目前 的使用情況如下： 存儲概況 存儲名 廠家 類別 容量 (裸） 已用容量(裸） 剩余空間 DMX3 EMC 磁盤陣列 50TB 48TB 1TB(RAID0+1) CX500 DELL 磁盤陣列 (RAID0+1),130GB(RAID1), 502GB(RAID5) EVA4000 HP 磁盤陣列 1TB 1TB 0 EML245 HP 磁帶庫 100TB 87TB 13TB 從上表看到，現(xiàn)有設(shè)備存儲空間已經(jīng)接近飽和，并且部分設(shè)備比較陳舊。因此遼寧移動已經(jīng)針 對此狀況申請購買了如下存儲備份設(shè)備： 設(shè)備類型 數(shù)量 容量 中端存儲 1 70TB 虛擬帶庫 1 DMX3 磁盤 76 從現(xiàn)狀中我們不難發(fā)現(xiàn)，遼寧移動網(wǎng)管系統(tǒng)的存儲設(shè) 備比較全面，但所面臨的最大問題就是資源不足，導(dǎo)致資源不足的原因有幾種： 數(shù)據(jù)增長過快 。 沒有采用數(shù)據(jù)分級存儲，在主存儲上存儲太多的歷史數(shù)據(jù)，從而導(dǎo)致空間不足 。 對于數(shù)據(jù)的保護沒有分級，不論安全級別高低全部采用一種保護模式。 另外，現(xiàn)在的備份系統(tǒng)中只有 1 臺 HP EML245 磁帶庫，配置了 8 個 LTO3 驅(qū)動器， 250盤 LTO3 400GB 磁帶。雖然 LTO3 磁帶在備份數(shù)據(jù)時可以達到最大 80MB/s 左右的備份速度， 8臺驅(qū)動器同時工作可以達到 640MB/s 左右，但 80MB/s 為理論值，實際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時可以達到 50MB/s，備份多個小容量任務(wù)時由于機械手處于頻繁定位磁帶，抓帶、卷帶的物理動作，因此只能達到 30MB/s 左右。在遼寧移動 GEDC 綠色數(shù)據(jù)中心數(shù)據(jù)不斷增大的環(huán)境下速度，明顯不足。因此遼寧移動已經(jīng)提交了 VTL 虛擬磁帶庫的采購計劃。由于虛擬帶庫為磁盤設(shè)備虛擬為磁帶設(shè)備，因此不存在物理動作，在備份大容 量數(shù)據(jù)時每條 FC鏈路可達到 300MB/s，再利用 Oracle RAM 備份數(shù)據(jù)庫時也能達到 80MB/s 的備份速度。 遼寧移動網(wǎng)管存儲資源池需求 通過以上對遼寧移動存儲資源現(xiàn)狀分析我們得出遼寧移動網(wǎng)管 OA系統(tǒng) 存儲資源現(xiàn)在所面臨的問題： 部署大量的虛擬主機需要存儲系統(tǒng)對虛擬機快速部署的支持。 釋放 DMX 主存儲上的空間，使其更好的為核心數(shù)據(jù)庫系統(tǒng)服務(wù)。 采用分級存儲功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲在不同的存儲設(shè)備與RAID 保護機制上。 采用基于信息生命周期管理 ILM 的技術(shù)，按照數(shù)據(jù) 在其生命周期中的不同重要程度分為在線、近線、離線保存。并且保證數(shù)據(jù)的遷移對于用戶完全透明。 除了采用數(shù)據(jù)備份的物理保護機制，存儲資源池應(yīng)具備快照、鏡像等邏輯保護機制以便在發(fā)生邏輯錯誤時快速恢復(fù)。 為虛擬機分配的存儲資源在不中斷主機 I/O 的情況下的動態(tài)調(diào)整。 對 在線生產(chǎn) 系統(tǒng)實施快速的數(shù)據(jù)分級備份。 4．存儲 資源池 架構(gòu)方案設(shè)計 存儲 資源池 基礎(chǔ)架構(gòu) 存儲資源池的基礎(chǔ)架構(gòu)可以分為物理與邏輯兩個層面，在物理層面主要包括設(shè)備的選型、連接、硬件分級架構(gòu)搭建等方面。邏輯層面 依賴于物理層面 主要包括存儲資 源池創(chuàng)建、存儲虛擬化 等方面。以下我方將就這兩方面內(nèi)容設(shè)計存儲資源池的基礎(chǔ)架構(gòu)。 物理層面 首先在上一節(jié)中我們已經(jīng)設(shè)計了完整的 SAN 網(wǎng)絡(luò)架構(gòu)，存儲資源的物理層面完全基于SAN 網(wǎng)絡(luò)架構(gòu)搭建。 存儲資源池中應(yīng)包括在線存儲：高端存儲、中端存儲、低端存儲，近線存儲：虛擬帶庫存儲、低端存儲，離線存儲：磁帶庫存儲等設(shè)備。 這些系統(tǒng)分別為計算資源池提供不同需求的存儲空間與備份空間。 采用安全級別 %的存儲設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲資源池的安全可靠。 環(huán)境拓撲圖如下： 圖 本項目 中 存儲資源池分配給 Virtual Fabric5 區(qū)為前端的資源資源池提供在線數(shù)據(jù)訪問，將存儲設(shè)備中的 LUN 按照 SAN 網(wǎng)絡(luò)本地化連接原則應(yīng)設(shè)備各自頓口板中的計算資源池主機。備份資源池分配給 Virtual Fabric4 區(qū)作為所有計算資源池主機的備份設(shè)備。數(shù)據(jù)通過VF 之間的 routing 功能將數(shù)據(jù)備份到備份資源池中。 邏輯層面 存儲資源池物理層面搭建完善后，我們需要從邏輯層面對資源池進行規(guī)劃創(chuàng)建。首先需要考慮的為題就是存儲集中化與存儲虛擬化。 存儲集中化與虛擬化都是解決了存儲設(shè)備資源利用率、存儲擴展靈活 性、存儲管理統(tǒng)一性等問題。目前遼寧移動基本實現(xiàn)了存儲集中化，核心業(yè)務(wù)系統(tǒng)存儲在高端的 DMX 系統(tǒng)上， OA、財務(wù)等系統(tǒng)存儲在中端存儲設(shè)備上。存儲設(shè)備數(shù)量大大減少并且管理統(tǒng)一。 但隨著數(shù)據(jù)中心的發(fā)展以及單臺設(shè)備處理能力的限制，在今后可能還會有更多的存儲設(shè)備加入到存儲資源池，對新增入的設(shè)備如何管理也是現(xiàn)階段 GEDC所需要考慮的問題之一。對存儲資源池中眾多的設(shè)備管理最好的手段就是存儲虛擬化。 目前實現(xiàn)存儲虛擬化的手段有 2 種。 1 種基于硬件架構(gòu)， 1 種基于軟件架構(gòu)。 基于硬件的架構(gòu)是所有的存儲設(shè)備連接到一臺虛擬化設(shè)備上，由其 進行統(tǒng)一配置管理，但這種架構(gòu)的明顯缺點就是單點故障以及性能問題。 基于軟件的架構(gòu)是在需要進行虛擬化存儲的主機上安裝類似卷管理軟件，由卷管理軟件對底層硬件設(shè)備的 LUN 進行管理、擴展。它可以不受存儲品牌的限制跨平臺存儲數(shù)據(jù)，為今后實現(xiàn)卷級的在線數(shù)據(jù)擴容、數(shù)據(jù)鏡像、快照保護以及容災(zāi)打下堅實的基礎(chǔ)。其缺點是每臺需要實現(xiàn)虛擬化存儲的主機都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫系統(tǒng)部署此軟件 。 卷管理軟件需要遵循的一個原則 ， 同一系統(tǒng)同一條帶下的卷要處于相同級別的存儲中 。也就是說 2 個或多個存儲系統(tǒng) 的 LUN 通過卷管理軟件條帶化后映射給 一個計算資源，這些存儲系統(tǒng)必須級別相同，否則會給數(shù)據(jù)讀寫帶來不穩(wěn)定性波動。 圖 應(yīng)用服務(wù)區(qū)，以及 OA 系統(tǒng)等可以通過存儲系統(tǒng)的 Virtual Provisioning 預(yù)供應(yīng)功能實現(xiàn)。用戶可以為應(yīng)用程序提供比在存儲陣列中分配給它的物理容量更多的容量。虛擬資源調(diào)配可簡化并加速調(diào)配過程，提供“適時”的容量分配，并提高利用率。 創(chuàng)建虛擬池的方法很簡單，您只需指定一個名稱，選擇驅(qū)動器類型和容量，然后選擇適當(dāng)?shù)? RAID 保護級別即可。要快速分配容量，用戶只需選擇 一個池，然后選擇主機并指定要分配的虛擬容量即可。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動發(fā)出警報，以便能夠無中斷地擴展池容量。這樣可以為虛擬機等應(yīng)用系統(tǒng)提供更好卷擴展方式。 圖 存儲資源池 分級設(shè)計 在存儲資源池的分級設(shè)計中我們將其按照數(shù)據(jù)重要等級、信息生命周期變化和備份數(shù)據(jù)分級變化的 3 種方式進行存儲資源架構(gòu)的劃分。 其中數(shù)據(jù)重要等級將按照數(shù)據(jù)在遼寧移動網(wǎng)管 OA 系統(tǒng)中的重要程度劃分，存儲在不同級別的存儲設(shè)備上。比如核心數(shù)據(jù)庫存出在 高端存儲 DMX 上， OA、財務(wù)系統(tǒng)存儲在 中端存儲CX4 上。 信息生命周期將按照在線、近線、離線進行劃分，對業(yè)務(wù)重要的在線數(shù)據(jù)存出在性能高、安全級別高的存儲介質(zhì)上，當(dāng)數(shù)據(jù)經(jīng)過一段時間的沉淀不再對生產(chǎn)系統(tǒng)提供支持時將其遷移到性能較低、容量較高、節(jié)能性較高、安全級別稍差的存儲介質(zhì)上供業(yè)務(wù)系統(tǒng)查詢調(diào)用 ，釋放生產(chǎn)系統(tǒng)得磁盤空間。 當(dāng)數(shù)據(jù)對生產(chǎn)系統(tǒng)完全失效時將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計需求使用。 備份數(shù)據(jù)分級將按照時間順序?qū)⒔趦?nèi)的數(shù)據(jù)備份到能夠快速恢復(fù)的 VTL 設(shè)備上，將時間較長的歷史備份數(shù)據(jù)遷移到磁帶庫上以節(jié)省 虛擬帶庫的空間及能耗。 以下將分別對這 3 種方式進行闡述。 數(shù)據(jù)等級分級設(shè)計 在數(shù)據(jù)中心中存儲多樣化數(shù)據(jù)，我們