【正文】 以下將分別對這 3 種方式進行闡述。 當(dāng)數(shù)據(jù)對生產(chǎn)系統(tǒng)完全失效時將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計需求使用。比如核心數(shù)據(jù)庫存出在 高端存儲 DMX 上， OA、財務(wù)系統(tǒng)存儲在 中端存儲CX4 上。 圖 存儲資源池 分級設(shè)計 在存儲資源池的分級設(shè)計中我們將其按照數(shù)據(jù)重要等級、信息生命周期變化和備份數(shù)據(jù)分級變化的 3 種方式進行存儲資源架構(gòu)的劃分。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動發(fā)出警報，以便能夠無中斷地擴展池容量。 創(chuàng)建虛擬池的方法很簡單，您只需指定一個名稱，選擇驅(qū)動器類型和容量，然后選擇適當(dāng)?shù)? RAID 保護級別即可。用戶可以為應(yīng)用程序提供比在存儲陣列中分配給它的物理容量更多的容量。也就是說 2 個或多個存儲系統(tǒng) 的 LUN 通過卷管理軟件條帶化后映射給 一個計算資源，這些存儲系統(tǒng)必須級別相同，否則會給數(shù)據(jù)讀寫帶來不穩(wěn)定性波動。其缺點是每臺需要實現(xiàn)虛擬化存儲的主機都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫系統(tǒng)部署此軟件 。 基于軟件的架構(gòu)是在需要進行虛擬化存儲的主機上安裝類似卷管理軟件，由卷管理軟件對底層硬件設(shè)備的 LUN 進行管理、擴展。 1 種基于硬件架構(gòu)， 1 種基于軟件架構(gòu)。對存儲資源池中眾多的設(shè)備管理最好的手段就是存儲虛擬化。存儲設(shè)備數(shù)量大大減少并且管理統(tǒng)一。 存儲集中化與虛擬化都是解決了存儲設(shè)備資源利用率、存儲擴展靈活 性、存儲管理統(tǒng)一性等問題。 邏輯層面 存儲資源池物理層面搭建完善后，我們需要從邏輯層面對資源池進行規(guī)劃創(chuàng)建。備份資源池分配給 Virtual Fabric4 區(qū)作為所有計算資源池主機的備份設(shè)備。 采用安全級別 %的存儲設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲資源池的安全可靠。 存儲資源池中應(yīng)包括在線存儲：高端存儲、中端存儲、低端存儲，近線存儲：虛擬帶庫存儲、低端存儲，離線存儲：磁帶庫存儲等設(shè)備。以下我方將就這兩方面內(nèi)容設(shè)計存儲資源池的基礎(chǔ)架構(gòu)。 4．存儲 資源池 架構(gòu)方案設(shè)計 存儲 資源池 基礎(chǔ)架構(gòu) 存儲資源池的基礎(chǔ)架構(gòu)可以分為物理與邏輯兩個層面，在物理層面主要包括設(shè)備的選型、連接、硬件分級架構(gòu)搭建等方面。 為虛擬機分配的存儲資源在不中斷主機 I/O 的情況下的動態(tài)調(diào)整。并且保證數(shù)據(jù)的遷移對于用戶完全透明。 采用分級存儲功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲在不同的存儲設(shè)備與RAID 保護機制上。 遼寧移動網(wǎng)管存儲資源池需求 通過以上對遼寧移動存儲資源現(xiàn)狀分析我們得出遼寧移動網(wǎng)管 OA系統(tǒng) 存儲資源現(xiàn)在所面臨的問題： 部署大量的虛擬主機需要存儲系統(tǒng)對虛擬機快速部署的支持。因此遼寧移動已經(jīng)提交了 VTL 虛擬磁帶庫的采購計劃。雖然 LTO3 磁帶在備份數(shù)據(jù)時可以達到最大 80MB/s 左右的備份速度， 8臺驅(qū)動器同時工作可以達到 640MB/s 左右，但 80MB/s 為理論值，實際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時可以達到 50MB/s，備份多個小容量任務(wù)時由于機械手處于頻繁定位磁帶，抓帶、卷帶的物理動作，因此只能達到 30MB/s 左右。 對于數(shù)據(jù)的保護沒有分級，不論安全級別高低全部采用一種保護模式。因此遼寧移動已經(jīng)針 對此狀況申請購買了如下存儲備份設(shè)備： 設(shè)備類型 數(shù)量 容量 中端存儲 1 70TB 虛擬帶庫 1 DMX3 磁盤 76 從現(xiàn)狀中我們不難發(fā)現(xiàn)，遼寧移動網(wǎng)管系統(tǒng)的存儲設(shè) 備比較全面，但所面臨的最大問題就是資源不足，導(dǎo)致資源不足的原因有幾種： 數(shù)據(jù)增長過快 。 3．存儲 資源池 需求分析 遼寧移動網(wǎng)管存儲設(shè)備現(xiàn)狀 目前遼寧移動網(wǎng)管系統(tǒng)已經(jīng)采用了 EMC DMX EMC CX500、 HP EVA4000 等存儲陣列作為在線生產(chǎn)系統(tǒng)的存儲設(shè)備，采用 HP EML24 ADIC i500 磁帶庫作為備份磁帶設(shè)備。 這種搭建方式的優(yōu)勢是存儲網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。 iSCSI設(shè)備的端口可以實現(xiàn)后端聚合用以增大帶寬 。這樣需要在計算主機端多分配適配卡（可以是普通以太網(wǎng)卡也可以是專用 iSCSI適配卡）或以太端口， 采用 以太網(wǎng)交換機作為數(shù)據(jù)交換設(shè)備。 為 iSCSI存儲新建專署的存儲網(wǎng)絡(luò)。 在遼寧 GEDC項目中如果 用戶購買的存儲設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。投資少，不需要購買昂貴的 HBA卡和FC交換機。有了這些數(shù)據(jù)流控制機制，客戶可以很好的分 配和利用帶寬資源，為應(yīng)用程序服務(wù)，例如 核心數(shù)據(jù)庫應(yīng)用 為最核心業(yè)務(wù)，劃分為高優(yōu)先級，而 OA、郵件 則為低優(yōu)先級應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達到瓶頸時，高優(yōu)先級別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級別業(yè)務(wù)的服務(wù)水準(zhǔn)。 例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫、應(yīng)用傳輸鏈路隔離 從而保證各自的帶寬需求。 圖 b. Traffic isolation 指定特定設(shè)備使用特定的端口和路徑。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。 要求為 SAN 網(wǎng)絡(luò)配置 一種功能全面的網(wǎng)絡(luò)管理應(yīng)用平臺 ， 可實現(xiàn)數(shù)據(jù)中心 Fabric 架構(gòu)的端到端 管理。 核心骨干 路由器 連接兩臺 SAN導(dǎo)向器 的千兆以太網(wǎng)端口和其 ATM 端口可以定義為一個 Bridge Group，北京端也按同樣的配置，這樣核心骨干 路由器 上無需配置任何 IP 地址就可實現(xiàn)兩邊存儲網(wǎng)絡(luò)的互通，由于無IP 地址，不參加核心骨干 路由器 內(nèi)部的 IP 路由，存儲網(wǎng)絡(luò)流量和核心骨干 路由器 上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。 通過采用FCIP 方式實現(xiàn)存儲網(wǎng)絡(luò)的遠程擴展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯機制，減少了外部設(shè)備和 SAN 交換機互連所產(chǎn)生的額外故障點，流量可以在 SAN 導(dǎo)向器 交換機上的 FCIP 端口與其它存儲端口之間任意交換。 圖 FCIP 遠距離 容災(zāi) 擴展 設(shè)計 通過上節(jié)對 SAN 網(wǎng)絡(luò)在 同城 內(nèi)的幾種擴展容災(zāi)方式的分析，可以解決 GEDC 相距在100MK 左右時所要實現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。多個 ISLs通過網(wǎng)絡(luò)互聯(lián)以提供額外的帶寬和冗余以防交換機上或距離延展設(shè)備上的端口失效。不同的方法提供了不同層次的可用性并且為了滿足可用性的需求這些方法可能被單獨使用或是一起使用。注意你應(yīng)當(dāng)“硬”設(shè)置FC端口速率到所期望的速率以確保 WDM衰減器能鎖定這個 ISL的比特率。從運行路徑到受保護路徑之間的交換典型的要小于 50ms. 依賴于 WDM設(shè)備的光網(wǎng)需求。而節(jié)點之間的距離一般都能擴 展到 100km或更遠。 DWDM適用于大企業(yè)及租借波長給客戶的服務(wù)提供商。另外在可能需要多個E_Ports的地方，有必要把他們分散到不同的 port groups里以最大化可用的 buffer credits數(shù)量。 通過暗光纖直連 FC交換機需要使用長波 SFP的光收發(fā)器。 Brocade及其合 作伙伴對于不同距離，已列出全部測試過合格的光收發(fā)器。即用長波 SFP光收發(fā)器將 FC交換機之間用暗光纖直連。以下任一種技術(shù)都能提供切實可行的長距離連接解決方案，但要選擇適合的方案取決于多種因素 包括技術(shù)，成本或是可擴展性的需求。 因此應(yīng)選擇 9um非零色散位移光纖作為DR實施時使用。為了解決這一問題，引入了色散位移光纖 (DSF)， DSF在 1550nm波長得到優(yōu)化，但當(dāng)部署在密集波分復(fù)用 (DWDM)環(huán)境時又引入了另外的問題。 有多種類型的單模光纖，每一種都有各自不同的特性，因此當(dāng)部署一個 SAN延展解決方案時要充分考慮這些因素。單模光纖總是用于光網(wǎng)絡(luò)的長距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。多模光纖直徑較大，有 50 μ m 或 m(后者通 常用于 FDDI)并通過波導(dǎo)傳載多種光的模式，多模光纖比單模的便宜得多，但它的特性決定了它不適合太遠距離，也就能達到幾百米遠，因此多模光纖通常用于短距離連接并且通常是在同一數(shù)據(jù)中心內(nèi)部做 SAN設(shè)備間的互聯(lián)。 ? 其他的一些技術(shù)如持續(xù)數(shù)據(jù)保護 (CDP)能被用于適當(dāng)?shù)?RPO及 RTO的場景。 ? 中等級別： RTO從幾分鐘到幾小時之間，兩站點間需要高速的數(shù)據(jù)復(fù)制，可以是同步，也可以是異步。 在設(shè)計過程中的兩個重要的概念為： 恢復(fù)點目標(biāo) (RPO)和 恢 復(fù)時間目標(biāo) (RTO)。設(shè)計一個遠程連接解決方案涉及很多考慮因素。 使用環(huán)境拓撲如下： 圖 SAN 遠距離 擴展 容災(zāi) 設(shè)計 根據(jù)本次 GEDC 項目要求，需要考慮未來本中心 將會作為 沈北數(shù)據(jù)中心的災(zāi)備中心的需求，我方在本節(jié)闡述 SAN 網(wǎng)絡(luò) 在同城遠 距離擴展容災(zāi)方案。劣勢是一個 SAN 網(wǎng)絡(luò)端口過多帶來的管理難度與故障率增高，并且在連接新的 SAN交換機時需要配置其 DomainID與 Zoning 信息不能與核心交換機沖突。 ISL 擴展模式稱為 Cascading，主要作用是將現(xiàn)有 SAN 網(wǎng)或者 Virtual Fabric 中的交換機端口擴展，需要將新的交換機加入原有 SAN 中 成為原有 SAN 網(wǎng)中的組組成部分，受Primary SAN 交換機控制，分配 zoning 信息配置。 而且 SAN 網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個 SAN網(wǎng)絡(luò)中發(fā)生故障時不會影響其他 SAN 網(wǎng)絡(luò)。這 2 種方式同樣構(gòu)成 SAN 邊緣擴展方式 。 2 種方式雖然都能起到 SAN網(wǎng)絡(luò)擴展的效果，但所采用的技術(shù)不同，所以應(yīng)根據(jù)實際環(huán)境分別設(shè)計。具體可分為 2 種方式，一種是采用光纖通道路由 FCR 的方式將多個 SAN孤島連接擴展。 通過以上步驟可以實現(xiàn) 2 臺 DCX 之間的擴展。 我們會在后面 SAN Distance extended 中詳細描述。 Brocade Extended Fabric 功能支持在 2Gbit/sec 速率下連接 60 公里、在 1Gbit/sec 速率下連接 100 公里的 ISL，同時保證滿帶寬傳輸。兩臺 DCX 物理鏈路互通。 將擴展 DCX 啟動。分配好的端口將從 Default Switch 中移出。實現(xiàn)步驟如下： 第一臺 DCX 上線時已經(jīng)配置了 Default Switch 包括所有的端口， Default Switch自動分配 1 個保留的 FabricID FID 為 128。 以 Brocade DCX 為例：雙機箱串聯(lián) 配置可以達到 13 Tbit/sec 聚合帶寬， 768 個通用FC 端口， 2 個 domain； 每個機箱 4 個特殊 的 ICL 端口 (銅針 ) 來進行機箱的互連，每個ICL 端口包含 16個 8G FC 連接，總共 Tbit/sec 集合帶寬， ICL 保留 128 個 8G E_port來連接兩個機箱。導(dǎo)向器之間的互聯(lián)可以采用 Core 板上的核心互聯(lián)端口ICL 進行互聯(lián)。如下圖所示， 在現(xiàn)有環(huán)境下右邊 部分 配置添加 端口卡。在 VF 網(wǎng)絡(luò)設(shè)計部分我方建議將 Core Fabric 分為 04， 5 個 Virtual Fabric，新增的端口板可以加入原有的 VF 內(nèi)，也可以單獨組建 VF。端口板擴展在近期內(nèi)最適用于本項目為了聯(lián)入更多系統(tǒng)而采用的 SAN 擴展方式。主要可分為交換機內(nèi)部擴展、交換機互聯(lián)擴展、數(shù)據(jù)中心互聯(lián)擴展等。 SAN 網(wǎng)絡(luò)擴展設(shè)計 為了保證在今后的業(yè)務(wù)發(fā)展 GEDC 數(shù)據(jù)中心要求 SAN 網(wǎng)絡(luò)可以實現(xiàn)基本無限制的擴展延伸，以達到更多服務(wù)器與存儲設(shè)備的接入，適應(yīng) GEDC 機房的健康成長與快速部署。在必要時可以使生產(chǎn)端主機看到測試區(qū)存儲，但不允許測試區(qū)主機與生產(chǎn)端存儲互通。 在測試區(qū)交換機與核心 SAN 導(dǎo)向器間的路由原則為，通過 LSAN 的劃分，使測試區(qū)與 VF4備份區(qū)互通，這樣可以保證備份服務(wù)器可以將核心區(qū)備份的數(shù)據(jù)恢復(fù)到測試區(qū)進行測試、開發(fā)。 由于測試區(qū)要求存儲、備份設(shè)備要與生產(chǎn)區(qū)物理分開，因此在測試區(qū)我方建議利舊傳輸網(wǎng) 管下線的 1 臺 HP EVA4000 作為主存儲設(shè)備，利舊 ADIC i500 磁帶庫作為備份設(shè)備。 由于僅僅通過Rounting 功能進行數(shù)據(jù)備份，因此 32口 4100B 交換機不需要太多端口連接到 SAN 導(dǎo)向器，建議采用 24 條鏈路。因此其他區(qū)域需要以邊 緣的模式，通過 Routing 連接到 SAN 導(dǎo)向器中。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主要是用于核心交換機連接邊緣交換機用于擴展核心交換機的端口擴展能力。 以上 Virtual Fabric 的劃分建議僅僅根據(jù)我方對現(xiàn)有設(shè)備架構(gòu)理解制定，在實際實施環(huán)境中可以按照 Virtual Fabric 網(wǎng)絡(luò)中端口擴展靈活性，動態(tài)的添加端口。將占用 2 和 3端口板各 4 個端口。新增的 CX4 磁盤陣列建議配置 2 個控制器，每控制器 8 個前端端口，設(shè)計連接到 VF5區(qū)中的端口卡 2 和 3 上。 TIMP 系統(tǒng)所使用的 EVA4000 磁盤陣列配置 2 個控制器，每控制器 4 個前端端口，設(shè)計連接到 VF5 區(qū)中的端口卡 1 上?？偣?32 端口。 VF1VF3 計算資源區(qū)的 VF 同樣通過 VF0 Base Virtual Fabric Rounting 功能與存儲資源區(qū)互通，設(shè)置交換機的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 cfgEanble “