【正文】 護(hù)路徑之間的交換典型的要小于 50ms. 依賴于 WDM設(shè)備的光網(wǎng)需求。不同的方法提供了不同層次的可用性并且為了滿足可用性的需求這些方法可能被單獨(dú)使用或是一起使用。 圖 FCIP 遠(yuǎn)距離 容災(zāi) 擴(kuò)展 設(shè)計(jì) 通過(guò)上節(jié)對(duì) SAN 網(wǎng)絡(luò)在 同城 內(nèi)的幾種擴(kuò)展容災(zāi)方式的分析，可以解決 GEDC 相距在100MK 左右時(shí)所要實(shí)現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。 核心骨干 路由器 連接兩臺(tái) SAN導(dǎo)向器 的千兆以太網(wǎng)端口和其 ATM 端口可以定義為一個(gè) Bridge Group，北京端也按同樣的配置，這樣核心骨干 路由器 上無(wú)需配置任何 IP 地址就可實(shí)現(xiàn)兩邊存儲(chǔ)網(wǎng)絡(luò)的互通，由于無(wú)IP 地址，不參加核心骨干 路由器 內(nèi)部的 IP 路由，存儲(chǔ)網(wǎng)絡(luò)流量和核心骨干 路由器 上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時(shí)刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時(shí)可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。 例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫(kù)、應(yīng)用傳輸鏈路隔離 從而保證各自的帶寬需求。投資少，不需要購(gòu)買昂貴的 HBA卡和FC交換機(jī)。 為 iSCSI存儲(chǔ)新建專署的存儲(chǔ)網(wǎng)絡(luò)。 iSCSI設(shè)備的端口可以實(shí)現(xiàn)后端聚合用以增大帶寬 。 3．存儲(chǔ) 資源池 需求分析 遼寧移動(dòng)網(wǎng)管存儲(chǔ)設(shè)備現(xiàn)狀 目前遼寧移動(dòng)網(wǎng)管系統(tǒng)已經(jīng)采用了 EMC DMX EMC CX500、 HP EVA4000 等存儲(chǔ)陣列作為在線生產(chǎn)系統(tǒng)的存儲(chǔ)設(shè)備，采用 HP EML24 ADIC i500 磁帶庫(kù)作為備份磁帶設(shè)備。 對(duì)于數(shù)據(jù)的保護(hù)沒(méi)有分級(jí)，不論安全級(jí)別高低全部采用一種保護(hù)模式。因此遼寧移動(dòng)已經(jīng)提交了 VTL 虛擬磁帶庫(kù)的采購(gòu)計(jì)劃。 采用分級(jí)存儲(chǔ)功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲(chǔ)在不同的存儲(chǔ)設(shè)備與RAID 保護(hù)機(jī)制上。 為虛擬機(jī)分配的存儲(chǔ)資源在不中斷主機(jī) I/O 的情況下的動(dòng)態(tài)調(diào)整。以下我方將就這兩方面內(nèi)容設(shè)計(jì)存儲(chǔ)資源池的基礎(chǔ)架構(gòu)。 采用安全級(jí)別 %的存儲(chǔ)設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲(chǔ)資源池的安全可靠。 邏輯層面 存儲(chǔ)資源池物理層面搭建完善后，我們需要從邏輯層面對(duì)資源池進(jìn)行規(guī)劃創(chuàng)建。存儲(chǔ)設(shè)備數(shù)量大大減少并且管理統(tǒng)一。 1 種基于硬件架構(gòu)， 1 種基于軟件架構(gòu)。其缺點(diǎn)是每臺(tái)需要實(shí)現(xiàn)虛擬化存儲(chǔ)的主機(jī)都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫(kù)系統(tǒng)部署此軟件 。用戶可以為應(yīng)用程序提供比在存儲(chǔ)陣列中分配給它的物理容量更多的容量。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動(dòng)發(fā)出警報(bào)，以便能夠無(wú)中斷地?cái)U(kuò)展池容量。比如核心數(shù)據(jù)庫(kù)存出在 高端存儲(chǔ) DMX 上， OA、財(cái)務(wù)系統(tǒng)存儲(chǔ)在 中端存儲(chǔ)CX4 上。 以下將分別對(duì)這 3 種方式進(jìn)行闡述。 當(dāng)數(shù)據(jù)對(duì)生產(chǎn)系統(tǒng)完全失效時(shí)將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計(jì)需求使用。 圖 存儲(chǔ)資源池 分級(jí)設(shè)計(jì) 在存儲(chǔ)資源池的分級(jí)設(shè)計(jì)中我們將其按照數(shù)據(jù)重要等級(jí)、信息生命周期變化和備份數(shù)據(jù)分級(jí)變化的 3 種方式進(jìn)行存儲(chǔ)資源架構(gòu)的劃分。 創(chuàng)建虛擬池的方法很簡(jiǎn)單，您只需指定一個(gè)名稱，選擇驅(qū)動(dòng)器類型和容量，然后選擇適當(dāng)?shù)? RAID 保護(hù)級(jí)別即可。也就是說(shuō) 2 個(gè)或多個(gè)存儲(chǔ)系統(tǒng) 的 LUN 通過(guò)卷管理軟件條帶化后映射給 一個(gè)計(jì)算資源，這些存儲(chǔ)系統(tǒng)必須級(jí)別相同，否則會(huì)給數(shù)據(jù)讀寫帶來(lái)不穩(wěn)定性波動(dòng)。 基于軟件的架構(gòu)是在需要進(jìn)行虛擬化存儲(chǔ)的主機(jī)上安裝類似卷管理軟件，由卷管理軟件對(duì)底層硬件設(shè)備的 LUN 進(jìn)行管理、擴(kuò)展。對(duì)存儲(chǔ)資源池中眾多的設(shè)備管理最好的手段就是存儲(chǔ)虛擬化。 存儲(chǔ)集中化與虛擬化都是解決了存儲(chǔ)設(shè)備資源利用率、存儲(chǔ)擴(kuò)展靈活 性、存儲(chǔ)管理統(tǒng)一性等問(wèn)題。備份資源池分配給 Virtual Fabric4 區(qū)作為所有計(jì)算資源池主機(jī)的備份設(shè)備。 存儲(chǔ)資源池中應(yīng)包括在線存儲(chǔ)：高端存儲(chǔ)、中端存儲(chǔ)、低端存儲(chǔ)，近線存儲(chǔ)：虛擬帶庫(kù)存儲(chǔ)、低端存儲(chǔ)，離線存儲(chǔ)：磁帶庫(kù)存儲(chǔ)等設(shè)備。 4．存儲(chǔ) 資源池 架構(gòu)方案設(shè)計(jì) 存儲(chǔ) 資源池 基礎(chǔ)架構(gòu) 存儲(chǔ)資源池的基礎(chǔ)架構(gòu)可以分為物理與邏輯兩個(gè)層面，在物理層面主要包括設(shè)備的選型、連接、硬件分級(jí)架構(gòu)搭建等方面。并且保證數(shù)據(jù)的遷移對(duì)于用戶完全透明。 遼寧移動(dòng)網(wǎng)管存儲(chǔ)資源池需求 通過(guò)以上對(duì)遼寧移動(dòng)存儲(chǔ)資源現(xiàn)狀分析我們得出遼寧移動(dòng)網(wǎng)管 OA系統(tǒng) 存儲(chǔ)資源現(xiàn)在所面臨的問(wèn)題： 部署大量的虛擬主機(jī)需要存儲(chǔ)系統(tǒng)對(duì)虛擬機(jī)快速部署的支持。雖然 LTO3 磁帶在備份數(shù)據(jù)時(shí)可以達(dá)到最大 80MB/s 左右的備份速度， 8臺(tái)驅(qū)動(dòng)器同時(shí)工作可以達(dá)到 640MB/s 左右，但 80MB/s 為理論值，實(shí)際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時(shí)可以達(dá)到 50MB/s，備份多個(gè)小容量任務(wù)時(shí)由于機(jī)械手處于頻繁定位磁帶，抓帶、卷帶的物理動(dòng)作，因此只能達(dá)到 30MB/s 左右。因此遼寧移動(dòng)已經(jīng)針 對(duì)此狀況申請(qǐng)購(gòu)買了如下存儲(chǔ)備份設(shè)備： 設(shè)備類型 數(shù)量 容量 中端存儲(chǔ) 1 70TB 虛擬帶庫(kù) 1 DMX3 磁盤 76 從現(xiàn)狀中我們不難發(fā)現(xiàn)，遼寧移動(dòng)網(wǎng)管系統(tǒng)的存儲(chǔ)設(shè) 備比較全面，但所面臨的最大問(wèn)題就是資源不足，導(dǎo)致資源不足的原因有幾種： 數(shù)據(jù)增長(zhǎng)過(guò)快 。 這種搭建方式的優(yōu)勢(shì)是存儲(chǔ)網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。這樣需要在計(jì)算主機(jī)端多分配適配卡（可以是普通以太網(wǎng)卡也可以是專用 iSCSI適配卡）或以太端口， 采用 以太網(wǎng)交換機(jī)作為數(shù)據(jù)交換設(shè)備。 在遼寧 GEDC項(xiàng)目中如果 用戶購(gòu)買的存儲(chǔ)設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。有了這些數(shù)據(jù)流控制機(jī)制，客戶可以很好的分 配和利用帶寬資源，為應(yīng)用程序服務(wù)，例如 核心數(shù)據(jù)庫(kù)應(yīng)用 為最核心業(yè)務(wù)，劃分為高優(yōu)先級(jí)，而 OA、郵件 則為低優(yōu)先級(jí)應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達(dá)到瓶頸時(shí)，高優(yōu)先級(jí)別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級(jí)別業(yè)務(wù)的服務(wù)水準(zhǔn)。 圖 b. Traffic isolation 指定特定設(shè)備使用特定的端口和路徑。 要求為 SAN 網(wǎng)絡(luò)配置 一種功能全面的網(wǎng)絡(luò)管理應(yīng)用平臺(tái) ， 可實(shí)現(xiàn)數(shù)據(jù)中心 Fabric 架構(gòu)的端到端 管理。 通過(guò)采用FCIP 方式實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)的遠(yuǎn)程擴(kuò)展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯(cuò)機(jī)制，減少了外部設(shè)備和 SAN 交換機(jī)互連所產(chǎn)生的額外故障點(diǎn)，流量可以在 SAN 導(dǎo)向器 交換機(jī)上的 FCIP 端口與其它存儲(chǔ)端口之間任意交換。多個(gè) ISLs通過(guò)網(wǎng)絡(luò)互聯(lián)以提供額外的帶寬和冗余以防交換機(jī)上或距離延展設(shè)備上的端口失效。注意你應(yīng)當(dāng)“硬”設(shè)置FC端口速率到所期望的速率以確保 WDM衰減器能鎖定這個(gè) ISL的比特率。而節(jié)點(diǎn)之間的距離一般都能擴(kuò) 展到 100km或更遠(yuǎn)。另外在可能需要多個(gè)E_Ports的地方，有必要把他們分散到不同的 port groups里以最大化可用的 buffer credits數(shù)量。 Brocade及其合 作伙伴對(duì)于不同距離，已列出全部測(cè)試過(guò)合格的光收發(fā)器。以下任一種技術(shù)都能提供切實(shí)可行的長(zhǎng)距離連接解決方案，但要選擇適合的方案取決于多種因素 包括技術(shù)，成本或是可擴(kuò)展性的需求。為了解決這一問(wèn)題，引入了色散位移光纖 (DSF)， DSF在 1550nm波長(zhǎng)得到優(yōu)化，但當(dāng)部署在密集波分復(fù)用 (DWDM)環(huán)境時(shí)又引入了另外的問(wèn)題。單模光纖總是用于光網(wǎng)絡(luò)的長(zhǎng)距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。 ? 其他的一些技術(shù)如持續(xù)數(shù)據(jù)保護(hù) (CDP)能被用于適當(dāng)?shù)?RPO及 RTO的場(chǎng)景。 在設(shè)計(jì)過(guò)程中的兩個(gè)重要的概念為： 恢復(fù)點(diǎn)目標(biāo) (RPO)和 恢 復(fù)時(shí)間目標(biāo) (RTO)。 使用環(huán)境拓?fù)淙缦拢? 圖 SAN 遠(yuǎn)距離 擴(kuò)展 容災(zāi) 設(shè)計(jì) 根據(jù)本次 GEDC 項(xiàng)目要求，需要考慮未來(lái)本中心 將會(huì)作為 沈北數(shù)據(jù)中心的災(zāi)備中心的需求，我方在本節(jié)闡述 SAN 網(wǎng)絡(luò) 在同城遠(yuǎn) 距離擴(kuò)展容災(zāi)方案。 ISL 擴(kuò)展模式稱為 Cascading，主要作用是將現(xiàn)有 SAN 網(wǎng)或者 Virtual Fabric 中的交換機(jī)端口擴(kuò)展，需要將新的交換機(jī)加入原有 SAN 中 成為原有 SAN 網(wǎng)中的組組成部分，受Primary SAN 交換機(jī)控制，分配 zoning 信息配置。這 2 種方式同樣構(gòu)成 SAN 邊緣擴(kuò)展方式 。具體可分為 2 種方式，一種是采用光纖通道路由 FCR 的方式將多個(gè) SAN孤島連接擴(kuò)展。 我們會(huì)在后面 SAN Distance extended 中詳細(xì)描述。兩臺(tái) DCX 物理鏈路互通。分配好的端口將從 Default Switch 中移出。 以 Brocade DCX 為例：雙機(jī)箱串聯(lián) 配置可以達(dá)到 13 Tbit/sec 聚合帶寬， 768 個(gè)通用FC 端口， 2 個(gè) domain； 每個(gè)機(jī)箱 4 個(gè)特殊 的 ICL 端口 (銅針 ) 來(lái)進(jìn)行機(jī)箱的互連，每個(gè)ICL 端口包含 16個(gè) 8G FC 連接，總共 Tbit/sec 集合帶寬， ICL 保留 128 個(gè) 8G E_port來(lái)連接兩個(gè)機(jī)箱。如下圖所示， 在現(xiàn)有環(huán)境下右邊 部分 配置添加 端口卡。端口板擴(kuò)展在近期內(nèi)最適用于本項(xiàng)目為了聯(lián)入更多系統(tǒng)而采用的 SAN 擴(kuò)展方式。 SAN 網(wǎng)絡(luò)擴(kuò)展設(shè)計(jì) 為了保證在今后的業(yè)務(wù)發(fā)展 GEDC 數(shù)據(jù)中心要求 SAN 網(wǎng)絡(luò)可以實(shí)現(xiàn)基本無(wú)限制的擴(kuò)展延伸，以達(dá)到更多服務(wù)器與存儲(chǔ)設(shè)備的接入，適應(yīng) GEDC 機(jī)房的健康成長(zhǎng)與快速部署。 在測(cè)試區(qū)交換機(jī)與核心 SAN 導(dǎo)向器間的路由原則為，通過(guò) LSAN 的劃分，使測(cè)試區(qū)與 VF4備份區(qū)互通，這樣可以保證備份服務(wù)器可以將核心區(qū)備份的數(shù)據(jù)恢復(fù)到測(cè)試區(qū)進(jìn)行測(cè)試、開發(fā)。 由于僅僅通過(guò)Rounting 功能進(jìn)行數(shù)據(jù)備份，因此 32口 4100B 交換機(jī)不需要太多端口連接到 SAN 導(dǎo)向器，建議采用 24 條鏈路。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主要是用于核心交換機(jī)連接邊緣交換機(jī)用于擴(kuò)展核心交換機(jī)的端口擴(kuò)展能力。將占用 2 和 3端口板各 4 個(gè)端口。 TIMP 系統(tǒng)所使用的 EVA4000 磁盤陣列配置 2 個(gè)控制器，每控制器 4 個(gè)前端端口，設(shè)計(jì)連接到 VF5 區(qū)中的端口卡 1 上。 VF1VF3 計(jì)算資源區(qū)的 VF 同樣通過(guò) VF0 Base Virtual Fabric Rounting 功能與存儲(chǔ)資源區(qū)互通，設(shè)置交換機(jī)的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 VF1VF3 生產(chǎn)環(huán)境的 Virtual Fabric 通過(guò) VF0 Base Virtual Fabric Rounting 功能與備份區(qū)互通，設(shè)置交換機(jī)的 LSAN，將相關(guān)的設(shè)備分配到相應(yīng)的 LSAN Zone 中。 在 VF3 中大量應(yīng)用服務(wù)器以虛擬機(jī)的形式存在 ，因此要求涉及連接的所有交換機(jī)都支持 NPIV 的劃分方式。（如需要實(shí)現(xiàn)負(fù)載均衡則需要添加 Trunking License）。 VF1 還具備 5 端口的擴(kuò)展能力，在近期內(nèi)能夠充分滿足用戶對(duì)核心數(shù)據(jù)庫(kù) 區(qū)的擴(kuò)展需求。 VF0 路由 區(qū)域劃分 VF0 作為 Base, 相當(dāng)于 SAN 路由器，不連接任何設(shè)備，只負(fù)責(zé)連接其他 virtual fabric, 并且隔離不同 virtual fabric 間的廣播風(fēng)暴。 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級(jí)別 ,可以將 NPIV 連接線的內(nèi)部劃分成高，中，低三個(gè)優(yōu)先級(jí)別，高優(yōu)先級(jí)獲得最高的帶寬，而低優(yōu)先級(jí)別獲得最低的傳輸帶寬。在虛擬機(jī) LUN 需求超過(guò) 75GB 時(shí)，建議采用 LDM 方式，通過(guò) NPIV 連接存儲(chǔ)上的 LUN。 因?yàn)?對(duì)于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個(gè)不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。虛擬端口有與 N_port 相同的屬性，因此能夠提供 Fabric 相關(guān)的所有服務(wù)。 必要時(shí)各個(gè)生產(chǎn)區(qū)的主機(jī)可以與開發(fā)測(cè)試區(qū)存儲(chǔ)互通，用戶數(shù)據(jù)拷貝恢復(fù)。 確保各個(gè)生產(chǎn)區(qū) VF 之間的主機(jī)與存儲(chǔ)不互通，確保測(cè)試開發(fā)區(qū)的主機(jī)與生產(chǎn)區(qū)的主機(jī)及存儲(chǔ)不互通。雖然這一級(jí)別的分區(qū)似乎可能比減少顆粒分組方法更勞力密集，但對(duì)于 SAN它奠定了最好的基礎(chǔ)，并最終將增加正常運(yùn)行時(shí)間和減少故障檢修所需的時(shí)間。如果 HBA卡都連接磁盤和磁帶存儲(chǔ)設(shè)備，那么你需要?jiǎng)?chuàng)建兩個(gè)區(qū)域：一個(gè)帶 HBA卡和磁盤設(shè)備的區(qū)域和第二個(gè)帶 HBA卡和磁帶設(shè)備的區(qū)域。區(qū)域可以由陣列，由主機(jī)操作系統(tǒng)，由應(yīng)用，或由在數(shù)據(jù)中心之內(nèi)的位置分組。 建議在安全和業(yè)務(wù)的一致性上，使用 pWWN識(shí)別分區(qū)。 在分區(qū)類型中存在兩種分區(qū)： 端口萬(wàn)維網(wǎng)名稱（ pWWN）和域名，端口（ D， P）。 LUN masking可以經(jīng)由 HBA卡或更常見的存儲(chǔ)陣列執(zhí)行，確保被授權(quán)的主機(jī)能有權(quán)使用僅僅被每個(gè)存儲(chǔ)端口提出被定義的一組 LUNs。 連接主機(jī)到存儲(chǔ)是一個(gè) SAN的最基本的功能。 圖 SAN 網(wǎng)絡(luò)安全劃分 分區(qū)是在存儲(chǔ)區(qū)域網(wǎng)絡(luò)中聚合需要溝通的主機(jī)和存儲(chǔ)節(jié)點(diǎn)的 fabric服務(wù) 。超載比仍然為 1:1。在 SAN 網(wǎng)絡(luò)設(shè)計(jì)中，一般 遵循的原則是：盡可能確保主機(jī)到存儲(chǔ)的訪問(wèn)路徑具有一致的跳躍數(shù)。但是，某些產(chǎn)品設(shè)計(jì)時(shí)為了降低成本，往往采用 2:1到 4: