【正文】 .... 33 存儲(chǔ)資源動(dòng)態(tài)擴(kuò)展設(shè)計(jì) ................................................ 34 Volume Manager 擴(kuò)展 ............................................ 35 Virtual Provisioning 擴(kuò)展 ...................................... 35 存儲(chǔ)資源快速部署設(shè)計(jì) ................................................ 35 存儲(chǔ)資源實(shí)時(shí)保護(hù)設(shè)計(jì) ................................................ 36 測(cè)試區(qū)存儲(chǔ)架構(gòu)設(shè)計(jì) .................................................. 38 5．附件 ......................................................................................................................... 39 附件 1 存儲(chǔ)資源池測(cè)試說(shuō)明 ............................................ 39 測(cè)試目的 ....................................................... 39 測(cè)試案例 ....................................................... 39 附件 2 存儲(chǔ)資源池驗(yàn)收說(shuō)明 ............................................ 40 驗(yàn) 收標(biāo)準(zhǔn) ....................................................... 40 驗(yàn)收內(nèi)容 ....................................................... 41 交付文檔 ....................................................... 41 附件 3 存儲(chǔ)資源池培訓(xùn)建議課程 ........................................ 42 Brocade Certified Fabric Professional ......................... 42 Exchange 和 SQL Server 在 CLARiiON 的集成 ...................... 43 CALRiiON 性能工作室 ............................................ 45 網(wǎng)絡(luò)整合 需求分析 SAN 網(wǎng)絡(luò)整合方案背景 實(shí)用計(jì)算的出現(xiàn)，即以 “ 按需使用 ” 為基礎(chǔ)配置信息系統(tǒng)和服務(wù)，要求數(shù)據(jù)中心及其存儲(chǔ)聯(lián)網(wǎng)基礎(chǔ)設(shè)施進(jìn)行相應(yīng)的改進(jìn)，以實(shí)現(xiàn)實(shí)用計(jì)算的優(yōu)勢(shì)。鑒于上述原因，存儲(chǔ)管理對(duì)當(dāng)今的 SAN 管理員構(gòu)成了巨大的挑戰(zhàn)。 SAN 網(wǎng)絡(luò)已經(jīng)部署為 端口冗余 方式，端口數(shù)量大約在 64 個(gè)， 但 無(wú)法對(duì) SAN 網(wǎng)絡(luò)進(jìn)行邏輯隔離，當(dāng)某一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)如果觸發(fā)廣播風(fēng)暴將影響整個(gè) SAN 網(wǎng)絡(luò)的運(yùn)行性能與狀態(tài)。 在未來(lái)本機(jī)房可能會(huì)作為沈北數(shù)據(jù)中心的容災(zāi)機(jī)房， SAN 架構(gòu)需要具備擴(kuò)展容災(zāi)能力。 SAN 導(dǎo)向 器支 持 NPIV（ N_Port ID Virtualization） 功能，由于 GEDC 的計(jì)算資源池中存在大量虛擬主機(jī)，而當(dāng)虛擬主機(jī)的單盤容量大 于 50GB 左右的時(shí)候最佳方式是為其建立基于裸設(shè)備的磁盤影射，因此要求導(dǎo)向器具備 NPIV 功能能夠?qū)ⅲ?單個(gè)光纖端口虛擬成多個(gè)獨(dú)立的端口，為每個(gè)連接到該物理端口的不同類型操作系統(tǒng)提供獨(dú)立的端口標(biāo)識(shí) 。核心生產(chǎn)區(qū)、應(yīng)用服務(wù) 區(qū) 、 OA 及財(cái)務(wù)區(qū)分別為 VF1VF3 的 virtual fabric 用來(lái)連接業(yè)務(wù)系統(tǒng) 。 邏輯分級(jí)即在核心 SAN 導(dǎo)向器內(nèi)部劃分多個(gè) Virtual Fabric，將不同的業(yè)務(wù)系統(tǒng)區(qū)域邏輯分開，隔離不同 Virtual Fabric 間不相 關(guān)業(yè)務(wù)的網(wǎng)絡(luò)通路與廣播風(fēng)暴。 圖 InterSwitch Link 第二種方式是傳統(tǒng)的 ISL 擴(kuò)展模式 稱為 Cascading， 在本期項(xiàng)目中可以將小型 SAN 網(wǎng)絡(luò)加入 SAN 導(dǎo)向器所創(chuàng)建的某一個(gè) Virtual Fabric 網(wǎng)絡(luò)中，成為 其擴(kuò)展端口。但是，某些產(chǎn)品設(shè)計(jì)時(shí)為了降低成本，往往采用 2:1到 4:1 的超載比，從而在復(fù)雜的環(huán)境下造成不可預(yù)知的性能瓶徑。超載比仍然為 1:1。 連接主機(jī)到存儲(chǔ)是一個(gè) SAN的最基本的功能。 在分區(qū)類型中存在兩種分區(qū)： 端口萬(wàn)維網(wǎng)名稱（ pWWN）和域名，端口（ D， P）。區(qū)域可以由陣列，由主機(jī)操作系統(tǒng)，由應(yīng)用，或由在數(shù)據(jù)中心之內(nèi)的位置分組。雖然這一級(jí)別的分區(qū)似乎可能比減少顆粒分組方法更勞力密集，但對(duì)于 SAN它奠定了最好的基礎(chǔ)，并最終將增加正常運(yùn)行時(shí)間和減少故障檢修所需的時(shí)間。 必要時(shí)各個(gè)生產(chǎn)區(qū)的主機(jī)可以與開發(fā)測(cè)試區(qū)存儲(chǔ)互通，用戶數(shù)據(jù)拷貝恢復(fù)。 因?yàn)?對(duì)于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在該 Zone 中，那么 port login (PLOGI)到一個(gè)不存在的 virtual PID 是不被 block的，相當(dāng)于 FLOGI被發(fā)送到 NPIV port連接的設(shè)備。 指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級(jí)別 ,可以將 NPIV 連接線的內(nèi)部劃分成高，中，低三個(gè)優(yōu)先級(jí)別，高優(yōu)先級(jí)獲得最高的帶寬，而低優(yōu)先級(jí)別獲得最低的傳輸帶寬。 VF1 還具備 5 端口的擴(kuò)展能力，在近期內(nèi)能夠充分滿足用戶對(duì)核心數(shù)據(jù)庫(kù) 區(qū)的擴(kuò)展需求。 在 VF3 中大量應(yīng)用服務(wù)器以虛擬機(jī)的形式存在 ，因此要求涉及連接的所有交換機(jī)都支持 NPIV 的劃分方式。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 TIMP 系統(tǒng)所使用的 EVA4000 磁盤陣列配置 2 個(gè)控制器，每控制器 4 個(gè)前端端口，設(shè)計(jì)連接到 VF5 區(qū)中的端口卡 1 上。 Edge Fabric 區(qū)域劃分 Edge Fabric區(qū)域主要是用于核心交換機(jī)連接邊緣交換機(jī)用于擴(kuò)展核心交換機(jī)的端口擴(kuò)展能力。 在測(cè)試區(qū)交換機(jī)與核心 SAN 導(dǎo)向器間的路由原則為，通過(guò) LSAN 的劃分，使測(cè)試區(qū)與 VF4備份區(qū)互通，這樣可以保證備份服務(wù)器可以將核心區(qū)備份的數(shù)據(jù)恢復(fù)到測(cè)試區(qū)進(jìn)行測(cè)試、開發(fā)。端口板擴(kuò)展在近期內(nèi)最適用于本項(xiàng)目為了聯(lián)入更多系統(tǒng)而采用的 SAN 擴(kuò)展方式。 以 Brocade DCX 為例：雙機(jī)箱串聯(lián) 配置可以達(dá)到 13 Tbit/sec 聚合帶寬， 768 個(gè)通用FC 端口， 2 個(gè) domain； 每個(gè)機(jī)箱 4 個(gè)特殊 的 ICL 端口 (銅針 ) 來(lái)進(jìn)行機(jī)箱的互連，每個(gè)ICL 端口包含 16個(gè) 8G FC 連接，總共 Tbit/sec 集合帶寬， ICL 保留 128 個(gè) 8G E_port來(lái)連接兩個(gè)機(jī)箱。兩臺(tái) DCX 物理鏈路互通。具體可分為 2 種方式，一種是采用光纖通道路由 FCR 的方式將多個(gè) SAN孤島連接擴(kuò)展。 ISL 擴(kuò)展模式稱為 Cascading，主要作用是將現(xiàn)有 SAN 網(wǎng)或者 Virtual Fabric 中的交換機(jī)端口擴(kuò)展，需要將新的交換機(jī)加入原有 SAN 中 成為原有 SAN 網(wǎng)中的組組成部分，受Primary SAN 交換機(jī)控制，分配 zoning 信息配置。 在設(shè)計(jì)過(guò)程中的兩個(gè)重要的概念為： 恢復(fù)點(diǎn)目標(biāo) (RPO)和 恢 復(fù)時(shí)間目標(biāo) (RTO)。單模光纖總是用于光網(wǎng)絡(luò)的長(zhǎng)距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。以下任一種技術(shù)都能提供切實(shí)可行的長(zhǎng)距離連接解決方案，但要選擇適合的方案取決于多種因素 包括技術(shù)，成本或是可擴(kuò)展性的需求。另外在可能需要多個(gè)E_Ports的地方，有必要把他們分散到不同的 port groups里以最大化可用的 buffer credits數(shù)量。注意你應(yīng)當(dāng)“硬”設(shè)置FC端口速率到所期望的速率以確保 WDM衰減器能鎖定這個(gè) ISL的比特率。 通過(guò)采用FCIP 方式實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)的遠(yuǎn)程擴(kuò)展 ， FCIP 功能可以直接由 SAN 導(dǎo)向器中的 FCIP 模塊提供，這樣利用 SAN 導(dǎo)向器 的可靠容錯(cuò)機(jī)制，減少了外部設(shè)備和 SAN 交換機(jī)互連所產(chǎn)生的額外故障點(diǎn)，流量可以在 SAN 導(dǎo)向器 交換機(jī)上的 FCIP 端口與其它存儲(chǔ)端口之間任意交換。 圖 b. Traffic isolation 指定特定設(shè)備使用特定的端口和路徑。 在遼寧 GEDC項(xiàng)目中如果 用戶購(gòu)買的存儲(chǔ)設(shè)備具備 iSCSI功能，可以考慮適當(dāng)?shù)牟渴?iSCSI網(wǎng)絡(luò)架構(gòu)。 這種搭建方式的優(yōu)勢(shì)是存儲(chǔ)網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。雖然 LTO3 磁帶在備份數(shù)據(jù)時(shí)可以達(dá)到最大 80MB/s 左右的備份速度， 8臺(tái)驅(qū)動(dòng)器同時(shí)工作可以達(dá)到 640MB/s 左右，但 80MB/s 為理論值，實(shí)際環(huán)境中 LTO3 磁帶備份大容量任務(wù)時(shí)可以達(dá)到 50MB/s，備份多個(gè)小容量任務(wù)時(shí)由于機(jī)械手處于頻繁定位磁帶，抓帶、卷帶的物理動(dòng)作，因此只能達(dá)到 30MB/s 左右。并且保證數(shù)據(jù)的遷移對(duì)于用戶完全透明。 存儲(chǔ)資源池中應(yīng)包括在線存儲(chǔ)：高端存儲(chǔ)、中端存儲(chǔ)、低端存儲(chǔ)，近線存儲(chǔ)：虛擬帶庫(kù)存儲(chǔ)、低端存儲(chǔ)，離線存儲(chǔ)：磁帶庫(kù)存儲(chǔ)等設(shè)備。 存儲(chǔ)集中化與虛擬化都是解決了存儲(chǔ)設(shè)備資源利用率、存儲(chǔ)擴(kuò)展靈活 性、存儲(chǔ)管理統(tǒng)一性等問(wèn)題。 基于軟件的架構(gòu)是在需要進(jìn)行虛擬化存儲(chǔ)的主機(jī)上安裝類似卷管理軟件，由卷管理軟件對(duì)底層硬件設(shè)備的 LUN 進(jìn)行管理、擴(kuò)展。 創(chuàng)建虛擬池的方法很簡(jiǎn)單，您只需指定一個(gè)名稱，選擇驅(qū)動(dòng)器類型和容量，然后選擇適當(dāng)?shù)? RAID 保護(hù)級(jí)別即可。 當(dāng)數(shù)據(jù)對(duì)生產(chǎn)系統(tǒng)完全失效時(shí)將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計(jì)需求使用。比如核心數(shù)據(jù)庫(kù)存出在 高端存儲(chǔ) DMX 上， OA、財(cái)務(wù)系統(tǒng)存儲(chǔ)在 中端存儲(chǔ)CX4 上。用戶可以為應(yīng)用程序提供比在存儲(chǔ)陣列中分配給它的物理容量更多的容量。 1 種基于硬件架構(gòu)， 1 種基于軟件架構(gòu)。 邏輯層面 存儲(chǔ)資源池物理層面搭建完善后，我們需要從邏輯層面對(duì)資源池進(jìn)行規(guī)劃創(chuàng)建。以下我方將就這兩方面內(nèi)容設(shè)計(jì)存儲(chǔ)資源池的基礎(chǔ)架構(gòu)。 采用分級(jí)存儲(chǔ)功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲(chǔ)在不同的存儲(chǔ)設(shè)備與RAID 保護(hù)機(jī)制上。 對(duì)于數(shù)據(jù)的保護(hù)沒(méi)有分級(jí)，不論安全級(jí)別高低全部采用一種保護(hù)模式。 iSCSI設(shè)備的端口可以實(shí)現(xiàn)后端聚合用以增大帶寬 。投資少，不需要購(gòu)買昂貴的 HBA卡和FC交換機(jī)。 例如在核心業(yè)務(wù)系統(tǒng)繁忙的時(shí)刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成 SAN 架構(gòu)資源緊張時(shí)可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。 圖 FCIP 遠(yuǎn)距離 容災(zāi) 擴(kuò)展 設(shè)計(jì) 通過(guò)上節(jié)對(duì) SAN 網(wǎng)絡(luò)在 同城 內(nèi)的幾種擴(kuò)展容災(zāi)方式的分析，可以解決 GEDC 相距在100MK 左右時(shí)所要實(shí)現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。從運(yùn)行路徑到受保護(hù)路徑之間的交換典型的要小于 50ms. 依賴于 WDM設(shè)備的光網(wǎng)需求。 通過(guò)暗光纖直連 FC交換機(jī)需要使用長(zhǎng)波 SFP的光收發(fā)器。 因此應(yīng)選擇 9um非零色散位移光纖作為DR實(shí)施時(shí)使用。多模光纖直徑較大，有 50 μ m 或 m(后者通 常用于 FDDI)并通過(guò)波導(dǎo)傳載多種光的模式，多模光纖比單模的便宜得多，但它的特性決定了它不適合太遠(yuǎn)距離，也就能達(dá)到幾百米遠(yuǎn)，因此多模光纖通常用于短距離連接并且通常是在同一數(shù)據(jù)中心內(nèi)部做 SAN設(shè)備間的互聯(lián)。設(shè)計(jì)一個(gè)遠(yuǎn)程連接解決方案涉及很多考慮因素。 而且 SAN 網(wǎng)絡(luò)間邏輯隔離，當(dāng)一個(gè) SAN網(wǎng)絡(luò)中發(fā)生故障時(shí)不會(huì)影響其他 SAN 網(wǎng)絡(luò)。 通過(guò)以上步驟可以實(shí)現(xiàn) 2 臺(tái) DCX 之間的擴(kuò)展。 將擴(kuò)展 DCX 啟動(dòng)。導(dǎo)向器之間的互聯(lián)可以采用 Core 板上的核心互聯(lián)端口ICL 進(jìn)行互聯(lián)。主要可分為交換機(jī)內(nèi)部擴(kuò)展、交換機(jī)互聯(lián)擴(kuò)展、數(shù)據(jù)中心互聯(lián)擴(kuò)展等。 由于測(cè)試區(qū)要求存儲(chǔ)、備份設(shè)備要與生產(chǎn)區(qū)物理分開，因此在測(cè)試區(qū)我方建議利舊傳輸網(wǎng) 管下線的 1 臺(tái) HP EVA4000 作為主存儲(chǔ)設(shè)備，利舊 ADIC i500 磁帶庫(kù)作為備份設(shè)備。 以上 Virtual Fabric 的劃分建議僅僅根據(jù)我方對(duì)現(xiàn)有設(shè)備架構(gòu)理解制定，在實(shí)際實(shí)施環(huán)境中可以按照 Virtual Fabric 網(wǎng)絡(luò)中端口擴(kuò)展靈活性，動(dòng)態(tài)的添加端口?？偣?32 端口。 stn_hdsB。 VF3中共占用大約 24 端口， 目前沒(méi)有擴(kuò)展能力，但可通過(guò)增加端口板或者添加邊緣交換機(jī)擴(kuò)展VF3。 VF1 核心 數(shù)據(jù)庫(kù) 區(qū)域劃分 本期計(jì)劃為 VF1 核心 數(shù)據(jù)庫(kù) 區(qū)劃分 1 個(gè)端口板 32 端口 中的 16 端口 ，連接 NMC 數(shù)據(jù)庫(kù) 2 臺(tái) SUN E6900、 TDDB \ NPMDB 集群數(shù)據(jù)庫(kù) 4 臺(tái) SUN E4900、 XNGDB 1 臺(tái) SUN V890、bpmapp01， 1 臺(tái) SUN V4800、 TeMIP 4 臺(tái) HP 服務(wù)器集群。 連接 拓?fù)?圖如下： 圖 NPIV 配置： 使用 portCfgNPIVPort 打開和關(guān)閉 port 的 NPIV 功能。也就是說(shuō)， NPIV 虛擬出的多個(gè) virtual devi