【正文】 （。 測試SAN網(wǎng)絡(luò)擴展能力測試目的：測試SAN導(dǎo)向器與現(xiàn)有利舊交換機的連接能力測試步驟：a、利舊的SAN交換機連接到SAN導(dǎo)向器 b、通過多條鏈路ISL協(xié)議測試2個交換機是否互通，鏈路帶寬是否增大 c、測試SAN導(dǎo)向器到利舊交換機的路有功能測試結(jié)果：將利舊交換機連接SAN導(dǎo)向器，使用LSAN_zon將兩臺交換機需要互通端口連接，可以互通則測試成功，否則為不成功。測試SAN網(wǎng)絡(luò)NPIV功能測試目的：測試SAN導(dǎo)向器與交換機的NPIV功能測試步驟：a、將刀片服務(wù)器的SAN交換機連接到SAN導(dǎo)向器 b、通過SAN導(dǎo)向器設(shè)置端口的NPIV c、測試一個端口的NPIV最大數(shù)量與性能 d、測試NPIV端口之間、NPIV端口與物理端口之間的安全劃分Zone。 驗證第三方軟件的卷擴展功能。 驗證SAN網(wǎng)絡(luò)優(yōu)化管理能力。 驗證SAN網(wǎng)絡(luò)NPIV能力，測試單個物理端口的NPIV數(shù)量與性能。目前i500配置了4個驅(qū)動器，60盤磁帶，充分滿足測試開發(fā)區(qū)的備份數(shù)據(jù)量。這樣在測試區(qū)在線設(shè)備與近線設(shè)備同處于一臺存儲中，大大節(jié)省用戶的TCO。在此設(shè)備現(xiàn)有存儲容量上根據(jù)測試區(qū)需求添加部分容量，以滿足測試區(qū)需求。由于其不擔(dān)任生產(chǎn)任務(wù)，因此保護級別可以設(shè)計的比較低，建設(shè)原則為滿足現(xiàn)有需求的情況下盡可能利舊設(shè)備，磁盤保護采用RAID5+Spare模式。在SAN架構(gòu)設(shè)計中我們把開發(fā)測試區(qū)作為SAN網(wǎng)絡(luò)架構(gòu)中的Edge Fabric區(qū)，采用2臺64口 4GB交換機連接到Core Fabric區(qū)，通過路由策略僅僅允許開發(fā)測試區(qū)的主機與備份區(qū)VF4中的備份設(shè)備相通?？梢圆捎肰olume manager軟件與磁盤復(fù)制鏡像軟件相結(jié)合的方式實現(xiàn)存儲資源池的數(shù)據(jù)級容災(zāi)。存儲設(shè)備的同步復(fù)制在遼寧移動現(xiàn)有的存儲設(shè)備上全部都有自己的解決方案，如DMX通過SRDF復(fù)制，CX通過Mirrorview復(fù)制等，但復(fù)制的對象必須是相同平臺的產(chǎn)品，DMX只能與DMX之間復(fù)制。而存儲設(shè)備自身的鏡像軟件只能采用同系列的產(chǎn)品之間鏡像，產(chǎn)品選擇受限，并且寫入的數(shù)據(jù)采用串行寫入，影響性能。主要區(qū)別是異構(gòu)和同構(gòu)，以及采用并行寫入還是串行寫入的區(qū)別?？煺諗?shù)據(jù)除了實現(xiàn)數(shù)據(jù)的邏輯保護，還可以配合備份軟件實現(xiàn)高級的數(shù)據(jù)備份，以及在節(jié)省空間的情況下為測試開發(fā)使用。在遼寧移動GEDC項目中的存儲設(shè)備都具備快照功能。但快照技術(shù)屬于邏輯保護機制，因為快照出的指針文件依然保存在同一個存儲設(shè)備上，如果整個設(shè)備故障則快照數(shù)據(jù)也將丟失?？煺占夹g(shù)主要應(yīng)用于數(shù)據(jù)邏輯層面的保護，通過保存在存儲設(shè)備中的變化數(shù)據(jù)的引用標(biāo)記或指針的方式對數(shù)據(jù)進行快照保護，可以在秒級備份或者恢復(fù)數(shù)TB的數(shù)據(jù)。但當(dāng)用戶還沒有完成備份作業(yè)時發(fā)生物理故障或者邏輯故障則會丟失上一次備份到故障發(fā)生時之間的數(shù)據(jù)，造成用戶的損失。 存儲資源實時保護設(shè)計存儲在存儲資源池中的數(shù)據(jù)將會按照用戶制定的備份策略，備份到虛擬帶庫和磁帶庫中，實現(xiàn)部分物理保護和部分邏輯保護。目前的主流存儲設(shè)備基本都支持此功能，如EMC CX4系列產(chǎn)品。但現(xiàn)在可以通過后臺初始化的技術(shù)來避免初始化時間過長而導(dǎo)致的存儲分配效率問題。操作系統(tǒng)識別LUN并格式化 在傳統(tǒng)的時間規(guī)劃上5步驟根據(jù)管理員的操作熟練程度基本每一步都可以在數(shù)分鐘內(nèi)完成，而第二步LUN的創(chuàng)建則需要根據(jù)所創(chuàng)建的LUN大小來決定初始化的時間。將新加入的系統(tǒng)HBA卡與存儲資源池中所占的交換機端口綁定劃分安全域zone。根據(jù)所要保存數(shù)據(jù)的重要程度在存儲系統(tǒng)端創(chuàng)建相應(yīng)的RAID Group。 存儲資源快速部署設(shè)計存儲資源的快速部署是現(xiàn)代綠色數(shù)據(jù)中心的重要功能，如何能在最短的時間為新加入的業(yè)務(wù)系統(tǒng)分配存出空間需要管理員詳細(xì)的設(shè)計。管理員為Thin Pool加入更多的磁盤，并在線擴展Thin LUN。操作系統(tǒng)識別Thin LUN的虛擬容量，并格式化使用。通過創(chuàng)建的Thin pool創(chuàng)建Thin LUN，分配實際物理空間并虛擬化邏輯空間。VP技術(shù)可以在存儲設(shè)備端通過將實際容量比較小的LUN虛擬為大容量的LUN映射給主機，比如將實際空間10GB的LUN虛擬為1TB，OS識別到的LUN為虛擬的LUN空間為1TB，在存儲設(shè)備上對寫入實際空間設(shè)定閥值，當(dāng)達到閥值時采用告警的方式通知管理員擴容，這時可以通過為實際LUN擴展的方式為OS加入新的容量空間，而在如過程對OS完全透明，因為OS已經(jīng)認(rèn)為其就是1TB空間。 Virtual Provisioning擴展卷管的擴展方式功能十分強大，但需要在每臺主機內(nèi)安裝軟件，投資成本較高，因此只適用于核心數(shù)據(jù)庫系統(tǒng)。Storage Foundation軟件識別到新映射的LUN。也就是說可以實現(xiàn)動態(tài)調(diào)整資源卷。 Volume Manager擴展采用卷管理軟件達到存儲資源池的動態(tài)擴展是最為簡便統(tǒng)一的方法，它可以支持不同的底層硬件平臺，不同存儲架構(gòu)的LUN由Volume Manager統(tǒng)一管理，采用不同的條帶化技術(shù)進行整合，保護。 Virtual Provisioning可以將較小的空間虛擬成很大的空間映射給操作系統(tǒng)，操作系統(tǒng)識別到的就是虛擬的空間，然后通過閥值的設(shè)定，當(dāng)容量達到一定比例時擴展這塊空間來達到空間的動態(tài)擴展。要實現(xiàn)存儲資源池動態(tài)的擴展就必須基于前一章提及的存儲虛擬化，無論是采用硬件層面、邏輯層面、還是基于Virtual Provisioning都可以幫助用戶實現(xiàn)存儲資源在計算資源中的動態(tài)擴展。 存儲資源動態(tài)擴展設(shè)計 存儲資源池是基于SAN架構(gòu)搭建，在本項目中存在VF5虛擬分區(qū)中，資源池的擴展需要在SAN網(wǎng)絡(luò)擴展的基礎(chǔ)上實現(xiàn)，當(dāng)隨著存儲設(shè)備的增多，連入計算資源池的增加，VF5也可以動態(tài)的擴展下去，新增的存儲設(shè)備可以無縫的添加到資源池中。遷移的過程對備份軟件要求是透明的，如果需要恢復(fù)的數(shù)據(jù)在虛擬帶庫則備份軟件從虛擬帶庫恢復(fù)，如果需要恢復(fù)的數(shù)據(jù)已經(jīng)遷移到物理帶庫則備份軟件從物理帶庫直接恢復(fù)。新購的VTL在部署上非常簡單，原有的備份策略不需要改動，只需要把VTL虛擬成原有磁帶庫一樣的型號HP EML245，8個LTO3驅(qū)動器即可。因此長期保存的數(shù)據(jù)要從虛擬帶庫中遷移到物理帶庫作離線保存，釋放虛擬帶庫空間為下一次備份作準(zhǔn)備。目前遼寧移動已經(jīng)具備了大規(guī)模SAN備份架構(gòu)，具備一臺HP EML245磁帶庫，配置了8臺LTO3驅(qū)動器，250盤400GB磁帶，并計劃采購1臺VTL虛擬帶庫設(shè)備，搭建DDT的備份架構(gòu)。而我們作備份的目的就是要在發(fā)生故障后以最快的速度進行數(shù)據(jù)恢復(fù)。示例圖如下：備份數(shù)據(jù)分級設(shè)計就是我們常說的DDT的備份結(jié)構(gòu)，由于磁帶庫在進行大量小數(shù)據(jù)量備份任務(wù)時機械動作會消耗大量時間使備份恢復(fù)窗口過長導(dǎo)致備份任務(wù)失敗或者備份恢復(fù)時間不夠。如果被歸檔到磁帶的數(shù)據(jù)則需要恢復(fù)到磁盤才可以被訪問。這是通過在主存儲上保留遷移數(shù)據(jù)的指針實現(xiàn)的。遷移的策略可以按創(chuàng)建時間、最后訪問時間、訪問頻率、指定時間等方式創(chuàng)建，也可以根據(jù)需要手動遷移。歷史庫可以使用低端存儲、SATA磁盤創(chuàng)建，以節(jié)省TCO。如下圖所示：在計算資源池中包括核心數(shù)據(jù)庫系統(tǒng)、OA系統(tǒng)、郵件系統(tǒng)等多種數(shù)據(jù)，但從數(shù)據(jù)結(jié)構(gòu)分可分為兩類：結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫，與非結(jié)構(gòu)化數(shù)據(jù)文檔、文本、報表、圖片、郵件等。但如果通過實際分析會得出大約60%以上的數(shù)據(jù)屬于歷史數(shù)據(jù)或者不經(jīng)常被訪問的數(shù)據(jù)，對于這些數(shù)據(jù)我方建議是應(yīng)該遷移出在線存儲設(shè)備，存儲到近線存儲設(shè)備上。隨著時間的推移數(shù)據(jù)中心中的數(shù)據(jù)會快速增加，數(shù)據(jù)的價值也會由高到低發(fā)生變化。OA、財務(wù)、應(yīng)用服務(wù)等系統(tǒng)使用的中端存儲設(shè)備將具備70TB裸容量存儲。SATA存儲只建議在歸檔系統(tǒng)或者備份系統(tǒng)上使用，用于節(jié)省主存儲空間和加快備份恢復(fù)速度。這類數(shù)據(jù)建議存儲在中端存儲中，中端存儲同樣為其提供相對快速的處理能力、安全的環(huán)境與良好的擴展空間。這類數(shù)據(jù)建議存儲在高端存儲中，高端存儲為其提供優(yōu)秀的性能、安全的環(huán)境、良好的擴展空間使其能夠更好的為企業(yè)服務(wù)。以下將分別對這3種方式進行闡述。當(dāng)數(shù)據(jù)對生產(chǎn)系統(tǒng)完全失效時將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計需求使用。比如核心數(shù)據(jù)庫存出在高端存儲DMX上，OA、財務(wù)系統(tǒng)存儲在中端存儲CX4上。 存儲資源池分級設(shè)計在存儲資源池的分級設(shè)計中我們將其按照數(shù)據(jù)重要等級、信息生命周期變化和備份數(shù)據(jù)分級變化的3種方式進行存儲資源架構(gòu)的劃分。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動發(fā)出警報，以便能夠無中斷地擴展池容量。 創(chuàng)建虛擬池的方法很簡單，您只需指定一個名稱，選擇驅(qū)動器類型和容量，然后選擇適當(dāng)?shù)?RAID 保護級別即可。用戶可以為應(yīng)用程序提供比在存儲陣列中分配給它的物理容量更多的容量。也就是說2個或多個存儲系統(tǒng)的LUN通過卷管理軟件條帶化后映射給一個計算資源，這些存儲系統(tǒng)必須級別相同，否則會給數(shù)據(jù)讀寫帶來不穩(wěn)定性波動。其缺點是每臺需要實現(xiàn)虛擬化存儲的主機都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫系統(tǒng)部署此軟件?；谲浖募軜?gòu)是在需要進行虛擬化存儲的主機上安裝類似卷管理軟件，由卷管理軟件對底層硬件設(shè)備的LUN進行管理、擴展。1種基于硬件架構(gòu)，1種基于軟件架構(gòu)。對存儲資源池中眾多的設(shè)備管理最好的手段就是存儲虛擬化。存儲設(shè)備數(shù)量大大減少并且管理統(tǒng)一。存儲集中化與虛擬化都是解決了存儲設(shè)備資源利用率、存儲擴展靈活性、存儲管理統(tǒng)一性等問題。存儲資源池物理層面搭建完善后，我們需要從邏輯層面對資源池進行規(guī)劃創(chuàng)建。備份資源池分配給Virtual Fabric4區(qū)作為所有計算資源池主機的備份設(shè)備。%的存儲設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲資源池的安全可靠。存儲資源池中應(yīng)包括在線存儲：高端存儲、中端存儲、低端存儲，近線存儲：虛擬帶庫存儲、低端存儲，離線存儲：磁帶庫存儲等設(shè)備。以下我方將就這兩方面內(nèi)容設(shè)計存儲資源池的基礎(chǔ)架構(gòu)。4．存儲資源池架構(gòu)方案設(shè)計 存儲資源池基礎(chǔ)架構(gòu)存儲資源池的基礎(chǔ)架構(gòu)可以分為物理與邏輯兩個層面，在物理層面主要包括設(shè)備的選型、連接、硬件分級架構(gòu)搭建等方面。為虛擬機分配的存儲資源在不中斷主機I/O的情況下的動態(tài)調(diào)整。并且保證數(shù)據(jù)的遷移對于用戶完全透明。采用分級存儲功能將不同業(yè)務(wù)、安全程度不同的數(shù)據(jù)分別存儲在不同的存儲設(shè)備與RAID保護機制上。 遼寧移動網(wǎng)管存儲資源池需求通過以上對遼寧移動存儲資源現(xiàn)狀分析我們得出遼寧移動網(wǎng)管OA系統(tǒng)存儲資源現(xiàn)在所面臨的問題：部署大量的虛擬主機需要存儲系統(tǒng)對虛擬機快速部署的支持。因此遼寧移動已經(jīng)提交了VTL虛擬磁帶庫的采購計劃。雖然LTO3磁帶在備份數(shù)據(jù)時可以達到最大80MB/s左右的備份速度，8臺驅(qū)動器同時工作可以達到640MB/s左右，但80MB/s為理論值，實際環(huán)境中LTO3磁帶備份大容量任務(wù)時可以達到50MB/s，備份多個小容量任務(wù)時由于機械手處于頻繁定位磁帶，抓帶、卷帶的物理動作，因此只能達到30MB/s左右。對于數(shù)據(jù)的保護沒有分級，不論安全級別高低全部采用一種保護模式。因此遼寧移動已經(jīng)針對此狀況申請購買了如下存儲備份設(shè)備：設(shè)備類型數(shù)量容量中端存儲170TB虛擬帶庫1　DMX3磁盤76從現(xiàn)狀中我們不難發(fā)現(xiàn)，遼寧移動網(wǎng)管系統(tǒng)的存儲設(shè)備比較全面，但所面臨的最大問題就是資源不足，導(dǎo)致資源不足的原因有幾種：數(shù)據(jù)增長過快。3．存儲資源池需求分析 遼寧移動網(wǎng)管存儲設(shè)備現(xiàn)狀目前遼寧移動網(wǎng)管系統(tǒng)已經(jīng)采用了EMC DMXEMC CX500、HP EVA4000等存儲陣列作為在線生產(chǎn)系統(tǒng)的存儲設(shè)備，采用HP EML24ADIC i500磁帶庫作為備份磁帶設(shè)備。這種搭建方式的優(yōu)勢是存儲網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。iSCSI設(shè)備的端口可以實現(xiàn)后端聚合用以增大帶寬。這樣需要在計算主機端多分配適配卡（可以是普通以太網(wǎng)卡也可以是專用iSCSI適配卡）或以太端口，采用以太網(wǎng)交換機作為數(shù)據(jù)交換設(shè)備。 為iSCSI存儲新建專署的存儲網(wǎng)絡(luò)。在遼寧GEDC項目中如果用戶購買的存儲設(shè)備具備iSCSI功能，可以考慮適當(dāng)?shù)牟渴餴SCSI網(wǎng)絡(luò)架構(gòu)。投資少，不需要購買昂貴的HBA卡和FC交換機。有了這些數(shù)據(jù)流控制機制，客戶可以很好的分配和利用帶寬資源，為應(yīng)用程序服務(wù)，例如核心數(shù)據(jù)庫應(yīng)用為最核心業(yè)務(wù)，劃分為高優(yōu)先級，而OA、郵件則為低優(yōu)先級應(yīng)用，這樣，在業(yè)務(wù)流量最繁忙以至于達到瓶頸時，高優(yōu)先級別的業(yè)務(wù)獲得了更多的傳輸帶寬，保證了高優(yōu)先級別業(yè)務(wù)的服務(wù)水準(zhǔn)。例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫、應(yīng)用傳輸鏈路隔離從而保證各自的帶寬需求。b. Traffic isolation指定特定設(shè)備使用特定的端口和路徑。例如在核心業(yè)務(wù)系統(tǒng)繁忙的時刻突然郵件系統(tǒng)產(chǎn)生大量群發(fā)郵件造成SAN架構(gòu)資源緊張時可以利用此功能將郵件系統(tǒng)聯(lián)入端口的寫入流量。要求為SAN網(wǎng)絡(luò)配置一種功能全面的網(wǎng)絡(luò)管理應(yīng)用平臺，可實現(xiàn)數(shù)據(jù)中心Fabric架構(gòu)的端到端管理。核心骨干路由器連接兩臺SAN導(dǎo)向器的千兆以太網(wǎng)端口和其ATM端口可以定義為一個Bridge Group，北京端也按同樣的配置，這樣核心骨干路由器上無需配置任何IP地址就可實現(xiàn)兩邊存儲網(wǎng)絡(luò)的互通，由于無IP地址，不參加核心骨干路由器內(nèi)部的IP路由，存儲網(wǎng)絡(luò)流量和核心骨干路由器上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。通過采用FCIP方式實現(xiàn)存儲網(wǎng)絡(luò)的遠程擴展， FCIP功能可以直接由SAN導(dǎo)向器中的FCIP模塊提供，這樣利用SAN導(dǎo)向器的可靠容錯機制，減少了外部設(shè)備和SAN交換機互連所產(chǎn)生的額外故障點，流量可以在SAN導(dǎo)向器交換機上的FCIP端口與其它存儲端口之間任意交換。 FCIP遠距離容災(zāi)擴展設(shè)計 通過上節(jié)對SAN網(wǎng)絡(luò)在同城內(nèi)的幾種擴展容災(zāi)方式的分析，可以解決GEDC相距在100MK左右時所要實現(xiàn)的數(shù)據(jù)同步，業(yè)務(wù)容災(zāi)模式。多個ISLs通過網(wǎng)絡(luò)互聯(lián)以提供額外的帶寬和冗余以防交換機上或距離延展設(shè)備上的端口失效。不同的方法提供了不同層次的可用性并且為了滿足可用性的需求這些方法可能