【正文】 大重要問題。對于SAN, 這就意味著進行前所未有的大規(guī)模整合，并通過存儲及網(wǎng)絡(luò)虛擬化方面的改進提高可管理性。在這些環(huán)境中，SAN一般在彼此之間或與企業(yè)中的工作組和中型系統(tǒng)并不集成，主要原因是，并非企業(yè)中的所有部門或工作組均需要共享所有的數(shù)據(jù)，因此，盡管 SAN 從理論上能夠擴展到幾千個節(jié)點，但實際上這種情況很少發(fā)生。以上現(xiàn)狀表明遼寧移動網(wǎng)管系統(tǒng)的SAN網(wǎng)絡(luò)現(xiàn)狀目前面臨著幾個待解決問題：端口不足，目前剩余34端口，無法滿足今后GEDC項目中大量新增業(yè)務(wù)系統(tǒng)的接入需求。能夠按業(yè)務(wù)系統(tǒng)對存儲系統(tǒng)進行訪問，不同的業(yè)務(wù)系統(tǒng)訪問相應(yīng)的存儲。在本次項目中使用中高端存儲、交換、備份設(shè)備，%?？梢詫崿F(xiàn)分區(qū)管理以及故障隔離，當某一個Virtual Fabric中發(fā)生故障可以隔離不同virtual fabric間的廣播風暴。同時各業(yè)務(wù)系統(tǒng)的virtual fabric又通過base與備份區(qū)VF4連通，共享備份區(qū)內(nèi)的備份設(shè)備，備份區(qū)內(nèi)連接備份服務(wù)器、VTL虛擬帶庫以及PTL物理帶庫。BackBone是所有在SAN導向器上的端口，設(shè)備可以通過LSAN_zone從Back Bone輸出到其他edge Fabric。在數(shù)據(jù)量交互較大時仍然需要將多條鏈路聚合。在簡單網(wǎng)絡(luò)環(huán)境中，本地化設(shè)計比較容易實現(xiàn)；但隨著網(wǎng)絡(luò)復雜性的提升，本地化基本上不可能實現(xiàn)。但備份作業(yè)一般在業(yè)務(wù)不繁忙的夜間進行，因此不會給業(yè)務(wù)系統(tǒng)帶來壓力。分區(qū)允許主機訪問某個存儲陣列特定端口上的所有LUNs。包括在使用光纖通道路由FCR時，同樣適用PWWN識別。 ” 與SIZ ，每個區(qū)域只有一個單獨的HBA卡和一個或多個存儲端口。設(shè)備之間通過LSAN_zone方式互聯(lián)，但為了保證VF之間、Core Fabric與Edge Fabric之間無關(guān)系統(tǒng)的隔離，需要對SAN路由作詳細設(shè)計。Virtualization 每個NPIV設(shè)備有獨立的deviceN_Portport連接的設(shè)備。打開和關(guān)閉port的NPIV功能。指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級別,可以將NPIV連接線的內(nèi)部劃分成高，中，低三個優(yōu)先級別，高優(yōu)先級獲得最高的帶寬，而低優(yōu)先級別獲得最低的傳輸帶寬。VF1還具備5端口的擴展能力，在近期內(nèi)能夠充分滿足用戶對核心數(shù)據(jù)庫區(qū)的擴展需求。在VF3中大量應(yīng)用服務(wù)器以虛擬機的形式存在，因此要求涉及連接的所有交換機都支持NPIV的劃分方式。cfgAdd “config1”, “l(fā)san_stn_w2k_hdsB。TIMP系統(tǒng)所使用的EVA4000磁盤陣列配置2個控制器，每控制器4個前端端口，設(shè)計連接到VF5區(qū)中的端口卡1上。 Edge Fabric區(qū)域劃分Edge Fabric區(qū)域主要是用于核心交換機連接邊緣交換機用于擴展核心交換機的端口擴展能力。在測試區(qū)交換機與核心SAN導向器間的路由原則為，通過LSAN的劃分，使測試區(qū)與VF4備份區(qū)互通，這樣可以保證備份服務(wù)器可以將核心區(qū)備份的數(shù)據(jù)恢復到測試區(qū)進行測試、開發(fā)。端口板擴展在近期內(nèi)最適用于本項目為了聯(lián)入更多系統(tǒng)而采用的SAN擴展方式。以Brocade DCX為例：雙機箱串聯(lián)配置可以達到13 Tbit/sec 聚合帶寬，768個通用FC端口，2 個domain；每個機箱4 個特殊的ICL 端口 (銅針) 來進行機箱的互連，每個ICL端口包含16個8G FC連接， Tbit/sec集合帶寬，ICL保留128個8G E_port來連接兩個機箱。兩臺DCX物理鏈路互通。具體可分為2種方式，一種是采用光纖通道路由FCR的方式將多個SAN孤島連接擴展。ISL擴展模式稱為Cascading，主要作用是將現(xiàn)有SAN網(wǎng)或者Virtual Fabric中的交換機端口擴展，需要將新的交換機加入原有SAN中成為原有SAN網(wǎng)中的組組成部分，受Primary SAN交換機控制，分配zoning信息配置。在設(shè)計過程中的兩個重要的概念為：恢復點目標(RPO)和恢復時間目標(RTO)。單模光纖總是用于光網(wǎng)絡(luò)的長距離延展甚至經(jīng)常用于同一數(shù)據(jù)中心內(nèi)部FICON的安裝中。以下任一種技術(shù)都能提供切實可行的長距離連接解決方案，但要選擇適合的方案取決于多種因素包括技術(shù)，成本或是可擴展性的需求。另外在可能需要多個E_Ports的地方，有必要把他們分散到不同的port groups里以最大化可用的buffer credits數(shù)量。注意你應(yīng)當“硬”設(shè)置FC端口速率到所期望的速率以確保WDM衰減器能鎖定這個ISL的比特率。通過采用FCIP方式實現(xiàn)存儲網(wǎng)絡(luò)的遠程擴展， FCIP功能可以直接由SAN導向器中的FCIP模塊提供，這樣利用SAN導向器的可靠容錯機制，減少了外部設(shè)備和SAN交換機互連所產(chǎn)生的額外故障點，流量可以在SAN導向器交換機上的FCIP端口與其它存儲端口之間任意交換。b. Traffic isolation指定特定設(shè)備使用特定的端口和路徑。在遼寧GEDC項目中如果用戶購買的存儲設(shè)備具備iSCSI功能，可以考慮適當?shù)牟渴餴SCSI網(wǎng)絡(luò)架構(gòu)。這種搭建方式的優(yōu)勢是存儲網(wǎng)與業(yè)務(wù)網(wǎng)分離，不影響業(yè)務(wù)帶寬。雖然LTO3磁帶在備份數(shù)據(jù)時可以達到最大80MB/s左右的備份速度，8臺驅(qū)動器同時工作可以達到640MB/s左右，但80MB/s為理論值，實際環(huán)境中LTO3磁帶備份大容量任務(wù)時可以達到50MB/s，備份多個小容量任務(wù)時由于機械手處于頻繁定位磁帶，抓帶、卷帶的物理動作，因此只能達到30MB/s左右。并且保證數(shù)據(jù)的遷移對于用戶完全透明。存儲資源池中應(yīng)包括在線存儲：高端存儲、中端存儲、低端存儲，近線存儲：虛擬帶庫存儲、低端存儲，離線存儲：磁帶庫存儲等設(shè)備。存儲集中化與虛擬化都是解決了存儲設(shè)備資源利用率、存儲擴展靈活性、存儲管理統(tǒng)一性等問題。基于軟件的架構(gòu)是在需要進行虛擬化存儲的主機上安裝類似卷管理軟件，由卷管理軟件對底層硬件設(shè)備的LUN進行管理、擴展。 創(chuàng)建虛擬池的方法很簡單，您只需指定一個名稱，選擇驅(qū)動器類型和容量，然后選擇適當?shù)?RAID 保護級別即可。當數(shù)據(jù)對生產(chǎn)系統(tǒng)完全失效時將其歸檔到大容量的離線設(shè)備上，在今后為企業(yè)提供歷史數(shù)據(jù)、審計需求使用。SATA存儲只建議在歸檔系統(tǒng)或者備份系統(tǒng)上使用，用于節(jié)省主存儲空間和加快備份恢復速度。如下圖所示：在計算資源池中包括核心數(shù)據(jù)庫系統(tǒng)、OA系統(tǒng)、郵件系統(tǒng)等多種數(shù)據(jù)，但從數(shù)據(jù)結(jié)構(gòu)分可分為兩類：結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫，與非結(jié)構(gòu)化數(shù)據(jù)文檔、文本、報表、圖片、郵件等。如果被歸檔到磁帶的數(shù)據(jù)則需要恢復到磁盤才可以被訪問。因此長期保存的數(shù)據(jù)要從虛擬帶庫中遷移到物理帶庫作離線保存，釋放虛擬帶庫空間為下一次備份作準備。要實現(xiàn)存儲資源池動態(tài)的擴展就必須基于前一章提及的存儲虛擬化，無論是采用硬件層面、邏輯層面、還是基于Virtual Provisioning都可以幫助用戶實現(xiàn)存儲資源在計算資源中的動態(tài)擴展。Storage Foundation軟件識別到新映射的LUN。操作系統(tǒng)識別Thin LUN的虛擬容量，并格式化使用。將新加入的系統(tǒng)HBA卡與存儲資源池中所占的交換機端口綁定劃分安全域zone。 存儲資源實時保護設(shè)計存儲在存儲資源池中的數(shù)據(jù)將會按照用戶制定的備份策略，備份到虛擬帶庫和磁帶庫中，實現(xiàn)部分物理保護和部分邏輯保護。在遼寧移動GEDC項目中的存儲設(shè)備都具備快照功能。存儲設(shè)備的同步復制在遼寧移動現(xiàn)有的存儲設(shè)備上全部都有自己的解決方案，如DMX通過SRDF復制，CX通過Mirrorview復制等，但復制的對象必須是相同平臺的產(chǎn)品，DMX只能與DMX之間復制。在此設(shè)備現(xiàn)有存儲容量上根據(jù)測試區(qū)需求添加部分容量，以滿足測試區(qū)需求。 驗證SAN網(wǎng)絡(luò)優(yōu)化管理能力。（。 驗證第三方軟件的卷擴展功能。這樣在測試區(qū)在線設(shè)備與近線設(shè)備同處于一臺存儲中，大大節(jié)省用戶的TCO?？梢圆捎肰olume manager軟件與磁盤復制鏡像軟件相結(jié)合的方式實現(xiàn)存儲資源池的數(shù)據(jù)級容災(zāi)。快照數(shù)據(jù)除了實現(xiàn)數(shù)據(jù)的邏輯保護，還可以配合備份軟件實現(xiàn)高級的數(shù)據(jù)備份，以及在節(jié)省空間的情況下為測試開發(fā)使用。但當用戶還沒有完成備份作業(yè)時發(fā)生物理故障或者邏輯故障則會丟失上一次備份到故障發(fā)生時之間的數(shù)據(jù)，造成用戶的損失。操作系統(tǒng)識別LUN并格式化 在傳統(tǒng)的時間規(guī)劃上5步驟根據(jù)管理員的操作熟練程度基本每一步都可以在數(shù)分鐘內(nèi)完成，而第二步LUN的創(chuàng)建則需要根據(jù)所創(chuàng)建的LUN大小來決定初始化的時間。管理員為Thin Pool加入更多的磁盤，并在線擴展Thin LUN。 Virtual Provisioning擴展卷管的擴展方式功能十分強大，但需要在每臺主機內(nèi)安裝軟件，投資成本較高，因此只適用于核心數(shù)據(jù)庫系統(tǒng)。 Virtual Provisioning可以將較小的空間虛擬成很大的空間映射給操作系統(tǒng)，操作系統(tǒng)識別到的就是虛擬的空間，然后通過閥值的設(shè)定，當容量達到一定比例時擴展這塊空間來達到空間的動態(tài)擴展。新購的VTL在部署上非常簡單，原有的備份策略不需要改動，只需要把VTL虛擬成原有磁帶庫一樣的型號HP EML245，8個LTO3驅(qū)動器即可。示例圖如下：備份數(shù)據(jù)分級設(shè)計就是我們常說的DDT的備份結(jié)構(gòu)，由于磁帶庫在進行大量小數(shù)據(jù)量備份任務(wù)時機械動作會消耗大量時間使備份恢復窗口過長導致備份任務(wù)失敗或者備份恢復時間不夠。歷史庫可以使用低端存儲、SATA磁盤創(chuàng)建，以節(jié)省TCO。OA、財務(wù)、應(yīng)用服務(wù)等系統(tǒng)使用的中端存儲設(shè)備將具備70TB裸容量存儲。以下將分別對這3種方式進行闡述。分配容量后，虛擬資源調(diào)配可根據(jù)預(yù)先設(shè)定的閾值監(jiān)控資源使用率，并自動發(fā)出警報，以便能夠無中斷地擴展池容量。其缺點是每臺需要實現(xiàn)虛擬化存儲的主機都需要安裝軟件，軟件投資較大，因此我方建議僅僅在重要的核心數(shù)據(jù)庫系統(tǒng)部署此軟件。存儲設(shè)備數(shù)量大大減少并且管理統(tǒng)一。%的存儲設(shè)備作為基礎(chǔ)架構(gòu)的底層設(shè)備，才能保證存儲資源池的安全可靠。為虛擬機分配的存儲資源在不中斷主機I/O的情況下的動態(tài)調(diào)整。因此遼寧移動已經(jīng)提交了VTL虛擬磁帶庫的采購計劃。3．存儲資源池需求分析 遼寧移動網(wǎng)管存儲設(shè)備現(xiàn)狀目前遼寧移動網(wǎng)管系統(tǒng)已經(jīng)采用了EMC DMXEMC CX500、HP EVA4000等存儲陣列作為在線生產(chǎn)系統(tǒng)的存儲設(shè)備，采用HP EML24ADIC i500磁帶庫作為備份磁帶設(shè)備。 為iSCSI存儲新建專署的存儲網(wǎng)絡(luò)。例如備份網(wǎng)絡(luò)與數(shù)據(jù)庫、應(yīng)用傳輸鏈路隔離從而保證各自的帶寬需求。核心骨干路由器連接兩臺SAN導向器的千兆以太網(wǎng)端口和其ATM端口可以定義為一個Bridge Group，北京端也按同樣的配置，這樣核心骨干路由器上無需配置任何IP地址就可實現(xiàn)兩邊存儲網(wǎng)絡(luò)的互通，由于無IP地址，不參加核心骨干路由器內(nèi)部的IP路由，存儲網(wǎng)絡(luò)流量和核心骨干路由器上現(xiàn)有數(shù)據(jù)網(wǎng)絡(luò)流量完全隔離，互不影響。不同的方法提供了不同層次的可用性并且為了滿足可用性的需求這些方法可能被單獨使用或是一起使用。DWDM適用于大企業(yè)及租借波長給客戶的服務(wù)提供商。即用長波SFP光收發(fā)器將FC交換機之間用暗光纖直連。有多種類型的單模光纖，每一種都有各自不同的特性，因此當部署一個SAN延展解決方案時要充分考慮這些因素。l 中等級別：RTO從幾分鐘到幾小時之間，兩站點間需要高速的數(shù)據(jù)復制，可以是同步，也可以是異步。劣勢是一個SAN網(wǎng)絡(luò)端口過多帶來的管理難度與故障率增高，并且在連接新的SAN交換機時需要配置其DomainID與Zoning信息不能與核心交換機沖突。2種方式雖然都能起到SAN網(wǎng)絡(luò)擴展的效果，但所采用的技術(shù)不同，所以應(yīng)根據(jù)實際環(huán)境分別設(shè)計。Brocade Extended Fabric功能支持在2Gbit/sec速率下連接60公里、在1Gbit/sec速率下連接100公里的ISL，同時保證滿帶寬傳輸。實現(xiàn)步驟如下：第一臺DCX上線時已經(jīng)配置了Default Switch包括所有的端口，Default Switch自動分配1個保留的FabricID FID為128。在VF網(wǎng)絡(luò)設(shè)計部分我方建議將Core Fabric分為04，5個Virtual Fabric，新增的端口板可以加入原有的VF內(nèi)，也可以單獨組建VF。在必要時可以使生產(chǎn)端主機看到測試區(qū)存儲，但不允許測試區(qū)主機與生產(chǎn)端存儲互通。因此其他區(qū)域需要以邊緣的模式，通過Routing連接到SAN導向器中。新增的CX4磁盤陣列建議配置2個控制器，每控制器8個前端端口，設(shè)計連接到VF5區(qū)中的端口卡2和3上。cfgEanble “config1” VF5存儲資源區(qū)域劃分VF5區(qū)劃分為存儲資源池，VF5劃分原則為橫跨所有會與存儲資源池有數(shù)據(jù)交互的VF計算資源區(qū)所存在的端口板上。當虛擬機需要的存儲空間大于75GB時，建議直接將LUN映射給虛擬機采用LDM的方式，利用交換機NPIV技術(shù)使虛擬端口和LUN仍然實現(xiàn)單個啟動程序分區(qū)SIZ的方式。OA系統(tǒng)主機表：SUN Solarisbpmapp01/bpmdb01SUN V4800bpmapp01/bpmdb01WindowsArchive2HP DL380OA檔案系統(tǒng)Archive3/4HP DL580OA檔案系統(tǒng)Archive3/4HP DL580OA檔案系統(tǒng)EPM1/2HP DL580EPMElearningHP DL580ElearningHP UXUIPORACLE/UIPPORTALHP RP4440UIPORACLE/UIPPORTALOVSA1/OVSA2HP RP4440OVSA1/OVSA2HP UXArchive1HP RX4640OA檔案系統(tǒng)Documentum/MAXIMO1/MAXIMO2HP RP4440Documentum/MAXIMO1/MAXIMO2WindowsDocBack1/DocBack2HP DL580公文后端1,2,3,4OASQL1HP DL580OA SQL SERVERWindowsDocBack3/DocBack4HP DL580公文后端1,2,3,4OASQL2HP DL580