【正文】 源池中包括核心數(shù)據(jù)庫系統(tǒng)、OA系統(tǒng)、郵件系統(tǒng)等多種數(shù)據(jù)，但從數(shù)據(jù)結(jié)構(gòu)分可分為兩類：結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫，與非結(jié)構(gòu)化數(shù)據(jù)文檔、文本、報表、圖片、郵件等。 對于結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)可以采用ETL(ExtractTransformLoad)的方式將數(shù)據(jù)傳輸加載到歷史庫中，歷史庫中的數(shù)據(jù)可作為歷史查詢，審計使用。歷史庫可以使用低端存儲、SATA磁盤創(chuàng)建，以節(jié)省TCO。對于非結(jié)構(gòu)化數(shù)據(jù)可以采用第三方ILM軟件實現(xiàn)對在線存儲系統(tǒng)中數(shù)據(jù)的監(jiān)控，通過設(shè)定策略將數(shù)據(jù)定期遷移到近線存儲與離線存儲上保存，從而釋放生產(chǎn)存儲的空間。遷移的策略可以按創(chuàng)建時間、最后訪問時間、訪問頻率、指定時間等方式創(chuàng)建，也可以根據(jù)需要手動遷移。遷移后的數(shù)據(jù)對于前端用戶的訪問是透明的，用戶并不察覺數(shù)據(jù)存儲的位置，仍然可以在線的讀寫數(shù)據(jù)。這是通過在主存儲上保留遷移數(shù)據(jù)的指針實現(xiàn)的。釋放的在線存儲空間可以為用戶利用，從而節(jié)省企業(yè)總體擁有成本TCO。如果被歸檔到磁帶的數(shù)據(jù)則需要恢復(fù)到磁盤才可以被訪問。同時由于大量的歷史數(shù)據(jù)被遷移出在線存儲設(shè)備，也為備份任務(wù)減輕了壓力，加快了備份與恢復(fù)窗口，減少了備份需求容量。示例圖如下：備份數(shù)據(jù)分級設(shè)計就是我們常說的DDT的備份結(jié)構(gòu)，由于磁帶庫在進(jìn)行大量小數(shù)據(jù)量備份任務(wù)時機械動作會消耗大量時間使備份恢復(fù)窗口過長導(dǎo)致備份任務(wù)失敗或者備份恢復(fù)時間不夠。不能形成有效的備份和快速的恢復(fù)。而我們作備份的目的就是要在發(fā)生故障后以最快的速度進(jìn)行數(shù)據(jù)恢復(fù)。因此采用磁盤作為中間節(jié)制加快備份和恢復(fù)速度可以很好的解決目前所面臨的問題。目前遼寧移動已經(jīng)具備了大規(guī)模SAN備份架構(gòu)，具備一臺HP EML245磁帶庫，配置了8臺LTO3驅(qū)動器，250盤400GB磁帶，并計劃采購1臺VTL虛擬帶庫設(shè)備，搭建DDT的備份架構(gòu)。在DDT的架構(gòu)中虛擬帶庫起到加快備份速度和恢復(fù)速度的作用，但由于磁帶空間的成本仍然大大低于磁盤空間成本，并且磁帶設(shè)備為離線設(shè)備，磁盤為在線設(shè)備。因此長期保存的數(shù)據(jù)要從虛擬帶庫中遷移到物理帶庫作離線保存，釋放虛擬帶庫空間為下一次備份作準(zhǔn)備。建議在虛擬帶庫中保存的備份數(shù)據(jù)按照用戶需求在3個月之內(nèi)，3個月以上的歷史備份數(shù)據(jù)離線保存。新購的VTL在部署上非常簡單，原有的備份策略不需要改動，只需要把VTL虛擬成原有磁帶庫一樣的型號HP EML245，8個LTO3驅(qū)動器即可。備份軟件會自動將數(shù)據(jù)備份到虛擬帶庫，原有的物理帶庫在邏輯上設(shè)定連接在虛擬帶庫后面，由虛擬帶庫將過期數(shù)據(jù)遷移到物理帶庫。遷移的過程對備份軟件要求是透明的，如果需要恢復(fù)的數(shù)據(jù)在虛擬帶庫則備份軟件從虛擬帶庫恢復(fù)，如果需要恢復(fù)的數(shù)據(jù)已經(jīng)遷移到物理帶庫則備份軟件從物理帶庫直接恢復(fù)。數(shù)據(jù)備份設(shè)計會在備份章節(jié)中詳細(xì)介紹。 存儲資源動態(tài)擴(kuò)展設(shè)計 存儲資源池是基于SAN架構(gòu)搭建，在本項目中存在VF5虛擬分區(qū)中，資源池的擴(kuò)展需要在SAN網(wǎng)絡(luò)擴(kuò)展的基礎(chǔ)上實現(xiàn)，當(dāng)隨著存儲設(shè)備的增多，連入計算資源池的增加，VF5也可以動態(tài)的擴(kuò)展下去，新增的存儲設(shè)備可以無縫的添加到資源池中。但新加入的存儲資源如何動態(tài)的分配擴(kuò)展到原有計算資源中就成為存儲管理員需要注意的地方。要實現(xiàn)存儲資源池動態(tài)的擴(kuò)展就必須基于前一章提及的存儲虛擬化，無論是采用硬件層面、邏輯層面、還是基于Virtual Provisioning都可以幫助用戶實現(xiàn)存儲資源在計算資源中的動態(tài)擴(kuò)展。采用第三方軟件的邏輯虛擬化可以簡化和統(tǒng)一存儲動態(tài)擴(kuò)展的過程，采用硬件層面的虛擬化雖然可以實現(xiàn)底層RAID、LUN的擴(kuò)展但如果做到系統(tǒng)級動態(tài)擴(kuò)展還是要借助操作系統(tǒng)的卷擴(kuò)展功能，比如VG、LV等，或者第三方卷管理軟件。 Virtual Provisioning可以將較小的空間虛擬成很大的空間映射給操作系統(tǒng)，操作系統(tǒng)識別到的就是虛擬的空間，然后通過閥值的設(shè)定，當(dāng)容量達(dá)到一定比例時擴(kuò)展這塊空間來達(dá)到空間的動態(tài)擴(kuò)展?；谝陨戏治鼋ㄗh在GEDC項目中采用基于軟件級別的邏輯虛擬化擴(kuò)展以及Virtual Provisioning擴(kuò)展結(jié)合的方式。 Volume Manager擴(kuò)展采用卷管理軟件達(dá)到存儲資源池的動態(tài)擴(kuò)展是最為簡便統(tǒng)一的方法，它可以支持不同的底層硬件平臺，不同存儲架構(gòu)的LUN由Volume Manager統(tǒng)一管理，采用不同的條帶化技術(shù)進(jìn)行整合，保護(hù)。采用Volume Manager軟件不僅可以實現(xiàn)存儲資源的動態(tài)擴(kuò)展，也可以實現(xiàn)存儲資源的動態(tài)縮小。也就是說可以實現(xiàn)動態(tài)調(diào)整資源卷。實現(xiàn)方式以Volume Manager軟件為例，實現(xiàn)LUN擴(kuò)展，例如向現(xiàn)有VxFS文件系統(tǒng)中添加300MB空間：通過磁盤陣列軟件創(chuàng)建RAID、LUN并映射給主機OS。Storage Foundation軟件識別到新映射的LUN。Volume Manager軟件執(zhí)行vxresize g hrdg payvol +300m（或通過圖形界面），擴(kuò)展空間。 Virtual Provisioning擴(kuò)展卷管的擴(kuò)展方式功能十分強大，但需要在每臺主機內(nèi)安裝軟件，投資成本較高，因此只適用于核心數(shù)據(jù)庫系統(tǒng)。對于一些應(yīng)用服務(wù)系統(tǒng)以及虛擬機如果同樣采用這種方式則投資過大，因此建議對于次關(guān)鍵業(yè)務(wù)建議采用類似虛擬資源供應(yīng)Virtual Provisioning技術(shù)。VP技術(shù)可以在存儲設(shè)備端通過將實際容量比較小的LUN虛擬為大容量的LUN映射給主機，比如將實際空間10GB的LUN虛擬為1TB，OS識別到的LUN為虛擬的LUN空間為1TB，在存儲設(shè)備上對寫入實際空間設(shè)定閥值，當(dāng)達(dá)到閥值時采用告警的方式通知管理員擴(kuò)容，這時可以通過為實際LUN擴(kuò)展的方式為OS加入新的容量空間，而在如過程對OS完全透明，因為OS已經(jīng)認(rèn)為其就是1TB空間。實現(xiàn)方法以EMC CX4磁盤陣列為例：在陣列中通過NAVI軟件創(chuàng)建Thin Pool，在其中配置需要的RAID Group。通過創(chuàng)建的Thin pool創(chuàng)建Thin LUN，分配實際物理空間并虛擬化邏輯空間。創(chuàng)建Storage Group將主機系統(tǒng)與Thin LUN加入，使其創(chuàng)建連接。操作系統(tǒng)識別Thin LUN的虛擬容量，并格式化使用。設(shè)定閥值，當(dāng)Thin LUN的實際空間達(dá)到時通過界面、郵件、短消息的方式告警。管理員為Thin Pool加入更多的磁盤，并在線擴(kuò)展Thin LUN。 通過這種以上6個步驟可以保證虛擬機與物理機所使用的LUN在線動態(tài)擴(kuò)展。 存儲資源快速部署設(shè)計存儲資源的快速部署是現(xiàn)代綠色數(shù)據(jù)中心的重要功能，如何能在最短的時間為新加入的業(yè)務(wù)系統(tǒng)分配存出空間需要管理員詳細(xì)的設(shè)計。存儲資源的部署包含以下幾個步驟：假設(shè)存儲資源池已經(jīng)準(zhǔn)備完畢，所有線纜連接完畢，并且存儲資源池中的存儲空間可以滿足新加入系統(tǒng)的存儲空間需求。根據(jù)所要保存數(shù)據(jù)的重要程度在存儲系統(tǒng)端創(chuàng)建相應(yīng)的RAID Group。根據(jù)所要分配的空間大小在RAID Group上創(chuàng)建LUN。將新加入的系統(tǒng)HBA卡與存儲資源池中所占的交換機端口綁定劃分安全域zone。將LUN映射給所需系統(tǒng)。操作系統(tǒng)識別LUN并格式化 在傳統(tǒng)的時間規(guī)劃上5步驟根據(jù)管理員的操作熟練程度基本每一步都可以在數(shù)分鐘內(nèi)完成，而第二步LUN的創(chuàng)建則需要根據(jù)所創(chuàng)建的LUN大小來決定初始化的時間。500GB的空間大約需要3060分鐘完成，如果更大的空間則需要更長的時間，這樣就無法保證存儲分配的效率。但現(xiàn)在可以通過后臺初始化的技術(shù)來避免初始化時間過長而導(dǎo)致的存儲分配效率問題。用戶可以利用此技術(shù)快速為操作系統(tǒng)提供虛擬的初始化完成的LUN，LUN可以立刻被操作系統(tǒng)識別并格式化，而LUN的條帶化則由后臺慢慢完成，對使用者完全透明。目前的主流存儲設(shè)備基本都支持此功能，如EMC CX4系列產(chǎn)品。因此通過以上5個步驟可以實現(xiàn)標(biāo)書中在2小時內(nèi)實現(xiàn)完成用戶提出的存儲需求的要求。 存儲資源實時保護(hù)設(shè)計存儲在存儲資源池中的數(shù)據(jù)將會按照用戶制定的備份策略，備份到虛擬帶庫和磁帶庫中，實現(xiàn)部分物理保護(hù)和部分邏輯保護(hù)。無論當(dāng)發(fā)生硬件損壞的物理故障還是備份后數(shù)據(jù)丟失、刪改等邏輯故障，我們都可以從備份系統(tǒng)中將數(shù)據(jù)恢復(fù)。但當(dāng)用戶還沒有完成備份作業(yè)時發(fā)生物理故障或者邏輯故障則會丟失上一次備份到故障發(fā)生時之間的數(shù)據(jù)，造成用戶的損失。因此除了采用RAID技術(shù)對底層磁盤進(jìn)行保護(hù)外，還需要采用鏡像、快照等方式對存儲資源池中的數(shù)據(jù)進(jìn)行實時保護(hù)?？煺占夹g(shù)主要應(yīng)用于數(shù)據(jù)邏輯層面的保護(hù)，通過保存在存儲設(shè)備中的變化數(shù)據(jù)的引用標(biāo)記或指針的方式對數(shù)據(jù)進(jìn)行快照保護(hù)，可以在秒級備份或者恢復(fù)數(shù)TB的數(shù)據(jù)?？煺盏臄?shù)量與間隔時間要按照對數(shù)據(jù)保護(hù)的級別和存儲設(shè)備的支持情況而定。但快照技術(shù)屬于邏輯保護(hù)機制，因為快照出的指針文件依然保存在同一個存儲設(shè)備上，如果整個設(shè)備故障則快照數(shù)據(jù)也將丟失。因此快照保護(hù)不能取代備份。在遼寧移動GEDC項目中的存儲設(shè)備都具備快照功能。只需要激活license許可即可使用?？煺諗?shù)據(jù)除了實現(xiàn)數(shù)據(jù)的邏輯保護(hù)，還可以配合備份軟件實現(xiàn)高級的數(shù)據(jù)備份，以及在節(jié)省空間的情況下為測試開發(fā)使用。下圖為快照實現(xiàn)原理：如果要對單一存儲系統(tǒng)實現(xiàn)物理保護(hù)則需要采用鏡像復(fù)制技術(shù)，此技術(shù)可以通過第三方軟件或者存儲設(shè)備自身軟件實現(xiàn)。主要區(qū)別是異構(gòu)和同構(gòu)，以及采用并行寫入還是串行寫入的區(qū)別。第三方軟件如Symantec的Volume manager可以實現(xiàn)異構(gòu)存儲平臺的鏡像保護(hù)以及數(shù)據(jù)的并行寫入兩臺存儲設(shè)備。而存儲設(shè)備自身的鏡像軟件只能采用同系列的產(chǎn)品之間鏡像，產(chǎn)品選擇受限，并且寫入的數(shù)據(jù)采用串行寫入，影響性能。因此建議用戶針對不同的數(shù)據(jù)可以分別采用保護(hù)機制。存儲設(shè)備的同步復(fù)制在遼寧移動現(xiàn)有的存儲設(shè)備上全部都有自己的解決方案，如DMX通過SRDF復(fù)制，CX通過Mirrorview復(fù)制等，但復(fù)制的對象必須是相同平臺的產(chǎn)品，DMX只能與DMX之間復(fù)制。在今后本機房計劃作為沈北的容災(zāi)機房，在沈北部署相應(yīng)得硬件設(shè)備與原件設(shè)備?？梢圆捎肰olume manager軟件與磁盤復(fù)制鏡像軟件相結(jié)合的方式實現(xiàn)存儲資源池的數(shù)據(jù)級容災(zāi)。 測試區(qū)存儲架構(gòu)設(shè)計測試區(qū)的存儲備份設(shè)備主要為開發(fā)測試環(huán)境提供需求快速響應(yīng)服務(wù)，由于開發(fā)測試區(qū)的規(guī)模要遠(yuǎn)遠(yuǎn)小于生產(chǎn)區(qū)，并且其主要功能是為生產(chǎn)系統(tǒng)提供驗證，測試，開發(fā)的平臺，并不承擔(dān)在線生產(chǎn)數(shù)據(jù)，因此安全級別與性能要求要遠(yuǎn)遠(yuǎn)小于生產(chǎn)區(qū)。在SAN架構(gòu)設(shè)計中我們把開發(fā)測試區(qū)作為SAN網(wǎng)絡(luò)架構(gòu)中的Edge Fabric區(qū)，采用2臺64口 4GB交換機連接到Core Fabric區(qū)，通過路由策略僅僅允許開發(fā)測試區(qū)的主機與備份區(qū)VF4中的備份設(shè)備相通。開發(fā)測試區(qū)作為一個獨立的區(qū)域，不建議與生產(chǎn)區(qū)存儲設(shè)備產(chǎn)生物理鏈路連接，因此對開發(fā)測試區(qū)的存儲備份系統(tǒng)建議單獨建立。由于其不擔(dān)任生產(chǎn)任務(wù)，因此保護(hù)級別可以設(shè)計的比較低，建設(shè)原則為滿足現(xiàn)有需求的情況下盡可能利舊設(shè)備，磁盤保護(hù)采用RAID5+Spare模式。在測試區(qū)的SAN網(wǎng)絡(luò)設(shè)計同樣采用核心區(qū)的設(shè)計原則，在存儲架構(gòu)設(shè)計上，我方建議利舊其他系統(tǒng)下線的存儲設(shè)備，例如：傳輸網(wǎng)管下線的EVA 4000存儲設(shè)備。在此設(shè)備現(xiàn)有存儲容量上根據(jù)測試區(qū)需求添加部分容量，以滿足測試區(qū)需求。為了加快測試區(qū)數(shù)據(jù)的備份速度，建議EVA4000再擴(kuò)展部分SATA磁盤作為近線存儲。這樣在測試區(qū)在線設(shè)備與近線設(shè)備同處于一臺存儲中，大大節(jié)省用戶的TCO。磁帶庫設(shè)備建議利舊1臺Quantum ADICi500磁帶庫，ADICi500磁帶庫為中端備份設(shè)備最大支持16個驅(qū)動器，408盤磁帶。目前i500配置了4個驅(qū)動器，60盤磁帶，充分滿足測試開發(fā)區(qū)的備份數(shù)據(jù)量。5．附件 附件1 存儲資源池測試說明驗證存儲資源池的連接，擴(kuò)展、管理、安全能力，并達(dá)到以下目的： 驗證SAN網(wǎng)絡(luò)的Virtual Fabric能力，測試VF之間的路由訪問通路。 驗證SAN網(wǎng)絡(luò)NPIV能力，測試單個物理端口的NPIV數(shù)量與性能。 驗證SAN網(wǎng)絡(luò)的擴(kuò)展能力，測試新購導(dǎo)向器與原有交換機的集連能力。 驗證SAN網(wǎng)絡(luò)優(yōu)化管理能力。 驗證存儲設(shè)備的Virtual Provisioning功能，測試其自動擴(kuò)展的能力。 驗證第三方軟件的卷擴(kuò)展功能。測試Virtual Fabric功能測試目的：測試SAN導(dǎo)向器的Virtual Fabric的各項功能測試步驟：a、在SAN導(dǎo)向器中按照VF的設(shè)計劃分多個VF b、在VF之間的互通性與限制性 c、在某個VF中添加端口，測試其擴(kuò)展性 d、將1個下線Swith連接到SAN導(dǎo)向器中的某個VF中，將其端口加入VF，測試VF與其他交換機的擴(kuò)展能力測試結(jié)果：劃分VF成功，擴(kuò)展成功，否則為不通過。測試SAN網(wǎng)絡(luò)NPIV功能測試目的：測試SAN導(dǎo)向器與交換機的NPIV功能測試步驟：a、將刀片服務(wù)器的SAN交換機連接到SAN導(dǎo)向器 b、通過SAN導(dǎo)向器設(shè)置端口的NPIV c、測試一個端口的NPIV最大數(shù)量與性能 d、測試NPIV端口之間、NPIV端口與物理端口之間的安全劃分Zone。測試結(jié)果：通過設(shè)置某一端口的NPIV達(dá)到連接到這臺刀片機上的虛擬機能夠訪問相應(yīng)的LUN，能訪問則測試通過，否則為不成功。 測試SAN網(wǎng)絡(luò)擴(kuò)展能力測試目的：測試SAN導(dǎo)向器與現(xiàn)有利舊交換機的連接能力測試步驟：a、利舊的SAN交換機連接到SAN導(dǎo)向器 b、通過多條鏈路ISL協(xié)議測試2個交換機是否互通，鏈路帶寬是否增大 c、測試SAN導(dǎo)向器到利舊交換機的路有功能測試結(jié)果：將利舊交換機連接SAN導(dǎo)向器，使用LSAN_zon將兩臺交換機需要互通端口連接，可以互通則測試成功，否則為不成功。 測試SAN網(wǎng)絡(luò)優(yōu)化功能測試目的：測試SAN導(dǎo)向器的網(wǎng)絡(luò)優(yōu)化功能測試步驟：a、限定設(shè)備連入交換機的端口流量 b、指定特定設(shè)備使用特定的端口和路徑 c、指定數(shù)據(jù)流傳輸?shù)膬?yōu)先級別測試結(jié)果：能夠?qū)崿F(xiàn)以上3個功能則測試通過，否則為不通