【正文】 。 系統(tǒng)容災(zāi)方案結(jié)構(gòu)和實(shí)現(xiàn)根據(jù)上面的闡述，我們提出了在SAN環(huán)境下，基于Veritas Storage Foundation遠(yuǎn)程鏡像的數(shù)據(jù)容災(zāi)方案：1． 生產(chǎn)中心與容災(zāi)中心通過裸光纖將兩邊的SAN 環(huán)境聯(lián)接起來。整個過程的速度，由于只是同步增量，時間遠(yuǎn)遠(yuǎn)小于整個數(shù)據(jù)系統(tǒng)的完全同步。4． 鏡像快速同步的過程中，用戶的應(yīng)用始終可以正常工作。2． 生產(chǎn)中心的Storage Foundation利用 DCO日志記錄因業(yè)務(wù)數(shù)據(jù)的變化而變化的數(shù)據(jù)塊。所謂FMR，其全稱是Fast Mirror Resync，意思就是“鏡像的快速再同步”，F(xiàn)MR是和DCO技術(shù)對應(yīng)的鏡像快速恢復(fù)技術(shù)，利用VERITAS Storage Foundation 的DCO和FMR技術(shù)，我們現(xiàn)在可以不用再擔(dān)心容災(zāi)系統(tǒng)本身的可維護(hù)性了。這也是什么主機(jī)廠商雖然也有類似鏡像功能，但不會用于容災(zāi)的的根本原因。這種方式，對于用戶的的應(yīng)用是無法接受的。因此，如何快速有效的實(shí)現(xiàn)鏡像的重新同步，同樣是一個容災(zāi)方案是否成功的關(guān)鍵因素。 故障修復(fù)后的恢復(fù)（遠(yuǎn)程鏡像快速恢復(fù)）磁盤系統(tǒng)故障修復(fù)之后，我們需要盡可能快的將遠(yuǎn)程鏡像系統(tǒng)恢復(fù)起來，以確保容災(zāi)的功能繼續(xù)得以實(shí)現(xiàn)，同時，在整個鏡像恢復(fù)的過程中，勢必會對應(yīng)用造成影響。而后，系統(tǒng)將自動的只與狀態(tài)健康的磁盤陣列繼續(xù)工作。 災(zāi)備中心數(shù)據(jù)系統(tǒng)故障以及生產(chǎn)中心和災(zāi)備中心SAN鏈路故障災(zāi)備中心數(shù)據(jù)系統(tǒng)故障，以及生產(chǎn)中心到災(zāi)備中心的鏈路故障，我們都可以把其看成是容災(zāi)部分的故障，其原理和后果與生產(chǎn)中的數(shù)據(jù)系統(tǒng)故障相同。值得注意的是：整個過程對應(yīng)用完全透明，不需要也不會中斷業(yè)務(wù)系統(tǒng)的正常運(yùn)行。從上圖我們看到，業(yè)務(wù)系統(tǒng)可以通過城域SAN網(wǎng)絡(luò)直接訪問災(zāi)備中心的磁盤系統(tǒng)的數(shù)據(jù)，而不需要有任何針對業(yè)務(wù)系統(tǒng)的動作。 當(dāng)生產(chǎn)中心數(shù)據(jù)系統(tǒng)故障生產(chǎn)中心數(shù)據(jù)系統(tǒng)故障意味著災(zāi)難，磁盤故障，鏈路故障，或者數(shù)據(jù)系統(tǒng)的計(jì)劃內(nèi)停機(jī)時間，也就一切導(dǎo)致主機(jī)無法訪問生產(chǎn)中心數(shù)據(jù)系統(tǒng)的情況。 Symantec遠(yuǎn)程鏡像數(shù)據(jù)容災(zāi)系統(tǒng)故障和災(zāi)難的響應(yīng)一個完整的災(zāi)備系統(tǒng)，除了在數(shù)據(jù)災(zāi)難發(fā)生時，能夠完成災(zāi)備的使命，需要考慮災(zāi)備系統(tǒng)本身的可維護(hù)性和可操作性，以及對系統(tǒng)盡可能快的恢復(fù)。利用城域SAN存儲網(wǎng)絡(luò)和VERITAS Storage Foundation鏡像功能，我們可以非常輕松的實(shí)現(xiàn)數(shù)據(jù)系統(tǒng)的異地容災(zāi)。我們可以看到，利用VERITAS Storage Foundation，我們可以創(chuàng)建任意一個邏輯卷（Volume）供業(yè)務(wù)主機(jī)使用，實(shí)際上是由兩個完全對等的，容量相同的磁盤片構(gòu)成的，兩個磁盤片上的數(shù)據(jù)完全一樣，業(yè)務(wù)主機(jī)對該Volume的任意修改，都將同時被寫到位于生產(chǎn)中心和災(zāi)備中心的兩個磁盤系統(tǒng)上。利用裸光纖將生產(chǎn)中心和災(zāi)備中心的SAN網(wǎng)絡(luò)連接起來，構(gòu)成城域SAN網(wǎng)絡(luò)以后，利用 VERITAS Storage Foundation的先進(jìn)的邏輯卷管理功能，我們就可以非常方便的實(shí)現(xiàn)生產(chǎn)中心磁盤系統(tǒng)和災(zāi)備中心磁盤系統(tǒng)之間的鏡像了。利用VERITAS Storage Foundation的鏡像技術(shù)構(gòu)建容災(zāi)系統(tǒng)是非常簡單的，它只有一個條件，就是將生產(chǎn)中心和災(zāi)備中心之間的SAN存儲區(qū)域網(wǎng)絡(luò)通過光纖連接起來，建立城域SAN存儲網(wǎng)絡(luò)。4. 將生產(chǎn)節(jié)點(diǎn)主機(jī)的數(shù)據(jù)（邏輯卷），通過適當(dāng)?shù)姆绞剑ㄍ?異步）復(fù)制到容災(zāi)節(jié)點(diǎn)的容災(zāi)主機(jī)上，從而實(shí)現(xiàn)數(shù)據(jù)容災(zāi)。新購兩臺光纖交換機(jī)和新購一臺存儲設(shè)備；并建立生產(chǎn)節(jié)點(diǎn)和容災(zāi)節(jié)點(diǎn)之間的FC SAN鏈路。 應(yīng)用級容災(zāi)系統(tǒng)費(fèi)用估算序號項(xiàng)目描述數(shù)量單價(jià)（萬元）合計(jì)（萬元）1機(jī)房建設(shè)20平米，機(jī)房裝飾裝修、供配電系統(tǒng)、防雷系統(tǒng)、地線系統(tǒng)、消防火災(zāi)自動報(bào)警及滅火系統(tǒng)、綜合布線系統(tǒng)、空調(diào)新風(fēng)及機(jī)房防災(zāi)害處理措施1套40402網(wǎng)絡(luò)設(shè)備一臺三層交換機(jī)，一臺路由器1套30303小型機(jī)和中心同一檔次2臺25504光纖交換機(jī)和中心同一檔次2臺10205存儲和中心同一檔次1臺60606集群容災(zāi)軟件實(shí)現(xiàn)服務(wù)器應(yīng)用切合和數(shù)據(jù)復(fù)制（VRTS STORAGE FOUNDATION ENTERPRISE HA/DR AIX）1套65657總計(jì)人民幣貳佰陸拾伍元整265備注：以上費(fèi)用不含光纖線纜架設(shè)或租賃的費(fèi)用4 省工商數(shù)據(jù)級容災(zāi)系統(tǒng)建設(shè)方案 方案綜述1. 目前省工商已建立了生產(chǎn)節(jié)點(diǎn)的高可用系統(tǒng)，生產(chǎn)節(jié)點(diǎn)的2臺數(shù)據(jù)庫服務(wù)器主機(jī)構(gòu)成一個高可用集群，2臺應(yīng)用服務(wù)器構(gòu)成1個高可用集群，通過SAN連接到高可用磁盤陣列，在提業(yè)務(wù)高可用性同時為應(yīng)用容災(zāi)做好準(zhǔn)備。10） A節(jié)點(diǎn)重新成為VVR的Primary，進(jìn)行正常復(fù)制。8） 當(dāng)反向同步完成后，數(shù)據(jù)庫和應(yīng)用將停止運(yùn)行。6） 重置完成后，將進(jìn)行數(shù)據(jù)的反向同步，將災(zāi)難期間B節(jié)點(diǎn)變化的數(shù)據(jù)（和需要A節(jié)點(diǎn)重置的數(shù)據(jù)）傳送到A。重置將把A節(jié)點(diǎn)SRL中數(shù)據(jù)或DCM中標(biāo)記的數(shù)據(jù)位圖信息傳送到B節(jié)點(diǎn)。所以，要保持A、B數(shù)據(jù)的一致性，一定要首先對這些數(shù)據(jù)進(jìn)行處理。因?yàn)樵贏節(jié)點(diǎn)發(fā)生災(zāi)難時，有可能A的SRL中有沒來得及進(jìn)行傳送得數(shù)據(jù)，甚至DCM中標(biāo)記的數(shù)據(jù)塊沒來得及進(jìn)行傳送。4） 進(jìn)行反向同步的第一步是將A節(jié)點(diǎn)的Pseudo Secondary狀態(tài)轉(zhuǎn)成Secondary狀態(tài)。3） GCM 發(fā)現(xiàn)A、B地點(diǎn)Cluster恢復(fù)正常，對它們進(jìn)行正常管理。1） 在災(zāi)難期間，B地點(diǎn)是VVR的New Primary，B的DCM記錄所有變化的數(shù)據(jù)塊。當(dāng)A地點(diǎn)的系統(tǒng)恢復(fù)正常后，需要進(jìn)行整個系統(tǒng)的回遷。2） GCM無法對兩地間的Cluster運(yùn)行進(jìn)行監(jiān)控。3） GCM處于正常工作狀態(tài)。1） VVR將把A的SRL中積累的數(shù)據(jù)傳送到B。3） 在網(wǎng)絡(luò)故障發(fā)生后，GCM將探測到，并對Network Down 事件進(jìn)行處理：向有關(guān)管理員發(fā)出告警。2） 如果在一段較長時間內(nèi)，網(wǎng)絡(luò)故障無法恢復(fù)。5． 如果A、B地點(diǎn)間網(wǎng)絡(luò)發(fā)生故障：1） VVR心跳檢測將發(fā)現(xiàn)該故障，A地點(diǎn)VVR將根據(jù)事先的配置進(jìn)行處理。4） 數(shù)據(jù)復(fù)制暫停。2） 在有關(guān)人員確認(rèn)后，在GCM切換等待確認(rèn)畫面上按確認(rèn)按鈕，將進(jìn)行地點(diǎn)間的容災(zāi)切換。3． 如果A地點(diǎn)的主服務(wù)器恢復(fù)正常，整個系統(tǒng)將重新運(yùn)行在正常情況下。3） GCM將監(jiān)控到該切換事件的發(fā)生。2． 當(dāng)A地點(diǎn)的主服務(wù)器發(fā)生硬件或軟件故障，導(dǎo)致主服務(wù)器無法提供正常服務(wù)：1） VCS進(jìn)行本地切換，將主服務(wù)器的數(shù)據(jù)庫服務(wù)、應(yīng)用軟件、VVR數(shù)據(jù)復(fù)制服務(wù)切換到本地后備節(jié)點(diǎn)。3） 兩地的VCS對的各自節(jié)點(diǎn)內(nèi)的兩臺服務(wù)器的主機(jī)情況、數(shù)據(jù)庫服務(wù)、應(yīng)用軟件進(jìn)行實(shí)時監(jiān)控和管理，其中，VCS還對VVR數(shù)據(jù)復(fù)制服務(wù)進(jìn)行監(jiān)控。A節(jié)點(diǎn)對外提供服務(wù)。切換示意圖見。GCM Console為Web界面，通過瀏覽器管理各個Cluster系統(tǒng)，并在管理界面中主動控制或響應(yīng)遠(yuǎn)程切換。4． Global Cluster Server（簡稱GCM）可以稱為Cluster’s Cluster（集群的集群）。6） 主節(jié)點(diǎn)和備份節(jié)點(diǎn)的VCS集群系統(tǒng)都在Global Cluster Manager的統(tǒng)一監(jiān)控和管理下，從而實(shí)現(xiàn)集群系統(tǒng)間的遠(yuǎn)程應(yīng)用切換。這點(diǎn)對于容災(zāi)系統(tǒng)非常重要。4） 通過API或腳本編寫針對性客戶化應(yīng)用代理，監(jiān)控和管理應(yīng)用系統(tǒng)，當(dāng)出現(xiàn)故障時進(jìn)行切換。在本方案中，VCS主要負(fù)責(zé)以下功能：2） VCS負(fù)責(zé)監(jiān)控和管理硬件系統(tǒng)和操作系統(tǒng)，當(dāng)出現(xiàn)故障時進(jìn)行切換。VCS以其出色的可靠性和易管理性聞名。當(dāng)主節(jié)點(diǎn)收到第二個確認(rèn)后，將SRL中的相應(yīng)數(shù)據(jù)清空。指后備節(jié)點(diǎn)對復(fù)制數(shù)據(jù)的接收確認(rèn)有兩個階段。脫機(jī)處理由打破后備節(jié)點(diǎn)的鏡像卷、對鏡像數(shù)據(jù)進(jìn)行處理、重鏡像等幾個過程組成。通過使用VVR的InBand Control(IBC)消息、Snapshot、以及Volume Manager(VxVM)的FastResync(簡稱FR，即快速同步)功能，可以實(shí)現(xiàn)數(shù)據(jù)的脫機(jī)處理。傳送完成后，將當(dāng)前主節(jié)點(diǎn)的數(shù)據(jù)庫和應(yīng)用停止，將雙方角色復(fù)原，并在原主節(jié)點(diǎn)提供正常服務(wù)。然后，將DCM中指向的數(shù)據(jù)全部傳送到原主節(jié)點(diǎn)。反向同步有兩種情況，一種是在災(zāi)難發(fā)生時刻，原主節(jié)點(diǎn)與災(zāi)備節(jié)點(diǎn)的數(shù)據(jù)是同步的（即無未復(fù)制的數(shù)據(jù)）；第二種是在災(zāi)難發(fā)生時刻，原主節(jié)點(diǎn)與災(zāi)備節(jié)點(diǎn)的數(shù)據(jù)不是完全同步的（即主節(jié)點(diǎn)有數(shù)據(jù)尚未復(fù)制到災(zāi)備節(jié)點(diǎn)）。在災(zāi)難期間，不進(jìn)行數(shù)據(jù)復(fù)制，新的主節(jié)點(diǎn)用DCM記錄變化數(shù)據(jù)位置。用該方法進(jìn)行數(shù)據(jù)完全同步，要求SRL卷大些，等完成后，再將SRL卷通過Volume Manager在線縮小。將備份的數(shù)據(jù)恢復(fù)到后備節(jié)點(diǎn)上。在備份開始前，在主節(jié)點(diǎn)設(shè)置檢查點(diǎn)，該檢查點(diǎn)記錄在SRL中，然后將數(shù)據(jù)備份到活動硬盤、光盤、磁帶或其它介質(zhì)上。自動同步要求RVG中的每個卷都有DCM。方法很簡單，只要進(jìn)行一步操作即可完成。兩種情況下，都可以采用自動同步方式或采用備份和檢查點(diǎn)(Check Point)結(jié)合的方法。在主節(jié)點(diǎn)往后備節(jié)點(diǎn)正常復(fù)制數(shù)據(jù)前，必須逐塊逐塊地將主節(jié)點(diǎn)中需要復(fù)制的數(shù)據(jù)拷貝到后備節(jié)點(diǎn)，也就是說，將雙方的RVG進(jìn)行同步。對于數(shù)據(jù)庫系統(tǒng)，該復(fù)制機(jī)制能夠保證災(zāi)備節(jié)點(diǎn)的數(shù)據(jù)庫在災(zāi)難發(fā)生時正常啟動并提供服務(wù)。 如果數(shù)據(jù)復(fù)制的線路帶寬有限，出于保證本地服務(wù)器讀寫性能的考慮，可以將復(fù)制工作模式定義為異步。6）數(shù)據(jù)復(fù)制的工作模式缺省為同步/異步自適應(yīng)，即在網(wǎng)絡(luò)延時情況較好、數(shù)據(jù)能夠及時復(fù)制時，工作在同步方式，完全保證兩邊數(shù)據(jù)的一致性；當(dāng)網(wǎng)絡(luò)延時情況較差、數(shù)據(jù)不能及時復(fù)制時，工作在異步方式下，保證主節(jié)點(diǎn)的I/O性能。DCM在正常情況下不使用，在SRL滿后記錄變化的數(shù)據(jù)塊的塊號，當(dāng)恢復(fù)正常復(fù)制后，等SRL中的數(shù)據(jù)傳送完后，將DCM中記錄的塊傳送到異地。當(dāng)SRL滿后，VVR將通過Data Chang Map（簡稱DCM）記錄變化過的數(shù)據(jù)塊的塊號。VVR通過SRL保證數(shù)據(jù)復(fù)制嚴(yán)格按照寫順序進(jìn)行，這在異步工作方式下非常重要。將數(shù)據(jù)復(fù)制各方的某個卷定義為一個SRL。然后，在Site A定義RLINK to_c1，指向Site C；在Site B定義RLINK to_c2，指向Site C；在Site C定義兩個RLINK，一個to_a,指向Site A,另一個to_b,指向Site B。例如有Site A和Site B兩套系統(tǒng)同時用Site C的系統(tǒng)作為備份。；2) 將各個業(yè)務(wù)系統(tǒng)中需要進(jìn)行遠(yuǎn)程復(fù)制的多個或一個卷定義為一個Replicated Volume Group(簡稱RVG)；3) 在Site A定義一條RLINK，指向Site B；在Site B也定義一條指向Site A的RLINK。1) VVR與VxVM完全集成在一起。復(fù)制的數(shù)據(jù)可以是數(shù)據(jù)庫中的數(shù)據(jù)（文件方式或裸設(shè)備方式）和文件。2． VERITAS Volume Replicator(簡稱VVR)負(fù)責(zé)遠(yuǎn)程數(shù)據(jù)復(fù)制。將數(shù)據(jù)（特別是需要進(jìn)行遠(yuǎn)程復(fù)制的相關(guān)文件系統(tǒng)、數(shù)據(jù)庫）存放在卷上。1． VERITAS Volume Manager(簡稱VxVM) 將在物理磁盤上建立多個或一個邏輯卷(Volume)。在介紹功能前，需要強(qiáng)調(diào)的的是：VERITAS提供的是完整的容災(zāi)解決方案。我們假設(shè)原來就已經(jīng)按照雙機(jī)系統(tǒng)設(shè)計(jì)，那么本方案僅需要增加不同地點(diǎn)間的廣域連接，不需要增加其它硬件。 容災(zāi)系統(tǒng)的工作原理本章將就該方案的每個細(xì)節(jié)進(jìn)行討論，包括方案的詳細(xì)講解，軟件的實(shí)際配置方法等。磁盤陣列故障：解決磁盤陣列單點(diǎn)故障的方式有兩種，方式一、采用雙陣列，通過VERITAS的軟件實(shí)現(xiàn)跨陣列的數(shù)據(jù)鏡像，（兩臺陣列還可跨越到不同的大樓中，最遠(yuǎn)可達(dá)100公里）任何一臺陣列失效，系統(tǒng)照樣運(yùn)行；方式二、采用高可用的無單點(diǎn)故障的陣列，該陣列具備雙電源，雙控制卡，雙通路等，磁盤仍然劃成鏡像的數(shù)據(jù)卷，仍然能夠?qū)崿F(xiàn)無單點(diǎn)故障，和方式一實(shí)現(xiàn)的效果相同，但缺點(diǎn)是鏡像的數(shù)據(jù)盤只能在一個機(jī)柜中，不能放到較遠(yuǎn)的地方。服務(wù)器故障：1臺數(shù)據(jù)服務(wù)器故障，1臺應(yīng)用服務(wù)器故障，網(wǎng)絡(luò)通信故障，均能快速切換到本地的備用服務(wù)器上，保持系統(tǒng)正常運(yùn)行。5. 生產(chǎn)節(jié)點(diǎn)和容災(zāi)節(jié)點(diǎn)均為高可用集群環(huán)境，通過全局集群管理模塊GCO管理生產(chǎn)節(jié)點(diǎn)和容災(zāi)節(jié)點(diǎn)集群的切換；當(dāng)生產(chǎn)節(jié)點(diǎn)發(fā)生災(zāi)難時，整個業(yè)務(wù)集群環(huán)境可以切換到容災(zāi)節(jié)點(diǎn)，從而實(shí)現(xiàn)應(yīng)用容災(zāi)。3. 在所有相關(guān)主機(jī)（包括生產(chǎn)節(jié)點(diǎn)的4臺服務(wù)器和容災(zāi)節(jié)點(diǎn)的2臺服務(wù)器）上安裝Veritas基礎(chǔ)套件（Storage Foundation HADR），以完成數(shù)據(jù)容災(zāi)和應(yīng)用容災(zāi)全部功能。2. 建立容災(zāi)節(jié)點(diǎn)的高可用系統(tǒng)。應(yīng)用容災(zāi)應(yīng)該說是真正意義上的容災(zāi)系統(tǒng)。 所謂應(yīng)用容災(zāi)，是在數(shù)據(jù)容災(zāi)的基礎(chǔ)上，在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相當(dāng)?shù)膫浞輵?yīng)用系統(tǒng)（可以是互為備份）。在本地?cái)?shù)據(jù)及整個應(yīng)用系統(tǒng)出現(xiàn)災(zāi)難時，系統(tǒng)至少在異地保存有一份可用的關(guān)鍵業(yè)務(wù)的數(shù)據(jù)。從其對系統(tǒng)的保護(hù)程度來分，我們可以將容災(zāi)系統(tǒng)分為：數(shù)據(jù)容災(zāi)和應(yīng)用容災(zāi)。 一個本地Cluster %以上的系統(tǒng)高可用性，但一旦發(fā)生火災(zāi)、自然災(zāi)害、人為破壞等意外事件，服務(wù)商將如何應(yīng)對呢？如果沒有必要的準(zhǔn)備和應(yīng)對手段，這樣的一次意外對服務(wù)上來說將是災(zāi)難性的。 隨著數(shù)據(jù)安全技術(shù)的發(fā)展，Cluster（HA）的技術(shù)越來越成熟，Cluster 的部署越來越普及，Cluster 技術(shù)確實(shí)解決了用戶系統(tǒng)的高可用性問題，為業(yè)務(wù)的良性發(fā)展提供了穩(wěn)定的基石。 216。 216。 216。建立異地容災(zāi)中心的優(yōu)勢在于： 216。 鑒于此,從可行性而言,必須具有良好的性能價(jià)格比。因此，核心存儲系統(tǒng)應(yīng)具有高端的處理性、海量存儲、性能與容量在線擴(kuò)容等能力，以支撐業(yè)務(wù)發(fā)展的需求。各應(yīng)用的關(guān)鍵性較強(qiáng)，是整體的核心應(yīng)用。傳統(tǒng)的IT架構(gòu)采用單一服務(wù)器作為應(yīng)用系統(tǒng)的承載平臺，而這樣的架構(gòu)面臨著巨大的挑戰(zhàn)，多數(shù)大型企業(yè)已經(jīng)放棄這一架構(gòu)，轉(zhuǎn)而采用更為高性能、高安全性、高擴(kuò)展的應(yīng)用及安全承載方案建立集中的數(shù)據(jù)中心