【文章內容簡介】 運行的中間件服務器，Sun ONE Application Server，并不需要借助其他任何第三方的cluster軟件，Sun ONE Application Server可以提供優(yōu)異的高可靠性和故障容錯能力，通過消除任何的單點故障，應用服務器能夠提供最大的應用程序可靠性。服務器集群的故障繞過能力（failover）使在一個服務器發(fā)生故障時用戶請求仍然能夠被繼續(xù)處理。故障恢復（failurerecovery）特性則包括自動探測和自動重新啟動故障服務器和進程。分布式的狀態(tài)和會話管理能夠確保發(fā)生故障時，不丟失用戶和應用程序的數(shù)據(jù)。動態(tài)的應用擴充功能可以在不關閉服務器的情況下為應用程序增加新功能。同時，可以自動把用戶請求中的多個Transaction分發(fā)到多個中間件服務器來處理，從而實現(xiàn)智能負載均衡的能力。在實際方案配置中，我們在Sun Fire V880A和Sun Fire V480A上安裝兩個Sun ONE Application Server, 通過Application Server 自身的集群方式將Sun Fire V880A配置為Primary Server，Sun Fire V480A配置為Backup Server，實現(xiàn)應用服務器的高可靠性和負載均衡能力。連接Application Server的Sun ONE Directory Server 安裝在Sun Fire V480B主機上，另外一臺主機，Sun Fire V480C上安裝Sun ONE Directory Server的備份服務器，對目錄服務器使用目錄服務的復制功能配置為Primary/Backup模式。在正常業(yè)務運行中，從前端web服務器發(fā)來的請求通過中間件服務器自身的負載平衡功能被隨機的送到兩臺服務器來處理，一旦其中一臺Application Server失效，用戶請求可以即時的被無縫轉移到另外一臺Application Server上。目錄服務器的復制模式也保證了目錄服務的高可用性，如果主目錄服務器失效，那么系統(tǒng)將會將用戶認證切換到備份目錄服務器上來進行，而且，由于目錄服務器和中間件服務器不在同一臺主機上，即使出現(xiàn)硬件故障，也可以保證前端Web應用不受影響。這樣就從兩個方面避免了單點故障，保證了用戶的應用程序和數(shù)據(jù)不會丟失。對于Web服務器，在前端，使用web connector將Web instance注冊到Portal Server的兩個Web server上，即Sun Fire V480B和Sun Fire V480C主機上。使用上層的兩個四層交換機對Web Server做負載均衡。這樣，所有的Web應用都被集成到Sun ONE Portal Server提供的門戶之中。用戶只需要登錄門戶網站，即可獲得基于用戶身份的門戶內容訪問。 存儲局域網SAN部分 SAN網絡規(guī)劃設計在分析了中國網絡通信集團公司的大客戶系統(tǒng)和一站式服務業(yè)務系統(tǒng)需求和IT環(huán)境后，根據(jù)業(yè)務規(guī)劃和技術需求，我們制定了SAN存儲方案，并選擇了適當?shù)拇鎯υO備，光纖網絡設備，服務器，HBA光纖接口卡，磁帶庫系統(tǒng)； SAN規(guī)劃設計就是要將這些設備合理規(guī)劃，物盡其用， 使整個業(yè)務系統(tǒng)達到最佳的工作運行狀態(tài)：大客戶和一站式服務系統(tǒng)SAN設計目標：252。 數(shù)據(jù)庫系統(tǒng)具備7*24的高可用性252。 磁盤陣列、磁帶庫、光纖交換機設計應具備較強的升級、擴容能力以適應今后新業(yè)務快速變化252。 支持對數(shù)據(jù)庫的讀寫高速訪問。 252。 易于管理維護 中國網通大客戶系統(tǒng)SAN存儲方案本設計方案中大客戶系統(tǒng)和一站式服務系統(tǒng)具備7x24的不間斷運行能力。 能做到在線的數(shù)據(jù)庫系統(tǒng)動態(tài)升級和熱切換，設計方案采用2臺互為冗余的Brocade 光纖交換機， 配合EMC CLARiiON CX600全光纖通道智能型，高可靠性磁盤陣列支持中國網絡通信集團公司的大客戶系統(tǒng)和一站式服務業(yè)務系統(tǒng)的運行。并通過EMC Power Path、VERITAS Advance Cluster、Net Backup等軟件為系統(tǒng)提供不間斷的高效率數(shù)據(jù)庫服務。這一SAN架構支持SUN Solaris、HPUX、LINUX、WIN NT、WIN 2000以及IBM AIX等多種系統(tǒng)平臺。另外，由存儲區(qū)域網完成數(shù)據(jù)的讀、寫、備份，無需占用企業(yè)內部的通信網絡（LANFree）。前端的用戶無需考慮數(shù)據(jù)的存放位置，數(shù)據(jù)保護機制，備份策略等，為數(shù)據(jù)庫的存儲管理和使用提供了便利。SAN存儲備份示意圖EMC CLARiiON CX600磁盤陣列Spectra Logic 12000磁帶庫Sun Fire V880服務器Brocade SilkWorm 3800光纖交換機Cisco Catalyst 4006VLAN/心跳線BCD如上圖所示整個存儲網絡系統(tǒng)框架的核心是EMC CLARiiON CX600全光纖通道智能型磁盤陣列，所有業(yè)務數(shù)據(jù)均存放于EMC CLARiiON CX600中，服務器均可以通過光纖交換機連接到EMC CLARiiON CX600上。通過交換機，主服務器上的存儲管理軟件等各種安全機制設置（例如Zoning、 VERITAS Volume Manager、VERITAS Cluster Server等），各類服務器，應用系統(tǒng)可以訪問各自指定的數(shù)據(jù)單元。管理員可以通過Web界面方便地監(jiān)控和管理整個存儲系統(tǒng)網絡的使用情況，自動完成數(shù)據(jù)備份，而且可以隨時根據(jù)用戶需求，在EMC CLARiiON CX600內部靈活調整各用戶的使用空間，動態(tài)優(yōu)化EMC CLARiiON CX600內部的資源分配，確保EMC CLARiiON CX600以最佳的性能和最高的穩(wěn)定性運行。主機和存儲設備基于SAN的連接，采用了業(yè)界先進的2Gb光纖接口,先進的Fabric Switch 的光交換技術搭建整個存儲平臺，使主機光纖接口卡、光纖交換機和EMC CLARiiON CX600接口均使用2Gb光纖端口快速傳送數(shù)據(jù)。光纖交換機作為SAN的樞紐設備，每臺主機各通過兩塊光纖通道卡與兩臺Brocade光纖存儲交換機進行交叉連接，既保證了每臺主機與存儲設備之間至少2 x 200MB/s帶寬的通道性能，又可排除主機與存儲和備份設備之間鏈路連接的單點故障。磁盤陣列EMC CLARiiON CX600的兩組光纖通道分別與兩個光纖交換機連接，構成了一個鏈路上全冗余， 純光纖架構的SAN平臺 。高速的光纖連接將大大提高數(shù)據(jù)訪問速度和數(shù)據(jù)庫備份速度，利用SAN的環(huán)境將磁盤陣列系統(tǒng)與磁帶庫系統(tǒng)很好的整合在一起，可以滿足SAN環(huán)境中各個應用與業(yè)務系統(tǒng)的不同的數(shù)據(jù)存儲需求。利用SAN的開放性，也可以很容易的擴展和添加新的主機和存儲設備。 數(shù)據(jù)庫服務器高可用性部分本設計方案中大客戶信息管理分析服務和一站式服務系統(tǒng)具備7x24的不間斷運行能力。設計采用Veritas Cluster Server軟件保證系統(tǒng)提供不間斷的數(shù)據(jù)庫服務, 能做到在線的數(shù)據(jù)庫系統(tǒng)動態(tài)升級和熱切換。SAN存儲備份示意圖EMC CLARiiON CX600磁盤陣列Spectra Logic 12000磁帶庫Sun Fire V880服務器Brocade SilkWorm 3800光纖交換機Cisco Catalyst 4006VLAN/心跳線BCD如上圖所示 SUN Fire V880 B服務器主要運行OLTP類型的一站式服務。它需要從ETL服務處取得數(shù)據(jù)，然后直接面對客戶群的查詢和更新等操作； SUN Fire V880 C服務器上運行ETL服務。此服務需要從原有97系統(tǒng)、資源管理系統(tǒng)、計費系統(tǒng)，抽取數(shù)據(jù)，作初步的處理，同時存儲信息； SUN Fire V880 D服務器上運行需要Data Warehouse類型數(shù)據(jù)庫支持的大客戶信息管理分析服務， 同時運行Oracle9i的Data Mining與OLAP等選件。針對上述應用的高可用性方案， 設計采用業(yè)界最先進的高可用集群軟件VERITAS Cluster Server ， 實現(xiàn)B 、C 節(jié)點服務器之間的N節(jié)點Cluster熱備用（其中N=2，即實現(xiàn)B服務器和C服務器之間一對一互為熱備份機制）， 此時B 節(jié)點故障時， C節(jié)點可以通過共享磁盤陣列實時接管B服務器上數(shù)據(jù)資源， 切換Oracle服務到C節(jié)點繼續(xù)運行； 反之亦然。 而針對D服務器， 考慮到運行Data Warehouse類型數(shù)據(jù)倉庫應用占用資源很大，建議采用“N+1” Cluster主備方式。這種方式下，D服務器作主節(jié)點， B和C服務器均作為D備份節(jié)點服務器， D服務器系統(tǒng)的任何故障，VCS都可以將應用實時切換到備用系統(tǒng)B，此時如果B節(jié)點也出現(xiàn)故障，而D節(jié)點系統(tǒng)還未修復，應用可以再切換到C服務器上。 邏輯圖如下所示： 數(shù)據(jù)傳輸方向B、C相互備份D與B、C為N + 1備份模式Site BSite CSite D 對于系統(tǒng)中的應用服務器，VERITAS在提供Cluster集群軟件的基礎上，還可以由專家服務提供Custom Agent接口模塊，用戶特定應用以Active/Standby的方式運行，并進一步監(jiān)控應用服務的運行情況，在應用故障或系統(tǒng)故障產生的時候將所監(jiān)控的服務切換到備機啟動運行。設計方案還考慮到了VCS 中心跳線的容錯和可用性問題。 心跳線用于監(jiān)測VCS各節(jié)點的狀態(tài)， 傳輸集群控制信息、命令的專用網絡。 在3節(jié)點集群中， 為避免出現(xiàn)因心跳線故障而導致的Cluster 節(jié)點間應用誤切換或中斷， 我們設計了合理可靠的心跳線網絡連接方式。 如SAN存儲備份示意圖圖所示，分別在兩臺Cisco Catalyst 4006上專門各建立一個心跳網絡的VLAN， 每臺主機上除了本機自帶的網卡外， 還配置了一塊4端口網卡， Cluster 節(jié)點主機上有2條心跳線通過本機網卡和4口網卡分別連接到兩臺Cisco Catalyst 4006 交換機， 因此避免了網卡和心跳線至Cisco Catalyst 4006交換機鏈路的所有可能的單點故障。 數(shù)據(jù)備份與恢復管理SAN存儲備份示意圖EMC CLARiiON CX600磁盤陣列Spectra Logic 12000磁帶庫Sun Fire V880服務器Brocade SilkWorm 3800光纖交換機Cisco Catalyst 4006VLAN/心跳線BCD為了實現(xiàn)最大可能性能，在本方案中采用了最新的SAN結構數(shù)據(jù)備份技術。建議方案采用目前業(yè)界最優(yōu)秀的專業(yè)備份軟件VERITAS NBU(Net Backup)實現(xiàn)企業(yè)數(shù)據(jù)環(huán)境下的數(shù)據(jù)備份和恢復。VERITAS NBU適用于各種UNIX及Windows平臺上的企業(yè)級文件系統(tǒng)和數(shù)據(jù)庫的自動或手動增量及全備份方法，提供Lan Free, Serverless及BLIB等先進技術縮短數(shù)據(jù)備份窗口，以適應應用的不同要求。支持操作系統(tǒng)和數(shù)據(jù)的快速恢復，具有災難恢復功能；支持層次化的數(shù)據(jù)管理策略以節(jié)省磁盤空間并提高備份效率；支持防火墻復雜網絡環(huán)境下的數(shù)據(jù)備份與恢復；對多個異地備份域提供集中的管理與控制。可以與網絡管理工具集成。在上面示意圖中，三臺服務器（從左到右依次為B、C、D主機）和磁盤陣列以及磁帶庫都通過光纖信道連接到兩個冗余的存儲光纖交換機上，主機B和主機C分別代表2個不同的Oracle數(shù)據(jù)庫服務器，也代表屬于同一集群中的兩個服務器節(jié)點。系統(tǒng)的備份軟件采用了VERITAS的企業(yè)級備份產品Net Backup實現(xiàn)系統(tǒng)的高性能備份。 系統(tǒng)的核心部分主要采用一臺備份主服務器，配置Net Backup SAN Master Server 、Drive Support(按磁帶機的數(shù)量)等，作為備份中心，其他服務器配置為Net Backup的客戶端。Net Backup SAN Master Server服務器將提供磁帶庫機械手的控制和整個系統(tǒng)備份策略的制定和集中管理。磁帶庫采用Spectra Logic 12000光纖自動磁帶庫， 設備配置可以提供3TB 的非壓縮備份存儲能力，具備雙光纖接口冗余設計， 雙驅動器備份速度可達 24M/s； 最大配置容量（非壓縮）12TB, 完全能夠滿足今后的擴容的需求。 建議方案中設計的Veritas NBU 備份管理軟件配合SpectraLogic 12000光線磁帶庫可以將多個數(shù)據(jù)庫備份到同一卷磁介質上，通過NBU的多任務和多數(shù)據(jù)流技術亦可將一個數(shù)據(jù)庫備份到不同卷磁介質上。 一旦數(shù)據(jù)完全丟失，數(shù)據(jù)庫能根據(jù)磁帶庫上的全備份、增量備份或差量備份數(shù)據(jù)恢復到最后一次備份時刻的數(shù)據(jù)狀況。 以Oracle 數(shù)據(jù)庫為例：整個數(shù)據(jù)庫完全恢復實現(xiàn)步驟：252。 用RESTRICT方式啟動實例并安裝數(shù)據(jù)庫252。 這一步是可選的，應限于在丟失或損壞的數(shù)據(jù)庫文件的原有位置失效（即磁盤損壞）時采用。對于控制文件中保存的路徑必須重新命名，指定到新的位置。252。 用RMAN通過VERITAS NBU相應的恢復腳本恢復所有的相關的數(shù)據(jù)文件。252。 確保所要恢復的數(shù)據(jù)文件聯(lián)機。252。 使用recover恢復整個數(shù)據(jù)庫。252。 打開數(shù)據(jù)庫。整個數(shù)據(jù)庫的不完全恢復的實現(xiàn)步驟：假定運行Oracle應用程序的DBA不慎兩次運行了同一個批作業(yè)，從而導致數(shù)據(jù)庫的破壞。這就要求從備份中恢復，并且前滾到每二次作業(yè)之前的一個時間點。252。 關閉應用程序，然后關閉數(shù)據(jù)庫。252。 以RESTRICT方式啟動，并且安裝數(shù)據(jù)庫。252。 如果需要將數(shù)據(jù)文件改動到指定位置。252。 從NBU備份中恢復所有數(shù)據(jù)文件。252。 確保所有數(shù)據(jù)文件聯(lián)機。252。 用UNTIL CACEL或UNTIL TIME恢復數(shù)據(jù)庫到指定時間。邏輯故障恢復從備份磁