【正文】 上，RAC并非完全依賴于Clusterware，它首先查看Clusterware能否解決問題，如果能，那么一切照舊，如果不能，那么RAC自己進行IMR (instance membership recover)。它并不關(guān)心上層應(yīng)用是數(shù)據(jù)庫還是Web應(yīng)用，它只負責(zé)收集集群的節(jié)點狀態(tài)的完整視圖并反饋給上層。 Oracle Clusterware的日志體系4. RAC與Clusterware的交互作為集群數(shù)據(jù)庫，除了并發(fā)控制，還是一個高可用方案，就是可以根據(jù)數(shù)據(jù)庫集群的狀態(tài)變遷進行自動的重構(gòu)，這需要數(shù)據(jù)庫與Clusterware的交互來完成()。Client，存放著工具執(zhí)行日志。3. Clusterware的日志體系CRS只能通過日志和trace文件進行故障診斷，但CRS日志體系相對數(shù)據(jù)庫而言更為復(fù)雜。當(dāng)節(jié)點2發(fā)生故障。當(dāng)一個節(jié)點出現(xiàn)問題時會自動的轉(zhuǎn)到另一個節(jié)點上。IP是利用TCP層超時，vip利用的是應(yīng)用層的立即響應(yīng)。之所以分開Public NIC和Private NIC，是因為Private NIC上傳遞的是大數(shù)據(jù)量，低延遲的內(nèi)容，很容易占用Public NIC的帶寬，并且集群的可靠性也得不到保證。4) VIP原理與特點RAC節(jié)點的兩個NIC一塊和其他的應(yīng)用服務(wù)器或客戶機連接，提供對外的數(shù)據(jù)服務(wù)；另一塊連接到一個私有的交換機上，提供節(jié)點間的通信。也就是說這個進程提供IO隔離的功能。在非Linux平臺且沒有使用第三方的集群軟件時，可以看到這個進程。它會建立到數(shù)據(jù)庫的持久連接，定期檢查SGA中的特定信息，該信息由PMON進程定時更新。CRS和CSS之間的通信就是通過EVMD進程完成的?？梢宰远x回調(diào)腳本，放在特定的目錄，當(dāng)有某些事件發(fā)生時，EVMD自動掃描該目錄，并調(diào)用用戶腳本，這種調(diào)用是通過racgevt進程完成的。而這些資源又可以被分成2類：GSD、ONS、VIP 、Listener屬于Noteapps類；database、Instance、Service屬于DatabaseRelated Resource類。默認CRS會自動嘗試重啟資源5次，如果還是失敗，則放棄嘗試。 RAC會在安裝的時候，以CRS Resource的形式注冊需要高可用性的組件到OCR中，CRSD根據(jù)OCR的內(nèi)容，決定監(jiān)控哪些進程，如何監(jiān)控，出現(xiàn)問題時又如何解決。CRSD是HA主要實現(xiàn)進程，提供CRS服務(wù)?？梢酝ㄟ^如下命令來查看參數(shù)值：[oracleracdb1 ~]$ crsctl get css disktimeout[oracleracdb1 ~]$ crsctl get css misscount單節(jié)點環(huán)境使用ASM同樣會用到這個進程，用于ASM實例和RDBMS實例的通信。對Disk Heartbeat，這個延時叫作IOT(I/O Timeout)；對Network Heartbeat，這個延時叫MC(Misscount)。如果出現(xiàn)異常，會導(dǎo)致系統(tǒng)重啟。3) CRS的后臺進程與服務(wù)Oracle Clusterware由若干進程組成，最重要的3個是：CRSD、CSSD、EVMD。在安裝Clusterware時也會指定這個位置。另一心跳是節(jié)點間私有以太網(wǎng)的心跳，通過這個心跳機制可以判斷節(jié)點間是否出現(xiàn)了網(wǎng)絡(luò)故障。2) VotingdiskVoting Disk作為表決磁盤文件主要記錄節(jié)點成員狀態(tài)，在出現(xiàn)腦裂時，仲裁哪個節(jié)點可以獲得集群的控制權(quán)，而其他的節(jié)點必須從集群中剔除。這個節(jié)點的OCR process負責(zé)更新本地和其他結(jié)點的OCR Cache內(nèi)容。在每個節(jié)點的內(nèi)存中都有一份OCR內(nèi)容的拷貝，這份拷貝叫作OCR Cache。、key的CRS部分因子項過多(1000余項)，僅列出前3級的Key。OCR信息在結(jié)構(gòu)上是一個有著3大分支的樹形結(jié)構(gòu)(SYSTEM、DATABASE、CRS)。：ocrconfig_loc=/dev/raw/raw4ocrmirrorconfig_loc=/dev/raw/raw5local_only=FALSE可以看出，OCR的存放位置是/dev/raw/raw4，冗余鏡像位置是/dev/raw/raw5，且存儲的模式是共享存儲。OCR磁盤文件大小約100MB，Clusterware安裝時，會指定OCR位置，該位置將被記錄到/etc/oracle/()。CRS解決健忘的辦法：將配置文件存放在共享存儲上，各個節(jié)點共用一份配置文件，從而確保修改不會丟失。1) OCROCR與Votingdisk是CRS解決健忘和腦裂的應(yīng)對之法。2. Clusterware的組成結(jié)構(gòu)當(dāng)安裝完Clusterware軟件后，每個節(jié)點上的CRS就會自動啟動。前者負責(zé)管理這個集群環(huán)境中的硬件資源，并為上層的Database集群提供基礎(chǔ)服務(wù)。1. Clusterware與RAC在整個的RAC環(huán)境中，實際上有兩個集群環(huán)境存在。 Clusterware與RACRAC的網(wǎng)絡(luò)層和存儲層是硬件資源，集群層和應(yīng)用層則對應(yīng)軟件資源。例如：LMSn，Global Cache Service(GCS)，Cache Fusion主進程，負責(zé)數(shù)據(jù)塊在實例間的傳遞；LMD，Global Enqueue Service(GES)，在多個實例之間協(xié)調(diào)對數(shù)據(jù)塊的訪問順序，確保數(shù)據(jù)的一致性訪問，與GCS服務(wù)和GRD構(gòu)成RAC的核心功能Cache Fusion；LCK，負責(zé)NonCache Fusion資源同步訪問，每個實例都有一個LCK進程；LMON，Cluster Group Services(CGS)，負責(zé)每個實例的LMON進程定期的進行通信，從而檢查與維護集群中各個節(jié)點的狀態(tài)；GSD，負責(zé)從客戶端工具接收用戶命令，為用戶提供管理接口；DIAG，監(jiān)控實例的健康狀態(tài)。雖然GRD位于SGA中，但由于RAC擁有多個SGA，因此所有節(jié)點的GRD加在一起才是完整的GRD。2. RAC集群的體系架構(gòu)，與傳統(tǒng)單實例架構(gòu)相比，RAC Instance的SGA最顯著的變化是多出了一個Global Resource Directory部分。CRS Resource可以理解為一個進程或一組進程組成的一個完整服務(wù)。集群環(huán)境之所以能夠提高可用性，是因為CRS對運行其上的應(yīng)用進行監(jiān)視，并在發(fā)生異常時進行重啟、切換等進行操作。CRS支持對其他集群產(chǎn)品的集成，其他軟件都可以借助其API而輕易的實現(xiàn)集群功能。在不同的平臺上實施RAC需要先安裝和配置廠商的集群軟件，而Oracle公司只提供Linux、Windows兩種平臺上的集群軟件Oracle Cluster Manager，這種環(huán)境無論是對DBA還是系統(tǒng)管理員都是極大的挑戰(zhàn)。此時，就引入額外的控制機制，在RAC中，這個機制就是位于Oracle和OS內(nèi)核之間的Cluseterware，Clusterware會在OS內(nèi)核之前截獲請求，然后和其它節(jié)點上Clusterware協(xié)商，最終完成上層的請求. 集群層位置示意圖Oracle 10g前，搭建RAC所需要的集群軟件依賴于硬件的生產(chǎn)廠商，也導(dǎo)致RAC超高的價格比的產(chǎn)生。在集群環(huán)境下，存儲設(shè)備共享。單機環(huán)境下，Oracle運行在OS內(nèi)核之上，OS內(nèi)核負責(zé)管理管理硬件設(shè)備，同時提供硬件訪問接口。在RAC集群環(huán)境中，有三個網(wǎng)絡(luò)：Public網(wǎng)絡(luò)，用于對外提供數(shù)據(jù)查詢服務(wù)；Private網(wǎng)絡(luò)，用于RAC心跳和Cache Fusion；第三個則是存儲設(shè)備和與之配套的網(wǎng)絡(luò)設(shè)備(生產(chǎn)環(huán)境中一般是光纖交換機和每個節(jié)點的HBA卡)。所有的RAC節(jié)點平等使用這些文件。存儲層。Oracle的實例和數(shù)據(jù)庫是一對一或多對一關(guān)系，這個不容易區(qū)別 (Oracle的架構(gòu)中都要區(qū)分，雖然許多時候二者可以互換)。事實上，無論采取哪種方式，其目的都是相同的：保證故障節(jié)點不能再訪問共享數(shù)據(jù)。IO Fencing的實現(xiàn)有硬件和軟件2種方式：對支持SCSI Reserve/Release命令的存儲設(shè)備，可以用SG命令來實現(xiàn)，正常的節(jié)點使用SCSI Reserve命令“鎖住”存儲設(shè)備，故障節(jié)點發(fā)現(xiàn)存儲設(shè)備被鎖住后，就知道自己被趕出了集群，也就是說自己出現(xiàn)了異常情況，就要自己進行重啟，以恢復(fù)到正常狀態(tài)，也叫Sicide(自殺)機制(即所謂的軟件方式)，Sun和Veritas使用的就是這種機制；而硬件方式STONITH(Shoot The Other Node in the Head)是直接操作電源開關(guān)，當(dāng)一個節(jié)點發(fā)生故障時，如果另一節(jié)點能偵測到，就會通過串口發(fā)出命令，控制故障節(jié)點的電源開關(guān)，通過暫時斷電再上電的方式使故障節(jié)點被重啟動，當(dāng)然，這需要硬件支持。因為此時該節(jié)點很有可能還在運行當(dāng)中，如果不加以限制，那么很可能會修改共享數(shù)據(jù)。當(dāng)集群系統(tǒng)出現(xiàn)“腦裂”問題的時候，可以通過投票算法來解決誰獲得集群控制權(quán)，誰應(yīng)該被趕出集群。照官方的說法，如果你跑生產(chǎn)，要保證數(shù)據(jù)不受損壞，就必須有隔離設(shè)備。更保險的作法，ping不通的一方自我重啟，以釋放可能還占用著的那些共享資源。于是有人在HA中設(shè)計了智能鎖(正常節(jié)點只在發(fā)現(xiàn)心跳線全部斷開時才啟用磁盤鎖)；3) 設(shè)置仲裁機制。但如果占用共享盤的一方不主動解鎖，另一方就永遠得不到共享磁盤。盡量減少“裂腦”發(fā)生機會；2) 啟用磁盤鎖。故先獲得Quorum Disk的節(jié)點就獲得2票，余下節(jié)點就被剔除。此時，就引入了第三個設(shè)備：Quorum Device，它通常使用共享磁盤，也叫作Quorum disk。按照投票算法，B和C組成的集群獲得控制權(quán)，A被剔除。原理如下：集群中各個節(jié)點以心跳機制通報彼此的健康狀態(tài)，設(shè)每收到一個節(jié)點的“通報”代表一票。腦裂的后果是很嚴重的：共享資源被瓜分，兩邊服務(wù)都宕掉；或雙方服務(wù)都啟動，但同時讀寫共享存儲，導(dǎo)致數(shù)據(jù)損壞(如數(shù)據(jù)庫輪詢的聯(lián)機日志出錯)。這時，每個節(jié)點都認為其他的節(jié)點宕機了，自己是整個集群環(huán)境中的“唯一存活者”，自己應(yīng)該獲得整個集群的控制權(quán)。在集群中，節(jié)點間都是通過心跳了解彼此的健康狀態(tài)，以確保各節(jié)點協(xié)調(diào)工作。集群環(huán)境配置文件通常都不是集中存放，而是每個節(jié)點都有一個本地副本，在集群正常運行時，用戶可以在任何節(jié)點更改集群的配置，并且這種更改會自動同步到其他節(jié)點。這個問題已經(jīng)在前面解決了。針對資源性質(zhì)的不同，RAC將共享資源從性能上分成兩類，Cache Fusion Resurce和NonCache Fusion Resource，對于不同的資源使用不同的鎖機制。對于Cache Fusion而言，每一個數(shù)據(jù)塊都會被映射成一個Cache Fusion資源，這實際上是一個數(shù)據(jù)結(jié)構(gòu)，資源名就是數(shù)據(jù)塊的地址(DBA)。不同的實例緩存的數(shù)據(jù)可以是不同的，也就是在一個實例要訪問特定塊之前，而它又從未訪問過這個塊，那么它要么從其他實例Cache Fusion，或者從磁盤中讀入。如果內(nèi)存中的塊已經(jīng)被改變，但改變尚未提交，那么將會傳遞一個CRS副本。當(dāng)一個塊被讀入RAC環(huán)境中某個實例的緩存時，該塊會被賦予一個鎖資源，以確保其他實例知道該塊正在被使用。 Cache Fusion的示例Cache Fusion把每個節(jié)點的內(nèi)存邏輯看成一個大的SGA，然后通過網(wǎng)絡(luò)來提供物理傳輸。每當(dāng)有不同的實例請求相同的數(shù)據(jù)塊的時候，這個數(shù)據(jù)塊就在實例間進行傳遞。DLM擁有仲裁的能力，記錄哪個節(jié)點正在使用哪種方式操作哪種數(shù)據(jù)，并負責(zé)協(xié)調(diào)和解決節(jié)點間的競爭。因RAC是運行于多臺計算機的數(shù)據(jù)庫，并發(fā)也從單機的多進程間并發(fā)發(fā)展到了多機上的多進程并發(fā)。 RAC的基本原理1. RAC的原理核心RAC是一個具有共享緩存體系結(jié)構(gòu)的集群數(shù)據(jù)庫，本質(zhì)上還是一個關(guān)系型數(shù)據(jù)庫，克服了傳統(tǒng)的共享磁盤方法的限制，為所有業(yè)務(wù)應(yīng)用程序提供了一種可伸縮性和可用性的數(shù)據(jù)庫解決方案，一般與Oracle Clusterware或第三方集群軟件共同組成Oracle集群系統(tǒng)。所有的服務(wù)和程序通過操作系統(tǒng)都去訪問一個共享存儲，最終完成數(shù)據(jù)的讀寫。 RAC集群拓撲圖，雙節(jié)點的RAC拓撲從邏輯上顯示了RAC集群的層次結(jié)構(gòu)。網(wǎng)格計算是針對有許多獨立作業(yè)的工作任務(wù)作優(yōu)化，在計算過程中作業(yè)間無需共享數(shù)據(jù)，主要服務(wù)于管理在獨立執(zhí)行工作的計算機間的作業(yè)分配。網(wǎng)格計算(Grid puting)網(wǎng)格計算或網(wǎng)格集群是一種與集群計算非常相關(guān)的技術(shù)。在高可用性集群和負載均衡集群中會使用類似的技術(shù)。根據(jù)不同的功能可以將集群分為如下的四類：高性能計算集群(Highperformance，HPC)采用將計算任務(wù)分配到集群的不同計算節(jié)點而提高計算能力，主要應(yīng)用在科學(xué)計算領(lǐng)域。一般情況下集群計算機比單機，如工作站或超級計算機性能價格比要高得多。集群系統(tǒng)中單個計算機通常稱為節(jié)點，以網(wǎng)絡(luò)連接(或其它方式)。相信在未來的一段時間，更多的國人的HA方案會得到應(yīng)用與發(fā)展。由于我國在軟硬件技術(shù)和系統(tǒng)架構(gòu)上與發(fā)達國家存在較大差距，國內(nèi)所使用的高可用性解決方案大部分都采用國外的產(chǎn)品，在已經(jīng)建成并投入使用的高可用性框架也存在功能單一，投入成本高，投資回報率低，結(jié)構(gòu)復(fù)雜，管理成本居高不下等問題。作為數(shù)據(jù)庫系統(tǒng)，一般都會有自己的HA的實現(xiàn)方法和解決方案，Oracle公司在這方面一直都極為的重視，在多年的創(chuàng)新基礎(chǔ)上，2004年推出的Oracle10g引入了眾多新的可用性和數(shù)據(jù)保護技術(shù)與解決方案，RAC、DataGuard、Flashback、RMAN等為客戶提供了更加有效的方法來實現(xiàn)企業(yè)數(shù)據(jù)和應(yīng)用最大化的可用性。但相對而言，國內(nèi)在數(shù)據(jù)庫研究(如HA)的發(fā)展還相對的落后，不論是軟件上還是硬件上，HA解決方案都是被國外廠商所領(lǐng)導(dǎo)，他們憑借早期的研發(fā)能力，雄厚的資金支持以及完善的產(chǎn)品鏈，推出了諸多不同層次，各具特色的高可用性解決方案。隨著數(shù)據(jù)庫系統(tǒng)高可用性理論日趨成熟，它也越發(fā)的被重視。 RAC集群的現(xiàn)狀在過去近40年時間里，Oracle公司從一家普通的數(shù)據(jù)庫產(chǎn)品開發(fā)和銷售公司成長為業(yè)界廣泛認可的數(shù)據(jù)庫產(chǎn)品領(lǐng)導(dǎo)者。當(dāng)應(yīng)用規(guī)模需要擴充時，用戶可以按需擴展系統(tǒng)，以保證系統(tǒng)的性能。Oracle RAC是可以支持24 x 7 有效運行的數(shù)據(jù)庫應(yīng)用系統(tǒng)，在低成本服務(wù)器上構(gòu)建高可用性數(shù)據(jù)庫系統(tǒng)，并且自由部署應(yīng)用。Oracle在10g版本推出的