【正文】 上，RAC并非完全依賴于Clusterware，它首先查看Clusterware能否解決問(wèn)題，如果能，那么一切照舊，如果不能，那么RAC自己進(jìn)行IMR (instance membership recover)。它并不關(guān)心上層應(yīng)用是數(shù)據(jù)庫(kù)還是Web應(yīng)用，它只負(fù)責(zé)收集集群的節(jié)點(diǎn)狀態(tài)的完整視圖并反饋給上層。 Oracle Clusterware的日志體系4. RAC與Clusterware的交互作為集群數(shù)據(jù)庫(kù)，除了并發(fā)控制，還是一個(gè)高可用方案，就是可以根據(jù)數(shù)據(jù)庫(kù)集群的狀態(tài)變遷進(jìn)行自動(dòng)的重構(gòu)，這需要數(shù)據(jù)庫(kù)與Clusterware的交互來(lái)完成()。Client，存放著工具執(zhí)行日志。3. Clusterware的日志體系CRS只能通過(guò)日志和trace文件進(jìn)行故障診斷，但CRS日志體系相對(duì)數(shù)據(jù)庫(kù)而言更為復(fù)雜。當(dāng)節(jié)點(diǎn)2發(fā)生故障。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)會(huì)自動(dòng)的轉(zhuǎn)到另一個(gè)節(jié)點(diǎn)上。IP是利用TCP層超時(shí)，vip利用的是應(yīng)用層的立即響應(yīng)。之所以分開(kāi)Public NIC和Private NIC，是因?yàn)镻rivate NIC上傳遞的是大數(shù)據(jù)量，低延遲的內(nèi)容，很容易占用Public NIC的帶寬，并且集群的可靠性也得不到保證。4) VIP原理與特點(diǎn)RAC節(jié)點(diǎn)的兩個(gè)NIC一塊和其他的應(yīng)用服務(wù)器或客戶機(jī)連接，提供對(duì)外的數(shù)據(jù)服務(wù)；另一塊連接到一個(gè)私有的交換機(jī)上，提供節(jié)點(diǎn)間的通信。也就是說(shuō)這個(gè)進(jìn)程提供IO隔離的功能。在非Linux平臺(tái)且沒(méi)有使用第三方的集群軟件時(shí)，可以看到這個(gè)進(jìn)程。它會(huì)建立到數(shù)據(jù)庫(kù)的持久連接，定期檢查SGA中的特定信息，該信息由PMON進(jìn)程定時(shí)更新。CRS和CSS之間的通信就是通過(guò)EVMD進(jìn)程完成的?？梢宰远x回調(diào)腳本，放在特定的目錄，當(dāng)有某些事件發(fā)生時(shí)，EVMD自動(dòng)掃描該目錄，并調(diào)用用戶腳本，這種調(diào)用是通過(guò)racgevt進(jìn)程完成的。而這些資源又可以被分成2類(lèi)：GSD、ONS、VIP 、Listener屬于Noteapps類(lèi)；database、Instance、Service屬于DatabaseRelated Resource類(lèi)。默認(rèn)CRS會(huì)自動(dòng)嘗試重啟資源5次，如果還是失敗，則放棄嘗試。 RAC會(huì)在安裝的時(shí)候，以CRS Resource的形式注冊(cè)需要高可用性的組件到OCR中，CRSD根據(jù)OCR的內(nèi)容，決定監(jiān)控哪些進(jìn)程，如何監(jiān)控，出現(xiàn)問(wèn)題時(shí)又如何解決。CRSD是HA主要實(shí)現(xiàn)進(jìn)程，提供CRS服務(wù)?？梢酝ㄟ^(guò)如下命令來(lái)查看參數(shù)值：[oracleracdb1 ~]$ crsctl get css disktimeout[oracleracdb1 ~]$ crsctl get css misscount單節(jié)點(diǎn)環(huán)境使用ASM同樣會(huì)用到這個(gè)進(jìn)程，用于ASM實(shí)例和RDBMS實(shí)例的通信。對(duì)Disk Heartbeat，這個(gè)延時(shí)叫作IOT(I/O Timeout)；對(duì)Network Heartbeat，這個(gè)延時(shí)叫MC(Misscount)。如果出現(xiàn)異常，會(huì)導(dǎo)致系統(tǒng)重啟。3) CRS的后臺(tái)進(jìn)程與服務(wù)Oracle Clusterware由若干進(jìn)程組成，最重要的3個(gè)是：CRSD、CSSD、EVMD。在安裝Clusterware時(shí)也會(huì)指定這個(gè)位置。另一心跳是節(jié)點(diǎn)間私有以太網(wǎng)的心跳，通過(guò)這個(gè)心跳機(jī)制可以判斷節(jié)點(diǎn)間是否出現(xiàn)了網(wǎng)絡(luò)故障。2) VotingdiskVoting Disk作為表決磁盤(pán)文件主要記錄節(jié)點(diǎn)成員狀態(tài)，在出現(xiàn)腦裂時(shí)，仲裁哪個(gè)節(jié)點(diǎn)可以獲得集群的控制權(quán)，而其他的節(jié)點(diǎn)必須從集群中剔除。這個(gè)節(jié)點(diǎn)的OCR process負(fù)責(zé)更新本地和其他結(jié)點(diǎn)的OCR Cache內(nèi)容。在每個(gè)節(jié)點(diǎn)的內(nèi)存中都有一份OCR內(nèi)容的拷貝，這份拷貝叫作OCR Cache。、key的CRS部分因子項(xiàng)過(guò)多(1000余項(xiàng))，僅列出前3級(jí)的Key。OCR信息在結(jié)構(gòu)上是一個(gè)有著3大分支的樹(shù)形結(jié)構(gòu)(SYSTEM、DATABASE、CRS)。：ocrconfig_loc=/dev/raw/raw4ocrmirrorconfig_loc=/dev/raw/raw5local_only=FALSE可以看出，OCR的存放位置是/dev/raw/raw4，冗余鏡像位置是/dev/raw/raw5，且存儲(chǔ)的模式是共享存儲(chǔ)。OCR磁盤(pán)文件大小約100MB，Clusterware安裝時(shí)，會(huì)指定OCR位置，該位置將被記錄到/etc/oracle/()。CRS解決健忘的辦法：將配置文件存放在共享存儲(chǔ)上，各個(gè)節(jié)點(diǎn)共用一份配置文件，從而確保修改不會(huì)丟失。1) OCROCR與Votingdisk是CRS解決健忘和腦裂的應(yīng)對(duì)之法。2. Clusterware的組成結(jié)構(gòu)當(dāng)安裝完Clusterware軟件后，每個(gè)節(jié)點(diǎn)上的CRS就會(huì)自動(dòng)啟動(dòng)。前者負(fù)責(zé)管理這個(gè)集群環(huán)境中的硬件資源，并為上層的Database集群提供基礎(chǔ)服務(wù)。1. Clusterware與RAC在整個(gè)的RAC環(huán)境中，實(shí)際上有兩個(gè)集群環(huán)境存在。 Clusterware與RACRAC的網(wǎng)絡(luò)層和存儲(chǔ)層是硬件資源，集群層和應(yīng)用層則對(duì)應(yīng)軟件資源。例如：LMSn，Global Cache Service(GCS)，Cache Fusion主進(jìn)程，負(fù)責(zé)數(shù)據(jù)塊在實(shí)例間的傳遞；LMD，Global Enqueue Service(GES)，在多個(gè)實(shí)例之間協(xié)調(diào)對(duì)數(shù)據(jù)塊的訪問(wèn)順序，確保數(shù)據(jù)的一致性訪問(wèn)，與GCS服務(wù)和GRD構(gòu)成RAC的核心功能Cache Fusion；LCK，負(fù)責(zé)NonCache Fusion資源同步訪問(wèn)，每個(gè)實(shí)例都有一個(gè)LCK進(jìn)程；LMON，Cluster Group Services(CGS)，負(fù)責(zé)每個(gè)實(shí)例的LMON進(jìn)程定期的進(jìn)行通信，從而檢查與維護(hù)集群中各個(gè)節(jié)點(diǎn)的狀態(tài)；GSD，負(fù)責(zé)從客戶端工具接收用戶命令，為用戶提供管理接口；DIAG，監(jiān)控實(shí)例的健康狀態(tài)。雖然GRD位于SGA中，但由于RAC擁有多個(gè)SGA，因此所有節(jié)點(diǎn)的GRD加在一起才是完整的GRD。2. RAC集群的體系架構(gòu)，與傳統(tǒng)單實(shí)例架構(gòu)相比，RAC Instance的SGA最顯著的變化是多出了一個(gè)Global Resource Directory部分。CRS Resource可以理解為一個(gè)進(jìn)程或一組進(jìn)程組成的一個(gè)完整服務(wù)。集群環(huán)境之所以能夠提高可用性，是因?yàn)镃RS對(duì)運(yùn)行其上的應(yīng)用進(jìn)行監(jiān)視，并在發(fā)生異常時(shí)進(jìn)行重啟、切換等進(jìn)行操作。CRS支持對(duì)其他集群產(chǎn)品的集成，其他軟件都可以借助其API而輕易的實(shí)現(xiàn)集群功能。在不同的平臺(tái)上實(shí)施RAC需要先安裝和配置廠商的集群軟件，而Oracle公司只提供Linux、Windows兩種平臺(tái)上的集群軟件Oracle Cluster Manager，這種環(huán)境無(wú)論是對(duì)DBA還是系統(tǒng)管理員都是極大的挑戰(zhàn)。此時(shí)，就引入額外的控制機(jī)制，在RAC中，這個(gè)機(jī)制就是位于Oracle和OS內(nèi)核之間的Cluseterware，Clusterware會(huì)在OS內(nèi)核之前截獲請(qǐng)求，然后和其它節(jié)點(diǎn)上Clusterware協(xié)商，最終完成上層的請(qǐng)求. 集群層位置示意圖Oracle 10g前，搭建RAC所需要的集群軟件依賴于硬件的生產(chǎn)廠商，也導(dǎo)致RAC超高的價(jià)格比的產(chǎn)生。在集群環(huán)境下，存儲(chǔ)設(shè)備共享。單機(jī)環(huán)境下，Oracle運(yùn)行在OS內(nèi)核之上，OS內(nèi)核負(fù)責(zé)管理管理硬件設(shè)備，同時(shí)提供硬件訪問(wèn)接口。在RAC集群環(huán)境中，有三個(gè)網(wǎng)絡(luò)：Public網(wǎng)絡(luò)，用于對(duì)外提供數(shù)據(jù)查詢服務(wù)；Private網(wǎng)絡(luò)，用于RAC心跳和Cache Fusion；第三個(gè)則是存儲(chǔ)設(shè)備和與之配套的網(wǎng)絡(luò)設(shè)備(生產(chǎn)環(huán)境中一般是光纖交換機(jī)和每個(gè)節(jié)點(diǎn)的HBA卡)。所有的RAC節(jié)點(diǎn)平等使用這些文件。存儲(chǔ)層。Oracle的實(shí)例和數(shù)據(jù)庫(kù)是一對(duì)一或多對(duì)一關(guān)系，這個(gè)不容易區(qū)別 (Oracle的架構(gòu)中都要區(qū)分，雖然許多時(shí)候二者可以互換)。事實(shí)上，無(wú)論采取哪種方式，其目的都是相同的：保證故障節(jié)點(diǎn)不能再訪問(wèn)共享數(shù)據(jù)。IO Fencing的實(shí)現(xiàn)有硬件和軟件2種方式：對(duì)支持SCSI Reserve/Release命令的存儲(chǔ)設(shè)備，可以用SG命令來(lái)實(shí)現(xiàn)，正常的節(jié)點(diǎn)使用SCSI Reserve命令“鎖住”存儲(chǔ)設(shè)備，故障節(jié)點(diǎn)發(fā)現(xiàn)存儲(chǔ)設(shè)備被鎖住后，就知道自己被趕出了集群，也就是說(shuō)自己出現(xiàn)了異常情況，就要自己進(jìn)行重啟，以恢復(fù)到正常狀態(tài)，也叫Sicide(自殺)機(jī)制(即所謂的軟件方式)，Sun和Veritas使用的就是這種機(jī)制；而硬件方式STONITH(Shoot The Other Node in the Head)是直接操作電源開(kāi)關(guān)，當(dāng)一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，如果另一節(jié)點(diǎn)能偵測(cè)到，就會(huì)通過(guò)串口發(fā)出命令，控制故障節(jié)點(diǎn)的電源開(kāi)關(guān)，通過(guò)暫時(shí)斷電再上電的方式使故障節(jié)點(diǎn)被重啟動(dòng)，當(dāng)然，這需要硬件支持。因?yàn)榇藭r(shí)該節(jié)點(diǎn)很有可能還在運(yùn)行當(dāng)中，如果不加以限制，那么很可能會(huì)修改共享數(shù)據(jù)。當(dāng)集群系統(tǒng)出現(xiàn)“腦裂”問(wèn)題的時(shí)候，可以通過(guò)投票算法來(lái)解決誰(shuí)獲得集群控制權(quán)，誰(shuí)應(yīng)該被趕出集群。照官方的說(shuō)法，如果你跑生產(chǎn)，要保證數(shù)據(jù)不受損壞，就必須有隔離設(shè)備。更保險(xiǎn)的作法，ping不通的一方自我重啟，以釋放可能還占用著的那些共享資源。于是有人在HA中設(shè)計(jì)了智能鎖(正常節(jié)點(diǎn)只在發(fā)現(xiàn)心跳線全部斷開(kāi)時(shí)才啟用磁盤(pán)鎖)；3) 設(shè)置仲裁機(jī)制。但如果占用共享盤(pán)的一方不主動(dòng)解鎖，另一方就永遠(yuǎn)得不到共享磁盤(pán)。盡量減少“裂腦”發(fā)生機(jī)會(huì)；2) 啟用磁盤(pán)鎖。故先獲得Quorum Disk的節(jié)點(diǎn)就獲得2票，余下節(jié)點(diǎn)就被剔除。此時(shí)，就引入了第三個(gè)設(shè)備：Quorum Device，它通常使用共享磁盤(pán)，也叫作Quorum disk。按照投票算法，B和C組成的集群獲得控制權(quán)，A被剔除。原理如下：集群中各個(gè)節(jié)點(diǎn)以心跳機(jī)制通報(bào)彼此的健康狀態(tài)，設(shè)每收到一個(gè)節(jié)點(diǎn)的“通報(bào)”代表一票。腦裂的后果是很?chē)?yán)重的：共享資源被瓜分，兩邊服務(wù)都宕掉；或雙方服務(wù)都啟動(dòng)，但同時(shí)讀寫(xiě)共享存儲(chǔ)，導(dǎo)致數(shù)據(jù)損壞(如數(shù)據(jù)庫(kù)輪詢的聯(lián)機(jī)日志出錯(cuò))。這時(shí)，每個(gè)節(jié)點(diǎn)都認(rèn)為其他的節(jié)點(diǎn)宕機(jī)了，自己是整個(gè)集群環(huán)境中的“唯一存活者”，自己應(yīng)該獲得整個(gè)集群的控制權(quán)。在集群中，節(jié)點(diǎn)間都是通過(guò)心跳了解彼此的健康狀態(tài)，以確保各節(jié)點(diǎn)協(xié)調(diào)工作。集群環(huán)境配置文件通常都不是集中存放，而是每個(gè)節(jié)點(diǎn)都有一個(gè)本地副本，在集群正常運(yùn)行時(shí)，用戶可以在任何節(jié)點(diǎn)更改集群的配置，并且這種更改會(huì)自動(dòng)同步到其他節(jié)點(diǎn)。這個(gè)問(wèn)題已經(jīng)在前面解決了。針對(duì)資源性質(zhì)的不同，RAC將共享資源從性能上分成兩類(lèi)，Cache Fusion Resurce和NonCache Fusion Resource，對(duì)于不同的資源使用不同的鎖機(jī)制。對(duì)于Cache Fusion而言，每一個(gè)數(shù)據(jù)塊都會(huì)被映射成一個(gè)Cache Fusion資源，這實(shí)際上是一個(gè)數(shù)據(jù)結(jié)構(gòu)，資源名就是數(shù)據(jù)塊的地址(DBA)。不同的實(shí)例緩存的數(shù)據(jù)可以是不同的，也就是在一個(gè)實(shí)例要訪問(wèn)特定塊之前，而它又從未訪問(wèn)過(guò)這個(gè)塊，那么它要么從其他實(shí)例Cache Fusion，或者從磁盤(pán)中讀入。如果內(nèi)存中的塊已經(jīng)被改變，但改變尚未提交，那么將會(huì)傳遞一個(gè)CRS副本。當(dāng)一個(gè)塊被讀入RAC環(huán)境中某個(gè)實(shí)例的緩存時(shí)，該塊會(huì)被賦予一個(gè)鎖資源，以確保其他實(shí)例知道該塊正在被使用。 Cache Fusion的示例Cache Fusion把每個(gè)節(jié)點(diǎn)的內(nèi)存邏輯看成一個(gè)大的SGA，然后通過(guò)網(wǎng)絡(luò)來(lái)提供物理傳輸。每當(dāng)有不同的實(shí)例請(qǐng)求相同的數(shù)據(jù)塊的時(shí)候，這個(gè)數(shù)據(jù)塊就在實(shí)例間進(jìn)行傳遞。DLM擁有仲裁的能力，記錄哪個(gè)節(jié)點(diǎn)正在使用哪種方式操作哪種數(shù)據(jù)，并負(fù)責(zé)協(xié)調(diào)和解決節(jié)點(diǎn)間的競(jìng)爭(zhēng)。因RAC是運(yùn)行于多臺(tái)計(jì)算機(jī)的數(shù)據(jù)庫(kù)，并發(fā)也從單機(jī)的多進(jìn)程間并發(fā)發(fā)展到了多機(jī)上的多進(jìn)程并發(fā)。 RAC的基本原理1. RAC的原理核心RAC是一個(gè)具有共享緩存體系結(jié)構(gòu)的集群數(shù)據(jù)庫(kù)，本質(zhì)上還是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)，克服了傳統(tǒng)的共享磁盤(pán)方法的限制，為所有業(yè)務(wù)應(yīng)用程序提供了一種可伸縮性和可用性的數(shù)據(jù)庫(kù)解決方案，一般與Oracle Clusterware或第三方集群軟件共同組成Oracle集群系統(tǒng)。所有的服務(wù)和程序通過(guò)操作系統(tǒng)都去訪問(wèn)一個(gè)共享存儲(chǔ)，最終完成數(shù)據(jù)的讀寫(xiě)。 RAC集群拓?fù)鋱D，雙節(jié)點(diǎn)的RAC拓?fù)鋸倪壿嬌巷@示了RAC集群的層次結(jié)構(gòu)。網(wǎng)格計(jì)算是針對(duì)有許多獨(dú)立作業(yè)的工作任務(wù)作優(yōu)化，在計(jì)算過(guò)程中作業(yè)間無(wú)需共享數(shù)據(jù)，主要服務(wù)于管理在獨(dú)立執(zhí)行工作的計(jì)算機(jī)間的作業(yè)分配。網(wǎng)格計(jì)算(Grid puting)網(wǎng)格計(jì)算或網(wǎng)格集群是一種與集群計(jì)算非常相關(guān)的技術(shù)。在高可用性集群和負(fù)載均衡集群中會(huì)使用類(lèi)似的技術(shù)。根據(jù)不同的功能可以將集群分為如下的四類(lèi)：高性能計(jì)算集群(Highperformance，HPC)采用將計(jì)算任務(wù)分配到集群的不同計(jì)算節(jié)點(diǎn)而提高計(jì)算能力，主要應(yīng)用在科學(xué)計(jì)算領(lǐng)域。一般情況下集群計(jì)算機(jī)比單機(jī)，如工作站或超級(jí)計(jì)算機(jī)性能價(jià)格比要高得多。集群系統(tǒng)中單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，以網(wǎng)絡(luò)連接(或其它方式)。相信在未來(lái)的一段時(shí)間，更多的國(guó)人的HA方案會(huì)得到應(yīng)用與發(fā)展。由于我國(guó)在軟硬件技術(shù)和系統(tǒng)架構(gòu)上與發(fā)達(dá)國(guó)家存在較大差距，國(guó)內(nèi)所使用的高可用性解決方案大部分都采用國(guó)外的產(chǎn)品，在已經(jīng)建成并投入使用的高可用性框架也存在功能單一，投入成本高，投資回報(bào)率低，結(jié)構(gòu)復(fù)雜，管理成本居高不下等問(wèn)題。作為數(shù)據(jù)庫(kù)系統(tǒng)，一般都會(huì)有自己的HA的實(shí)現(xiàn)方法和解決方案，Oracle公司在這方面一直都極為的重視，在多年的創(chuàng)新基礎(chǔ)上，2004年推出的Oracle10g引入了眾多新的可用性和數(shù)據(jù)保護(hù)技術(shù)與解決方案，RAC、DataGuard、Flashback、RMAN等為客戶提供了更加有效的方法來(lái)實(shí)現(xiàn)企業(yè)數(shù)據(jù)和應(yīng)用最大化的可用性。但相對(duì)而言，國(guó)內(nèi)在數(shù)據(jù)庫(kù)研究(如HA)的發(fā)展還相對(duì)的落后，不論是軟件上還是硬件上，HA解決方案都是被國(guó)外廠商所領(lǐng)導(dǎo)，他們憑借早期的研發(fā)能力，雄厚的資金支持以及完善的產(chǎn)品鏈，推出了諸多不同層次，各具特色的高可用性解決方案。隨著數(shù)據(jù)庫(kù)系統(tǒng)高可用性理論日趨成熟，它也越發(fā)的被重視。 RAC集群的現(xiàn)狀在過(guò)去近40年時(shí)間里，Oracle公司從一家普通的數(shù)據(jù)庫(kù)產(chǎn)品開(kāi)發(fā)和銷(xiāo)售公司成長(zhǎng)為業(yè)界廣泛認(rèn)可的數(shù)據(jù)庫(kù)產(chǎn)品領(lǐng)導(dǎo)者。當(dāng)應(yīng)用規(guī)模需要擴(kuò)充時(shí)，用戶可以按需擴(kuò)展系統(tǒng)，以保證系統(tǒng)的性能。Oracle RAC是可以支持24 x 7 有效運(yùn)行的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，在低成本服務(wù)器上構(gòu)建高可用性數(shù)據(jù)庫(kù)系統(tǒng)，并且自由部署應(yīng)用。Oracle在10g版本推出的