【正文】 OCR主要由OCR key和OCR進程組成。Oracle的Clusterware運行環(huán)境由三大部分組成：兩個磁盤文件，后臺進程以及網(wǎng)絡(luò)元素。RAC文件大都放置在共享存儲上；每個實例都有自己的undotbs和redo log，每套redo log都叫做一個Redo Thread，每個Redo Thread至少要兩個Redo Log Group，每組有兩個以上的成員，放在不同的磁盤中；每個實例都會產(chǎn)生自己的歸檔日志(可不放在共享存儲上，但若在單個實例上進行備份歸檔日志或進行Media Recovery操作，卻要求在該節(jié)點必須能夠訪問所有實例的歸檔日志)。這些被CRS監(jiān)控的對象就叫做CRS Resource，應(yīng)用層由若干的CRS Resource組成。因普通OS內(nèi)核只能控制單機上多進程的訪問，無法實現(xiàn)多主機間的協(xié)調(diào)工作。雖然在RAC系統(tǒng)中有多個實例，但是只有一個數(shù)據(jù)庫運行在共享磁盤上，數(shù)據(jù)文件，聯(lián)機日志，控制文件等文件在集群中都只有一份(鏡像不算)。這就是IO Fencing要解決的問題。如設(shè)置參考IP(如網(wǎng)關(guān)IP)，當(dāng)心跳線完全斷開時，各節(jié)點都ping參考IP，不通則表明斷點就出在本端，那就主動放棄競爭，讓能夠ping通的一端去啟服務(wù)。這個Quorum Disk也代表一票，當(dāng)2個節(jié)點心跳出現(xiàn)問題時，各節(jié)點同時去爭取Quorum Disk這一票，最早到達的請求被最先滿足。在集群環(huán)境中，存儲設(shè)備的共享也就意味著數(shù)據(jù)的不完整性，也即是數(shù)據(jù)災(zāi)難，這就是“腦裂”。2. RAC集群環(huán)境中的幾個關(guān)鍵問題并發(fā)控制。若另一個實例請求該塊的一個副本，而該塊已經(jīng)處于前一個實例的緩存內(nèi)，那么該塊會通過互聯(lián)網(wǎng)絡(luò)直接被傳遞到另一個實例的SGA。對于這種并發(fā)問題，RAC通過分布式鎖管理器(Distributed Lock Management，DLM)解決。資源如存儲可以被所有結(jié)點共享，但作業(yè)的中間結(jié)果不會影響在其他網(wǎng)格結(jié)點上作業(yè)的進展.現(xiàn)在經(jīng)常使用的集群軟件主要有：Sun Grid Engine；SLURM(天河一號的Job Scheduler)；JBoss Application Server；Lander Vault；Solaris Cluster；IBM HACMP；Oracle Real Application Cluster，RAC。而集群都具有共通的特點：通過多臺計算機完成同一個工作，達到更高的效率；多機的內(nèi)容，工作過程等完全一致(HP，IBM的Unix商務(wù)機略有不同)，如果一臺死機，余下的仍可代替。就國內(nèi)而言，近年來，各行業(yè)都開始借鑒國外經(jīng)驗使用高可用的方案來解決存儲，數(shù)據(jù)的問題。隨著rac環(huán)境的應(yīng)用增多，數(shù)據(jù)遷移也隨之而來，尤其是海量數(shù)據(jù)的遷移更為困難和繁瑣。RAC的神秘很大程度上要歸功于“高墻鎖深宮”，技術(shù)本身的因素反而成為了次要。 ASM Storage。RAC是Oracle 9i數(shù)據(jù)庫中采用的一項新技術(shù)，它可以支持24 x 7小時有效的數(shù)據(jù)庫應(yīng)用系統(tǒng)，可以再低成本的服務(wù)器構(gòu)成的高可用性系統(tǒng)上自由部署應(yīng)用，而無需更改底層的應(yīng)用程序。本項目中，設(shè)計與優(yōu)化方案是一套基于電信計費系統(tǒng)應(yīng)用系統(tǒng)的后臺數(shù)據(jù)庫的支持，通過展現(xiàn)集群數(shù)據(jù)庫與單節(jié)點數(shù)據(jù)庫的性能差異以及集群數(shù)據(jù)庫的實時高可用性來反映集群數(shù)據(jù)庫的優(yōu)勢和海量數(shù)據(jù)的實時變化搭建集群的必要性，然后完成從單節(jié)點數(shù)據(jù)庫到rac集群的海量數(shù)據(jù)的遷移。 Highavailability。但隨著芯片技術(shù)的發(fā)展，近年來硬件成本不斷的降低，物美價廉的PC Server越來越深入人心。 RAC集群的現(xiàn)狀在過去近40年時間里，Oracle公司從一家普通的數(shù)據(jù)庫產(chǎn)品開發(fā)和銷售公司成長為業(yè)界廣泛認可的數(shù)據(jù)庫產(chǎn)品領(lǐng)導(dǎo)者。由于我國在軟硬件技術(shù)和系統(tǒng)架構(gòu)上與發(fā)達國家存在較大差距，國內(nèi)所使用的高可用性解決方案大部分都采用國外的產(chǎn)品，在已經(jīng)建成并投入使用的高可用性框架也存在功能單一，投入成本高，投資回報率低，結(jié)構(gòu)復(fù)雜，管理成本居高不下等問題。根據(jù)不同的功能可以將集群分為如下的四類：高性能計算集群(Highperformance，HPC)采用將計算任務(wù)分配到集群的不同計算節(jié)點而提高計算能力，主要應(yīng)用在科學(xué)計算領(lǐng)域。 RAC集群拓撲圖，雙節(jié)點的RAC拓撲從邏輯上顯示了RAC集群的層次結(jié)構(gòu)。DLM擁有仲裁的能力，記錄哪個節(jié)點正在使用哪種方式操作哪種數(shù)據(jù)，并負責(zé)協(xié)調(diào)和解決節(jié)點間的競爭。如果內(nèi)存中的塊已經(jīng)被改變，但改變尚未提交，那么將會傳遞一個CRS副本。這個問題已經(jīng)在前面解決了。腦裂的后果是很嚴重的：共享資源被瓜分，兩邊服務(wù)都宕掉；或雙方服務(wù)都啟動，但同時讀寫共享存儲，導(dǎo)致數(shù)據(jù)損壞(如數(shù)據(jù)庫輪詢的聯(lián)機日志出錯)。故先獲得Quorum Disk的節(jié)點就獲得2票，余下節(jié)點就被剔除。更保險的作法，ping不通的一方自我重啟，以釋放可能還占用著的那些共享資源。IO Fencing的實現(xiàn)有硬件和軟件2種方式：對支持SCSI Reserve/Release命令的存儲設(shè)備，可以用SG命令來實現(xiàn)，正常的節(jié)點使用SCSI Reserve命令“鎖住”存儲設(shè)備，故障節(jié)點發(fā)現(xiàn)存儲設(shè)備被鎖住后，就知道自己被趕出了集群，也就是說自己出現(xiàn)了異常情況，就要自己進行重啟，以恢復(fù)到正常狀態(tài)，也叫Sicide(自殺)機制(即所謂的軟件方式)，Sun和Veritas使用的就是這種機制；而硬件方式STONITH(Shoot The Other Node in the Head)是直接操作電源開關(guān)，當(dāng)一個節(jié)點發(fā)生故障時，如果另一節(jié)點能偵測到，就會通過串口發(fā)出命令，控制故障節(jié)點的電源開關(guān)，通過暫時斷電再上電的方式使故障節(jié)點被重啟動，當(dāng)然，這需要硬件支持。所有的RAC節(jié)點平等使用這些文件。此時，就引入額外的控制機制，在RAC中，這個機制就是位于Oracle和OS內(nèi)核之間的Cluseterware，Clusterware會在OS內(nèi)核之前截獲請求，然后和其它節(jié)點上Clusterware協(xié)商，最終完成上層的請求. 集群層位置示意圖Oracle 10g前，搭建RAC所需要的集群軟件依賴于硬件的生產(chǎn)廠商，也導(dǎo)致RAC超高的價格比的產(chǎn)生。CRS Resource可以理解為一個進程或一組進程組成的一個完整服務(wù)。 Clusterware與RACRAC的網(wǎng)絡(luò)層和存儲層是硬件資源，集群層和應(yīng)用層則對應(yīng)軟件資源。1) OCROCR與Votingdisk是CRS解決健忘和腦裂的應(yīng)對之法。OCR信息在結(jié)構(gòu)上是一個有著3大分支的樹形結(jié)構(gòu)(SYSTEM、DATABASE、CRS)。2) VotingdiskVoting Disk作為表決磁盤文件主要記錄節(jié)點成員狀態(tài)，在出現(xiàn)腦裂時，仲裁哪個節(jié)點可以獲得集群的控制權(quán)，而其他的節(jié)點必須從集群中剔除。如果出現(xiàn)異常，會導(dǎo)致系統(tǒng)重啟。 RAC會在安裝的時候，以CRS Resource的形式注冊需要高可用性的組件到OCR中，CRSD根據(jù)OCR的內(nèi)容，決定監(jiān)控哪些進程，如何監(jiān)控，出現(xiàn)問題時又如何解決。CRS和CSS之間的通信就是通過EVMD進程完成的。4) VIP原理與特點RAC節(jié)點的兩個NIC一塊和其他的應(yīng)用服務(wù)器或客戶機連接，提供對外的數(shù)據(jù)服務(wù)；另一塊連接到一個私有的交換機上，提供節(jié)點間的通信。當(dāng)節(jié)點2發(fā)生故障。它并不關(guān)心上層應(yīng)用是數(shù)據(jù)庫還是Web應(yīng)用，它只負責(zé)收集集群的節(jié)點狀態(tài)的完整視圖并反饋給上層。計費系統(tǒng)能否有效、安全地運行，在很大程度上影響著電信運營系統(tǒng)本身的運行效率和信譽。 解決上述計費中的矛盾要從兩方面下手，一是建立集中計費體制，二是變脫機按月計費為聯(lián)機實時計費。運營商、內(nèi)容提供商和分銷商需要投資這樣的系統(tǒng)，從而在瞬息萬變的市場中有效地開展競爭。如今，計費系統(tǒng)已經(jīng)成為反饋用戶信息最直接、信息量最大的信息源。在所有的節(jié)點都正常運行的時候，每個節(jié)點的vip會被綁定到Public NIC上，當(dāng)一個節(jié)點宕機之后，這個節(jié)點的vip會被轉(zhuǎn)移到正在運行的節(jié)點上，幸存的節(jié)點上的Public NIC上會有三個IP。第三個網(wǎng)絡(luò)就是存儲網(wǎng)絡(luò)，只是這個網(wǎng)絡(luò)不是通過網(wǎng)線，而是通過光纖線(或SCSI線)來連接的，其上運行的則是SCSI協(xié)議。軟件上操作系統(tǒng)：Red Hat Enterprise Linux server (AS) i386；集群中間件：Oracle Clusterware；集群文件系統(tǒng)：ASMLib；數(shù)據(jù)庫：。因此在搭建RAC集群之前，應(yīng)先建立NTP服務(wù)器，或讓數(shù)據(jù)庫服務(wù)器之間相互做NTP服務(wù)器與客戶端以完成時間同步。 Clusterware和Oracle數(shù)據(jù)庫存儲支持存儲選項支持的文件類型Clusterware數(shù)據(jù)庫恢復(fù)文件ASM否是是OCFS2是是是Raw Device是是否NFS是是是從表中也可以看出，想要使用單一文件系統(tǒng)，必須使用OCFS2或NFS文件系統(tǒng)。 規(guī)劃階段任務(wù)：文件存儲規(guī)劃軟件名文件類別本地文件系統(tǒng)ASMRAWOracle ClusterwareClusterware Software$ORA_CRS_HOMEVotingDisk/dev/raw/rawOCR/dev/raw/rawOracle Databasedatabase software$ORACLE_HOMEspfileRAC_SPFILEpassword file，pfile$ORACLE_HOME/dbscontrolfileRAC_CTRLdatafileRAC_DATAlogfileRAC_LOGarchive logRAC_ARCHBackupRAC_RECOVERY接下來，對共享存儲進行分區(qū)規(guī)劃。創(chuàng)建完racdb1后，點擊Edit virtual machine settings；點擊Add添加設(shè)備，首先添加一塊網(wǎng)卡，作為節(jié)點主機的Private NIC，連接類型選擇Hostonly。3. 安裝RHEL操作系統(tǒng)點擊Red Hat Enterprise Linux ，啟動虛擬機，安裝RHEL系統(tǒng)。到此，. 配置Linux主機節(jié)點輸入用戶名和密碼，進入racdb1系統(tǒng)。[rootracdb1 ~] cat /etc/hosts localhost //這里不能有主機名::1 localhost6[rootracdb1 ~] cat /etc/sysconfig/networkHOSTNAME=racdb1GATEWAY=5. 查看網(wǎng)卡配置并測試 查看NIC的網(wǎng)絡(luò)地址與規(guī)劃一致。它在Linux內(nèi)核空間運行，不受系統(tǒng)負載的影響。模塊需要hangcheck_tick和hangcheck_margin兩個參數(shù)。[rootracdb1 ~] ping 。[rootracdb1 ~] tar xvf /media/VMware\ Tools/[rootracdb1 ~] ./vmwaretoolsdistrib/2. 檢查必要的系統(tǒng)RPM包是否安裝查看Linux的OS kernel版本。 分區(qū)視圖引導(dǎo)文件使用默認值，Next，對eth0(Public NIC)與eth1(Private NIC)的IP地址設(shè)置如下，并手動設(shè)定hostname為racdb1，此二者均是由路由器所負責(zé)的。這里需要添加8塊本地磁盤作為共享存儲。需要注意的是，ASM磁盤最少分配60MB以上的空間，否則創(chuàng)建ASM存儲時會失敗，無法掛載到各節(jié)點(各節(jié)點均正常運行時)。在Linux上搭建Oracle集群，可以使用以下幾種策略：1) 將數(shù)據(jù)庫軟件安裝在每個節(jié)點的本地磁盤，使用裸設(shè)備來存儲Clusterware，使用ASM來存儲數(shù)據(jù)庫和恢復(fù)文件。 存儲方案選型在Oracle 10g中，RAC使用的存儲方式，按照Oracle官方的推薦順序為ASM 224。 RAC的任務(wù)列表階段任務(wù)列表前期規(guī)劃確認集群節(jié)點的數(shù)量，每個節(jié)點的主機名及主機的系統(tǒng)配置；區(qū)分Public和Private NIC，確認每個節(jié)點的三個IP地址；數(shù)據(jù)庫存儲技術(shù)選型；系統(tǒng)磁盤分區(qū)規(guī)劃；存儲空間的規(guī)劃，包括軟件安裝位置，數(shù)據(jù)庫文件位置規(guī)劃；配置節(jié)點主機配置主機名和3個IP地址；RPM包的檢查；磁盤分區(qū)；配置裸設(shè)備；系統(tǒng)需求分析；創(chuàng)建用戶oracle，要求每個節(jié)點的UID，GID相同；定義用戶oracle的環(huán)境變量以及資源的限制；用戶等價性的配置；時間節(jié)點的同步；安裝部署安裝RHEL操作系統(tǒng)；安裝Oracle Clusterware，安裝后進行檢查；安裝Oracle Database；創(chuàng)建ASM磁盤；配置Listener；創(chuàng)建ASM存儲；創(chuàng)建RAC數(shù)據(jù)庫；節(jié)點增加創(chuàng)建并配置第三節(jié)點主機搭建Oracle集群件和軟件將第三節(jié)點添加到集群數(shù)據(jù)庫安裝后測試，F(xiàn)ailover和LoadBalance。1. 操作系統(tǒng)RAC節(jié)點上的OS必須是相同的版本，無論是大小版本還是補丁包都必須一樣。光纖卡與存儲的連接可以是直連或通過光纖交換機連接。第四章 Linux的Oracle RAC實時應(yīng)用集群搭建 Oracle RAC的安裝環(huán)境 RAC環(huán)境示意拓撲其中：1)，2)，3)，4)，5)，9)，10)為硬件環(huán)境6)，7)，8)為軟件環(huán)境 硬件環(huán)境安裝Oracle RAC，環(huán)境的配置是最重要的。它能有效地提供服務(wù)，降低運營成本，提高運營效率。原郵電部電信總局針對這種情況，并為適應(yīng)電信業(yè)務(wù)未來發(fā)展的需要，決定建立“全國電信計費結(jié)算中心和各省計費結(jié)算中心”，用集中計費結(jié)算的方式解決目前分專業(yè)分散計費結(jié)算中存在的問題，并為開發(fā)各種新業(yè)務(wù)打下基礎(chǔ)。電信計費系統(tǒng)是一個大型項目，分為九個模塊，提供了強大的權(quán)限管理、用戶管理、賬單管理和資費管理。事實上，RAC并非完全依賴于Clusterware，它首先查看C