【正文】 Oracle RAC實(shí)驗(yàn)?zāi)夸汷racle RAC實(shí)驗(yàn) 1目錄 1一、目標(biāo) 2二、系統(tǒng)原理 3 RAC和Oracle Clusterware 3 RAC原理 3. Cache Fusion和GRD 3 3 Clusterware原理 4 4 4 5 5三、安裝步驟 5 5 5 準(zhǔn)備安裝文件 5 規(guī)劃網(wǎng)絡(luò) 6 規(guī)劃存儲(chǔ) 6 7 7 配置網(wǎng)絡(luò)環(huán)境 9 12 15 18 24 31四、運(yùn)行維護(hù) 35 35 35 36 36 36 36 Manager 37 37 37 38 38 38 39 39 40 40 40 4恢復(fù)和數(shù)據(jù)遷移 44五、單機(jī)模式向RAC遷移 45六、知識(shí)點(diǎn)和專題擴(kuò)展 45（一）知識(shí)點(diǎn) 45 45 45？ 46(transparently)？ 46 高可用性體系 466. interface name 接口名稱 46 disk和OCR 47 48 48(striping) 48 48 RAC安裝過(guò)程中的路徑設(shè)置 49 49 49 50 50（Transparent Application Failover） 50 58（二）專題擴(kuò)展 59 59一、目標(biāo)，對(duì)RAC原理有系統(tǒng)認(rèn)識(shí)OK，NFS存儲(chǔ)技術(shù)對(duì)RAC存儲(chǔ)進(jìn)行規(guī)劃和配置（包括卷管理和實(shí)現(xiàn)冗余）OK（由于普遍反應(yīng)OCFS不穩(wěn)定，不予實(shí)練驗(yàn)證），并對(duì)負(fù)載均衡的優(yōu)化有初步認(rèn)識(shí)OK，以及高效數(shù)據(jù)遷移二、系統(tǒng)原理 RAC和Oracle ClusterwareOracle RAC數(shù)據(jù)庫(kù)是一個(gè)包含多個(gè)實(shí)例節(jié)點(diǎn)的，且每個(gè)實(shí)例節(jié)點(diǎn)共享同一存儲(chǔ)路徑、同一網(wǎng)絡(luò)環(huán)境的，具有高可用性的數(shù)據(jù)庫(kù)環(huán)境。Oracle RAC通過(guò)使用Oracle群集軟件來(lái)實(shí)現(xiàn)對(duì)多個(gè)服務(wù)器節(jié)點(diǎn)進(jìn)行綁定和管理，Oracle Clusterware在RAC環(huán)境中主要用于協(xié)調(diào)硬件資源并為上層的RAC數(shù)據(jù)庫(kù)提供基礎(chǔ)服務(wù)，打個(gè)比方說(shuō)，群集軟件在群集環(huán)境中的作用就如同OS Kernel在單機(jī)環(huán)境中的作用。Oracle Clusterware是一款獨(dú)立的產(chǎn)品，要部署RAC，首先要部署Clusterware，這樣，在安裝Database的時(shí)候OUI會(huì)自動(dòng)檢測(cè)到Clusterware的存在，進(jìn)而自動(dòng)識(shí)別RAC節(jié)點(diǎn)，并由OUI統(tǒng)一控制各節(jié)點(diǎn)的安裝進(jìn)程和相關(guān)配置操作，也就是說(shuō)，只需在一個(gè)節(jié)點(diǎn)上執(zhí)行OUI，便可完成所有節(jié)點(diǎn)的安裝。 RAC原理. Cache Fusion和GRDRAC的本質(zhì)是一個(gè)數(shù)據(jù)庫(kù)，但區(qū)別于單實(shí)例數(shù)據(jù)庫(kù)，RAC運(yùn)行在多臺(tái)計(jì)算機(jī)上，所以需要解決分布計(jì)算的問(wèn)題，Oracle RAC通過(guò)Cache Fusion（緩存融合）機(jī)制來(lái)解決分布式并發(fā)計(jì)算的問(wèn)題。Cache Fusion機(jī)制包括兩個(gè)部分，GRD（Global Resource Directory）和一組RAC進(jìn)程。在RAC環(huán)境中，每個(gè)節(jié)點(diǎn)實(shí)例的SGA中都會(huì)新開辟一個(gè)內(nèi)存空間GRD（Global Resource Directory），來(lái)記錄每一個(gè)數(shù)據(jù)塊在群集間的分布圖，但是每個(gè)實(shí)例只貯存了部分的GRD，所有實(shí)例的GRD匯總在一起才是一個(gè)完整的GRD，Oracle RAC提供了一些RAC后臺(tái)進(jìn)程來(lái)管理和操作GRD中的數(shù)據(jù)。Oracle RAC主要通過(guò)下面的進(jìn)程來(lái)管理和操作GRD中的數(shù)據(jù)（1）LMS（Global Cache Service Process）：是Cache Fusion的主要進(jìn)程，負(fù)責(zé)數(shù)據(jù)塊在實(shí)例間的傳遞，該進(jìn)程的數(shù)量通過(guò)參數(shù)gcs_server_processes來(lái)控制，取值范圍是09。（2）LMD（Global Enqueue Service Daemon）：負(fù)責(zé)在多個(gè)實(shí)例之間協(xié)調(diào)對(duì)數(shù)據(jù)塊的訪問(wèn)順序，保證數(shù)據(jù)的一致性訪問(wèn)，它與GCS、GRD共同構(gòu)成RAC最核心的功能Cache Fusion。（3）LMON（Global Enqueue Service Monitor）：各實(shí)例間的LMON進(jìn)程會(huì)定期通信，以確認(rèn)集群各節(jié)點(diǎn)的健康狀態(tài)，負(fù)責(zé)集群的重構(gòu)和GRD恢復(fù)等操作。主要通過(guò)兩種方法來(lái)檢查節(jié)點(diǎn)狀態(tài)：一是發(fā)送網(wǎng)絡(luò)包定時(shí)ping其他節(jié)點(diǎn)，二是檢查控制文件中各節(jié)點(diǎn)的操作時(shí)間戳。（4）LCK0（Instance Enqueue Process）：負(fù)責(zé)NonCache Fusion資源的同步訪問(wèn)，每個(gè)實(shí)例有一個(gè)LCK進(jìn)程。注：由于這些進(jìn)程是從9i 之前的OPS（RAC 前身）延續(xù)下來(lái)的，所以在10g中與進(jìn)程對(duì)應(yīng)的服務(wù)名差異很大，比如LMS進(jìn)程提供的是GCS 服務(wù)。 Clusterware原理Oracle群集件是一個(gè)安裝在運(yùn)行著相同操作系統(tǒng)（可否組建異構(gòu)群集？）的不同物理服務(wù)器上的軟件。通過(guò)Oracle群集件，可以對(duì)多臺(tái)服務(wù)器進(jìn)行綁定，從而使得對(duì)于終端用戶或應(yīng)用程序而言，就好像一臺(tái)服務(wù)器一樣。Oracle群集件依據(jù)以下信息來(lái)實(shí)現(xiàn)群集功能：（1）表決磁盤用于記錄各節(jié)點(diǎn)成員的信息，如包含哪些節(jié)點(diǎn)成員、節(jié)點(diǎn)的添加刪除信息記錄（2）OCR（群集注冊(cè)表）用于記錄群集的配置信息，如database、ASM、instance、listener、VIP等CRS資源的配置信息，可存儲(chǔ)于裸設(shè)備或者群集文件系統(tǒng)上Oracle群集件主要通過(guò)以下幾個(gè)服務(wù)進(jìn)程來(lái)完成群集功能Clusterware組件名稱Linux/Unix進(jìn)程Windows服務(wù)Windows進(jìn)程Cluster SynchronizationServices (r),ocssd (r),OracleCSServiceCluster Ready (r)OracleCRSServiceEvent Managerevmd (r),evmloggerOracleEVMService,Oracle NotificationService (ONS)ons　RACGracgmain, racgimon　,Process Monitor Daemonoprocd(r)OraFenceService　（1）CSS（群集同步服務(wù)）當(dāng)某一節(jié)點(diǎn)被添加到群集中，或群集中某一節(jié)點(diǎn)脫離群集時(shí)，CSS負(fù)責(zé)實(shí)時(shí)地收集群集節(jié)點(diǎn)的變更信息，并記錄到表決磁盤。（2）CRS（群集就緒服務(wù)）是實(shí)現(xiàn)高可用性的核心進(jìn)程，當(dāng)群集中某一節(jié)點(diǎn)宕機(jī)時(shí)，CRS依據(jù)表決磁盤中的節(jié)點(diǎn)狀態(tài)信息，以及OCR中的節(jié)點(diǎn)配置信息（包括數(shù)據(jù)庫(kù)、實(shí)例、服務(wù)、監(jiān)聽、虛擬IP等配置信息），來(lái)對(duì)故障節(jié)點(diǎn)執(zhí)行失效切換（failover），重啟和監(jiān)視等操作，Oracle默認(rèn)對(duì)失效節(jié)點(diǎn)最多執(zhí)行5次重啟操作。（3）EVM（事件管理器）用于展示CRS進(jìn)程在服務(wù)期間產(chǎn)生的各種事務(wù)記錄（4）ONS（Oracle消息服務(wù)）提供了通過(guò)TCP/IP協(xié)議實(shí)現(xiàn)的對(duì)于CRS事件的訂閱和發(fā)布服務(wù)，提供了C和JAVA的API。典型的功能就是應(yīng)用程序通過(guò)API選擇訂閱FAN類型的事件，當(dāng)應(yīng)用程序收到來(lái)自O(shè)NS的FAN事件消息，便執(zhí)行相應(yīng)的事件處理行為。一個(gè)ONS監(jiān)聽進(jìn)程需要被在每個(gè)訂閱了ONC的host上被start。這包括RAC環(huán)境中的每個(gè)node。Fast Application notification（FAN）是這樣一種特性：它過(guò)濾并發(fā)布那些被認(rèn)為是意義重大的特殊目標(biāo)的高可用性事件。（5）RACG：當(dāng)RAC發(fā)生了FAN事件導(dǎo)致系統(tǒng)故障時(shí)，RACG為群集數(shù)據(jù)庫(kù)環(huán)境提供了自動(dòng)的故障處理方法，主要通過(guò)調(diào)用$ORACLE_BASE/product/、停止和故障轉(zhuǎn)移。（6）OPROCD（進(jìn)程監(jiān)視程序）用于監(jiān)視各節(jié)點(diǎn)的CPU狀態(tài)，默認(rèn)情況下如果CPU調(diào)度時(shí)間超過(guò)15秒，OPROCD就會(huì)認(rèn)為系統(tǒng)出現(xiàn)故障，并重啟該節(jié)點(diǎn)。在linux中通過(guò)hangchecktimer模塊來(lái)監(jiān)視節(jié)點(diǎn)狀態(tài)，在windows平臺(tái)上，通過(guò)OraFenceService進(jìn)程監(jiān)視。如果CRSD和EVMD出現(xiàn)異常，系統(tǒng)會(huì)自動(dòng)重啟這兩個(gè)進(jìn)程，如果CSSD進(jìn)程異常，系統(tǒng)會(huì)立即重啟。由于DBA干預(yù)Clusterware的手段有限，除了數(shù)據(jù)庫(kù)的trace日志文件，Oracle群集件還提供了以下日志文件，供DBA進(jìn)行故障排查和修復(fù)。（1）（2）crsd、cssd、（3）racg：放置和節(jié)點(diǎn)資源相關(guān)的日志，包括ONS日志和VIP日志等，而數(shù)據(jù)庫(kù)相關(guān)的資源日志主要位于ORACLE_HOME（4）client：存放客戶端工具執(zhí)行日志，如ocrcheck、ocrconfig、ocrdump、oifcfg、clscfg等關(guān)于RAC更多原理介紹，可以參考：，《Oracle RAC環(huán)境中連接的高可用》，《RAC的概念簡(jiǎn)介》三、安裝步驟（1）虛擬機(jī)版本：VMware Workstation （2）客戶機(jī)操作系統(tǒng)版本：CentOS release (Final) 32位（3）數(shù)據(jù)庫(kù)版本：Oracle ClusterWare 10gR2 for linux32位，Oracle Database 10gR2 for linux32位 準(zhǔn)備安裝文件（1）（2），，（3） ，但是默認(rèn)不加載到內(nèi)核，需要使用insmod命令加載hangcheck_timer模塊；若Linux系統(tǒng)未提供該模塊，需要手工編譯hangcheck_timer模塊。（4） 在RedHat和SUSE Linux中，若未安裝cvuqdisk，則Oracl CVU工具無(wú)法發(fā)現(xiàn)共享磁盤，并返回“Package cvuqdisk not installed”的錯(cuò)誤。該安裝包在“”中提供（5） Oracle Clusterware 10gR2安裝包（6） Oracle Database 10gR2安裝包 規(guī)劃網(wǎng)絡(luò)在Oracle RAC環(huán)境中需要配置三類IP地址：（1）專有網(wǎng)絡(luò)IP：用于各節(jié)點(diǎn)實(shí)例間的通信（2）虛擬IP：用于實(shí)現(xiàn)故障節(jié)點(diǎn)切換，客戶端連接到數(shù)據(jù)庫(kù)的時(shí)候，應(yīng)該連接虛擬IP，而不是公共網(wǎng)絡(luò)IP（3）公共網(wǎng)絡(luò)IP：用于客戶端與節(jié)點(diǎn)之間的通信對(duì)于三類IP的規(guī)劃，需要遵循以下規(guī)則：（1）公共網(wǎng)絡(luò)和虛擬IP必須在同一網(wǎng)段，所以每一個(gè)節(jié)點(diǎn)至少需要兩個(gè)外網(wǎng)IP（2）專有網(wǎng)絡(luò)IP和公共網(wǎng)絡(luò)必須在不同的網(wǎng)段，以保證群集各節(jié)點(diǎn)實(shí)例間的高效通信（2）公共網(wǎng)絡(luò)和虛擬IP需要在DNS（或本地hosts文件）注冊(cè)IP地址和主機(jī)名，在安裝期間，虛擬IP與公共IP綁定（3）私有網(wǎng)絡(luò)不需要在DNS注冊(cè)IP地址和主機(jī)名，只需在hosts文件中添加主機(jī)名和IP地址即可（4）所有節(jié)點(diǎn)的公共網(wǎng)絡(luò)和私有網(wǎng)絡(luò)的網(wǎng)卡設(shè)備名和設(shè)備訪問(wèn)優(yōu)先順序必須一致針對(duì)本文中的安裝需求，規(guī)劃如下：主機(jī)名類型IP 地址 網(wǎng)卡接口注冊(cè)位置node1公共eth0DNS或主機(jī)文件node2公共eth0DNS或主機(jī)文件node1_vip虛擬DNS或主機(jī)文件node2_vip虛擬DNS或主機(jī)文件node1_prv專用eth1主機(jī)文件node2_prv專用eth1主機(jī)文件注：在10g以及11gR1的時(shí)代，安裝RAC的步驟是先安裝CRS，再安裝DB，而到了11gR2的時(shí)代，crs與asm被集成在一起，合稱為GRID，必須先安裝GRID后，才能繼續(xù)安裝DB從ORACLE ，對(duì)網(wǎng)絡(luò)IP地址有特殊要求，增加SCAN IP。 規(guī)劃存儲(chǔ)Oracle RAC各部件對(duì)不同存儲(chǔ)方式的支持情況如下：OCR和Voting DiskOracle軟件數(shù)據(jù)文件ASMNoNoYesOCFSYesNoYesOCFS2YesYesYesOS本地磁盤NoYesNoNFS（基于NAS）YesYesYes裸設(shè)備YesNoYes存儲(chǔ)規(guī)劃如下：文件類型存儲(chǔ)位置文件系統(tǒng)空間需求路徑規(guī)劃CRS軟件本地磁盤/dev/sda1ext3512M/oracle/product/表決磁盤共享磁盤/dev/sdb1ext3+NFS50M/oracle/ocr/voting_diskOCR資源文件共享磁盤/dev/sdb1ext3+NFS150M/oracle/ocr/ocr數(shù)據(jù)庫(kù)軟件本地磁盤/dev/sda1ext32048M/oracle/product/ASM數(shù)據(jù)庫(kù)本地磁盤/dev/sda1ext32048M/oracle/product/數(shù)據(jù)文件共享磁盤/dev/sdc1ASM4096M由ASM進(jìn)行管理，用戶只能創(chuàng)建別名，無(wú)法直接操作數(shù)據(jù)文件說(shuō)明：（1）NFS共享存儲(chǔ)的配置操作比較簡(jiǎn)單，而且可以支持靈活的冗余方案，比如可以在NFS中創(chuàng)建多個(gè)備份來(lái)實(shí)現(xiàn)冗余，或者把冗余隔離在更底層的專用硬件存儲(chǔ)方案上。故對(duì)于輕量級(jí)的表決磁盤和OCR資源文件均使用NFS實(shí)現(xiàn)共享存儲(chǔ)。（2）ASM與CRS的結(jié)合比較緊密，對(duì)于RAC數(shù)據(jù)庫(kù)的性能維護(hù)提供了豐富的手段途徑，故對(duì)于數(shù)據(jù)文件使用ASM共享存儲(chǔ)。（3）本文中，CRS和ASM全部使用外部冗余，故沒(méi)有添加副本磁盤和指定副本存儲(chǔ)路徑，冗余相關(guān)介紹參考“四、運(yùn)行維護(hù)/”和“四、運(yùn)行維護(hù)/”，以及“六、知識(shí)點(diǎn)和專題擴(kuò)展/（一）知識(shí)點(diǎn)”中的相關(guān)知識(shí)點(diǎn)。 。 安裝過(guò)程需注意： 需要安裝圖形話桌面，否則無(wú)法執(zhí)行OUI； 選擇安裝開發(fā)工具下的所有組件，避免安裝RAC期間缺少編譯和運(yùn)行環(huán)境組件； 在VM中安裝完畢操作系統(tǒng)之后，需要安裝vmwareto