【正文】 用命令方式綁定裸設備在系統(tǒng)重啟后會失效。 Data Gurad 通過冗余數(shù)據來提供數(shù)據保護，Data Gurad 通過日志同步機制保證冗余數(shù)據和主數(shù)據之前的同步，這種同步可以是實時，延時，同步，異步多種形式。 參考： 六、知識點和專題擴展（一）知識點 分布式數(shù)據庫就是通過各種網絡途徑和數(shù)據庫自帶的網絡訪問方式，實現(xiàn)將多個數(shù)據庫在呈現(xiàn)給應用開發(fā)的時候，在邏輯上是一個數(shù)據庫。它不僅支持單實例，同時對RAC的支持也是非常好。（5）啟動CRS$ crsctl query css votedisk虛擬IP配置工具，需要以root用戶執(zhí)行，結合/etc/hosts文件，srvctl命令的虛擬IP綁定操作，來對RAC的VIP進行配置。10000000139。node239。 其中：；、表決磁盤和OCR磁盤初始化，以及啟動CRS服務。（1）在存儲節(jié)點添加新磁盤并格式化 D:\VMs\Share Storage c s 200Mb a lsilogic t 2 備注：若執(zhí)行彈出報錯failed to load library ，需要在VMWARE安裝目錄下執(zhí)行上面的命令，然后在把生成的磁盤文件拷貝到虛擬機文件夾中。（1）root用戶環(huán)境變量 export PATH=$PATH:/etc/ ASM共享磁盤配置命令（oracleasm）和CRS重啟命令（），需要root權限 export PATH=$PATH:/oracle/product/（vipca）需要root權限（2）oracle用戶環(huán)境變量 export ORACLE_BASE=/oracle/product/ export CRS_HOME=$ORACLE_BASE/crs CRS軟件安裝路徑 export PATH=$PATH:$CRS_HOME/bin CRS運行管理命令 export ORACLE_HOME=$ORACLE_BASE/db_1 ASM和RAC數(shù)據庫軟件安裝路徑 export PATH=$PATH:$ORACLE_HOME/bin ASM和數(shù)據庫運行管理命令備注：本文使用VM虛擬機部署RAC環(huán)境，為了保持安裝過程的邏輯順序，本節(jié)所介紹僅限于對于操作系統(tǒng)環(huán)境的安裝和配置，其他各環(huán)節(jié)在后續(xù)章節(jié)依次描述。s/32 /100 /39。 規(guī)劃存儲Oracle RAC各部件對不同存儲方式的支持情況如下：OCR和Voting DiskOracle軟件數(shù)據文件ASMNoNoYesOCFSYesNoYesOCFS2YesYesYesOS本地磁盤NoYesNoNFS（基于NAS）YesYesYes裸設備YesNoYes存儲規(guī)劃如下：文件類型存儲位置文件系統(tǒng)空間需求路徑規(guī)劃CRS軟件本地磁盤/dev/sda1ext3512M/oracle/product/表決磁盤共享磁盤/dev/sdb1ext3+NFS50M/oracle/ocr/voting_diskOCR資源文件共享磁盤/dev/sdb1ext3+NFS150M/oracle/ocr/ocr數(shù)據庫軟件本地磁盤/dev/sda1ext32048M/oracle/product/ASM數(shù)據庫本地磁盤/dev/sda1ext32048M/oracle/product/數(shù)據文件共享磁盤/dev/sdc1ASM4096M由ASM進行管理，用戶只能創(chuàng)建別名，無法直接操作數(shù)據文件說明：（1）NFS共享存儲的配置操作比較簡單，而且可以支持靈活的冗余方案，比如可以在NFS中創(chuàng)建多個備份來實現(xiàn)冗余，或者把冗余隔離在更底層的專用硬件存儲方案上。（5）RACG：當RAC發(fā)生了FAN事件導致系統(tǒng)故障時，RACG為群集數(shù)據庫環(huán)境提供了自動的故障處理方法，主要通過調用$ORACLE_BASE/product/、停止和故障轉移。通過Oracle群集件，可以對多臺服務器進行綁定，從而使得對于終端用戶或應用程序而言，就好像一臺服務器一樣。在RAC環(huán)境中，每個節(jié)點實例的SGA中都會新開辟一個內存空間GRD（Global Resource Directory），來記錄每一個數(shù)據塊在群集間的分布圖，但是每個實例只貯存了部分的GRD，所有實例的GRD匯總在一起才是一個完整的GRD，Oracle RAC提供了一些RAC后臺進程來管理和操作GRD中的數(shù)據。Oracle Clusterware是一款獨立的產品，要部署RAC，首先要部署Clusterware，這樣，在安裝Database的時候OUI會自動檢測到Clusterware的存在，進而自動識別RAC節(jié)點，并由OUI統(tǒng)一控制各節(jié)點的安裝進程和相關配置操作，也就是說，只需在一個節(jié)點上執(zhí)行OUI，便可完成所有節(jié)點的安裝。（4）LCK0（Instance Enqueue Process）：負責NonCache Fusion資源的同步訪問，每個實例有一個LCK進程。一個ONS監(jiān)聽進程需要被在每個訂閱了ONC的host上被start。（1）（2）crsd、cssd、（3）racg：放置和節(jié)點資源相關的日志，包括ONS日志和VIP日志等，而數(shù)據庫相關的資源日志主要位于ORACLE_HOME（4）client：存放客戶端工具執(zhí)行日志，如ocrcheck、ocrconfig、ocrdump、oifcfg、clscfg等關于RAC更多原理介紹，可以參考：，《Oracle RAC環(huán)境中連接的高可用》，《RAC的概念簡介》三、安裝步驟（1）虛擬機版本：VMware Workstation （2）客戶機操作系統(tǒng)版本：CentOS release (Final) 32位（3）數(shù)據庫版本：Oracle ClusterWare 10gR2 for linux32位，Oracle Database 10gR2 for linux32位 準備安裝文件（1）（2），（3） ，但是默認不加載到內核，需要使用insmod命令加載hangcheck_timer模塊；若Linux系統(tǒng)未提供該模塊，需要手工編譯hangcheck_timer模塊。 安裝過程需注意： 需要安裝圖形話桌面，否則無法執(zhí)行OUI； 選擇安裝開發(fā)工具下的所有組件，避免安裝RAC期間缺少編譯和運行環(huán)境組件； 在VM中安裝完畢操作系統(tǒng)之后，需要安裝vmwaretools，這樣在宿主機和虛擬機之間操作切換更方便。 /proc/sys/net/ipv4/ip_local_port_range/proc/sys/net/ipv4/ip_local_port_rangeecho 524288/proc/sys/net/core/rmem_defaultecho 524288/proc/sys/net/core/rmem_maxecho 524288/proc/sys/net/core/wmem_defaultecho 524288/proc/sys/net/core/wmem_maxecho = 2097152 /etc/echo = 1073741824 /etc/echo = 4096 /etc/echo = 250 32000 100 128 /etc/echo = 65536 /etc/echo = 1024 65000 /etc/echo =262144 /etc/echo =262144 /etc/echo =262144 /etc/echo =262144 /etc/echo oracle soft nofile 4096 /etc/security/echo oracle hard nofile 63536 /etc/security/echo oracle soft nproc 2047 /etc/security/echo oracle hard nproc 16384 /etc/security/ 執(zhí)行l(wèi)smod命令，查看當前內核是否加載hangchecktimer模塊，若沒有，則執(zhí)行下面的命令，將hangchecktimer模塊加載到內核： insmod /lib/modules/ 其中“”是當前所使用的內核版本，“hangcheck_tick=1”表示每隔1秒探測一次系統(tǒng)狀態(tài)，“hangcheck_margin=10”表示若10秒內探測沒有反饋，則返回探測失敗的消息。 配置NFS共享存儲NFS共享存儲用于存放voting disk表決磁盤文件和OCR群集注冊表文件。以下操作均以root用戶執(zhí)行（1）創(chuàng)建虛擬機共享磁盤，執(zhí)行如下命令： D:\VMs\Share Storage c s 5G a lsilogic t 2 （2），為了讓共享磁盤能同時被多個節(jié)點同時訪問，比如系統(tǒng)盤使用“SCSI0”，則共享盤使用“SCSI1”，并設置寫模式如下： 添加完共享磁盤之后，： = FALSE = 0 = 36 scsi1: = disk（3）安裝oracleasm配置包，在各節(jié)點依次安裝： （4）加載ASMLib模塊（在所有節(jié)點上執(zhí)行） cd /etc/ ./oracleasm configure Default user to own the driver interface []:oracle Default group to own the driver interface []:dba Start Oracle ASM library driver on boot (y/n) [n]:y Fix permissions of Oracle ASM disks on boot (y/n) [y]:y ./oracleasm status 檢查ASM模塊加載狀態(tài)（5）配置ASM磁盤（在主節(jié)點上執(zhí)行） ./oracleasm createdisk ASM1 /dev/sdc1 注：在執(zhí)行createdisk之前，需要確認/dev/sdc1沒有被mount，否則創(chuàng)建ASM磁盤會失?。?）檢驗ASM配置 ./oracleasm scandisks ./oracleasm listdisks ./oracleasm querydisk /dev/sdc1 在任一節(jié)點執(zhí)行oracleasm deletedisk或oracleasm createdisk，并在其他各節(jié)點執(zhí)行oracleasm scandisks和oracleasm listdisks，檢驗各節(jié)點的ASM共享存儲配置是否同步。 以oracle用戶登錄任一節(jié)點圖形界面，執(zhí)行dbca命令，選擇RAC安裝 選擇創(chuàng)建數(shù)據庫 選擇將要安裝的節(jié)點 選擇安裝用途 命名數(shù)據庫 設置數(shù)據庫管理員用戶密碼 設置數(shù)據存儲方式 選擇ASM磁盤組 設置閃回空間 設置監(jiān)聽服務和TAF策略 設置數(shù)據庫字符集 執(zhí)行安裝進程 注：若安裝報錯： Remote 39。 INST_ID COUNT(1) 1 35 2 35 select ,count(1) from GV$PROCESS T2 group by 。select count(1) from test_tab%39。通過企業(yè)管理器，可完成實例環(huán)境、數(shù)據邏輯、性能策略、安全和備份等，與數(shù)據庫運行時相關的管理和維護工作。添加和刪除Votedisk的操作比較危險，必須停止數(shù)據庫，停止ASM,停止CRS Stack后操作，并且操作時必須使用force參數(shù)。注意：即使在CRS關閉后，也必須通過force參數(shù)來添加和刪除Votedisk，并且force參數(shù)只有在CRS關閉的場合下使用才安全，否則會報：Cluter is not a ready state for online disk addition.CRS提供了類似unix的安全管理機制，通過對不同的資源賦予不同的用戶權限、屬組權限和其他用戶權限，來實現(xiàn)對CRS運行過程中的各種操作進行權限管理。（1）網絡主機名類型IP 地址 網卡接口注冊位置node3公共eth0DNS或主機文件node3_vip虛擬DNS或主機文件node3_prv專用eth1主機文件（2）存儲文件類型存儲位置文件系統(tǒng)空間需求路徑規(guī)劃CRS軟件本地磁盤/dev/sda1ext3512M/oracle/product/表決磁盤共享磁盤/dev/sdb1ext3+NFS使用原有空間與原有路徑相同OCR資源文件共享磁盤/dev/sdb1ext3+NFS使用原有空間與原有路徑相同數(shù)據庫軟件本地磁盤/dev/sda1ext32048M/oracle/product/ASM數(shù)據庫本地磁盤/dev/sda1ext32048M/oracle/product/數(shù)據文件共享磁盤/dev/sd