【正文】 ols，這樣在宿主機(jī)和虛擬機(jī)之間操作切換更方便。 關(guān)于此安裝過(guò)程，不在“一、目標(biāo)”之內(nèi)，這里不予詳述。 uid=500(oracle) gid=500(oinstall) groups=500(oinstall),501(dba)sed 39。s/32 /100 /39。 /proc/sys/kernel/sem/proc/sys/kernel/semecho 1073741824 /proc/sys/kernel/shmmaxsed 39。s/32768/1024/39。 /proc/sys/net/ipv4/ip_local_port_range/proc/sys/net/ipv4/ip_local_port_rangesed 39。s/61000/65000/39。 /proc/sys/net/ipv4/ip_local_port_range/proc/sys/net/ipv4/ip_local_port_rangeecho 524288/proc/sys/net/core/rmem_defaultecho 524288/proc/sys/net/core/rmem_maxecho 524288/proc/sys/net/core/wmem_defaultecho 524288/proc/sys/net/core/wmem_maxecho = 2097152 /etc/echo = 1073741824 /etc/echo = 4096 /etc/echo = 250 32000 100 128 /etc/echo = 65536 /etc/echo = 1024 65000 /etc/echo =262144 /etc/echo =262144 /etc/echo =262144 /etc/echo =262144 /etc/echo oracle soft nofile 4096 /etc/security/echo oracle hard nofile 63536 /etc/security/echo oracle soft nproc 2047 /etc/security/echo oracle hard nproc 16384 /etc/security/ 執(zhí)行l(wèi)smod命令，查看當(dāng)前內(nèi)核是否加載hangchecktimer模塊，若沒(méi)有，則執(zhí)行下面的命令，將hangchecktimer模塊加載到內(nèi)核： insmod /lib/modules/ 其中“”是當(dāng)前所使用的內(nèi)核版本，“hangcheck_tick=1”表示每隔1秒探測(cè)一次系統(tǒng)狀態(tài)，“hangcheck_margin=10”表示若10秒內(nèi)探測(cè)沒(méi)有反饋，則返回探測(cè)失敗的消息。 在命令行手工執(zhí)行上面的命令，會(huì)在重啟后失效，需要執(zhí)行下面的命令，使得在系統(tǒng)啟動(dòng)的時(shí)候自動(dòng)加載hangchecktimer模塊 echo insmod /lib/modules/ /etc/ ，否則在執(zhí)行數(shù)據(jù)庫(kù)預(yù)安裝檢測(cè)的時(shí)候會(huì)產(chǎn)生warning 此處是在完成RAC所有安裝操作之后，對(duì)安裝過(guò)程中涉及到的所有環(huán)境變量配置的收集。為了對(duì)下文的安裝過(guò)程有一個(gè)大概的預(yù)判，特將環(huán)境變量配置描述提前至此。（1）root用戶環(huán)境變量 export PATH=$PATH:/etc/ ASM共享磁盤(pán)配置命令（oracleasm）和CRS重啟命令（），需要root權(quán)限 export PATH=$PATH:/oracle/product/（vipca）需要root權(quán)限（2）oracle用戶環(huán)境變量 export ORACLE_BASE=/oracle/product/ export CRS_HOME=$ORACLE_BASE/crs CRS軟件安裝路徑 export PATH=$PATH:$CRS_HOME/bin CRS運(yùn)行管理命令 export ORACLE_HOME=$ORACLE_BASE/db_1 ASM和RAC數(shù)據(jù)庫(kù)軟件安裝路徑 export PATH=$PATH:$ORACLE_HOME/bin ASM和數(shù)據(jù)庫(kù)運(yùn)行管理命令備注：本文使用VM虛擬機(jī)部署RAC環(huán)境，為了保持安裝過(guò)程的邏輯順序，本節(jié)所介紹僅限于對(duì)于操作系統(tǒng)環(huán)境的安裝和配置，其他各環(huán)節(jié)在后續(xù)章節(jié)依次描述。但實(shí)際上，可以在首次安裝虛擬機(jī)的過(guò)程中一并完成以下安裝和配置步驟： 操作系統(tǒng)安裝 操作系統(tǒng)內(nèi)核參數(shù)配置 oracle用戶和群組創(chuàng)建 hangchecktimer模塊安裝 libaio安裝 IP地址和/etc/hosts配置 ASMLib模塊安裝 ASM共享磁盤(pán)掛載和初始化 NFS共享存儲(chǔ)配置 cvuqdisk安裝然后再克隆該虛擬機(jī)，并按照預(yù)先做好的網(wǎng)絡(luò)和存儲(chǔ)規(guī)劃，對(duì)各節(jié)點(diǎn)進(jìn)行差異配置，這樣安裝效率會(huì)更高。 配置網(wǎng)絡(luò)環(huán)境（目前在所有節(jié)點(diǎn)的/etc/hosts中添加本地域名解析，這樣實(shí)現(xiàn)比較簡(jiǎn)單一點(diǎn)，對(duì)于使用單獨(dú)域名服務(wù)器的方案，有待做性能方面的考察） 配置主機(jī)名和IP地址備注：本文所部署RAC無(wú)需投入實(shí)際應(yīng)用，所以為了避免占用公共網(wǎng)絡(luò)資源，將網(wǎng)關(guān)設(shè)置為私有網(wǎng)絡(luò)網(wǎng)關(guān)，不設(shè)置DNS，這樣就實(shí)現(xiàn)了RAC環(huán)境與公共網(wǎng)絡(luò)環(huán)境間的獨(dú)立。 添加本地域名解析 建立信任關(guān)系（1）以oracle用戶登錄各節(jié)點(diǎn)，并訪問(wèn)公共域名、私有域名以及l(fā)ocalhost，輸入“yes”后，會(huì)在該節(jié)點(diǎn)的本地$HOME/.ssh/known_hosts中生成指紋記錄，對(duì)于雙節(jié)點(diǎn)環(huán)境，將會(huì)生成5條記錄，例如：（2）注冊(cè)公共秘鑰。先在oracle用戶下使用下面命令生成秘鑰，生成的秘鑰保存在$HOME/.ssh文件夾中sshkeygen t rsasshkeygen t dsa，通過(guò)sftp保存到每一個(gè)節(jié)點(diǎn)的$HOME/.ssh/authorized_keys文件中，對(duì)于雙節(jié)點(diǎn)環(huán)境，將會(huì)生成4條記錄，例如：注：若未在所有節(jié)點(diǎn)添加本地域名解析，或未對(duì)所有節(jié)點(diǎn)建立信任關(guān)系，則在安裝CRS軟件的時(shí)候，會(huì)在Specify Cluster Configuration界面報(bào)錯(cuò)：the specified nodes are not clusterable。 配置NFS共享存儲(chǔ)NFS共享存儲(chǔ)用于存放voting disk表決磁盤(pán)文件和OCR群集注冊(cè)表文件。使用NFS方式實(shí)現(xiàn)共享，只需要將虛擬磁盤(pán)掛載到一個(gè)存儲(chǔ)節(jié)點(diǎn)即可，隨后將該節(jié)點(diǎn)配置成NFS服務(wù)器，其他各RAC節(jié)點(diǎn)通過(guò)Mount NFS服務(wù)器上的共享文件夾便可以實(shí)現(xiàn)共享存儲(chǔ)的任務(wù)。以下操作均使用root用戶執(zhí)行。（1）在存儲(chǔ)節(jié)點(diǎn)添加新磁盤(pán)并格式化 D:\VMs\Share Storage c s 200Mb a lsilogic t 2 備注：若執(zhí)行彈出報(bào)錯(cuò)failed to load library ，需要在VMWARE安裝目錄下執(zhí)行上面的命令，然后在把生成的磁盤(pán)文件拷貝到虛擬機(jī)文件夾中。 ， 執(zhí)行下面命令對(duì)磁盤(pán)分區(qū) fdisk /dev/sdb1 使用n命令創(chuàng)建分區(qū)，使用w命令保存分區(qū)表，使用p命令打印分區(qū)表 分區(qū)完畢之后，執(zhí)行下面命令格式化文件系統(tǒng) mkfs t ext3 c /dev/sdb1（2）掛載共享磁盤(pán)到存儲(chǔ)節(jié)點(diǎn)文件系統(tǒng) 創(chuàng)建掛載點(diǎn)： mkdir /oracle1 mkdir /oracle1/ocr 更改所有者權(quán)限： chown oracle:oinstall /oracle1 chown oracle:oinstall /oracle1/ocr 手動(dòng)掛載： mount /dev/sdb1 /oracle1/ocr 設(shè)置開(kāi)機(jī)自動(dòng)掛載： echo /dev/sdb1 /oracle1/ocr ext3 defaults 0 0/etc/fstab（3）配置存儲(chǔ)節(jié)點(diǎn)的NFS服務(wù)，將新磁盤(pán)共享給私有網(wǎng)絡(luò)內(nèi)的其他節(jié)點(diǎn) 添加共享許可 echo /oracle1/ocr (rw,sync,no_root_squash) /etc/exports echo /oracle1/ocr (rw,sync,no_root_squash) /etc/exports 手動(dòng)開(kāi)啟nfs服務(wù) service nfs start 開(kāi)機(jī)自動(dòng)開(kāi)啟nfs服務(wù) chkconfig level 3 nfs on chkconfig level 5 nfs on（4）在各群集節(jié)點(diǎn)掛載nfs共享磁盤(pán)空間 創(chuàng)建掛載點(diǎn) mkdir /oracle mkdir /oracle/ocr 更改所有者權(quán)限： chown oracle:oinstall /oracle chown oracle:oinstall /oracle/ocr 手動(dòng)掛載 mount :/oracle1/ocr oracle/ocr 開(kāi)機(jī)自動(dòng)掛載NFS echo :/oracle1/ocr /oracle/ocr nfs rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,noac,vers=3,timeo=600 0 0/etc/fstab 注：本文將node1兼做NFS服務(wù)器和RAC實(shí)例節(jié)點(diǎn)，將OCR共享磁盤(pán)掛載到本地文件系統(tǒng)ext3，然后其余節(jié)點(diǎn)通過(guò)NFS從node1掛載網(wǎng)絡(luò)存儲(chǔ)，上面的路徑“/oracle1”便是本地文件系統(tǒng)掛載路徑，“/oracle”是NFS掛載路徑。但在正式環(huán)境中，NFS服務(wù)器必須單獨(dú)部署，否則node1重啟，其余節(jié)點(diǎn)將無(wú)法訪問(wèn)CRS和表決磁盤(pán)，也會(huì)立即重啟。 配置ASM存儲(chǔ)ASM存儲(chǔ)用于存放RAC數(shù)據(jù)庫(kù)的數(shù)據(jù)文件。配置ASM存儲(chǔ)需要在安裝ASM數(shù)據(jù)庫(kù)之前執(zhí)行，否則安裝進(jìn)程無(wú)法自動(dòng)獲取到ASM存儲(chǔ)的路徑，也無(wú)法自動(dòng)向OCR中注冊(cè)ASM資源。以下操作均以root用戶執(zhí)行（1）創(chuàng)建虛擬機(jī)共享磁盤(pán)，執(zhí)行如下命令： D:\VMs\Share Storage c s 5G a lsilogic t 2 （2），為了讓共享磁盤(pán)能同時(shí)被多個(gè)節(jié)點(diǎn)同時(shí)訪問(wèn)，比如系統(tǒng)盤(pán)使用“SCSI0”，則共享盤(pán)使用“SCSI1”，并設(shè)置寫(xiě)模式如下： 添加完共享磁盤(pán)之后，： = FALSE = 0 = 36 scsi1: = disk（3）安裝oracleasm配置包，在各節(jié)點(diǎn)依次安裝： （4）加載ASMLib模塊（在所有節(jié)點(diǎn)上執(zhí)行） cd /etc/ ./oracleasm configure Default user to own the driver interface []:oracle Default group to own the driver interface []:dba Start Oracle ASM library driver on boot (y/n) [n]:y Fix permissions of Oracle ASM disks on boot (y/n) [y]:y ./oracleasm status 檢查ASM模塊加載狀態(tài)（5）配置ASM磁盤(pán)（在主節(jié)點(diǎn)上執(zhí)行） ./oracleasm createdisk ASM1 /dev/sdc1 注：在執(zhí)行createdisk之前，需要確認(rèn)/dev/sdc1沒(méi)有被mount，否則創(chuàng)建ASM磁盤(pán)會(huì)失?。?）檢驗(yàn)ASM配置 ./oracleasm scandisks ./oracleasm listdisks ./oracleasm querydisk /dev/sdc1 在任一節(jié)點(diǎn)執(zhí)行oracleasm deletedisk或oracleasm createdisk，并在其他各節(jié)點(diǎn)執(zhí)行oracleasm scandisks和oracleasm listdisks，檢驗(yàn)各節(jié)點(diǎn)的ASM共享存儲(chǔ)配置是否同步。（7）其他常用命令 啟用和禁用開(kāi)機(jī)自動(dòng)啟動(dòng)ASM： ./oracleasm disable ./oracleasm enable 啟停ASM模塊進(jìn)程 ./oracleasm start ./oracleasm stop 從ASM中移除磁盤(pán)： ./oracleasm deletedisk ASM1 以root用戶執(zhí)行rpm qi cvuqdisk查看系統(tǒng)當(dāng)前是否已經(jīng)安裝cvuqdisk 若未安裝，則以root用戶執(zhí)行下面命令安裝cvuqdisk rpm iv 執(zhí)行安裝程序，指定安裝目錄 [oracle@node1 clusterware]$ ./runInstaller 選擇安裝節(jié)點(diǎn) 點(diǎn)擊next開(kāi)始安裝。 安裝進(jìn)程完畢后需要以root用戶在各節(jié)點(diǎn)執(zhí)行下面腳本。 其中：；、表決磁盤(pán)和OCR磁盤(pán)初始化，以及啟動(dòng)CRS服務(wù)。 最后CRS安裝程序會(huì)執(zhí)行CVU對(duì)安裝進(jìn)行驗(yàn)證，如果出現(xiàn)下面的報(bào)錯(cuò)提示： 則以root用戶手動(dòng)執(zhí)行$CRS_HOME/bin/vipca對(duì)虛擬IP進(jìn)行注冊(cè)綁定，如下所示： 注：VIP配置完畢后會(huì)自動(dòng)綁定VIP和重啟VIP資源，若報(bào)錯(cuò)無(wú)法啟動(dòng)節(jié)點(diǎn)VIP資源，檢查公共IP網(wǎng)段的網(wǎng)關(guān)設(shè)置是否正確。（1）查看CRS資源狀態(tài) [oracle@node1 ~]$ crs_stat t Name