【正文】 它會(huì)使用CPU的Time Stamp Counter(TSC)寄存器，TSC的值會(huì)在每個(gè)時(shí)鐘周期自動(dòng)的增加，因?yàn)槭褂糜布r(shí)間，所以精度更高。[rootracdb1 ~] ifconfig | grep addreth0 Link encap:Ethernet HWaddr 00:0C:29:F6:3F:1D inet addr: Bcast: Mask:eth1 Link encap:Ethernet HWaddr 00:0C:29:F6:3F:27 inet addr: Bcast: Mask:inet addr: Mask:測(cè)試Public NIC與Private NIC的IP地址與路由器網(wǎng)關(guān)，DNS之間是否連通。1. 安裝VMware Tools首先安裝VMware Tools工具，以釋放鼠標(biāo)。使用English語(yǔ)言；鍵盤(pán)使用默認(rèn)布局；輸入SCN號(hào)；分區(qū)使用Create custom layout；，其中/dev/sda1是系統(tǒng)主分區(qū)，而其余的所有系統(tǒng)分區(qū)都是建立在卷組/dev/myvg/下的。接下來(lái)，添加磁盤(pán)作為共享存儲(chǔ)的磁盤(pán)。其中的spfile的ASM存儲(chǔ)將在RAC安裝完成后手工創(chuàng)建。但ASM存儲(chǔ)管理系統(tǒng)更便于管理與高效，因此建議用OCFS2來(lái)存儲(chǔ)集群和數(shù)據(jù)庫(kù)軟件，使用ASM來(lái)存儲(chǔ)數(shù)據(jù)庫(kù)文件。設(shè)計(jì)中的時(shí)間同步是通過(guò)timestream守護(hù)進(jìn)程實(shí)現(xiàn)的。 Oracle RAC的任務(wù)列表技術(shù)上來(lái)說(shuō)，RAC搭建比較容易出錯(cuò)，因此有必要完成一份詳細(xì)的任務(wù)清單。 軟件環(huán)境配置Oracle RAC環(huán)境需要四類軟件：操作系統(tǒng)、集群中間件、集群文件系統(tǒng)以及數(shù)據(jù)庫(kù)軟件。每個(gè)節(jié)點(diǎn)上還需要擁有一塊HBA光纖卡，通過(guò)光纖線連接到存儲(chǔ)設(shè)備())。計(jì)費(fèi)系統(tǒng)與網(wǎng)管系統(tǒng)、CRM系統(tǒng)等之間的聯(lián)系日益緊密，成為這些系統(tǒng)的重要信息源，因此計(jì)費(fèi)系統(tǒng)還應(yīng)該能與這些系統(tǒng)無(wú)縫連接，是電信支撐系統(tǒng)中的重要一環(huán)。電信計(jì)費(fèi)系統(tǒng)已不再是被動(dòng)的后臺(tái)系統(tǒng)，而其作為整個(gè)電信行業(yè)的核心競(jìng)爭(zhēng)力所在的地位日益鞏固，已經(jīng)成為整個(gè)電信系統(tǒng)的靈魂。而集中計(jì)費(fèi)需要聯(lián)機(jī)計(jì)費(fèi)這一技術(shù)手段來(lái)實(shí)現(xiàn)。計(jì)費(fèi)系統(tǒng)歷來(lái)都是電信運(yùn)營(yíng)和管理部門(mén)重點(diǎn)建設(shè)和發(fā)展的系統(tǒng)之一。而RAC依賴于從Clusterware獲得這個(gè)視圖，根據(jù)視圖來(lái)調(diào)整自己。RAC會(huì)做如下操作：1) CRS檢測(cè)到rac2節(jié)點(diǎn)異常后，觸發(fā)Clusterware重構(gòu)，把rac2節(jié)點(diǎn)剔除集群，節(jié)點(diǎn)1成為新的集群；2) RAC的Failover機(jī)制把節(jié)點(diǎn)2的vip轉(zhuǎn)移到節(jié)點(diǎn)1，節(jié)點(diǎn)1的public網(wǎng)卡上就有3個(gè)IP地址：vip 1，vip 2，public ip1；3) 用戶對(duì)vip 2的連接請(qǐng)求會(huì)被IP層路由轉(zhuǎn)到節(jié)點(diǎn)1；4) 因節(jié)點(diǎn)1上有vip 2的地址，數(shù)據(jù)包會(huì)順利通過(guò)路由層、網(wǎng)絡(luò)層、傳輸層；5) 但節(jié)點(diǎn)1只監(jiān)聽(tīng)vip 1和public ip1兩個(gè)ip，并沒(méi)有監(jiān)聽(tīng)vip 2，故應(yīng)用層沒(méi)有對(duì)應(yīng)的程序接收這個(gè)數(shù)據(jù)包，這個(gè)錯(cuò)誤立即被捕獲；客戶段能夠立即接收到這個(gè)錯(cuò)誤，然后客戶段會(huì)重新發(fā)起向vip 1的連接請(qǐng)求.可以看出，vip具有如下特點(diǎn)：vip通過(guò)vipca腳本創(chuàng)建，作為Nodeapps類型的CRS Resource注冊(cè)到OCR，由CRS維護(hù)；vip會(huì)綁定到節(jié)點(diǎn)的Public NIC上，當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，CRS會(huì)把故障節(jié)點(diǎn)的vip轉(zhuǎn)移到其他節(jié)點(diǎn)上；每個(gè)節(jié)點(diǎn)的Listener會(huì)同時(shí)監(jiān)聽(tīng)Public網(wǎng)卡上的Public IP和vip；。通信的內(nèi)容包括Network Heardbeat和Cache Fusion。RACGIMON負(fù)責(zé)檢查數(shù)據(jù)庫(kù)健康狀態(tài)，Service的啟動(dòng)、停止、故障轉(zhuǎn)移(Failover)。也就是說(shuō)，CRSD負(fù)責(zé)監(jiān)控CRS Resource的狀態(tài)，并要啟動(dòng)、停止、監(jiān)控、Failover這些資源。CSS有2種心跳機(jī)制，Network Heartbeat和Disk Heartbeat，提供腦裂保護(hù)等基礎(chǔ)集群服務(wù)功能，都有最大延時(shí)。CRS使用兩種心跳設(shè)備來(lái)驗(yàn)證節(jié)點(diǎn)成員的狀態(tài)：一是表決磁盤(pán)，集群同步服務(wù)進(jìn)程每隔指定的最大時(shí)間段都會(huì)向表決磁盤(pán)寫(xiě)入一條心跳信息，集群通過(guò)表決磁盤(pán)即可驗(yàn)證節(jié)點(diǎn)的狀態(tài)，如果某個(gè)節(jié)點(diǎn)在內(nèi)沒(méi)有向表決磁盤(pán)寫(xiě)入信息，集群就認(rèn)為此節(jié)點(diǎn)失效，而執(zhí)行故障切換。而這些信息僅能被root用戶所修改，可使用ocrdump命令導(dǎo)出。這是兩個(gè)磁盤(pán)文件，必須存放在共享存儲(chǔ)上。而集群層則是由集群軟件組成，它負(fù)責(zé)協(xié)調(diào)每臺(tái)主機(jī)的多進(jìn)程的共享使用，以及協(xié)助主機(jī)間進(jìn)程的共享使用。這些CRS Resource是在RAC安裝時(shí)創(chuàng)建并注冊(cè)到CRS中，以元數(shù)據(jù)(metadata)形式被記錄在OCR磁盤(pán)上，這些元數(shù)據(jù)包括CRS Resource的名稱、如何啟動(dòng)、停止、如何檢查健康狀況等配置信息。Sun、HP等公司都有自己的集群件產(chǎn)品，也有許多如Veritas的第三方Clusterware產(chǎn)品。網(wǎng)絡(luò)層。CRS采用的是軟件方式，直接重啟故障節(jié)點(diǎn)。實(shí)際上正常情況下腦裂是無(wú)法見(jiàn)到的，現(xiàn)代集群都有保護(hù)機(jī)制來(lái)避免這種情況發(fā)生，但也不得不防。除此之外大概有以下幾種對(duì)策：1) 添加冗余的心跳線。對(duì)HA系統(tǒng)“裂腦”，通常使用投票算法(Quorum Algorithm)。健忘癥(Amnesia)。這意味著只要可能，數(shù)據(jù)塊可在各實(shí)例的緩存之間無(wú)需寫(xiě)回磁盤(pán)的移動(dòng)，避免了同步多實(shí)例的緩存所花費(fèi)的額外I/O。RAC集群的最核心的功能Cache Fusion(內(nèi)存融合)是Oracle 9i時(shí)引進(jìn)的新技術(shù)，它將所有的SGA虛擬稱為一個(gè)大的SGA區(qū)域，通過(guò)高速私有網(wǎng)絡(luò)，進(jìn)行實(shí)例間數(shù)據(jù)塊傳遞(Cache Fusion前提，網(wǎng)絡(luò)的速度比磁盤(pán)訪問(wèn)的速度快)。RAC集群由多個(gè)服務(wù)器節(jié)點(diǎn)組成，而節(jié)點(diǎn)間通過(guò)心跳線連接，每個(gè)節(jié)點(diǎn)上都運(yùn)行著一個(gè)或多個(gè)Instance，實(shí)例之間通過(guò)集群中間件的協(xié)助，共同操作一個(gè)數(shù)據(jù)庫(kù)。負(fù)載均衡集群(Load balancing，LB) 通過(guò)一個(gè)或者多個(gè)前端負(fù)載均衡器，將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個(gè)系統(tǒng)的高性能和高可用性，也被稱為服務(wù)器群(Server Farm)。當(dāng)然，這個(gè)問(wèn)題也在慢慢的得到了解決，現(xiàn)在的中小型企業(yè)所采用的基于PC的RAC就可以很好的解決。今天數(shù)據(jù)系統(tǒng)已經(jīng)成為了企業(yè)的重中之重，而企業(yè)對(duì)數(shù)據(jù)庫(kù)的可用性要求也越來(lái)越高。在軟件方面，更多的企業(yè)已經(jīng)在核心業(yè)務(wù)上選擇Linux作為首選平臺(tái)，Oracle尤其重視在Linux平臺(tái)上的應(yīng)用，它也是第一個(gè)支持Linux平臺(tái)的商業(yè)數(shù)據(jù)庫(kù)。 Highperformance；Data Migration 144 / 151第一章 緒論 課題研究的背景和意義數(shù)據(jù)庫(kù)的性能調(diào)整與優(yōu)化對(duì)于整個(gè)生產(chǎn)系統(tǒng)的正常運(yùn)行起著至關(guān)重要的作用。預(yù)期目標(biāo)如下：對(duì)電信計(jì)費(fèi)系統(tǒng)的數(shù)據(jù)庫(kù)信息進(jìn)行采集分析；對(duì)采集到的數(shù)據(jù)進(jìn)行分析，并根據(jù)相應(yīng)分析結(jié)果進(jìn)行數(shù)據(jù)間關(guān)系的設(shè)計(jì)；從后臺(tái)邏輯設(shè)計(jì)到使用階段的數(shù)據(jù)庫(kù)的優(yōu)化；用window系統(tǒng)模擬一臺(tái)外部存儲(chǔ)設(shè)備海量數(shù)據(jù)遷移到rac集群中模擬數(shù)據(jù)庫(kù)集群成員故障，檢測(cè)集群的實(shí)時(shí)高可用性。因而高性能與高可用性的RAC集群數(shù)據(jù)庫(kù)服務(wù)器成為一種潮流。 Cluster。造成這種現(xiàn)象的原因有很多，作為一種高端解決的方案，RAC在實(shí)施成本一度都是很高的，除開(kāi)硬件成本，OS License，Oracle License成本，還包括第三方的Cluster軟件成本，人力成本，因此RAC案例一直集中在電信，銀行，制造等大企業(yè)，中小企業(yè)鮮有問(wèn)津，絕大多數(shù)的DBA很難有機(jī)會(huì)接觸到這種環(huán)境。當(dāng)應(yīng)用規(guī)模需要擴(kuò)充時(shí)，用戶可以按需擴(kuò)展系統(tǒng)，以保證系統(tǒng)的性能。作為數(shù)據(jù)庫(kù)系統(tǒng)，一般都會(huì)有自己的HA的實(shí)現(xiàn)方法和解決方案，Oracle公司在這方面一直都極為的重視，在多年的創(chuàng)新基礎(chǔ)上，2004年推出的Oracle10g引入了眾多新的可用性和數(shù)據(jù)保護(hù)技術(shù)與解決方案，RAC、DataGuard、Flashback、RMAN等為客戶提供了更加有效的方法來(lái)實(shí)現(xiàn)企業(yè)數(shù)據(jù)和應(yīng)用最大化的可用性。一般情況下集群計(jì)算機(jī)比單機(jī)，如工作站或超級(jí)計(jì)算機(jī)性能價(jià)格比要高得多。網(wǎng)格計(jì)算是針對(duì)有許多獨(dú)立作業(yè)的工作任務(wù)作優(yōu)化，在計(jì)算過(guò)程中作業(yè)間無(wú)需共享數(shù)據(jù)，主要服務(wù)于管理在獨(dú)立執(zhí)行工作的計(jì)算機(jī)間的作業(yè)分配。因RAC是運(yùn)行于多臺(tái)計(jì)算機(jī)的數(shù)據(jù)庫(kù)，并發(fā)也從單機(jī)的多進(jìn)程間并發(fā)發(fā)展到了多機(jī)上的多進(jìn)程并發(fā)。當(dāng)一個(gè)塊被讀入RAC環(huán)境中某個(gè)實(shí)例的緩存時(shí)，該塊會(huì)被賦予一個(gè)鎖資源，以確保其他實(shí)例知道該塊正在被使用。針對(duì)資源性質(zhì)的不同，RAC將共享資源從性能上分成兩類，Cache Fusion Resurce和NonCache Fusion Resource，對(duì)于不同的資源使用不同的鎖機(jī)制。這時(shí)，每個(gè)節(jié)點(diǎn)都認(rèn)為其他的節(jié)點(diǎn)宕機(jī)了，自己是整個(gè)集群環(huán)境中的“唯一存活者”，自己應(yīng)該獲得整個(gè)集群的控制權(quán)。此時(shí)，就引入了第三個(gè)設(shè)備：Quorum Device，它通常使用共享磁盤(pán)，也叫作Quorum disk。于是有人在HA中設(shè)計(jì)了智能鎖(正常節(jié)點(diǎn)只在發(fā)現(xiàn)心跳線全部斷開(kāi)時(shí)才啟用磁盤(pán)鎖)；3) 設(shè)置仲裁機(jī)制。因?yàn)榇藭r(shí)該節(jié)點(diǎn)很有可能還在運(yùn)行當(dāng)中，如果不加以限制，那么很可能會(huì)修改共享數(shù)據(jù)。存儲(chǔ)層。在集群環(huán)境下，存儲(chǔ)設(shè)備共享。集群環(huán)境之所以能夠提高可用性，是因?yàn)镃RS對(duì)運(yùn)行其上的應(yīng)用進(jìn)行監(jiān)視，并在發(fā)生異常時(shí)進(jìn)行重啟、切換等進(jìn)行操作。例如：LMSn，Global Cache Service(GCS)，Cache Fusion主進(jìn)程，負(fù)責(zé)數(shù)據(jù)塊在實(shí)例間的傳遞；LMD，Global Enqueue Service(GES)，在多個(gè)實(shí)例之間協(xié)調(diào)對(duì)數(shù)據(jù)塊的訪問(wèn)順序，確保數(shù)據(jù)的一致性訪問(wèn)，與GCS服務(wù)和GRD構(gòu)成RAC的核心功能Cache Fusion；LCK，負(fù)責(zé)NonCache Fusion資源同步訪問(wèn)，每個(gè)實(shí)例都有一個(gè)LCK進(jìn)程；LMON，Cluster Group Services(CGS)，負(fù)責(zé)每個(gè)實(shí)例的LMON進(jìn)程定期的進(jìn)行通信，從而檢查與維護(hù)集群中各個(gè)節(jié)點(diǎn)的狀態(tài)；GSD，負(fù)責(zé)從客戶端工具接收用戶命令，為用戶提供管理接口；DIAG，監(jiān)控實(shí)例的健康狀態(tài)。2. Clusterware的組成結(jié)構(gòu)當(dāng)安裝完Clusterware軟件后，每個(gè)節(jié)點(diǎn)上的CRS就會(huì)自動(dòng)啟動(dòng)。：ocrconfig_loc=/dev/raw/raw4ocrmirrorconfig_loc=/dev/raw/raw5local_only=FALSE可以看出，OCR的存放位置是/dev/raw/raw4，冗余鏡像位置是/dev/raw/raw5，且存儲(chǔ)的模式是共享存儲(chǔ)。這個(gè)節(jié)點(diǎn)的OCR process負(fù)責(zé)更新本地和其他結(jié)點(diǎn)的OCR Cache內(nèi)容。3) CRS的后臺(tái)進(jìn)程與服務(wù)Oracle Clusterware由若干進(jìn)程組成，最重要的3個(gè)是：CRSD、CSSD、EVMD。CRSD是HA主要實(shí)現(xiàn)進(jìn)程，提供CRS服務(wù)?？梢宰远x回調(diào)腳本，放在特定的目錄，當(dāng)有某些事件發(fā)生時(shí)，EVMD自動(dòng)掃描該目錄，并調(diào)用用戶腳本，這種調(diào)用是通過(guò)racgevt進(jìn)程完成的。也就是說(shuō)這個(gè)進(jìn)程提供IO隔離的功能。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)會(huì)自動(dòng)的轉(zhuǎn)到另一個(gè)節(jié)點(diǎn)上。 Oracle Clusterware的日志體系4. RAC與Clusterware的交互作為集群數(shù)據(jù)庫(kù)，除了并發(fā)控制，還是一個(gè)高可用方案，就是可以根據(jù)數(shù)據(jù)庫(kù)集群的狀態(tài)變遷進(jìn)行自動(dòng)的重構(gòu)，這需要數(shù)據(jù)庫(kù)與Clusterware的交互來(lái)完成()。電信計(jì)費(fèi)系統(tǒng)是一個(gè)大型項(xiàng)目，分為九個(gè)模塊，提供了強(qiáng)大的權(quán)限管理、用戶管理、賬單管理和資費(fèi)管理。脫機(jī)按月處理維護(hù)管理水平低、處理時(shí)間長(zhǎng)、自動(dòng)化程度差、計(jì)費(fèi)錯(cuò)誤多；同種業(yè)務(wù)分散處理設(shè)備重復(fù)投資、結(jié)算困難、管理復(fù)雜、管理部門(mén)難以掌握大網(wǎng)的運(yùn)營(yíng)狀況；同一地區(qū)多種業(yè)務(wù)分散處理造成多種收費(fèi)面對(duì)用戶，難以使用戶獲得滿意的服務(wù)；多個(gè)計(jì)費(fèi)系統(tǒng)難以協(xié)調(diào)統(tǒng)一，不能靈活適應(yīng)業(yè)務(wù)變化及開(kāi)發(fā)新業(yè)務(wù)的要求。這許許多多的矛盾不斷地?cái)D壓著舊有計(jì) 費(fèi)體系已然脆弱的架構(gòu)。 從消費(fèi)者的角度來(lái)講，電信業(yè)務(wù)發(fā)展到今天，競(jìng)爭(zhēng)格局的形成讓消費(fèi)者有了更多的選擇，同時(shí)電信消費(fèi)在整個(gè)消費(fèi)比例中所占的比例也越來(lái)越大，消費(fèi)者的消費(fèi)心理日漸成熟，他們很關(guān)心電信業(yè)務(wù)的資費(fèi)，希望了解每一個(gè)消費(fèi)細(xì)節(jié)。在RAC的節(jié)點(diǎn)中，每個(gè)節(jié)點(diǎn)的硬件配置應(yīng)該保持一致性。每個(gè)節(jié)點(diǎn)的Public NIC接入到公共網(wǎng)絡(luò)，為客戶機(jī)提供數(shù)據(jù)查詢服務(wù)，DBA的日常維護(hù)也是通過(guò)這個(gè)網(wǎng)絡(luò)。4. 數(shù)據(jù)庫(kù)軟件Oracle 10g數(shù)據(jù)庫(kù)。 規(guī)劃階段任務(wù)：主機(jī)配置與節(jié)點(diǎn)規(guī)劃類型項(xiàng)目說(shuō)明主機(jī)主機(jī)名racdb1/racdb2/racdb3(添加)操作系統(tǒng)版本RedHat Enterprise Linux server (AS)集群軟件Oracle10201_clusterware_linux32網(wǎng)卡雙網(wǎng)卡綁定：Public NIC(ech0，Public IP amp。需要注意，Oracle 10g Clusterware的Voting disk、OCR還只能建立在Raw設(shè)備、OCFS上。RAC集群環(huán)境中，擁有多種文件。1. 安裝VMware首先安裝VMware Server ，本設(shè)計(jì)是安裝在Windows Server 2003上的。添加完共享磁盤(pán)后。不啟用Kdump，且不在這里創(chuàng)建用戶。 \ binutils \ patdb \ patlibstdc++ \ controlcenter \ gcc \ gccc++ \ glibc \ glibcmon \ gnomelibs \ libstdc++ \ libstdc++devel \ make \ pdksh sysstat \ xscreensaver \ //xscreensaver和pdksh sysstat與RAC無(wú)關(guān) setarch \ glibcdevel \ libaio (i386) //命令的輸出結(jié)果 (i386)package patlibstdc++ is not installed (i386) (i386)