【文章內(nèi)容簡(jiǎn)介】 ACRAC的網(wǎng)絡(luò)層和存儲(chǔ)層是硬件資源，集群層和應(yīng)用層則對(duì)應(yīng)軟件資源。而集群層則是由集群軟件組成，它負(fù)責(zé)協(xié)調(diào)每臺(tái)主機(jī)的多進(jìn)程的共享使用，以及協(xié)助主機(jī)間進(jìn)程的共享使用。1. Clusterware與RAC在整個(gè)的RAC環(huán)境中，實(shí)際上有兩個(gè)集群環(huán)境存在。Clusterware所組成的集群和Database所組成的數(shù)據(jù)庫(kù)集群。前者負(fù)責(zé)管理這個(gè)集群環(huán)境中的硬件資源，并為上層的Database集群提供基礎(chǔ)服務(wù)?？梢哉f(shuō)，Clusterware是將所有的節(jié)點(diǎn)虛擬成了一臺(tái)計(jì)算機(jī)的操縱系統(tǒng)內(nèi)核，而RAC就是將所有節(jié)點(diǎn)上的實(shí)例虛擬成為一個(gè)實(shí)例的Database應(yīng)用。2. Clusterware的組成結(jié)構(gòu)當(dāng)安裝完Clusterware軟件后，每個(gè)節(jié)點(diǎn)上的CRS就會(huì)自動(dòng)啟動(dòng)。Oracle的Clusterware運(yùn)行環(huán)境由三大部分組成：兩個(gè)磁盤(pán)文件，后臺(tái)進(jìn)程以及網(wǎng)絡(luò)元素。1) OCROCR與Votingdisk是CRS解決健忘和腦裂的應(yīng)對(duì)之法。這是兩個(gè)磁盤(pán)文件，必須存放在共享存儲(chǔ)上。CRS解決健忘的辦法：將配置文件存放在共享存儲(chǔ)上，各個(gè)節(jié)點(diǎn)共用一份配置文件，從而確保修改不會(huì)丟失。OCR中保存了集群的配置信息，并以Keyvalue存放這些信息(10g前，叫Server Manageability Repository，SRVM)。OCR磁盤(pán)文件大小約100MB，Clusterware安裝時(shí)，會(huì)指定OCR位置，該位置將被記錄到/etc/oracle/()。Oracle啟動(dòng)時(shí)。：ocrconfig_loc=/dev/raw/raw4ocrmirrorconfig_loc=/dev/raw/raw5local_only=FALSE可以看出，OCR的存放位置是/dev/raw/raw4，冗余鏡像位置是/dev/raw/raw5，且存儲(chǔ)的模式是共享存儲(chǔ)。 OCR Key的屬性(通用的)屬性名含義VALUE_TYPE值的類(lèi)型VALUE值USER_NAME這幾個(gè)屬性共同定義了該Key所需要的操作權(quán)限.GROUP_NAMEUSER_PERMISSIONGROUP_PERMISSIONOTHER_PERMISSIONOCR主要由OCR key和OCR進(jìn)程組成。OCR信息在結(jié)構(gòu)上是一個(gè)有著3大分支的樹(shù)形結(jié)構(gòu)(SYSTEM、DATABASE、CRS)。而這些信息僅能被root用戶所修改，可使用ocrdump命令導(dǎo)出。、key的CRS部分因子項(xiàng)過(guò)多(1000余項(xiàng))，僅列出前3級(jí)的Key。 OCR的SYSTEM拓?fù)鋱D OCR的DATABASE拓?fù)鋱D OCR的CRS拓?fù)鋱D雖然Clusterware要求每個(gè)節(jié)點(diǎn)都能訪問(wèn)和修改OCR，但在Clusterware的運(yùn)行過(guò)程中，并不是每個(gè)節(jié)點(diǎn)都能同時(shí)操作OCR共享磁盤(pán)的。在每個(gè)節(jié)點(diǎn)的內(nèi)存中都有一份OCR內(nèi)容的拷貝，這份拷貝叫作OCR Cache。 每個(gè)結(jié)點(diǎn)都有一個(gè)OCR Process來(lái)讀寫(xiě)OCR Cache，但只有一個(gè)節(jié)點(diǎn)的OCR process能讀寫(xiě)OCR Disk中的內(nèi)容，這個(gè)節(jié)點(diǎn)叫作OCR Master結(jié)點(diǎn)。這個(gè)節(jié)點(diǎn)的OCR process負(fù)責(zé)更新本地和其他結(jié)點(diǎn)的OCR Cache內(nèi)容。 OCR Process，所有需要OCR內(nèi)容的其他進(jìn)程，比如OCSSD，EVM等都叫作Client Process， 這些進(jìn)程不會(huì)直接訪問(wèn)OCR Cache，而是向OCR Process發(fā)送請(qǐng)求，借助OCR Process獲得內(nèi)容，如果想要修改OCR 內(nèi)容，需要該節(jié)點(diǎn)的OCR Process向Master node的OCR process提交申請(qǐng)，由Master OCR Process完成物理讀寫(xiě)，并同步所有節(jié)點(diǎn)OCR Cache中的內(nèi)容。2) VotingdiskVoting Disk作為表決磁盤(pán)文件主要記錄節(jié)點(diǎn)成員狀態(tài)，在出現(xiàn)腦裂時(shí)，仲裁哪個(gè)節(jié)點(diǎn)可以獲得集群的控制權(quán)，而其他的節(jié)點(diǎn)必須從集群中剔除。CRS使用兩種心跳設(shè)備來(lái)驗(yàn)證節(jié)點(diǎn)成員的狀態(tài)：一是表決磁盤(pán)，集群同步服務(wù)進(jìn)程每隔指定的最大時(shí)間段都會(huì)向表決磁盤(pán)寫(xiě)入一條心跳信息，集群通過(guò)表決磁盤(pán)即可驗(yàn)證節(jié)點(diǎn)的狀態(tài)，如果某個(gè)節(jié)點(diǎn)在內(nèi)沒(méi)有向表決磁盤(pán)寫(xiě)入信息，集群就認(rèn)為此節(jié)點(diǎn)失效，而執(zhí)行故障切換。另一心跳是節(jié)點(diǎn)間私有以太網(wǎng)的心跳，通過(guò)這個(gè)心跳機(jī)制可以判斷節(jié)點(diǎn)間是否出現(xiàn)了網(wǎng)絡(luò)故障。兩種心跳機(jī)制的結(jié)合，有效的增加了集群的可靠性。在安裝Clusterware時(shí)也會(huì)指定這個(gè)位置。一般情況下，Votingdisk都分配100MB的空間。3) CRS的后臺(tái)進(jìn)程與服務(wù)Oracle Clusterware由若干進(jìn)程組成，最重要的3個(gè)是：CRSD、CSSD、EVMD。，它會(huì)在/etc/inittab的最后將三個(gè)進(jìn)程加入，以后系統(tǒng)啟動(dòng)時(shí)，CRS會(huì)自啟，若EVMD和CRS出現(xiàn)異常，系統(tǒng)會(huì)自動(dòng)重啟這兩個(gè)進(jìn)程，但如果CSSD異常，系統(tǒng)會(huì)立即重啟.Clusterware的后臺(tái)進(jìn)程可以總結(jié)如下： Clusterware進(jìn)程O(píng)racle Clusterware ComponentLinux/Unix進(jìn)程Windows服務(wù)Windows進(jìn)程Cluster Synchronization Services (CSS)ocssdOracleCSServiceCluster Ready Service (CRS)OracleCRSServiceEvent Manager ServiceevmdevmdloggerOracleEVMServiceOracle Notification Service (ONS)OnsProcess Monitor DaemonOprocdOraFenceServiceRACGracgmainracgimonOCSSD是CRS最關(guān)鍵的進(jìn)程，提供CSS服務(wù)。如果出現(xiàn)異常，會(huì)導(dǎo)致系統(tǒng)重啟。CSS有2種心跳機(jī)制，Network Heartbeat和Disk Heartbeat，提供腦裂保護(hù)等基礎(chǔ)集群服務(wù)功能，都有最大延時(shí)。對(duì)Disk Heartbeat，這個(gè)延時(shí)叫作IOT(I/O Timeout)；對(duì)Network Heartbeat，這個(gè)延時(shí)叫MC(Misscount)。缺省IOT大于MC，默認(rèn)由Oracle 自動(dòng)判定的，并不建議手工調(diào)整?？梢酝ㄟ^(guò)如下命令來(lái)查看參數(shù)值：[oracle@racdb1 ~]$ crsctl get css disktimeout[oracle@racdb1 ~]$ crsctl get css misscount單節(jié)點(diǎn)環(huán)境使用ASM同樣會(huì)用到這個(gè)進(jìn)程，用于ASM實(shí)例和RDBMS實(shí)例的通信。若在使用ASM的節(jié)點(diǎn)搭建RAC，節(jié)點(diǎn)要求只有一個(gè)運(yùn)行在$ORA_CRS_HOME下的OCSSD進(jìn)程，此時(shí)要先停ASM，并通過(guò)$ORACLE_HOME/bin/ delete刪除之前的inittab 條目。CRSD是HA主要實(shí)現(xiàn)進(jìn)程，提供CRS服務(wù)。Clusterware是位于集群層的組件，為應(yīng)用層資源CRS Resource提供HA服務(wù)，它必須監(jiān)控集群資源，并在資源運(yùn)行異常時(shí)進(jìn)行干預(yù)，包括關(guān)閉，重啟進(jìn)程或者轉(zhuǎn)移服務(wù)。 RAC會(huì)在安裝的時(shí)候，以CRS Resource的形式注冊(cè)需要高可用性的組件到OCR中，CRSD根據(jù)OCR的內(nèi)容，決定監(jiān)控哪些進(jìn)程，如何監(jiān)控，出現(xiàn)問(wèn)題時(shí)又如何解決。也就是說(shuō)，CRSD負(fù)責(zé)監(jiān)控CRS Resource的狀態(tài)，并要啟動(dòng)、停止、監(jiān)控、Failover這些資源。默認(rèn)CRS會(huì)自動(dòng)嘗試重啟資源5次，如果還是失敗，則放棄嘗試。CRS Resource包括GSD、ONS、VIP、database、Instance和 Service。而這些資源又可以被分成2類(lèi)：GSD、ONS、VIP 、Listener屬于Noteapps類(lèi)；database、Instance、Service屬于DatabaseRelated Resource類(lèi)。其中GSD、ONS和VIP是在OCR的安裝過(guò)程自動(dòng)創(chuàng)建并注冊(cè)的，而Listener、Database、Instance和Service可在安裝過(guò)程中自動(dòng)創(chuàng)建, 也可在安裝成后使用dbca, netca和srvctl等工具手工創(chuàng)建和注冊(cè).EVMD負(fù)責(zé) 發(fā)布CRS產(chǎn)生的Event，通過(guò)ONS和Callout Script(回調(diào)腳本)發(fā)布給客戶?？梢宰远x回調(diào)腳本，放在特定的目錄，當(dāng)有某些事件發(fā)生時(shí)，EVMD自動(dòng)掃描該目錄，并調(diào)用用戶腳本，這種調(diào)用是通過(guò)racgevt進(jìn)程完成的。除了發(fā)布事件之外，EVMD還是CRSD和CSSD兩個(gè)進(jìn)程之間的橋梁。CRS和CSS之間的通信就是通過(guò)EVMD進(jìn)程完成的。RACGIMON負(fù)責(zé)檢查數(shù)據(jù)庫(kù)健康狀態(tài)，Service的啟動(dòng)、停止、故障轉(zhuǎn)移(Failover)。它會(huì)建立到數(shù)據(jù)庫(kù)的持久連接，定期檢查SGA中的特定信息，該信息由PMON進(jìn)程定時(shí)更新。OPROCD也叫Process Monitor Daemon。在非Linux平臺(tái)且沒(méi)有使用第三方的集群軟件時(shí)，可以看到這個(gè)進(jìn)程。這個(gè)進(jìn)程用來(lái)檢查節(jié)點(diǎn)的Processor Hang(CPU 掛起)，就認(rèn)為CPU工作異常而重啟節(jié)點(diǎn)。也就是說(shuō)這個(gè)進(jìn)程提供IO隔離的功能。在Linux 平臺(tái)上，是利用Hangchecktimer模塊來(lái)實(shí)現(xiàn)IO隔離的。4) VIP原理與特點(diǎn)RAC節(jié)點(diǎn)的兩個(gè)NIC一塊和其他的應(yīng)用服務(wù)器或客戶機(jī)連接，提供對(duì)外的數(shù)據(jù)服務(wù)；另一塊連接到一個(gè)私有的交換機(jī)上，提供節(jié)點(diǎn)間的通信。通信的內(nèi)容包括Network Heardbeat和Cache Fusion。之所以分開(kāi)Public NIC和Private NIC，是因?yàn)镻rivate NIC上傳遞的是大數(shù)據(jù)量，低延遲的內(nèi)容，很容易占用Public NIC的帶寬，并且集群的可靠性也得不到保證。Oracle的TAF就是建立在vip之上的。IP是利用TCP層超時(shí)，vip利用的是應(yīng)用層的立即響應(yīng)。vip它是浮動(dòng)的IP。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)會(huì)自動(dòng)的轉(zhuǎn)到另一個(gè)節(jié)點(diǎn)上。 浮動(dòng)的vip用一個(gè)例子來(lái)說(shuō)明：假設(shè)有一雙節(jié)點(diǎn)的RAC，正常運(yùn)行時(shí)每個(gè)節(jié)點(diǎn)上都有一個(gè)vip：vip1和vip 2。當(dāng)節(jié)點(diǎn)2發(fā)生故障。RAC會(huì)做如下操作：1) CRS檢測(cè)到rac2節(jié)點(diǎn)異常后，觸發(fā)Clusterware重構(gòu)，把rac2節(jié)點(diǎn)剔除集群，節(jié)點(diǎn)1成為新的集群；2) RAC的Failover機(jī)制把節(jié)點(diǎn)2的vip轉(zhuǎn)移到節(jié)點(diǎn)1，節(jié)點(diǎn)1的public網(wǎng)卡上就有3個(gè)IP地址：vip 1，vip 2，public ip1；3) 用戶對(duì)vip 2的連接請(qǐng)求會(huì)被IP層路由轉(zhuǎn)到節(jié)點(diǎn)1；4) 因節(jié)點(diǎn)1上有vip 2的地址，數(shù)據(jù)包會(huì)順利通過(guò)路由層、網(wǎng)絡(luò)層、傳輸層；5) 但節(jié)點(diǎn)1只監(jiān)聽(tīng)vip 1和public ip1兩個(gè)ip，并沒(méi)有監(jiān)聽(tīng)vip 2，故應(yīng)用層沒(méi)有對(duì)應(yīng)的程序接收這個(gè)數(shù)據(jù)包，這個(gè)錯(cuò)誤立即被捕獲；客戶段能夠立即接收到這個(gè)錯(cuò)誤，然后客戶段會(huì)重新發(fā)起向vip 1的連接請(qǐng)求.可以看出，vip具有如下特點(diǎn)：vip通過(guò)vipca腳本創(chuàng)建，作為Nodeapps類(lèi)型的CRS Resource注冊(cè)到OCR，由CRS維護(hù)；vip會(huì)綁定到節(jié)點(diǎn)的Public NIC上，當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，CRS會(huì)把故障節(jié)點(diǎn)的vip轉(zhuǎn)移到其他節(jié)點(diǎn)上；每個(gè)節(jié)點(diǎn)的Listener會(huì)同時(shí)監(jiān)聽(tīng)Public網(wǎng)卡上的Public IP和vip；。3. Clusterware的日志體系CRS只能通過(guò)日志和trace文件進(jìn)行故障診斷，但CRS日志體系相對(duì)數(shù)據(jù)庫(kù)而言更為復(fù)雜。：，一般作為檢查的起點(diǎn)；crsd、cssd、evmd：對(duì)應(yīng)CRS的三個(gè)同名進(jìn)程的日志目錄；racg：存放所有nodeapp的日志，包括ONS和vip。Client，存放著工具執(zhí)行日志。Oracle Clusterware提供了如ocrcheck，ocrconfig，ocrdump，oifcfg，clscfg的命令行工具，它們運(yùn)行時(shí)產(chǎn)生的日志就存放在這個(gè)目錄下。 Oracle Clusterware的日志體系4. RAC與Clusterware的交互作為集群數(shù)據(jù)庫(kù)，除了并發(fā)控制，還是一個(gè)高可用方案，就是可以根據(jù)數(shù)據(jù)庫(kù)集群的狀態(tài)變遷進(jìn)行自動(dòng)的重構(gòu)，這需要數(shù)據(jù)庫(kù)與Clusterware的交互來(lái)完成()。 RAC與Clusterware的交互總的來(lái)說(shuō)，Clusterware要決定集群的組成、成員身份、狀態(tài)。它并不關(guān)心上層應(yīng)用是數(shù)據(jù)庫(kù)還是Web應(yīng)用，它只負(fù)責(zé)收集集群的節(jié)點(diǎn)狀態(tài)的完整視圖并反饋給上層。而RAC依賴于從Clusterware獲得這個(gè)視圖，根據(jù)視圖來(lái)調(diào)整自己。事實(shí)上，RAC并非完全依賴于Clusterware，它首先查看Clusterware能否解決問(wèn)題，如果能，那么一切照舊，如果不能，那么RAC自己進(jìn)行IMR (instance membership recover)。第三章 電信計(jì)費(fèi)系統(tǒng) 什么是電信計(jì)費(fèi)系統(tǒng)在電信運(yùn)營(yíng)系統(tǒng)中，電信計(jì)費(fèi)系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計(jì)費(fèi)系統(tǒng)能否有效、安全地運(yùn)行，在很大程度上影響著電信運(yùn)營(yíng)系統(tǒng)本身的運(yùn)行效率和信譽(yù)。計(jì)費(fèi)系統(tǒng)歷來(lái)都是電信運(yùn)營(yíng)和管理部門(mén)重點(diǎn)建設(shè)和發(fā)展的系統(tǒng)之一。電信計(jì)費(fèi)系統(tǒng)是一個(gè)大型項(xiàng)目，分為九個(gè)模塊，提供了強(qiáng)大的權(quán)限管理、用戶管理、賬單管理和資費(fèi)管理。在電信運(yùn)營(yíng)系統(tǒng)中，電信計(jì)費(fèi)系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計(jì)費(fèi)系統(tǒng)能否有效、安全地運(yùn)行，在很大程度上影響著電信運(yùn)營(yíng)系統(tǒng)本身的運(yùn)行效率和信譽(yù)。計(jì)費(fèi)系統(tǒng)歷來(lái)都是電信運(yùn)營(yíng)和管理部門(mén)重點(diǎn)建設(shè)和發(fā)展的系統(tǒng)之一。電信計(jì)費(fèi)系統(tǒng)是一個(gè)大型項(xiàng)目，分為九個(gè)模塊，提供了強(qiáng)大的權(quán)限管理、用戶管理、賬單管理和資費(fèi)管理。 背景我國(guó)目前對(duì)電信業(yè)務(wù)的計(jì)費(fèi)處理在體制上多是以分散處理方式進(jìn)行的，在技術(shù)上是以脫機(jī)按月處理方式進(jìn)行的。隨著電信業(yè)務(wù)量的急劇增長(zhǎng)，電信網(wǎng)中各種新業(yè)務(wù)不斷開(kāi)放，使得老的電信計(jì)費(fèi)處理方式即脫機(jī)計(jì)費(fèi)和分散計(jì)費(fèi)愈來(lái)愈顯露出一些矛盾。脫機(jī)按月處理維護(hù)管理水平低、處理時(shí)間長(zhǎng)、自動(dòng)化程度差、計(jì)費(fèi)錯(cuò)誤多；同種業(yè)務(wù)分散處理設(shè)備重復(fù)投資、結(jié)算困難、管理復(fù)雜、管理部門(mén)難以掌握大網(wǎng)的運(yùn)