【文章內(nèi)容簡介】 ACRAC的網(wǎng)絡(luò)層和存儲層是硬件資源，集群層和應(yīng)用層則對應(yīng)軟件資源。而集群層則是由集群軟件組成，它負(fù)責(zé)協(xié)調(diào)每臺主機的多進程的共享使用，以及協(xié)助主機間進程的共享使用。1. Clusterware與RAC在整個的RAC環(huán)境中，實際上有兩個集群環(huán)境存在。Clusterware所組成的集群和Database所組成的數(shù)據(jù)庫集群。前者負(fù)責(zé)管理這個集群環(huán)境中的硬件資源，并為上層的Database集群提供基礎(chǔ)服務(wù)。可以說，Clusterware是將所有的節(jié)點虛擬成了一臺計算機的操縱系統(tǒng)內(nèi)核，而RAC就是將所有節(jié)點上的實例虛擬成為一個實例的Database應(yīng)用。2. Clusterware的組成結(jié)構(gòu)當(dāng)安裝完Clusterware軟件后，每個節(jié)點上的CRS就會自動啟動。Oracle的Clusterware運行環(huán)境由三大部分組成：兩個磁盤文件，后臺進程以及網(wǎng)絡(luò)元素。1) OCROCR與Votingdisk是CRS解決健忘和腦裂的應(yīng)對之法。這是兩個磁盤文件，必須存放在共享存儲上。CRS解決健忘的辦法：將配置文件存放在共享存儲上，各個節(jié)點共用一份配置文件，從而確保修改不會丟失。OCR中保存了集群的配置信息，并以Keyvalue存放這些信息(10g前，叫Server Manageability Repository，SRVM)。OCR磁盤文件大小約100MB，Clusterware安裝時，會指定OCR位置，該位置將被記錄到/etc/oracle/()。Oracle啟動時。：ocrconfig_loc=/dev/raw/raw4ocrmirrorconfig_loc=/dev/raw/raw5local_only=FALSE可以看出，OCR的存放位置是/dev/raw/raw4，冗余鏡像位置是/dev/raw/raw5，且存儲的模式是共享存儲。 OCR Key的屬性(通用的)屬性名含義VALUE_TYPE值的類型VALUE值USER_NAME這幾個屬性共同定義了該Key所需要的操作權(quán)限.GROUP_NAMEUSER_PERMISSIONGROUP_PERMISSIONOTHER_PERMISSIONOCR主要由OCR key和OCR進程組成。OCR信息在結(jié)構(gòu)上是一個有著3大分支的樹形結(jié)構(gòu)(SYSTEM、DATABASE、CRS)。而這些信息僅能被root用戶所修改，可使用ocrdump命令導(dǎo)出。、key的CRS部分因子項過多(1000余項)，僅列出前3級的Key。 OCR的SYSTEM拓?fù)鋱D OCR的DATABASE拓?fù)鋱D OCR的CRS拓?fù)鋱D雖然Clusterware要求每個節(jié)點都能訪問和修改OCR，但在Clusterware的運行過程中，并不是每個節(jié)點都能同時操作OCR共享磁盤的。在每個節(jié)點的內(nèi)存中都有一份OCR內(nèi)容的拷貝，這份拷貝叫作OCR Cache。 每個結(jié)點都有一個OCR Process來讀寫OCR Cache，但只有一個節(jié)點的OCR process能讀寫OCR Disk中的內(nèi)容，這個節(jié)點叫作OCR Master結(jié)點。這個節(jié)點的OCR process負(fù)責(zé)更新本地和其他結(jié)點的OCR Cache內(nèi)容。 OCR Process，所有需要OCR內(nèi)容的其他進程，比如OCSSD，EVM等都叫作Client Process， 這些進程不會直接訪問OCR Cache，而是向OCR Process發(fā)送請求，借助OCR Process獲得內(nèi)容，如果想要修改OCR 內(nèi)容，需要該節(jié)點的OCR Process向Master node的OCR process提交申請，由Master OCR Process完成物理讀寫，并同步所有節(jié)點OCR Cache中的內(nèi)容。2) VotingdiskVoting Disk作為表決磁盤文件主要記錄節(jié)點成員狀態(tài)，在出現(xiàn)腦裂時，仲裁哪個節(jié)點可以獲得集群的控制權(quán)，而其他的節(jié)點必須從集群中剔除。CRS使用兩種心跳設(shè)備來驗證節(jié)點成員的狀態(tài)：一是表決磁盤，集群同步服務(wù)進程每隔指定的最大時間段都會向表決磁盤寫入一條心跳信息，集群通過表決磁盤即可驗證節(jié)點的狀態(tài)，如果某個節(jié)點在內(nèi)沒有向表決磁盤寫入信息，集群就認(rèn)為此節(jié)點失效，而執(zhí)行故障切換。另一心跳是節(jié)點間私有以太網(wǎng)的心跳，通過這個心跳機制可以判斷節(jié)點間是否出現(xiàn)了網(wǎng)絡(luò)故障。兩種心跳機制的結(jié)合，有效的增加了集群的可靠性。在安裝Clusterware時也會指定這個位置。一般情況下，Votingdisk都分配100MB的空間。3) CRS的后臺進程與服務(wù)Oracle Clusterware由若干進程組成，最重要的3個是：CRSD、CSSD、EVMD。，它會在/etc/inittab的最后將三個進程加入，以后系統(tǒng)啟動時，CRS會自啟，若EVMD和CRS出現(xiàn)異常，系統(tǒng)會自動重啟這兩個進程，但如果CSSD異常，系統(tǒng)會立即重啟.Clusterware的后臺進程可以總結(jié)如下： Clusterware進程Oracle Clusterware ComponentLinux/Unix進程Windows服務(wù)Windows進程Cluster Synchronization Services (CSS)ocssdOracleCSServiceCluster Ready Service (CRS)OracleCRSServiceEvent Manager ServiceevmdevmdloggerOracleEVMServiceOracle Notification Service (ONS)OnsProcess Monitor DaemonOprocdOraFenceServiceRACGracgmainracgimonOCSSD是CRS最關(guān)鍵的進程，提供CSS服務(wù)。如果出現(xiàn)異常，會導(dǎo)致系統(tǒng)重啟。CSS有2種心跳機制，Network Heartbeat和Disk Heartbeat，提供腦裂保護等基礎(chǔ)集群服務(wù)功能，都有最大延時。對Disk Heartbeat，這個延時叫作IOT(I/O Timeout)；對Network Heartbeat，這個延時叫MC(Misscount)。缺省IOT大于MC，默認(rèn)由Oracle 自動判定的，并不建議手工調(diào)整。可以通過如下命令來查看參數(shù)值：[oracle@racdb1 ~]$ crsctl get css disktimeout[oracle@racdb1 ~]$ crsctl get css misscount單節(jié)點環(huán)境使用ASM同樣會用到這個進程，用于ASM實例和RDBMS實例的通信。若在使用ASM的節(jié)點搭建RAC，節(jié)點要求只有一個運行在$ORA_CRS_HOME下的OCSSD進程，此時要先停ASM，并通過$ORACLE_HOME/bin/ delete刪除之前的inittab 條目。CRSD是HA主要實現(xiàn)進程，提供CRS服務(wù)。Clusterware是位于集群層的組件，為應(yīng)用層資源CRS Resource提供HA服務(wù)，它必須監(jiān)控集群資源，并在資源運行異常時進行干預(yù)，包括關(guān)閉，重啟進程或者轉(zhuǎn)移服務(wù)。 RAC會在安裝的時候，以CRS Resource的形式注冊需要高可用性的組件到OCR中，CRSD根據(jù)OCR的內(nèi)容，決定監(jiān)控哪些進程，如何監(jiān)控，出現(xiàn)問題時又如何解決。也就是說，CRSD負(fù)責(zé)監(jiān)控CRS Resource的狀態(tài)，并要啟動、停止、監(jiān)控、Failover這些資源。默認(rèn)CRS會自動嘗試重啟資源5次，如果還是失敗，則放棄嘗試。CRS Resource包括GSD、ONS、VIP、database、Instance和 Service。而這些資源又可以被分成2類：GSD、ONS、VIP 、Listener屬于Noteapps類；database、Instance、Service屬于DatabaseRelated Resource類。其中GSD、ONS和VIP是在OCR的安裝過程自動創(chuàng)建并注冊的，而Listener、Database、Instance和Service可在安裝過程中自動創(chuàng)建, 也可在安裝成后使用dbca, netca和srvctl等工具手工創(chuàng)建和注冊.EVMD負(fù)責(zé) 發(fā)布CRS產(chǎn)生的Event，通過ONS和Callout Script(回調(diào)腳本)發(fā)布給客戶?？梢宰远x回調(diào)腳本，放在特定的目錄，當(dāng)有某些事件發(fā)生時，EVMD自動掃描該目錄，并調(diào)用用戶腳本，這種調(diào)用是通過racgevt進程完成的。除了發(fā)布事件之外，EVMD還是CRSD和CSSD兩個進程之間的橋梁。CRS和CSS之間的通信就是通過EVMD進程完成的。RACGIMON負(fù)責(zé)檢查數(shù)據(jù)庫健康狀態(tài)，Service的啟動、停止、故障轉(zhuǎn)移(Failover)。它會建立到數(shù)據(jù)庫的持久連接，定期檢查SGA中的特定信息，該信息由PMON進程定時更新。OPROCD也叫Process Monitor Daemon。在非Linux平臺且沒有使用第三方的集群軟件時，可以看到這個進程。這個進程用來檢查節(jié)點的Processor Hang(CPU 掛起)，就認(rèn)為CPU工作異常而重啟節(jié)點。也就是說這個進程提供IO隔離的功能。在Linux 平臺上，是利用Hangchecktimer模塊來實現(xiàn)IO隔離的。4) VIP原理與特點RAC節(jié)點的兩個NIC一塊和其他的應(yīng)用服務(wù)器或客戶機連接，提供對外的數(shù)據(jù)服務(wù)；另一塊連接到一個私有的交換機上，提供節(jié)點間的通信。通信的內(nèi)容包括Network Heardbeat和Cache Fusion。之所以分開Public NIC和Private NIC，是因為Private NIC上傳遞的是大數(shù)據(jù)量，低延遲的內(nèi)容，很容易占用Public NIC的帶寬，并且集群的可靠性也得不到保證。Oracle的TAF就是建立在vip之上的。IP是利用TCP層超時，vip利用的是應(yīng)用層的立即響應(yīng)。vip它是浮動的IP。當(dāng)一個節(jié)點出現(xiàn)問題時會自動的轉(zhuǎn)到另一個節(jié)點上。 浮動的vip用一個例子來說明：假設(shè)有一雙節(jié)點的RAC，正常運行時每個節(jié)點上都有一個vip：vip1和vip 2。當(dāng)節(jié)點2發(fā)生故障。RAC會做如下操作：1) CRS檢測到rac2節(jié)點異常后，觸發(fā)Clusterware重構(gòu)，把rac2節(jié)點剔除集群，節(jié)點1成為新的集群；2) RAC的Failover機制把節(jié)點2的vip轉(zhuǎn)移到節(jié)點1，節(jié)點1的public網(wǎng)卡上就有3個IP地址：vip 1，vip 2，public ip1；3) 用戶對vip 2的連接請求會被IP層路由轉(zhuǎn)到節(jié)點1；4) 因節(jié)點1上有vip 2的地址，數(shù)據(jù)包會順利通過路由層、網(wǎng)絡(luò)層、傳輸層；5) 但節(jié)點1只監(jiān)聽vip 1和public ip1兩個ip，并沒有監(jiān)聽vip 2，故應(yīng)用層沒有對應(yīng)的程序接收這個數(shù)據(jù)包，這個錯誤立即被捕獲；客戶段能夠立即接收到這個錯誤，然后客戶段會重新發(fā)起向vip 1的連接請求.可以看出，vip具有如下特點：vip通過vipca腳本創(chuàng)建，作為Nodeapps類型的CRS Resource注冊到OCR，由CRS維護；vip會綁定到節(jié)點的Public NIC上，當(dāng)某個節(jié)點發(fā)生故障時，CRS會把故障節(jié)點的vip轉(zhuǎn)移到其他節(jié)點上；每個節(jié)點的Listener會同時監(jiān)聽Public網(wǎng)卡上的Public IP和vip；。3. Clusterware的日志體系CRS只能通過日志和trace文件進行故障診斷，但CRS日志體系相對數(shù)據(jù)庫而言更為復(fù)雜。：，一般作為檢查的起點；crsd、cssd、evmd：對應(yīng)CRS的三個同名進程的日志目錄；racg：存放所有nodeapp的日志，包括ONS和vip。Client，存放著工具執(zhí)行日志。Oracle Clusterware提供了如ocrcheck，ocrconfig，ocrdump，oifcfg，clscfg的命令行工具，它們運行時產(chǎn)生的日志就存放在這個目錄下。 Oracle Clusterware的日志體系4. RAC與Clusterware的交互作為集群數(shù)據(jù)庫，除了并發(fā)控制，還是一個高可用方案，就是可以根據(jù)數(shù)據(jù)庫集群的狀態(tài)變遷進行自動的重構(gòu)，這需要數(shù)據(jù)庫與Clusterware的交互來完成()。 RAC與Clusterware的交互總的來說，Clusterware要決定集群的組成、成員身份、狀態(tài)。它并不關(guān)心上層應(yīng)用是數(shù)據(jù)庫還是Web應(yīng)用，它只負(fù)責(zé)收集集群的節(jié)點狀態(tài)的完整視圖并反饋給上層。而RAC依賴于從Clusterware獲得這個視圖，根據(jù)視圖來調(diào)整自己。事實上，RAC并非完全依賴于Clusterware，它首先查看Clusterware能否解決問題，如果能，那么一切照舊，如果不能，那么RAC自己進行IMR (instance membership recover)。第三章 電信計費系統(tǒng) 什么是電信計費系統(tǒng)在電信運營系統(tǒng)中，電信計費系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計費系統(tǒng)能否有效、安全地運行，在很大程度上影響著電信運營系統(tǒng)本身的運行效率和信譽。計費系統(tǒng)歷來都是電信運營和管理部門重點建設(shè)和發(fā)展的系統(tǒng)之一。電信計費系統(tǒng)是一個大型項目，分為九個模塊，提供了強大的權(quán)限管理、用戶管理、賬單管理和資費管理。在電信運營系統(tǒng)中，電信計費系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計費系統(tǒng)能否有效、安全地運行，在很大程度上影響著電信運營系統(tǒng)本身的運行效率和信譽。計費系統(tǒng)歷來都是電信運營和管理部門重點建設(shè)和發(fā)展的系統(tǒng)之一。電信計費系統(tǒng)是一個大型項目，分為九個模塊，提供了強大的權(quán)限管理、用戶管理、賬單管理和資費管理。 背景我國目前對電信業(yè)務(wù)的計費處理在體制上多是以分散處理方式進行的，在技術(shù)上是以脫機按月處理方式進行的。隨著電信業(yè)務(wù)量的急劇增長，電信網(wǎng)中各種新業(yè)務(wù)不斷開放，使得老的電信計費處理方式即脫機計費和分散計費愈來愈顯露出一些矛盾。脫機按月處理維護管理水平低、處理時間長、自動化程度差、計費錯誤多；同種業(yè)務(wù)分散處理設(shè)備重復(fù)投資、結(jié)算困難、管理復(fù)雜、管理部門難以掌握大網(wǎng)的運