【正文】 請求Resouce Master(存放當前哪些實例持有哪些塊的信息)，Resource Master所在的實例請求當前持有塊的實例向發(fā)出請求的實例傳輸塊。若另一個實例請求該塊的一個副本，而該塊已經(jīng)處于前一個實例的緩存內(nèi)，那么該塊會通過互聯(lián)網(wǎng)絡(luò)直接被傳遞到另一個實例的SGA。這意味著只要可能，數(shù)據(jù)塊可在各實例的緩存之間無需寫回磁盤的移動，避免了同步多實例的緩存所花費的額外I/O?？梢钥闯?，Cache Fusion資源實際上就是一個個的數(shù)據(jù)塊的映射。每個數(shù)據(jù)的請求動作時分布完成的。2. RAC集群環(huán)境中的幾個關(guān)鍵問題并發(fā)控制。健忘癥(Amnesia)。但也可能會出現(xiàn)這種情況：一個雙節(jié)點集群，節(jié)點A因正常維護而關(guān)閉，然后再節(jié)點B上修改了某些配置文件，然后關(guān)閉節(jié)點B，并啟動節(jié)點A，此時節(jié)點B的修改是無法同步到節(jié)點A上的，因此節(jié)點A使用的仍然是老的配置文件，這種情況下，修改的配置文件是丟失的，就是所謂的健忘癥.腦裂(Split Brain)。這里作一個假設(shè)，假設(shè)心跳出現(xiàn)問題各個節(jié)點還在正常運行。在集群環(huán)境中，存儲設(shè)備的共享也就意味著數(shù)據(jù)的不完整性，也即是數(shù)據(jù)災難，這就是“腦裂”。對HA系統(tǒng)“裂腦”，通常使用投票算法(Quorum Algorithm)。對3個節(jié)點的集群，A心跳出現(xiàn)問題后，B和C是一個partion，有2票，A只有1票。那么就由節(jié)點B和節(jié)點C組成的新集群來繼續(xù)對外提供服務(wù)；但如果只有2個節(jié)點，投票算法就失效了。這個Quorum Disk也代表一票，當2個節(jié)點心跳出現(xiàn)問題時，各節(jié)點同時去爭取Quorum Disk這一票，最早到達的請求被最先滿足。除此之外大概有以下幾種對策：1) 添加冗余的心跳線。正在服務(wù)一方鎖住共享磁盤，“裂腦”發(fā)生時，讓對方完全搶不走共享磁盤資源。若服務(wù)節(jié)點突然死機或崩潰，就不能執(zhí)行解鎖命令，后備節(jié)點也就接管不了共享資源和應用服務(wù)。如設(shè)置參考IP(如網(wǎng)關(guān)IP)，當心跳線完全斷開時，各節(jié)點都ping參考IP，不通則表明斷點就出在本端，那就主動放棄競爭，讓能夠ping通的一端去啟服務(wù)。實際上正常情況下腦裂是無法見到的，現(xiàn)代集群都有保護機制來避免這種情況發(fā)生，但也不得不防。IO隔離(IO Fencing)。而且還必須保證被趕出去的結(jié)點不能操作共享數(shù)據(jù)。這就是IO Fencing要解決的問題。CRS采用的是軟件方式，直接重啟故障節(jié)點。 RAC的組成結(jié)構(gòu)1. RAC集群的邏輯結(jié)構(gòu)Oracle術(shù)語中實例和數(shù)據(jù)庫是兩個不同的概念，實例是指由SGA和后臺進程組成的實時運行環(huán)境，是動態(tài)概念；而數(shù)據(jù)庫特指數(shù)據(jù)文件，控制文件和日志文件這些永久保存在存儲設(shè)備上的文件，是靜態(tài)概念。，網(wǎng)絡(luò)層，集群件層，應用層組成。雖然在RAC系統(tǒng)中有多個實例，但是只有一個數(shù)據(jù)庫運行在共享磁盤上，數(shù)據(jù)文件，聯(lián)機日志，控制文件等文件在集群中都只有一份(鏡像不算)。網(wǎng)絡(luò)層。前二者用于傳輸網(wǎng)絡(luò)數(shù)據(jù)，而第三個用于傳輸SCSI數(shù)據(jù).集群層。Oracle通過OS內(nèi)核來實現(xiàn)對硬件的調(diào)用請求。因普通OS內(nèi)核只能控制單機上多進程的訪問，無法實現(xiàn)多主機間的協(xié)調(diào)工作。Sun、HP等公司都有自己的集群件產(chǎn)品，也有許多如Veritas的第三方Clusterware產(chǎn)品。( Clusterware)開始，RAC不再依賴于廠商的集群軟件(Oracle仍支持廠商提供的集群軟件，僅Linux平臺上才必須選擇CRS)。通常意義上可以認為CRS = Clusterware = Oracle Cluster Ready Service = Oracle Cluster Software.應用層。這些被CRS監(jiān)控的對象就叫做CRS Resource，應用層由若干的CRS Resource組成。這些CRS Resource是在RAC安裝時創(chuàng)建并注冊到CRS中，以元數(shù)據(jù)(metadata)形式被記錄在OCR磁盤上，這些元數(shù)據(jù)包括CRS Resource的名稱、如何啟動、停止、如何檢查健康狀況等配置信息。 傳統(tǒng)的SingleInstance架構(gòu) RAC架構(gòu)Oracle操作都是在內(nèi)存SGA中完成的，而RAC的每個數(shù)據(jù)塊在任何一個Instance的SGA中都存在著一份拷貝，RAC必須知道這些拷貝的分布、版本、狀態(tài)，GRD就是這種信息的內(nèi)存區(qū)域。而在后臺進程上，除了傳統(tǒng)單實例相同的DBWR，LGWR，ARCn，CKPT等進程之外，每個Instance 都增加了若干的RAC專有的進程，需要注意的是，這些進程的名稱和它們所提供的服務(wù)的名稱差異極大。RAC文件大都放置在共享存儲上；每個實例都有自己的undotbs和redo log，每套redo log都叫做一個Redo Thread，每個Redo Thread至少要兩個Redo Log Group，每組有兩個以上的成員，放在不同的磁盤中；每個實例都會產(chǎn)生自己的歸檔日志(可不放在共享存儲上，但若在單個實例上進行備份歸檔日志或進行Media Recovery操作，卻要求在該節(jié)點必須能夠訪問所有實例的歸檔日志)。而集群層則是由集群軟件組成，它負責協(xié)調(diào)每臺主機的多進程的共享使用，以及協(xié)助主機間進程的共享使用。Clusterware所組成的集群和Database所組成的數(shù)據(jù)庫集群?？梢哉f，Clusterware是將所有的節(jié)點虛擬成了一臺計算機的操縱系統(tǒng)內(nèi)核，而RAC就是將所有節(jié)點上的實例虛擬成為一個實例的Database應用。Oracle的Clusterware運行環(huán)境由三大部分組成：兩個磁盤文件，后臺進程以及網(wǎng)絡(luò)元素。這是兩個磁盤文件，必須存放在共享存儲上。OCR中保存了集群的配置信息，并以Keyvalue存放這些信息(10g前，叫Server Manageability Repository，SRVM)。Oracle啟動時。 OCR Key的屬性(通用的)屬性名含義VALUE_TYPE值的類型VALUE值USER_NAME這幾個屬性共同定義了該Key所需要的操作權(quán)限.GROUP_NAMEUSER_PERMISSIONGROUP_PERMISSIONOTHER_PERMISSIONOCR主要由OCR key和OCR進程組成。而這些信息僅能被root用戶所修改，可使用ocrdump命令導出。 OCR的SYSTEM拓撲圖 OCR的DATABASE拓撲圖 OCR的CRS拓撲圖雖然Clusterware要求每個節(jié)點都能訪問和修改OCR，但在Clusterware的運行過程中，并不是每個節(jié)點都能同時操作OCR共享磁盤的。 每個結(jié)點都有一個OCR Process來讀寫OCR Cache，但只有一個節(jié)點的OCR process能讀寫OCR Disk中的內(nèi)容，這個節(jié)點叫作OCR Master結(jié)點。 OCR Process，所有需要OCR內(nèi)容的其他進程，比如OCSSD，EVM等都叫作Client Process， 這些進程不會直接訪問OCR Cache，而是向OCR Process發(fā)送請求，借助OCR Process獲得內(nèi)容，如果想要修改OCR 內(nèi)容，需要該節(jié)點的OCR Process向Master node的OCR process提交申請，由Master OCR Process完成物理讀寫，并同步所有節(jié)點OCR Cache中的內(nèi)容。CRS使用兩種心跳設(shè)備來驗證節(jié)點成員的狀態(tài)：一是表決磁盤，集群同步服務(wù)進程每隔指定的最大時間段都會向表決磁盤寫入一條心跳信息，集群通過表決磁盤即可驗證節(jié)點的狀態(tài)，如果某個節(jié)點在內(nèi)沒有向表決磁盤寫入信息，集群就認為此節(jié)點失效，而執(zhí)行故障切換。兩種心跳機制的結(jié)合，有效的增加了集群的可靠性。一般情況下，Votingdisk都分配100MB的空間。它會在/etc/inittab的最后將三個進程加入，以后系統(tǒng)啟動時，CRS會自啟，若EVMD和CRS出現(xiàn)異常，系統(tǒng)會自動重啟這兩個進程，但如果CSSD異常，系統(tǒng)會立即重啟.Clusterware的后臺進程可以總結(jié)如下： Clusterware進程Oracle Clusterware ComponentLinux/Unix進程Windows服務(wù)Windows進程Cluster Synchronization Services (CSS)ocssdOracleCSServiceCluster Ready Service (CRS)OracleCRSServiceEvent Manager ServiceevmdevmdloggerOracleEVMServiceOracle Notification Service (ONS)OnsProcess Monitor DaemonOprocdOraFenceServiceRACGracgmainracgimonOCSSD是CRS最關(guān)鍵的進程，提供CSS服務(wù)。CSS有2種心跳機制，Network Heartbeat和Disk Heartbeat，提供腦裂保護等基礎(chǔ)集群服務(wù)功能，都有最大延時。缺省IOT大于MC，默認由Oracle 自動判定的，并不建議手工調(diào)整。若在使用ASM的節(jié)點搭建RAC，節(jié)點要求只有一個運行在$ORA_CRS_HOME下的OCSSD進程，此時要先停ASM，并通過$ORACLE_HOME/bin/ delete刪除之前的inittab 條目。Clusterware是位于集群層的組件，為應用層資源CRS Resource提供HA服務(wù)，它必須監(jiān)控集群資源，并在資源運行異常時進行干預，包括關(guān)閉，重啟進程或者轉(zhuǎn)移服務(wù)。也就是說，CRSD負責監(jiān)控CRS Resource的狀態(tài)，并要啟動、停止、監(jiān)控、Failover這些資源。CRS Resource包括GSD、ONS、VIP、database、Instance和 Service。其中GSD、ONS和VIP是在OCR的安裝過程自動創(chuàng)建并注冊的，而Listener、Database、Instance和Service可在安裝過程中自動創(chuàng)建, 也可在安裝成后使用dbca, netca和srvctl等工具手工創(chuàng)建和注冊.EVMD負責 發(fā)布CRS產(chǎn)生的Event，通過ONS和Callout Script(回調(diào)腳本)發(fā)布給客戶。除了發(fā)布事件之外，EVMD還是CRSD和CSSD兩個進程之間的橋梁。RACGIMON負責檢查數(shù)據(jù)庫健康狀態(tài)，Service的啟動、停止、故障轉(zhuǎn)移(Failover)。OPROCD也叫Process Monitor Daemon。這個進程用來檢查節(jié)點的Processor Hang(CPU 掛起)，就認為CPU工作異常而重啟節(jié)點。在Linux 平臺上，是利用Hangchecktimer模塊來實現(xiàn)IO隔離的。通信的內(nèi)容包括Network Heardbeat和Cache Fusion。Oracle的TAF就是建立在vip之上的。vip它是浮動的IP。 浮動的vip用一個例子來說明：假設(shè)有一雙節(jié)點的RAC，正常運行時每個節(jié)點上都有一個vip：vip1和vip 2。RAC會做如下操作：1) CRS檢測到rac2節(jié)點異常后，觸發(fā)Clusterware重構(gòu)，把rac2節(jié)點剔除集群，節(jié)點1成為新的集群；2) RAC的Failover機制把節(jié)點2的vip轉(zhuǎn)移到節(jié)點1，節(jié)點1的public網(wǎng)卡上就有3個IP地址：vip 1，vip 2，public ip1；3) 用戶對vip 2的連接請求會被IP層路由轉(zhuǎn)到節(jié)點1；4) 因節(jié)點1上有vip 2的地址，數(shù)據(jù)包會順利通過路由層、網(wǎng)絡(luò)層、傳輸層；5) 但節(jié)點1只監(jiān)聽vip 1和public ip1兩個ip，并沒有監(jiān)聽vip 2，故應用層沒有對應的程序接收這個數(shù)據(jù)包，這個錯誤立即被捕獲；客戶段能夠立即接收到這個錯誤，然后客戶段會重新發(fā)起向vip 1的連接請求.可以看出，vip具有如下特點：vip通過vipca腳本創(chuàng)建，作為Nodeapps類型的CRS Resource注冊到OCR，由CRS維護；vip會綁定到節(jié)點的Public NIC上，當某個節(jié)點發(fā)生故障時，CRS會把故障節(jié)點的vip轉(zhuǎn)移到其他節(jié)點上；每個節(jié)點的Listener會同時監(jiān)聽Public網(wǎng)卡上的Public IP和vip；。：，一般作為檢查的起點；crsd、cssd、evmd：對應CRS的三個同名進程的日志目錄；racg：存放所有nodeapp的日志，包括ONS和vip。Oracle Clusterware提供了如ocrcheck，ocrconfig，ocrdump，oifcfg，clscfg的命令行工具，它們運行時產(chǎn)生的日志就存放在這個目錄下。 RAC與Clusterware的交互總的來說，Clusterware要決定集群的組成、成員身份、狀態(tài)。而RAC依賴于從Clusterware獲得這個視圖，根據(jù)視圖來調(diào)整自己。第三章 電信計費系統(tǒng) 什么是電信計費系統(tǒng)在電信運營系統(tǒng)中，電信計費系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計費系統(tǒng)歷來都是電信運營和管理部門重點建設(shè)和發(fā)展的系統(tǒng)之一。在電信運營系統(tǒng)中，電信計費系統(tǒng)是主要的支撐系統(tǒng)，占有重要地位。計費系統(tǒng)歷來都是電信運營和管理部門重點建設(shè)和發(fā)展的系統(tǒng)之一。隨著電信業(yè)務(wù)量的急劇增長，電信網(wǎng)中各種新業(yè)務(wù)不斷開放，使得老的電信計費處理方式即脫機計費和分散計費愈來愈顯露出一些矛盾。另外，近年來郵電體制進行改革，分散計費也不利于未來各種電信業(yè)務(wù)專營公司和各地電信公司之間的攤分結(jié)算。而集中計費需要聯(lián)機計費這一技術(shù)手段來實現(xiàn)。 此外，電總還準備出臺關(guān)于聯(lián)機集中計費的一系列技術(shù)體制和技術(shù)規(guī)范，指導計費體制上和技術(shù)上的變革 改進舊有的計費系統(tǒng)面臨著如下的挑戰(zhàn)：業(yè)務(wù)對象日新月異和數(shù)量的急劇膨脹，以及隨之而來的技術(shù)手段的重大革新。傳統(tǒng)上，解決集中海量數(shù)據(jù)計費的技術(shù)手段基本上采取了以文件為操作對象，通過串行邏輯、行處理的方式來加大批處理能力，然而這樣的做法也日顯力不從心。新一代的計費已從被動的后臺系統(tǒng)即網(wǎng)絡(luò)上的所有活動完成之后才開始工作發(fā)展成為在提供服務(wù)和從