【正文】 量不是考核標(biāo)準(zhǔn)，因?yàn)橐粋€(gè)語(yǔ)句的執(zhí)行時(shí)間可能會(huì)非常長(zhǎng)，讀取的數(shù)據(jù)也非常多。什么是OLAP 在ebay的數(shù)據(jù)庫(kù)設(shè)計(jì)中，有一個(gè)很重要的點(diǎn)就是，數(shù)據(jù)庫(kù)只負(fù)責(zé)存放數(shù)據(jù)，業(yè)務(wù)邏輯盡量在業(yè)務(wù)層實(shí)現(xiàn)，因?yàn)閿?shù)據(jù)庫(kù)擴(kuò)展是困難的，而應(yīng)用服務(wù)器擴(kuò)展是簡(jiǎn)單的。另外，在索引使用方面，語(yǔ)句是越簡(jiǎn)單越好，這樣執(zhí)行計(jì)劃也穩(wěn)定，而且一定要使用綁定變量，減少語(yǔ)句解析，盡量減少關(guān)聯(lián)。而磁盤子系統(tǒng)的IOPS處理能力，與cache命中率以及磁盤個(gè)數(shù)有很大的關(guān)系。 那么，在一般的OLTP系統(tǒng)中，如果不考慮我上面說(shuō)的函數(shù)問(wèn)題，那么，邏輯讀乘以執(zhí)行次數(shù)，決定了cpu的消耗程度，如一個(gè)語(yǔ)句，每秒執(zhí)行次數(shù)為500次，每個(gè)邏輯讀為15，但是，通過(guò)優(yōu)化，能讓每個(gè)語(yǔ)句的邏輯讀從15降到10，那么，每秒的邏輯讀就可以減少500*5=2500個(gè)，其實(shí)就是相當(dāng)于優(yōu)化了一個(gè)執(zhí)行頻率為每秒1次，每次邏輯讀為2500個(gè)的語(yǔ)句（注意，2500個(gè)邏輯讀，在oltp系統(tǒng)是非常差的語(yǔ)句）。 另外，一些計(jì)算性的函數(shù)，如sum，count，decode被非常頻繁的使用，也是非常消耗cpu的，我遇到一個(gè)系統(tǒng)，因?yàn)橐粋€(gè)sql語(yǔ)句，大量的使用了sum與decode進(jìn)行行列轉(zhuǎn)換，結(jié)果這一個(gè)語(yǔ)句就耗費(fèi)了整個(gè)機(jī)器一半以上的CPU。很多人不感覺(jué)不到這里的作用，覺(jué)得一個(gè)語(yǔ)句幾十個(gè)邏輯讀，執(zhí)行時(shí)間基本為0，就不需要優(yōu)化了，其實(shí)，只要他的執(zhí)行次數(shù)非常頻繁，而且有優(yōu)化的余地，就一定要優(yōu)化，如減少一定的邏輯讀或者降低執(zhí)行次數(shù)，都是優(yōu)化方法。cpu則取決于邏輯讀以及內(nèi)部調(diào)用，如函數(shù)等等。在這樣的系統(tǒng)中，每秒處理的transaction往往超過(guò)幾百個(gè)，或者是幾千個(gè)，select 語(yǔ)句的執(zhí)行量每秒幾千甚至幾萬(wàn)個(gè)。 OLTP與OLAP之間的比較:OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP的提出引起了很大的反響，OLAP作為一類產(chǎn)品同聯(lián)機(jī)事務(wù)處理 (OLTP) 明顯區(qū)分開(kāi)來(lái)。衡量聯(lián)機(jī)事務(wù)處理系統(tǒng)的一個(gè)重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實(shí)時(shí)響應(yīng)時(shí)間(Response Time)，即用戶在終端上送入數(shù)據(jù)之后，到計(jì)算機(jī)對(duì)這個(gè)請(qǐng)求給出答復(fù)所需要的時(shí)間。這樣做的最大優(yōu)點(diǎn)是可以即時(shí)地處理輸入的數(shù)據(jù)，及時(shí)地回答。所以，在優(yōu)化系統(tǒng)之前，弄清楚自己的業(yè)務(wù)類型。弄清楚你的業(yè)務(wù)類型——OLTP or OLAP在Oracle數(shù)據(jù)庫(kù)系統(tǒng)中，很多人沒(méi)有弄清楚自己的業(yè)務(wù)類型到底是什么，就在開(kāi)始盲目的尋求優(yōu)化方法，而往往是把OLAP的方法使用在OLTP上，或者是OLTP的方法使用在OLAP上。這樣的使用，有的時(shí)候，對(duì)性能沒(méi)有任何的提高，甚至是大大的影響了性能，得到適得其反的效果。OLTP (聯(lián)機(jī)事務(wù)處理系統(tǒng)）也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計(jì)算中心進(jìn)行處理，并在很短的時(shí)間內(nèi)給出處理結(jié)果。也稱為實(shí)時(shí)系統(tǒng)(Real time System)。OLAP（聯(lián)機(jī)分析處理系統(tǒng)）聯(lián)機(jī)分析處理 (OLAP) ，他同時(shí)提出了關(guān)于OLAP的12條準(zhǔn)則。 當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（online transaction processing）、聯(lián)機(jī)分析處理OLAP（OnLine Analytical Processing）。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。OLTPOLAP用戶操作人員，低層管理人員決策人員，高級(jí)管理人員功能日常操作處理分析決策DB 設(shè)計(jì)面向應(yīng)用面向主題數(shù)據(jù)最新的，細(xì)節(jié)的，二維的，分立的歷史的，聚集的，多維的，集成的存取規(guī)模讀/寫數(shù)條（甚至數(shù)百條）記錄讀上百萬(wàn)（甚至上億）條記錄操作頻度非常頻繁（以秒計(jì)）比較稀松（以小時(shí)甚至以周計(jì)）工作單位嚴(yán)格的事務(wù)復(fù)雜的查詢用戶數(shù)數(shù)百個(gè)數(shù)千萬(wàn)個(gè)數(shù)個(gè)數(shù)百個(gè)DB 大小100MBGB100GBTB什么是OLTP OLTP，也叫聯(lián)機(jī)事務(wù)處理(Online Transaction Processing)，表示事務(wù)性非常高的系統(tǒng)，一般都是高可用的在線系統(tǒng)，以小的事務(wù)以及小的查詢?yōu)橹鳎u(píng)估其系統(tǒng)的時(shí)候，一般看其每秒執(zhí)行的transaction以及execute sql的數(shù)量。典型的OLTP系統(tǒng)如電子商務(wù)系統(tǒng)，銀行，證卷等等，如美國(guó)ebay的業(yè)務(wù)數(shù)據(jù)庫(kù)，就是很典型的OLTP數(shù)據(jù)庫(kù)。 OLTP系統(tǒng)最容易出現(xiàn)的瓶頸就是CPU與磁盤子系統(tǒng)。一個(gè)執(zhí)行頻繁的SQL語(yǔ)句，如果每個(gè)語(yǔ)句可以減少很少的邏輯讀，也相當(dāng)于優(yōu)化了一些邏輯讀很差的大型語(yǔ)句。再如，假定一個(gè)1GHZ的cpu每秒能正常處理的邏輯讀是100,000個(gè)，如果是10個(gè)邏輯讀一個(gè)的語(yǔ)句，每秒可以處理10,000個(gè)，而1000個(gè)邏輯讀一個(gè)的語(yǔ)句，每秒則只能處理100個(gè)。 同以上道理，物理讀乘以執(zhí)行次數(shù)，則決定了存儲(chǔ)子系統(tǒng)的處理能力，在一個(gè)OLTP環(huán)境中，物理讀一般都是db file sequential read決定的，也就是單塊讀，一個(gè)典型的OLTP系統(tǒng)，db file sequential read應(yīng)當(dāng)基本等于磁盤子系統(tǒng)的讀的IOPS。我的一些文章中，也分析到了這些問(wèn)題，如一個(gè)15K轉(zhuǎn)速的磁盤，每秒最多能處理的iops達(dá)到150個(gè)，基本就是極限了，如果cache不命中，那么100個(gè)磁盤，最多能處理的IOPS僅僅是15000個(gè)（但是，實(shí)際上，還基本達(dá)不到這個(gè)值）。 OLTP最常用的技術(shù)就是cache技術(shù)與btree索引，cache決定了很多語(yǔ)句不需要從磁盤子系統(tǒng)獲得數(shù)據(jù)，所以，web cache與oracle data buffer對(duì)OLTP系統(tǒng)是很重要的。其它方面，基本不使用分區(qū)技術(shù)，MV技術(shù)，并行技術(shù)以及位圖索引，因?yàn)椴l(fā)量很高，批量更新可能要盡量快速提交避免阻塞的發(fā)生。其實(shí)，也就是說(shuō)，在高可用的OLTP環(huán)境中，數(shù)據(jù)庫(kù)使用越簡(jiǎn)單的功能越好。 OLAP，也叫聯(lián)機(jī)分析(Online Analytical Processing)，有的時(shí)候也叫DSS決策支持系統(tǒng)，就是我們說(shuō)的數(shù)據(jù)倉(cāng)庫(kù)。所以，這樣的系統(tǒng)中，考核的標(biāo)準(zhǔn)往往決定于磁盤子系統(tǒng)的吞吐量。在我前面的一些文章中描述過(guò)，如果一個(gè)15K的磁盤的IO量每秒13M，那么，100個(gè)磁盤，最多能提供的吞吐量則是1300M/s（實(shí)際上，也基本達(dá)不到這個(gè)值）。如分區(qū)技術(shù)可以使得一些大表的掃描變得很快（只掃描單個(gè)分區(qū)），而且方便管理。并行技術(shù)除了與分區(qū)技術(shù)結(jié)合外，在oracle 10g中，與rac結(jié)合實(shí)現(xiàn)多節(jié)點(diǎn)的同時(shí)掃描，效果也非常不錯(cuò)，把一個(gè)任務(wù)，如select的全表掃描，平均的分派到多個(gè)rac的節(jié)點(diǎn)上去。 在OLAP系統(tǒng)中，不需要使用綁定變量，因?yàn)檎麄€(gè)系統(tǒng)的執(zhí)行量很少，分析時(shí)間對(duì)于執(zhí)行時(shí)間來(lái)說(shuō)，可以忽略，而且避免出現(xiàn)錯(cuò)誤的執(zhí)行計(jì)劃?？偨Y(jié)如果是全局索引，那分區(qū)的意義又何在，只是多出一份分區(qū)技術(shù)的license而已。 并行技術(shù)也是如此，一般是在大型任務(wù)的時(shí)候才使用，好比說(shuō)，實(shí)際生活中，一個(gè)比較大型的工作，如翻譯一本書，你可以先安排多個(gè)人，每個(gè)人翻譯不同的章節(jié)，這樣是可以提高翻譯速度，但是，你現(xiàn)在只是翻譯一頁(yè)，你也去分配不同的人翻譯不同的行，再組合起來(lái)，這個(gè)時(shí)間，你一個(gè)人或者早就翻譯完了。 位圖索引在我前幾篇文章中有交代，如果用在oltp環(huán)境中，可能因?yàn)樽枞秶螅苋菀鬃枞c死鎖，但是，在olap環(huán)境中，可能會(huì)因?yàn)槠涮赜械奶匦裕岣遫lap的查詢速度。Oracle索引使用限制 和 建議什么是索引索引是建立在表的一列或多個(gè)列上的輔助對(duì)象，目的是加快訪問(wèn)表中的數(shù)據(jù)； Oracle存儲(chǔ)索引的數(shù)據(jù)結(jié)構(gòu)是B*樹，位圖索引也是如此，只不過(guò)是葉子節(jié)點(diǎn)不同B*數(shù)索引；索引由根節(jié)點(diǎn)、分支節(jié)點(diǎn)和葉子節(jié)點(diǎn)組成，上級(jí)索引塊包含下級(jí)索引塊的索引數(shù)據(jù)，葉節(jié)點(diǎn)包含索引數(shù)據(jù)和確定行實(shí)際位置的rowid。 oracle的索引有一些索引限制，在這些索引限制發(fā)生的情況下，即使已經(jīng)加了索引，oracle還是會(huì)執(zhí)行一次全表掃描，查詢的性能不會(huì)比不加索引有所提高，反而可能由于數(shù)據(jù)庫(kù)維護(hù)索引的系統(tǒng)開(kāi)銷造成性能更差。 但是開(kāi)發(fā)中的確需要這樣的查詢，難道沒(méi)有解決問(wèn)題的辦法了嗎？ 有！ 通過(guò)把用 or 語(yǔ)法替代不等號(hào)進(jìn)行查詢，就可以使用索引，以避免全表掃描：上面的語(yǔ)句改成下面這樣的，就可以使用索引了。 如果被索引的列中有很多null，就不會(huì)使用這個(gè)索引（除非索引是一個(gè)位圖索引，關(guān)于位圖索引，會(huì)在以后的blog文章里做詳細(xì)解釋）。 解決這個(gè)問(wèn)題的辦法就是：建表時(shí)把需要索引的列定義為非空(not null)下面的查詢就不會(huì)使用索引： select * from staff where trunc(birthdate) = 39。 但是把函數(shù)應(yīng)用在條件上，索引是可以生效的，把上面的語(yǔ)句改成下面的語(yǔ)句，就可以通過(guò)索引進(jìn)行查找。01MAY8239。 下面的例子中，dept_id是一個(gè)varchar2型的字段，在這個(gè)字段上有索引，但是下面的語(yǔ)句會(huì)執(zhí)行全表掃描。 這是因?yàn)閛racle會(huì)自動(dòng)把where子句轉(zhuǎn)換成to_number(dept_id)=900198，就是3所說(shuō)的情況，這樣就限制了索引的使用。90019839。6．簡(jiǎn)單優(yōu)化 上面我們可以看到當(dāng)對(duì)索引安段加上一些選項(xiàng)時(shí)就不再使用索引了，為了在查詢時(shí)一定使用索引，可對(duì)參數(shù)opt