數(shù)據(jù)倉庫專用引擎分析(編輯修改稿)
2025-07-14 06:33 本頁面
【文章內容簡介】 G數(shù)據(jù)分配機制實現(xiàn)的。每個AMP都是一個VPROC，各自獨立負責一部分數(shù)據(jù)的處理，相互之間沒有關系，每個節(jié)點一般配置4至16個這樣的VPROC。所有關系運算如表的搜索、索引檢索、投影、選擇、聯(lián)接、聚集、排序等都是由各個VPROC并行進行的。步內并行(WithinaStep并行)：一個SQL查詢進入系統(tǒng)后，首先由優(yōu)化器進行優(yōu)化處理，分解成一些小的步驟(Step)，然后再分發(fā)給各VPROC進行處理。一個步驟可能非常簡單，如“搜索一個表并返回結果”，也可能非常復雜，如“按照某條件搜索兩個表，然后聯(lián)接，結果投影到某幾個列，對它們加和(SUM)后返回結果”。象這種復雜查詢將處理多個關系運算，每個關系運算在一個VPROC內將啟動多個進程來實現(xiàn)并行處理，稱為步內并行。多步并行(MultiStep并行)：上面說過，一個SQL被分解成多個小的步驟，這些步驟的執(zhí)行將同時進行，稱為多步并行。優(yōu)化器分解一個SQL查詢請求的原則是盡可能使各步獨立。在目前所有的DBMS產(chǎn)品中，只有Teradata實現(xiàn)了多步并行。下圖816以一個復雜查詢的實例形象地說明了Teradata的多維并行處理機制。圖816 Teradata內部并行處理機制說明這里假設系統(tǒng)配置有4個虛擬處理器(VPROC)，某個復雜查詢被優(yōu)化器分解成了7個步驟，圖中SUPPLIERS、PARTS、PARTSUPP等為數(shù)據(jù)庫中表的名字。在每個步驟執(zhí)行時，4個VPROC同時處理與各自相關的數(shù)據(jù)塊，例如搜索SUPPLIERS表()，該表的記錄是通過HASH算法均勻分布在四個VPROC各自負責的磁盤中的，搜索時4個VPROC將同時進行，把相關的記錄搜索出來，這就是所謂的查詢并行；、這是所謂的多步并行；()中包含有三個操作，它們借助于一種管線(Pipeline)的機制實現(xiàn)了步內的并行處理。除了上面描述的多維并行處理機制外，Teradata還作了進一步的優(yōu)化和擴展，使得處理復雜查詢時響應速度進一步加快。舉例來說，在多用戶環(huán)境下，一個部門中許多用戶的查詢常常是大同小異的，經(jīng)過優(yōu)化器分解后，它們具有一些相同的步驟，由于每個步驟的執(zhí)行結果會在一個系統(tǒng)緩沖區(qū)中暫存，相同的步驟往往只需要執(zhí)行一次即可。從而大大減少了磁盤I/O，提高了響應速度。我們知道，對于OLTP系統(tǒng)來說，由于其查詢相對簡單，依靠建立適當?shù)乃饕湍鼙ＷC查詢的速度，從而對RDBMS并行處理的能力要求不高。但對于數(shù)據(jù)倉庫來說，它主要提供的是OLAP應用，許多業(yè)務問題相當復雜，如果依靠索引來提高查詢速度，將存在兩方面的問題：一是索引過多會占用太多的磁盤空間，增加系統(tǒng)的復雜性和管理成本。許多OLTP RDBMS用于數(shù)據(jù)倉庫時，其磁盤使用率(Disk Ratio，指數(shù)據(jù)庫大小與真正的用戶數(shù)據(jù)的比例)在5以上，有時甚至高達10，原因就在于此。而基于Teradata建立的數(shù)據(jù)倉庫。二是建立一個索引意味著事先定義好一些與之相關的問題，當提出其它問題時常常需要建立另外的索引。也就是說，索引只能解決那些預先定義好的問題，如一些業(yè)務報表等。而數(shù)據(jù)倉庫除了要產(chǎn)生大量的業(yè)務報表外，另一個主要的應用就是回答那些不能預知的、動態(tài)的業(yè)務查詢，我們稱這種動態(tài)查詢?yōu)锳dhoc查詢。你無法想象當管理人員提出一個問題時，DBA回答說：“對不起，我沒想到你會提這個問題，請稍等一些，我建個索引就可以了”。因此，RDBMS具有強大的并行處理能力是數(shù)據(jù)倉庫應用成功與否的關鍵。Teradata從誕生之日開始，就是專門針對決策支持應用而設計的，它的專長不在于OLTP，而在于數(shù)據(jù)的綜合分析和處理，其內部的并行處理機制被設計得十分完善。目前，NCR公司已經(jīng)在全世界為各行各業(yè)的用戶成功地實施了1000多個由Teradata驅動的數(shù)據(jù)倉庫解決方案，例如在通信行業(yè)有美國ATamp。T無線通信公司、美國SBC通信公司、澳大利亞Vodafone電信公司、臺灣中華電信、臺灣遠傳電信等這樣世界頂級的通信公司等，其中數(shù)據(jù)庫容量在1TB以上的大型數(shù)據(jù)倉庫就有300多個，NCR公司也因此成為無可爭議的全球數(shù)據(jù)倉庫的領導者。 線性可擴展能力一般來說，當數(shù)據(jù)倉
黨政相關相關推薦
鄂ICP備17016276號-1