【文章內(nèi)容簡介】 詢邏輯，包括SQL接口、內(nèi)存管理引擎、壓縮引擎、索引引擎、語義優(yōu)化器與執(zhí)行器等核心部件。216。 存儲層：存儲引擎將數(shù)據(jù)按列壓縮存儲到不同的數(shù)據(jù)包中，并自動生成智能索引。216。 工具層：工具層提供用戶與數(shù)據(jù)庫系統(tǒng)的交互接口，包括應用開發(fā)接口支持 CAPI、JDBC、ODBC；數(shù)據(jù)加載工具，提供高效數(shù)據(jù)加載工具，支持并行加載；圖形化的管理，簡單、易用，提供友好的用戶界面。. AE的功能列存儲面對海量數(shù)據(jù)分析的I/O 瓶頸，AE把表數(shù)據(jù)按列的方式存儲，其優(yōu)勢體現(xiàn)在以下幾個方面：216。 不讀取無效數(shù)據(jù)：降低 I/O 開銷，同時提高每次 I/O 的效率，從而大大提高查詢性能。查詢語句只從磁盤上讀取所需要的列，其他列的數(shù)據(jù)是不需要讀取的。例如，有兩張表，每張表100GB且有100列，大多數(shù)查詢只關(guān)注幾個列，采用列存儲，不需要像行存數(shù)據(jù)庫一樣，將整行數(shù)據(jù)取出，只取出需要的列。磁盤 I/0 是行存儲的 1/10 或更少，查詢響應時間提高 10 倍以上。216。 高壓縮比：壓縮比可以達到 5 ~ 20 倍以上，數(shù)據(jù)占有空間降低到傳統(tǒng)數(shù)據(jù)庫的 1/10 ，節(jié)省了存儲設(shè)備的開銷。當數(shù)據(jù)庫的大小與數(shù)據(jù)庫服務(wù)器內(nèi)存大小之比達到或超過 2:1 （典型的大型系統(tǒng)配置值）時，列存的 I/O 優(yōu)勢就顯得更加明顯，在某些場景下的運算性能比傳統(tǒng)數(shù)據(jù)庫快100倍以上。透明壓縮AE允許用戶根據(jù)需要設(shè)置配置文件，選擇是否進行壓縮。在啟用壓縮的情況下，根據(jù)數(shù)據(jù)的不同特性以及不同的分布狀況，自動采用相應的壓縮算法，如：216。 行程編碼（適用于大量連續(xù)重復的數(shù)據(jù)，特別是排序數(shù)據(jù)）；216。 基于數(shù)據(jù)的差值編碼（適用于重復率低，但彼此差值較小的數(shù)據(jù)列）；216。 基于位置的差值編碼（適用于重復率高，但分布比較隨機的數(shù)據(jù)列）。 智能索引與傳統(tǒng)數(shù)據(jù)庫索引技術(shù)相比，智能索引建立在數(shù)據(jù)包上（粗粒度索引），并且每個字段均自動建有索引，而傳統(tǒng)索引建立在每行數(shù)據(jù)上（細粒度索引），因此訪問智能索引要比訪問傳統(tǒng)索引需要更少的 I/O （幾萬分之一）。同時，智能索引所占空間大約是數(shù)據(jù)的百分之一，而傳統(tǒng)數(shù)據(jù)庫索引則要占到數(shù)據(jù)的20 ~ 50% 。AE采用粗粒度的智能索引，包含了描述數(shù)據(jù)間相互依賴關(guān)系的高級信息，有效的解決復雜的多表連接和子查詢，能夠準確識別數(shù)據(jù)包的需要，最大限度地減少磁盤 I/O。智能索引與傳統(tǒng)索引相比：AE智能多維索引傳統(tǒng)Btree索引傳統(tǒng)Bitmap索引粒度每個數(shù)據(jù)包每行數(shù)據(jù)每行數(shù)據(jù)可擴展性非常高一般一般適用范圍所有字段數(shù)據(jù)重復率低的字段數(shù)據(jù)重復率高的字段占用空間數(shù)據(jù)的百分之一≥ 數(shù)據(jù)數(shù)據(jù)的幾十分之一使用的透明性完全透明復合索引受SQL限制受SQL限制建立、維護模式完全自動手工手工并行技術(shù)AE實現(xiàn)了自動高效的并行 SQL 執(zhí)行方法，充分利用現(xiàn)代的SMP多核CPU資源并行處理海量數(shù)據(jù)，具有智能的算法適配功能，并支持雙向并行查詢，進一步提高查詢性能。高性能數(shù)據(jù)加載AE的列存儲、多線程的雙向并行加載策略以及特有的數(shù)據(jù)分塊裝載算法，為快速的批量加載提供了強大的技術(shù)保證。由于分塊提交之后內(nèi)存可以充分釋放，使得后續(xù)數(shù)據(jù)包的載入性能不會有任何降低。在一個4 CPU、32GB內(nèi)存的機器上，單表加載性能可達到200GB/小時，每秒可達到加載300,000行的速度，多表并發(fā)加載性能可達到500GB/小時以上。內(nèi)存管理AE的內(nèi)存模塊將數(shù)據(jù)堆內(nèi)存、大塊內(nèi)存、臨時內(nèi)存、加載內(nèi)存等進行分類管理，并將控制鎖分離，以獲取良好的并發(fā)效率。數(shù)據(jù)堆內(nèi)存采用LRU管理，釋放成功率高，避免緩存被垃圾數(shù)據(jù)包占用。LRU列表根據(jù)數(shù)據(jù)包新鮮度實時排序，釋放時按照約定的閥值進行順序掃描。為了得到良好的hash join、group by、sort運算的效率，內(nèi)存模塊支持對各運算緩沖區(qū)大小的分別設(shè)置。內(nèi)存模塊提供內(nèi)部查錯機制進行緩沖區(qū)上下限檢查，避免AE因占用系統(tǒng)內(nèi)存異常而被操作系統(tǒng)進程強制封殺。. AE的優(yōu)勢AE的優(yōu)勢主要體現(xiàn)為“三高”優(yōu)勢：216。 高性能n 列存儲在大大減少了 I / O 的同時, 顯著地提高查詢性能；n 智能索引大幅提高查詢性能；n 非?？斓臄?shù)據(jù)加載（單表高達 200GB/小時 的加載速度）；n 高效的并行 SQL 執(zhí)行方法, 支持 Hash Join、Merge Join 和NL Join；n 數(shù)據(jù)庫可擴展性非常高。216。 高性價比n 市場領(lǐng)先的數(shù)據(jù)壓縮（從1:5到1:20以上），顯著減少存儲開銷；n 減少服務(wù)器的數(shù)量，顯著減少數(shù)據(jù)倉庫運營成本。216。 高可用性n 不要求設(shè)計特定的數(shù)據(jù)模型，例如要求星型模型、雪花模型；n 沒有物化視圖的要求，不要求復雜的數(shù)據(jù)分區(qū)或索引；n 易于實施和管理，只需要傳統(tǒng)數(shù)據(jù)庫 1/10 的管理；n 支持市場上主流 64 位操作系統(tǒng)。. 數(shù)據(jù)集成數(shù)據(jù)集成（Data Integration，DI）：借助簡明易懂的向?qū)綀D形操作界面可將來自不同數(shù)據(jù)源的查詢結(jié)果數(shù)據(jù)按照定制的處理流程進行轉(zhuǎn)換、清洗，并建立目標數(shù)據(jù)源、及元數(shù)據(jù)。【數(shù)據(jù)集成模塊結(jié)構(gòu)】216。 支持從數(shù)據(jù)集分批取數(shù)，并分批插入目標數(shù)據(jù)庫。216。 在一個任務(wù)中支持多個輸入源，一個輸出源。216。 源數(shù)據(jù)源除包括語義模型，數(shù)據(jù)字典表外，還應包括其他基本的輸入類型，如Excel表，txt文本等。216。 數(shù)據(jù)轉(zhuǎn)換器支持注冊添加方式，可以根據(jù)具體需求動態(tài)添加。216。 目標數(shù)據(jù)源支持多種數(shù)據(jù)源類型（關(guān)系數(shù)據(jù)庫—Oracle,DB2,Gbase等，以及第三方格式）。216。 全過程采用“拖拉拽”模式，操作便捷。216。 支持元數(shù)據(jù)的增加，刪除，修改等管理操作，支持元數(shù)據(jù)的校驗，支持在任務(wù)設(shè)計中，輸入源對語義元數(shù)據(jù)的直接引入。216。 數(shù)據(jù)鏡像功能呢，通過數(shù)據(jù)鏡像功能可以把關(guān)系數(shù)據(jù)庫中的表結(jié)構(gòu)和數(shù)據(jù)復制同步到當前操作數(shù)據(jù)源上，然后業(yè)務(wù)操作可以基于鏡像后的數(shù)據(jù)表進行再應用。. 語義層用友NC BAP平臺通過語義模型功能，把面向技術(shù)人員的數(shù)據(jù)組織成面向業(yè)務(wù)的數(shù)據(jù)，實現(xiàn)業(yè)務(wù)人員通過易懂的業(yè)務(wù)語言就可進行