【正文】 )3. 專利的 Bit Wise 索引技術跨越 Bitmap 的限制多種索引類型： FP,LF,HNG,HG,CMP,WD低級數(shù)的限制從 100擴充到 10001. 數(shù)據(jù)壓縮 (通常達到原始數(shù)據(jù)的 70 75%)2. 預連接的索引提供額外的顯著提高性能手段 (Join Index)3. 支持任意設計模式星型、雪花、雪暴、星座模式普通關系模式1. 支持任意加載方式文件、內部數(shù)據(jù)、外部數(shù)據(jù)庫直接加載1. 開放的接口Index傳統(tǒng) RDBMSRelational TableTypical RDBMSn 數(shù)據(jù)按行存儲n 數(shù)據(jù)與索引分開存放n 很少的索引類型 B樹n 普通關系數(shù)據(jù)庫為 OLTP系統(tǒng)進行優(yōu)化Btree Index best for retrieving one row at a time計算 “NY”州A類商店的平均銷售額當表的記錄數(shù)從幾萬條變?yōu)榍f和上億條時，傳統(tǒng) RDBMS技術面對的問題 :u表掃描的性能極端低下u冗余設計代價高昂、查詢讀取的無效字段過多u低級數(shù)類型數(shù)據(jù)上索引的失效u普通索引加載和空間代價，造成不能任意建造u即席查詢的 SQL順序對性能有顯著影響u數(shù)值型比較和運算，無恰當手段加速處理傳統(tǒng) RDBMS不適合數(shù)據(jù)倉庫IQM的特殊存儲方式 垂直存儲（按列存儲）Sybase IQM: 數(shù)據(jù)是按列存儲的，而不是按行存儲好處 : l 只存取查詢所需的數(shù)據(jù)l 數(shù)據(jù)類型是一致的，因而可以很容易被壓縮l 數(shù)據(jù)庫易于修改和管理Sybase IQM: 只讀完成查詢所 涉及到的列計算在紐約的 “A”類商店的平均銷售額好處 : 無須使用其他的技術，Sybase IQM就可以減少 I/O 超過 90%IQM的特殊存儲方式 垂直存儲（按列存儲）“How many MALES are NOT INSURED in CALIFORNIA?GenderMMFMM800 Bytes/Row10MROWSStateNYCACTMACARDBMSInsuredYYNYNM Y CAM N CAF Y NYM N CA1243Gender Insured State+ +11011101010110MBits10M Bits x 3 col / 816K Page = 235 I/Os800 Bytes x 10M 16K Page = 500,000 I/Osn 基本上只能使用表掃描n 查詢過程讀取了太多的無效數(shù)據(jù)IQMExample: I/O 的明顯減少IQM的索引特點索引即是數(shù)據(jù)沒有索引和數(shù)據(jù)的分別任何一列可以建立多個索引系統(tǒng)保證至少會存在一個索引（ FP）索引的選擇和設計主要基于：數(shù)據(jù)的級數(shù)（離散值的個數(shù)）在查詢中的使用方式和 SQL語句的順序無關索引的種類Fast Projection(FP)數(shù)據(jù)壓縮存儲根據(jù)數(shù)據(jù)的特點會自動使用三種方式中的一種Low Fast (LF)Bit map 索引High Non Group (HNG)Bitwise 索引High Group (HG)GArray (包括一個改進的 Btree)Compare(CMP)列比較Word(WD) 字符串查找FP索引有三種內部形態(tài)根據(jù)數(shù)據(jù)級數(shù)特征， IQ自動選擇 FP中最合適的一種表現(xiàn)形式If 級數(shù) 65536FP indexIf 級數(shù) 256FFP Index (FastFast Projection)If 級數(shù) Between 256 and 65536FFFP Index ( FastFastFast Projection)FP形式 1： FP Index? 該列的級數(shù)超過 65536? 原始數(shù)據(jù)在磁盤上壓縮存儲alphaalphabetagammabetabetaFP形式 2： FFP Index?列級數(shù) 256?內部生成一個單字節(jié)的 lookup表?不僅擁有較好查詢效率，同時得到高效壓縮Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup TableDataFP形式 3： FFFP Index?列的級數(shù)界于 256和 65536之間?系統(tǒng)內建一個雙字節(jié)的 lookup表Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup Table Data11123332123LF索引的形態(tài)? 每個省份的取值有固定的 bitmap? 行和取值的個數(shù)都可以自由增加? 只需處理相應的位，對查詢的性能提高 :? select count(*) from customers where state =‘AL’示意：省份的 LF存儲rowid 北京 上海 天津 河北 山東 安徽 江蘇 浙江1 0 0 0 1 0 0 0 02 0 0 0 0 0 0 0 13 0 1 0 0 0 0 0 04 1 0 0 0 0 0 0 05 0 1 0 0 0 0 0 0...高基數(shù) BitWise 索引： HNGBitWise Index數(shù)據(jù)按照二進制存儲垂直分布和處理Sybase的專利技術使用最佳范圍高基數(shù)數(shù)據(jù)的范圍查找（ ,between,…..)數(shù)學或函數(shù)運算 (sum and average functions)?級數(shù)任意，數(shù)據(jù)以二進制形式存在?數(shù)據(jù)垂直分割 任何一位都可以獨立進行內部操作?由于大量的 0和 1同時出現(xiàn)，因此數(shù)據(jù)的壓縮比較容易實現(xiàn)?Query Example:Select * where Sales7高級數(shù) BitWise 索引： HNGSales in binary form8 bit 4 bit 2 bit 1 bit0 1 1 01 0 0 10 1 0 11 0 1 11 0 0 10 0 1 10 1 1 11 1 0 0Sales in HNG form8 bit 4 bit 2 bit 1 bit0 1 1 01 0 0 10 1 0 11 0 1 11 0 0 10 0 1 10 1 1 11 1 0 0高基數(shù)分類索引： HG在 BitWise 的基礎上增加一個 BTree，并保證樹在加載時不會重建最佳使用場合：多表的連結查詢 JoinsSelect Distinct, Count DistinctGroup By， Order by高級數(shù)分類索引： HG在任何一塊充滿后，指針被轉化成一個 bitmap塊BTreeIndexa b c1,2 4101101010100110100010010010010100101010ptr加載速度更快；在數(shù)據(jù)平衡失去后，更好的位圖優(yōu)化方法；每減少每減少 1 TB數(shù)數(shù)據(jù)可以節(jié)省據(jù)可以節(jié)省 50至至 100萬美元萬美元的硬件投資的硬件投資AS IQM 的數(shù)據(jù)壓縮與傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)膨脹5 to 10Timesthe Costof IQM1TB數(shù)據(jù)加載到不同數(shù)據(jù)倉庫引擎后占用的空間（索引 +數(shù)據(jù)）IQ Multiplex并發(fā)支持的 ‘無限性 ’IQ （ Multiplex） functions IQCompaqServerIQ VLMUnix/NT VLM AlphaServerIQ VLMUnix CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT IQ沒有數(shù)據(jù)的重新分布沒有模式改變的維護工作系統(tǒng)同步所需的 I/O最小 (為其他并行系統(tǒng)的 1/10)CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT IQ…156 CPUs, 160 GB of RAM TB of data stored in 22TB of storage: disk/data=Traditional DBMS ( DB2, Teradata) need 300 TB (disk/data=10)Loading speed: 520 Billion records per daySunIQM Reference Architecture: The FactsLatest Sun iForce Lab Results突破性的速度? 閃電般的快速查詢? 快速裝載無限的靈活性? 任何查詢? 任何模式非常經(jīng)濟? 壓縮的數(shù)據(jù)存儲? 支持多用戶查詢Sybase IQMAdaptive Server IQM 12:專門設計的數(shù)據(jù)倉庫服務器QA謝謝 !演講完畢，謝謝觀看！