數(shù)據(jù)倉庫解決方案概述-全文預(yù)覽
【正文】 1/ 96 41 CT A 113/ 1/ 96 43 NY A 93/ 1/ 96 46 RI B 33/ 1/ 96 47 CT B 73/ 1/ 96 49 NY A 12 R D BM S dat a s t ored by R OW SD a t e S t o r e S t a t e C l a s s S a l e s3 / 1 / 9 6 32 NY A 63 / 1 / 9 6 36 MA A 93 / 1 / 9 6 38 NY B 53 / 1 / 9 6 41 CT A 113 / 1 / 9 6 43 NY A 93 / 1 / 9 6 46 RI B 33 / 1 / 9 6 47 CT B 73 / 1 / 9 6 49 NY A 12好處 : ? 只存取查詢所需的數(shù)據(jù) ? 數(shù)據(jù)類型是一致的，因而可以很容易被壓縮 ? 數(shù)據(jù)庫易于修改和管理 Sybase IQ: 只讀完成查詢所 涉及到的列 D a t e S t o r e S t a t e C l a s s S a l e s3 / 1 / 9 6 32 NY A 63 / 1 / 9 6 36 MA A 93 / 1 / 9 6 38 NY B 53 / 1 / 9 6 41 CT A 113 / 1 / 9 6 43 NY A 93 / 1 / 9 6 46 RI B 33 / 1 / 9 6 47 CT B 73 / 1 / 9 6 49 NY A 12計算在紐約的“ A”類商店 的平均銷售額 好處 : 無須使用其他的技術(shù)，Sybase IQ 就可以減少I/O 超過 90% IQ的特殊存儲方式 垂直存儲（按列存儲） “How many MALES are NOT INSURED in CALIFORNIA? Gender M M F M M 800 Bytes/Row 10M ROWS State NY CA CT MA CA RDBMS Insured Y Y N Y N M Y CA M N CA F Y NY M N CA 1 2 4 3 Gender Insured State + + 1 1 0 1 1 1 0 1 0 1 0 1 10M Bits 10M Bits x 3 col / 8 16K Page = 235 I/Os 800 Bytes x 10M 16K Page = 500,000 I/Os ? 基本上只能使用表掃描 ? 查詢過程讀取了太多的無效數(shù)據(jù) IQ Example: I/O 的明顯減少 IQ的索引特點(diǎn) 索引即是數(shù)據(jù) 沒有索引和數(shù)據(jù)的分別 任何一列可以建立多個索引 系統(tǒng)保證至少會存在一個索引（ FP） 索引的選擇和設(shè)計主要基于： 數(shù)據(jù)的級數(shù)（離散值的個數(shù)） 在查詢中的使用方式 和 SQL語句的順序無關(guān) 索引的種類 Fast Projection(FP) 數(shù)據(jù)壓縮存儲 根據(jù)數(shù)據(jù)的特點(diǎn)會自動使用三種方式中的一種 Low Fast (LF) Bit map 索引 High Non Group (HNG) Bitwise 索引 High Group (HG) GArray (包括一個改進(jìn)的 Btree) FP Index – normal FP ? 級數(shù)（取值個數(shù)） 65536 ? 數(shù)據(jù)被壓縮存儲 Color Red Blue Green Red FP Index FFP ? 級數(shù) 256 ? 內(nèi)建一個 1byte的參照表 Data Values Red Blue Green Red Color Red Blue Green 1 2 3 1 1 1 2 3 3 3 2 Lookup Table Data LF Index ? 傳統(tǒng)的 Bit Map 索引 ? 級數(shù)小于 1000 ? 可以唯一 ? 使用的可能性 ? Joins ? Group by ? MIN, MAX, SUM, AVG functions ? Where clause predicates ? Equality / Inequality, Ranges, IN lists B i t m a p I n d e x f o r S T A T Er o w i d AK AL AR CA CO DC DE FL1 0 0 0 1 0 0 0 02 0 0 0 0 0 0 0 13 0 1 0 0 0 0 0 04 1 0 0 0 0 0 0 05 0 1 0 0 0 0 0 0... ?冗余設(shè)計時數(shù)據(jù)量比想象中要小得多 ?每一個取值都有一個相應(yīng)的位 ?可以適應(yīng)新的取值出現(xiàn)和行的增加 ?查詢： select count(*) from customers where state =‘AL’ LF Index HNG Index ? BitWise Index ? 數(shù)據(jù)按照二進(jìn)制存儲 ? 垂直分布和處理 ? Sybase的專利技術(shù) ? cannot be used with certain data types ? 使用最佳范圍 ? range searches for high cardinality
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1