數(shù)據(jù)倉(cāng)庫(kù)解決方案概述(編輯修改稿)
2025-06-21 22:02 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 map的限制 ? 多種索引類型： FP,LF,HNG,HG ? 低級(jí)數(shù)的限制從 100擴(kuò)充到 1000 ? 預(yù)連接的索引提供額外的顯著提高性能手段 (Join Index) ? 支持任意設(shè)計(jì)模式 ? 星型、雪花、雪暴、星座模式 ? 普通關(guān)系模式 ? 支持任意加載方式 ? 文件、內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)庫(kù)直接加載 ? 開放的接口 D a t e S t o r e S t a t e C l a s s S a l e s3 / 1 / 9 6 32 NY A 63 / 1 / 9 6 36 MA A 93 / 1 / 9 6 38 NY B 53 / 1 / 9 6 41 CT A 113 / 1 / 9 6 43 NY A 93 / 1 / 9 6 46 RI B 33 / 1 / 9 6 47 CT B 73 / 1 / 9 6 49 NY A 12計(jì)算“ NY”州 A類商店的 平均銷售額 當(dāng)表的記錄數(shù)從幾萬(wàn)條變?yōu)榍f(wàn)和上億條時(shí)， 傳統(tǒng) RDBMS技術(shù)面對(duì)的問(wèn)題 : ?表掃描的性能極端低下 ?冗余設(shè)計(jì)代價(jià)高昂、查詢讀取的無(wú)效字段過(guò)多 ?低級(jí)數(shù)類型數(shù)據(jù)上索引的失效 ?普通索引 加載和空間代價(jià)，造成不能任意建造 ?即席查詢的 SQL順序?qū)π阅苡酗@著影響 ?數(shù)值型比較和運(yùn)算，無(wú)恰當(dāng)手段加速處理 傳統(tǒng) RDBMS不適合數(shù)據(jù)倉(cāng)庫(kù) IQ的特殊存儲(chǔ)方式 垂直存儲(chǔ)（按列存儲(chǔ)） Sybase IQ: 數(shù)據(jù)是按列存儲(chǔ)的，而不是按行存儲(chǔ) D a te St o r e St a te C l a s s Sa l e s3/ 1/ 96 32 NY A 63/ 1/ 96 36 MA A 93/ 1/ 96 38 NY B 53/ 1/ 96 41 CT A 113/ 1/ 96 43 NY A 93/ 1/ 96 46 RI B 33/ 1/ 96 47 CT B 73/ 1/ 96 49 NY A 12 R D BM S dat a s t ored by R OW SD a t e S t o r e S t a t e C l a s s S a l e s3 / 1 / 9 6 32 NY A 63 / 1 / 9 6 36 MA A 93 / 1 / 9 6 38 NY B 53 / 1 / 9 6 41 CT A 113 / 1 / 9 6 43 NY A 93 / 1 / 9 6 46 RI B 33 / 1 / 9 6 47 CT B 73 / 1 / 9 6 49 NY A 12好處 : ? 只存取查詢所需的數(shù)據(jù) ? 數(shù)據(jù)類型是一致的，因而可以很容易被壓縮 ? 數(shù)據(jù)庫(kù)易于修改和管理 Sybase IQ: 只讀完成查詢所 涉及到的列 D a t e S t o r e S t a t e C l a s s S a l e s3 / 1 / 9 6 32 NY A 63 / 1 / 9 6 36 MA A 93 / 1 / 9 6 38 NY B 53 / 1 / 9 6 41 CT A 113 / 1 / 9 6 43 NY A 93 / 1 / 9 6 46 RI B 33 / 1 / 9 6 47 CT B 73 / 1 / 9 6 49 NY A 12計(jì)算在紐約的“ A”類商店 的平均銷售額 好處 : 無(wú)須使用其他的技術(shù)，Sybase IQ 就可以減少I/O 超過(guò) 90% IQ的特殊存儲(chǔ)方式 垂直存儲(chǔ)（按列存儲(chǔ)） “How many MALES are NOT INSURED in CALIFORNIA? Gender M M F M M 800 Bytes/Row 10M ROWS State NY CA CT MA CA RDBMS Insured Y Y N Y N M Y CA M N CA F Y NY M N CA 1 2 4 3 Gender Insured State + + 1 1 0 1 1 1 0 1 0 1 0 1 10M Bits 10M Bits x 3 col / 8 16K Page = 235 I/Os 800 Bytes x 10M 16K Page = 500,000 I/Os ? 基本上只能使用表掃描 ? 查詢過(guò)程讀取了太多的無(wú)效數(shù)據(jù) IQ Example: I/O 的明顯減少 IQ的索引特點(diǎn) 索引即是數(shù)據(jù) 沒(méi)有索引和數(shù)據(jù)的分別 任何一列可以建立多個(gè)索引 系統(tǒng)保證至少會(huì)存在一個(gè)索引（ FP） 索引的選擇和設(shè)計(jì)主要基于： 數(shù)據(jù)的級(jí)數(shù)（離散值的個(gè)數(shù)） 在查詢中的使用方式 和 SQL語(yǔ)句的順序無(wú)關(guān) 索引的種類 Fast Projection(FP) 數(shù)據(jù)壓縮存儲(chǔ) 根據(jù)數(shù)據(jù)的特點(diǎn)會(huì)自動(dòng)使用三種方式中的一種 Low Fast (LF) Bit map 索引 High Non Group (HNG) Bitwise 索引 High Group (HG) GArray (包括一個(gè)改進(jìn)的 Btree) FP Index – normal FP ? 級(jí)數(shù)（取值個(gè)數(shù)） 65536 ? 數(shù)據(jù)被壓縮存儲(chǔ) Color Red Blue Green Red FP Index FFP ? 級(jí)數(shù) 256 ? 內(nèi)建一個(gè) 1byte的參照
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1