sybase數(shù)據(jù)倉庫解決方案-文庫吧資料
2025-01-12 20:06本頁面
【正文】 詢處理技術(shù)Adaptive Server IQ數(shù)據(jù)存儲： Adaptive Server IQl 無處不索引 (Index EVERYWHERE)l 數(shù)據(jù)壓縮 (通常達(dá)到原始數(shù)據(jù)的 70 75%)l 垂直存儲技術(shù) (Vertical Partitioning)l 專利的 Bit Wise索引技術(shù)跨越 Bitmap的限制l 多種索引類型： FP,LF,HNG,HGl 低級數(shù)的限制從 100擴(kuò)充到 1000l 預(yù)連接的索引提供額外的顯著提高性能手段 (Join Index)l 支持任意設(shè)計(jì)模式l 星型、雪花、雪暴、星座模式l 普通關(guān)系模式l 支持任意加載方式l 文件、內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)庫直接加載l 開放的接口計(jì)算 “NY”州A類商店的平均銷售額當(dāng)表的記錄數(shù)從幾萬條變?yōu)榍f和上億條時，傳統(tǒng) RDBMS技術(shù)面對的問題 :u表掃描的性能極端低下u冗余設(shè)計(jì)代價高昂、查詢讀取的無效字段過多u低級數(shù)類型數(shù)據(jù)上索引的失效u普通索引加載和空間代價，造成不能任意建造u即席查詢的 SQL順序?qū)π阅苡酗@著影響u數(shù)值型比較和運(yùn)算，無恰當(dāng)手段加速處理傳統(tǒng) RDBMS不適合數(shù)據(jù)倉庫IQ的特殊存儲方式 垂直存儲（按列存儲）Sybase IQ: 數(shù)據(jù)是按列存儲的，而不是按行存儲好處 : l 只存取查詢所需的數(shù)據(jù)l 數(shù)據(jù)類型是一致的，因而可以很容易被壓縮l 數(shù)據(jù)庫易于修改和管理Sybase IQ: 只讀完成查詢所 涉及到的列計(jì)算在紐約的 “A”類商店的平均銷售額好處 : 無須使用其他的技術(shù)，Sybase IQ 就可以減少I/O 超過 90%IQ的特殊存儲方式 垂直存儲（按列存儲）“How many MALES are NOT INSURED in CALIFORNIA?GenderMMFMM800 Bytes/Row10MROWSStateNYCACTMACARDBMSInsuredYYNYNM Y CAM N CAF Y NYM N CA1243Gender Insured State+ +11011101010110MBits10M Bits x 3 col / 816K Page = 235 I/Os800 Bytes x 10M 16K Page = 500,000 I/Osn 基本上只能使用表掃描n 查詢過程讀取了太多的無效數(shù)據(jù)IQExample: I/O 的明顯減少IQ的索引特點(diǎn)索引即是數(shù)據(jù)沒有索引和數(shù)據(jù)的分別任何一列可以建立多個索引系統(tǒng)保證至少會存在一個索引（ FP）索引的選擇和設(shè)計(jì)主要基于：數(shù)據(jù)的級數(shù)（離散值的個數(shù)）在查詢中的使用方式和 SQL語句的順序無關(guān)索引的種類Fast Projection(FP)數(shù)據(jù)壓縮存儲根據(jù)數(shù)據(jù)的特點(diǎn)會自動使用三種方式中的一種Low Fast (LF)Bit map 索引High Non Group (HNG)Bitwise 索引High Group (HG)GArray (包括一個改進(jìn)的 Btree)FP Index – normal FPl 級數(shù)（取值個數(shù)） 65536l 數(shù)據(jù)被壓縮存儲ColorRedBlueGreenRedFP Index FFPl 級數(shù) 256l 內(nèi)建一個 1byte的參照表Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup Table DataLF Indexl 傳統(tǒng)的 Bit Map 索引l 級數(shù)小于 1000 l 可以唯一l 使用的可能性l Joinsl Group byl MIN, MAX, SUM, AVG functionsl Where clause predicateslEquality / Inequality, Ranges, IN lists...?冗余設(shè)計(jì)時數(shù)據(jù)量比想象中要小得多?每一個取值都有一個相應(yīng)的位?可以適應(yīng)新的取值出現(xiàn)和行的增加?查詢：select count(*) from customers where state =‘AL’LF IndexHNG Indexl BitWise Indexl 數(shù)據(jù)按照二進(jìn)制存儲l 垂直分布和
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1