數(shù)據(jù)倉(cāng)庫(kù)商務(wù)智能的解決方案-資料下載頁(yè)
2025-01-25 18:09本頁(yè)面
【正文】 )3. 專(zhuān)利的 Bit Wise 索引技術(shù)跨越 Bitmap 的限制多種索引類(lèi)型： FP,LF,HNG,HG,CMP,WD低級(jí)數(shù)的限制從 100擴(kuò)充到 10001. 數(shù)據(jù)壓縮 (通常達(dá)到原始數(shù)據(jù)的 70 75%)2. 預(yù)連接的索引提供額外的顯著提高性能手段 (Join Index)3. 支持任意設(shè)計(jì)模式星型、雪花、雪暴、星座模式普通關(guān)系模式1. 支持任意加載方式文件、內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)庫(kù)直接加載1. 開(kāi)放的接口Index傳統(tǒng) RDBMSRelational TableTypical RDBMSn 數(shù)據(jù)按行存儲(chǔ)n 數(shù)據(jù)與索引分開(kāi)存放n 很少的索引類(lèi)型 B樹(shù)n 普通關(guān)系數(shù)據(jù)庫(kù)為 OLTP系統(tǒng)進(jìn)行優(yōu)化Btree Index best for retrieving one row at a time計(jì)算 “NY”州A類(lèi)商店的平均銷(xiāo)售額當(dāng)表的記錄數(shù)從幾萬(wàn)條變?yōu)榍f(wàn)和上億條時(shí)，傳統(tǒng) RDBMS技術(shù)面對(duì)的問(wèn)題 :u表掃描的性能極端低下u冗余設(shè)計(jì)代價(jià)高昂、查詢(xún)讀取的無(wú)效字段過(guò)多u低級(jí)數(shù)類(lèi)型數(shù)據(jù)上索引的失效u普通索引加載和空間代價(jià)，造成不能任意建造u即席查詢(xún)的 SQL順序?qū)π阅苡酗@著影響u數(shù)值型比較和運(yùn)算，無(wú)恰當(dāng)手段加速處理傳統(tǒng) RDBMS不適合數(shù)據(jù)倉(cāng)庫(kù)IQM的特殊存儲(chǔ)方式 垂直存儲(chǔ)（按列存儲(chǔ)）Sybase IQM: 數(shù)據(jù)是按列存儲(chǔ)的，而不是按行存儲(chǔ)好處 : l 只存取查詢(xún)所需的數(shù)據(jù)l 數(shù)據(jù)類(lèi)型是一致的，因而可以很容易被壓縮l 數(shù)據(jù)庫(kù)易于修改和管理Sybase IQM: 只讀完成查詢(xún)所 涉及到的列計(jì)算在紐約的 “A”類(lèi)商店的平均銷(xiāo)售額好處 : 無(wú)須使用其他的技術(shù)，Sybase IQM就可以減少 I/O 超過(guò) 90%IQM的特殊存儲(chǔ)方式 垂直存儲(chǔ)（按列存儲(chǔ)）“How many MALES are NOT INSURED in CALIFORNIA?GenderMMFMM800 Bytes/Row10MROWSStateNYCACTMACARDBMSInsuredYYNYNM Y CAM N CAF Y NYM N CA1243Gender Insured State+ +11011101010110MBits10M Bits x 3 col / 816K Page = 235 I/Os800 Bytes x 10M 16K Page = 500,000 I/Osn 基本上只能使用表掃描n 查詢(xún)過(guò)程讀取了太多的無(wú)效數(shù)據(jù)IQMExample: I/O 的明顯減少I(mǎi)QM的索引特點(diǎn)索引即是數(shù)據(jù)沒(méi)有索引和數(shù)據(jù)的分別任何一列可以建立多個(gè)索引系統(tǒng)保證至少會(huì)存在一個(gè)索引（ FP）索引的選擇和設(shè)計(jì)主要基于：數(shù)據(jù)的級(jí)數(shù)（離散值的個(gè)數(shù)）在查詢(xún)中的使用方式和 SQL語(yǔ)句的順序無(wú)關(guān)索引的種類(lèi)Fast Projection(FP)數(shù)據(jù)壓縮存儲(chǔ)根據(jù)數(shù)據(jù)的特點(diǎn)會(huì)自動(dòng)使用三種方式中的一種Low Fast (LF)Bit map 索引High Non Group (HNG)Bitwise 索引High Group (HG)GArray (包括一個(gè)改進(jìn)的 Btree)Compare(CMP)列比較Word(WD) 字符串查找FP索引有三種內(nèi)部形態(tài)根據(jù)數(shù)據(jù)級(jí)數(shù)特征， IQ自動(dòng)選擇 FP中最合適的一種表現(xiàn)形式If 級(jí)數(shù) 65536FP indexIf 級(jí)數(shù) 256FFP Index (FastFast Projection)If 級(jí)數(shù) Between 256 and 65536FFFP Index ( FastFastFast Projection)FP形式 1： FP Index? 該列的級(jí)數(shù)超過(guò) 65536? 原始數(shù)據(jù)在磁盤(pán)上壓縮存儲(chǔ)alphaalphabetagammabetabetaFP形式 2： FFP Index?列級(jí)數(shù) 256?內(nèi)部生成一個(gè)單字節(jié)的 lookup表?不僅擁有較好查詢(xún)效率，同時(shí)得到高效壓縮Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup TableDataFP形式 3： FFFP Index?列的級(jí)數(shù)界于 256和 65536之間?系統(tǒng)內(nèi)建一個(gè)雙字節(jié)的 lookup表Data ValuesRedBlueGreenRedColorRedBlueGreen12311123332Lookup Table Data11123332123LF索引的形態(tài)? 每個(gè)省份的取值有固定的 bitmap? 行和取值的個(gè)數(shù)都可以自由增加? 只需處理相應(yīng)的位，對(duì)查詢(xún)的性能提高 :? select count(*) from customers where state =‘AL’示意：省份的 LF存儲(chǔ)rowid 北京 上海 天津 河北 山東 安徽 江蘇 浙江1 0 0 0 1 0 0 0 02 0 0 0 0 0 0 0 13 0 1 0 0 0 0 0 04 1 0 0 0 0 0 0 05 0 1 0 0 0 0 0 0...高基數(shù) BitWise 索引： HNGBitWise Index數(shù)據(jù)按照二進(jìn)制存儲(chǔ)垂直分布和處理Sybase的專(zhuān)利技術(shù)使用最佳范圍高基數(shù)數(shù)據(jù)的范圍查找（ ,between,…..)數(shù)學(xué)或函數(shù)運(yùn)算 (sum and average functions)?級(jí)數(shù)任意，數(shù)據(jù)以二進(jìn)制形式存在?數(shù)據(jù)垂直分割 任何一位都可以獨(dú)立進(jìn)行內(nèi)部操作?由于大量的 0和 1同時(shí)出現(xiàn)，因此數(shù)據(jù)的壓縮比較容易實(shí)現(xiàn)?Query Example:Select * where Sales7高級(jí)數(shù) BitWise 索引： HNGSales in binary form8 bit 4 bit 2 bit 1 bit0 1 1 01 0 0 10 1 0 11 0 1 11 0 0 10 0 1 10 1 1 11 1 0 0Sales in HNG form8 bit 4 bit 2 bit 1 bit0 1 1 01 0 0 10 1 0 11 0 1 11 0 0 10 0 1 10 1 1 11 1 0 0高基數(shù)分類(lèi)索引： HG在 BitWise 的基礎(chǔ)上增加一個(gè) BTree，并保證樹(shù)在加載時(shí)不會(huì)重建最佳使用場(chǎng)合：多表的連結(jié)查詢(xún) JoinsSelect Distinct, Count DistinctGroup By， Order by高級(jí)數(shù)分類(lèi)索引： HG在任何一塊充滿(mǎn)后，指針被轉(zhuǎn)化成一個(gè) bitmap塊BTreeIndexa b c1,2 4101101010100110100010010010010100101010ptr加載速度更快；在數(shù)據(jù)平衡失去后，更好的位圖優(yōu)化方法；每減少每減少 1 TB數(shù)數(shù)據(jù)可以節(jié)省據(jù)可以節(jié)省 50至至 100萬(wàn)美元萬(wàn)美元的硬件投資的硬件投資AS IQM 的數(shù)據(jù)壓縮與傳統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)膨脹5 to 10Timesthe Costof IQM1TB數(shù)據(jù)加載到不同數(shù)據(jù)倉(cāng)庫(kù)引擎后占用的空間（索引 +數(shù)據(jù)）IQ Multiplex并發(fā)支持的 ‘無(wú)限性 ’IQ （ Multiplex） functions IQCompaqServerIQ VLMUnix/NT VLM AlphaServerIQ VLMUnix CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT IQ沒(méi)有數(shù)據(jù)的重新分布沒(méi)有模式改變的維護(hù)工作系統(tǒng)同步所需的 I/O最小 (為其他并行系統(tǒng)的 1/10)CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT CompaqServerIQ VLMUnix/NT IQ…156 CPUs, 160 GB of RAM TB of data stored in 22TB of storage: disk/data=Traditional DBMS ( DB2, Teradata) need 300 TB (disk/data=10)Loading speed: 520 Billion records per daySunIQM Reference Architecture: The FactsLatest Sun iForce Lab Results突破性的速度? 閃電般的快速查詢(xún)? 快速裝載無(wú)限的靈活性? 任何查詢(xún)? 任何模式非常經(jīng)濟(jì)? 壓縮的數(shù)據(jù)存儲(chǔ)? 支持多用戶(hù)查詢(xún)Sybase IQMAdaptive Server IQM 12:專(zhuān)門(mén)設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器QA謝謝 !演講完畢，謝謝觀看！
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1