【文章內容簡介】 活 ?被 刪 除的空 間 可以重用，因此不需要 數 據 庫 重 組 Sybase IQ:綠色的數據壓縮 索引就是數據 ?數據壓縮率隨數據聚合度變化 20～ 70％ ?綠色的數據壓縮（基于數據結構的壓縮） ? Sybase IQ 15的 3字節(jié) FP索引 alpha alpha beta gamma beta beta 快速高效 －－ 專利的索引技術，加速數據查詢運算 高基數非分組 ,適應運算 /范圍搜索 ,Bitwise索引 高基數分組 ,提高 group by和排序性能 , GArray (包括一個改進的 Btree) 缺省索引，簡單列存儲 ,數據壓縮存儲 低基數 ,sum/avg/count極快 ,Bit map索引 兩個列比較，增加列比較的性能 字符型數據，增加字符定位查找的性能 日期和時間型數據，增加日期查詢和分類性能 新增 Text索引實現中文、韓文、日文 全文信息檢索 經濟性 －－ 數據壓縮，降低存儲空間和維護成本 數據壓縮 – 顯著降低存儲空間和維護成本 LOAD LOAD Base table: Indexes: Aggr/Summ: 0 Summaries Aggregates 1 2TB Indexes 3TB Base table ―RAW data‖ no indexes Transactional DBMS 加載相同數據 : ―傳統(tǒng)的數據倉庫” 是 Sybase IQ數據倉庫的 3－ 6倍 輸入數據 : 1TB 數據源：文件， ETL，復制， ODS 甲公司是數據膨 脹 的冠 軍 ，從 17TB到 100TB IQ是 實際 數據量的冠 軍 18TB壓縮 到 17TB (Nielsen) 甲公司把 100TB Yahoo!的數據 倉庫 宣 傳為 “世界上最大的 Unix數據 倉庫 ” Sybase IQ存儲壓縮實例 原始數據 (GB) Nielsen Media Research 17,969 Sybase IQ Yahoo! 17,014 Oracle 數據倉庫大小 公司 /組織 數據倉庫大小 (GB) 數據庫 Yahoo! 100,386 Oracle Nielsen Media Research 17,685 Sybase IQ 數據行數 (億 ) Nielsen Media Research 5024 Sybase IQ Yahoo! 3853 Oracle Turkcell 1810 Oracle Anonymous 1671 Sybase IQ KT IT Group 1366 DB2 Anonymous 1348 Sybase IQ 中國廣東電信 1339 Sybase IQ IQ 在處理大量數據上是第一位的 全球最大的數據倉庫 最大的數據倉庫！ ?多： 1 PB 股票交易數據 (6萬億條股票報價 ) ?快： 2850億行 /天 (300萬行 /秒 ) ?雜：非結構化數據： 26 TB/天 ?小：在 IQ里壓縮成 159 TB ?便宜：低端存儲，價格成倍下降 壓縮比： 相比行式數據庫可能是 六分之一的空間 幾十分之一的代價 I/O效率大幅提高 行式數據庫 IQ IQ優(yōu)勢 I/O頁面大小 一次 I/O 2K16K 128K1024K 8512倍 I/O模式 跳躍型，離散式，并發(fā)度高 連續(xù)性，單道讀磁盤 硬盤的要求 高轉速， 15000轉 /秒， FC或SCSI 中低速 , 720010000轉 /秒， ATA 簡單，低散熱，出錯幾率小 存儲配置 以大量小盤，提高并發(fā)度，IOPS 喜歡使用少量大盤 減少盤柜，硬盤等硬件開銷 硬件價格 $30000/TB $20235000/TB 節(jié)省 $25000/TB 軟件配置 通過 LVM提高并發(fā)度 不用附加軟件 節(jié)約開支，降低系統(tǒng)復雜性 經濟性 －－ 低 TCO ? IQ 通常只需要其他 DBMS 189。 到 1/12的存儲開銷 ? IQ 只需要 1/2到 1/5的 IO帶寬（相同的性能） ? 節(jié)省的開銷包括 : ? 磁盤容量 : ￥ 300K/TB (Unix) ? 磁盤連接設備及帶寬 ￥ 100K/TB (Unix) ? 每年的維護費用 : ￥ 50K/TB (包括 DBA 時間 , 備份 , 電費 , 等等 .) ? 緊急情況的恢復 : ? (有時難以估價 ) ? 備份 : (災備 , 如果必要 ) ￥ 200K/TB (?) 經濟性 －－ 降低系統(tǒng)配置、減少資源損耗，減少擴容 根據斯坦福大學的研究，全球數據中心的能耗在 2023至 2023年間翻了一番 ,到 2023年將再增 75%。 根據 IDC的調查顯示 ,對每一美元的計算機硬件成本來說 ,大約 50美分是花在了電力使用上 ,這一數字預計在今后 4年里還將增長54%。 對于租用機房里的每個機柜 ,電信對電力使用提出了要求 ,一般限制在 10安培以下。超過限制 ,要交比較貴的電費。由于有電流限制，對企業(yè)業(yè)務的擴張造成影響。 由于有電流限制，對企業(yè)業(yè)務的擴張造成影響 擴 展性 －－ 表空間和行分區(qū) ? 提高擴展性 ? 使用表空間實現應用數據的邏輯分區(qū) ? 使用表分區(qū)實現表數據分區(qū) ? 降低數據運維管理成本 ? 粒度劃分更合理，不局限于數據庫和表級別的分區(qū) ? 提高數據架構靈活性，方便數據轉儲到低端存儲備份、恢復更快捷 ? 支持表空間和表分區(qū)級別的數據驗證 擴 展性 －－ IQ Multiplex隨業(yè)務 需求 擴 展，多路 并發(fā) 多路并發(fā)技術結構 卓越的可伸縮性和靈活性 IQ CPU CPU Mem CPU CPU Mem IQ CPU CPU CPU Mem CPU Mem IQ CPU CPU Mem Mem Mem Mem IQ CPU CPU CPU CPU Mem Mem IQ CPU Mem CPU Mem CPU Mem Fiber Channel ? 單一的 IQ 數據倉庫 ?多節(jié)點共享訪問 ?只有一個數據存儲 ?無數據分區(qū) ?無分布式鎖管理 ?每個節(jié)點不依賴于其他節(jié)點 ?增加服務器和 CPUs –