構建海量數據倉庫解決方案-文庫吧在線文庫
【正文】 意在大維度上過多的成員安全性設置216。 產品 (710,000個產品 , 130,000個品牌 , 1000個類別 , 500 小組 , 100個分組 , 9各部門 )l 8個事實表 : 在不同級別上的聚合216。 冷 cache216。 運作成本相對較高216。 簡化調整和管理216。 153 million /hr216。 從 1TB+ 的源數據構建 Cube216。 數據只有一份拷貝l 前端的可伸縮性 /可用性 (Analysis Services)216。 文件系統備份167。 對 cube進行增量更新167。 技巧是 并行處理 !!!216。 僅使用拷貝傳輸 , 最小化日志 216。 可用于在刪除無用數據和粒度調整后裝載數據到中間表數據裝載技術從文本文件中l(wèi) Bulk Insert: 216。 部門級或更大的 cube: “日常 ”的 4路服務器216。 結果集緩存l 網絡帶寬216。 推薦在大型 Cube中使用216。 Cube數據裝載查詢中包含 ORDER BY子句216。 通過 Drillthrough提供對單個成員的詳細信息訪問議程l 介紹l 邏輯設計l 物理設計l 硬件問題l ETL開發(fā)l 運行l(wèi) T3關系數據庫中的鍵和索引l 代理 (整型 )鍵216。 清除 所有的圖像點擊 , 僅保存主要的頁面訪問 (清除 90% 的數據 )216。 小型數據倉庫總是比大型的要快l 管理的復雜性216。 對客戶端多維模型的支持216。構建海量數據倉庫解決方案構建海量數據倉庫解決方案沈強沈強顧問咨詢部顧問咨詢部微軟微軟 (中國中國 )有限公司有限公司議程l 介紹l 邏輯設計l 物理設計l 硬件問題l ETL開發(fā)l 運行l(wèi) T3Operational Data Store數據倉庫系統的組成部分 ?數據倉庫系統 = ETL + 關系型數據存儲 + OLAP + 客戶端216。 Analysis Services 應當是幾乎所有數據倉庫的組成部分海量數據倉庫的特征l 數據量216。 索引的備份 , “裁剪 ” 等 .l 硬件成本和管理問題議程l 介紹l 邏輯設計l 物理設計l 硬件問題l ETL開發(fā)l 運行l(wèi) T3構建大型數據倉庫的替代方法l 清除無用的數據l 采用適當的數據粒度l 僅將細粒度的詳細信息用于 :216。 以日為單位 聚集 頁面點擊 , 按用戶、頁面和參照頁面分組 (再削減 75% 數據 )216。 總是推薦使用代理鍵216。 優(yōu)化事實表的索引216。 并行數據處理 (Cube Processing), 尤其是初始數據裝載216。 在 RDBMS和 Analysis server建立高速帶寬
教學課件相關推薦
鄂ICP備17016276號-1