淘寶數(shù)據(jù)倉庫核心架構(gòu)設(shè)計的歷史與發(fā)展(編輯修改稿)
2025-02-12 06:09 本頁面
【文章內(nèi)容簡介】 流失讀取，默認(rèn) 64M ? 流水線復(fù)制 數(shù)據(jù)組織 ? 文件的刪除和恢復(fù) ? Replication因子的減小 空間的回收 業(yè)務(wù)處理過程模型 功能分解圖 數(shù)據(jù)流向圖 CRUD矩陣 數(shù)據(jù)模型 ERD級別 ?（ Entity Relationship Diagram，實(shí)體關(guān)系圖） ?高度抽象 ?粗粒度 DIS級別 ?（ Data Item Set，數(shù)據(jù)項集） ?細(xì)化 物理模型級別 ?（ Physical Model） ?與實(shí)際數(shù)據(jù)表完全對等 ?進(jìn)一步細(xì)化 (注：后面提到的數(shù)據(jù)模型為物理模型 ) 維度的處理 ? 無變化維：如人的性別，身份證號 ?直接插入 ? 緩慢變化維：如人的婚姻狀態(tài) ?覆蓋 ?全歷史記錄保留 ?記錄最新及上一次歷史 ? 劇烈變化維：如人的工作經(jīng)歷 ?維度屬性處理 建模面臨的挑戰(zhàn) 挑戰(zhàn) 業(yè)務(wù)快速變化 業(yè)務(wù)快速擴(kuò)張 數(shù)據(jù)應(yīng)用的海量增漲 建模中需要綜合考慮的點(diǎn) ? 效率與數(shù)據(jù)粒度的矛盾 ? 應(yīng)用需求覆蓋率 ? 模型的可擴(kuò)展性 ? 生成模型的成本 ? 是否考慮不同數(shù)據(jù)用戶的需求 ? 終極解決方案 自動化建模 SVN 主題標(biāo)簽 權(quán)重配置 元數(shù)據(jù) 自動化建模 數(shù)據(jù)庫模型 優(yōu)化模型建議 主題 ? 1/數(shù)據(jù)倉庫概述 ? 數(shù)據(jù)倉庫基本特征 ? 數(shù)據(jù)倉庫基本架構(gòu) ? 2/數(shù)據(jù)倉庫建設(shè) ? 架構(gòu)方式 ? 容量平臺 ? 模型設(shè)計 ? 3/元數(shù)據(jù)（ MetaData）建設(shè) ? 元數(shù)據(jù) ? 元數(shù)據(jù)在 淘 寶的應(yīng)用 ? 4/ETL處理 ? ETL概要說明 ? ETL主要做什么 ? 我們目前的 ETL調(diào)度工具 ? ETL調(diào)度發(fā) 展 。 ? 5/數(shù)據(jù)倉庫價值挖掘與發(fā)現(xiàn) ? 數(shù)據(jù)產(chǎn)品 ? 數(shù)據(jù)團(tuán)隊 ? 6/聯(lián)系我們 元數(shù)據(jù) 元數(shù)據(jù) 系統(tǒng)元數(shù)據(jù) 數(shù)據(jù)庫表元數(shù)據(jù) 數(shù)據(jù)表描述 數(shù)據(jù)字段描述 ETL代碼元數(shù)據(jù) 對數(shù)據(jù)表，字段引用關(guān)系 代碼元素元數(shù)據(jù)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1