數(shù)據(jù)倉庫多維數(shù)據(jù)模型的設(shè)計(編輯修改稿)
2024-07-27 01:51 本頁面
【文章內(nèi)容簡介】 能只有方案二的千分之一甚至是萬分之一。其實它能滿足方案二所能滿足的需求，既能獲取最新的數(shù)據(jù)，也能添加篩選條件也獲取歷史的數(shù)據(jù)。所以我們還是很有必要來使用拉鏈表的。、拉鏈表的實現(xiàn)下面我們來舉個栗子詳細看一下拉鏈表。我們先看一下在Mysql關(guān)系型數(shù)據(jù)庫里的user表中信息變化。在20170101這一天表中的數(shù)據(jù)是：在20170102這一天表中的數(shù)據(jù)是， 用戶002和004資料進行了修改，005是新增用戶：在20170103這一天表中的數(shù)據(jù)是， 用戶004和005資料進行了修改，006是新增用戶：如果在數(shù)據(jù)倉庫中設(shè)計成歷史拉鏈表保存該表，則會有下面這樣一張表，這是最新一天(即20170103)的數(shù)據(jù)：說明t_start_date表示該條記錄的生命周期開始時間，t_end_date表示該條記錄的生命周期結(jié)束時間。t_end_date = ‘99991231’表示該條記錄目前處于有效狀態(tài)。如果查詢當(dāng)前所有有效的記錄，則select * from user where t_end_date = ‘99991231’。如果查詢20170102的歷史快照，則select from user where t_start_date = ‘20170102’ and t_end_date = ‘20170102’。(*此處要好好理解，是拉鏈表比較重要的一塊。**)、拉鏈表在Hive中的實現(xiàn)在現(xiàn)在的大數(shù)據(jù)場景下，大部分的公司都會選擇以Hdfs和Hive為主的數(shù)據(jù)倉庫架構(gòu)。目前的Hdfs版本來講，其文件系統(tǒng)中的文件是不能做改變的，也就是說Hive的表智能進行刪除和添加操作，而不能進行update?；谶@個前提，我們來實現(xiàn)拉鏈表。還是以上面的用戶表為例，我們要實現(xiàn)用戶的拉鏈表。在實現(xiàn)它之前，我們需要先確定一下我們有哪些數(shù)據(jù)源可以用。我們需要一張ODS層的用戶全量表。至少需要用它來初始化。每日的用戶更新表。而且我們要確定拉鏈表的時間粒度，比如說拉鏈表每天只取一個狀態(tài)，也就是說如果一天有3個狀態(tài)變更，我們只取最后一個狀態(tài)，這種天粒度的表其實已經(jīng)能解決大部分的問題了。ods層的user表現(xiàn)在我們來看一下我們ods層的用戶資料切片表的結(jié)構(gòu)：CREATEEXTERNALTABLE(user_numSTRINGCOMMENT39。用戶編號39。,mobileSTRINGCOMMENT39。手機號碼39。,reg_dateSTRINGCOMMENT39。注冊日期39。COMMENT39。用戶資料表39。PARTITIONEDBY(dtstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY39。\t39。LINESTERMINATEDBY39。\n39。STOREDASORCLOCATION39。/ods/user39。)ods層的user_update表然后我們還需要
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號-1