數(shù)據(jù)倉(cāng)庫(kù)多維數(shù)據(jù)模型的設(shè)計(jì)(編輯修改稿)
2025-07-27 01:51 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 能只有方案二的千分之一甚至是萬(wàn)分之一。其實(shí)它能滿(mǎn)足方案二所能滿(mǎn)足的需求，既能獲取最新的數(shù)據(jù)，也能添加篩選條件也獲取歷史的數(shù)據(jù)。所以我們還是很有必要來(lái)使用拉鏈表的。、拉鏈表的實(shí)現(xiàn)下面我們來(lái)舉個(gè)栗子詳細(xì)看一下拉鏈表。我們先看一下在Mysql關(guān)系型數(shù)據(jù)庫(kù)里的user表中信息變化。在20170101這一天表中的數(shù)據(jù)是：在20170102這一天表中的數(shù)據(jù)是， 用戶(hù)002和004資料進(jìn)行了修改，005是新增用戶(hù)：在20170103這一天表中的數(shù)據(jù)是， 用戶(hù)004和005資料進(jìn)行了修改，006是新增用戶(hù)：如果在數(shù)據(jù)倉(cāng)庫(kù)中設(shè)計(jì)成歷史拉鏈表保存該表，則會(huì)有下面這樣一張表，這是最新一天(即20170103)的數(shù)據(jù)：說(shuō)明t_start_date表示該條記錄的生命周期開(kāi)始時(shí)間，t_end_date表示該條記錄的生命周期結(jié)束時(shí)間。t_end_date = ‘99991231’表示該條記錄目前處于有效狀態(tài)。如果查詢(xún)當(dāng)前所有有效的記錄，則select * from user where t_end_date = ‘99991231’。如果查詢(xún)20170102的歷史快照，則select from user where t_start_date = ‘20170102’ and t_end_date = ‘20170102’。(*此處要好好理解，是拉鏈表比較重要的一塊。**)、拉鏈表在Hive中的實(shí)現(xiàn)在現(xiàn)在的大數(shù)據(jù)場(chǎng)景下，大部分的公司都會(huì)選擇以Hdfs和Hive為主的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)。目前的Hdfs版本來(lái)講，其文件系統(tǒng)中的文件是不能做改變的，也就是說(shuō)Hive的表智能進(jìn)行刪除和添加操作，而不能進(jìn)行update?；谶@個(gè)前提，我們來(lái)實(shí)現(xiàn)拉鏈表。還是以上面的用戶(hù)表為例，我們要實(shí)現(xiàn)用戶(hù)的拉鏈表。在實(shí)現(xiàn)它之前，我們需要先確定一下我們有哪些數(shù)據(jù)源可以用。我們需要一張ODS層的用戶(hù)全量表。至少需要用它來(lái)初始化。每日的用戶(hù)更新表。而且我們要確定拉鏈表的時(shí)間粒度，比如說(shuō)拉鏈表每天只取一個(gè)狀態(tài)，也就是說(shuō)如果一天有3個(gè)狀態(tài)變更，我們只取最后一個(gè)狀態(tài)，這種天粒度的表其實(shí)已經(jīng)能解決大部分的問(wèn)題了。ods層的user表現(xiàn)在我們來(lái)看一下我們ods層的用戶(hù)資料切片表的結(jié)構(gòu)：CREATEEXTERNALTABLE(user_numSTRINGCOMMENT39。用戶(hù)編號(hào)39。,mobileSTRINGCOMMENT39。手機(jī)號(hào)碼39。,reg_dateSTRINGCOMMENT39。注冊(cè)日期39。COMMENT39。用戶(hù)資料表39。PARTITIONEDBY(dtstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY39。\t39。LINESTERMINATEDBY39。\n39。STOREDASORCLOCATION39。/ods/user39。)ods層的user_update表然后我們還需要
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1