facebook數(shù)據(jù)倉庫揭秘之rcfile高效存儲結(jié)構(gòu)-展示頁
2025-07-04 19:59本頁面
【正文】 namic workload patterns。Hadoop系統(tǒng)中常用的文件存 儲格式有支持文本的TextFile和支持二進(jìn)制的SequenceFile等，它們都屬于行存儲方式。圖1 Hive數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)基于MapReduce的數(shù)據(jù)倉庫在超大規(guī)模數(shù)據(jù)分析中扮演了重要角色，對于典型的Web服 務(wù)供應(yīng)商，這些分析有助于它們快速理解動態(tài)的用戶行為及變化的用戶需求。圖1顯 示了Hive數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)。Hive存儲海量數(shù)據(jù)在Hadoop系統(tǒng)中，提供了一套類數(shù)據(jù)庫的數(shù)據(jù)存儲和處理機(jī)制。Facebook數(shù)據(jù)倉庫揭秘：RCFile高效存儲結(jié)構(gòu)本文介紹了Facebook公司數(shù)據(jù)分析系統(tǒng)中的RCFile存儲結(jié)構(gòu)，該結(jié)構(gòu)集行存儲和列存儲的優(yōu)點于一身，在MapReduce環(huán)境下的大規(guī)模數(shù)據(jù)分析中扮演重要角色。Facebook曾在2010 ICDE（IEEE International Conference on Data Engineering）會議上介紹了數(shù)據(jù)倉庫Hive。它采用類 SQL語言對數(shù)據(jù)進(jìn)行自動化管理和處理，經(jīng)過語句解析和轉(zhuǎn)換，最終生成基于Hadoop的MapReduce任務(wù)，通過執(zhí)行這些任務(wù)完成數(shù)據(jù)處理。數(shù)據(jù)存儲結(jié)構(gòu)是影響數(shù)據(jù)倉庫性能的關(guān)鍵因素之一。Facebook工程師發(fā)表的RCFile: A Fast and Spaceefficient Data Placement Structure in MapReducebased Warehouse Systems一文，介紹了一種高效的數(shù)據(jù)存儲結(jié)構(gòu)——RCFile（Record Columnar File），并將其應(yīng)用于Facebook的數(shù)據(jù)倉庫Hive中。數(shù)據(jù)倉庫的需求基于Facebook系統(tǒng)特征和用戶數(shù)據(jù)的分析，在MapReduce計算環(huán)境下，數(shù)據(jù)倉庫對于數(shù)據(jù)存儲結(jié)構(gòu)有四個關(guān)鍵需求。每天大約有超過20TB的數(shù)據(jù)上傳到Facebook的數(shù)據(jù)倉庫，由于數(shù)據(jù)加載期間網(wǎng)絡(luò)和磁盤流量會干擾正常的查詢執(zhí)行，因此縮短數(shù)據(jù)加載時間是非常必要的。Highly efficient storage space utilization高速增長的用戶活動總是需要可擴(kuò)展的存儲容量和計算能力，有限的磁盤空間需要合理管理海量數(shù)據(jù)的存儲。Strong adaptivity to highly dynamic workload patterns同一份數(shù)據(jù)集會供給不同應(yīng)用的用戶，通過各種方式來分析。大多數(shù)負(fù)載不遵循任何規(guī)則模式，這需要底層系統(tǒng)在存儲空間有限的前提下，對數(shù)據(jù)處理中不可預(yù)知的動態(tài)數(shù)據(jù)具備高度的適應(yīng)性，而不是專注于某種特殊的負(fù) 載模式。在傳統(tǒng)數(shù)據(jù)庫 系
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1