0923show大數(shù)據(jù)與hbase實(shí)踐41(編輯修改稿)
2025-03-08 14:21 本頁面
【文章內(nèi)容簡介】 式文件系統(tǒng) 19 ? NameNode 可以看作是分布式文件系統(tǒng)中的管理者，存儲文件系統(tǒng)的 metadata，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲塊的復(fù)制。 ? DataNode 是文件存儲的基本單元。它存儲文件塊在本地文件系統(tǒng)中，保存了文件塊的metadata，同時周期性的發(fā)送所有存在的文件塊的報(bào)告給 NameNode。 ? Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。 HDFS是一個高度容錯性的分布式文件系統(tǒng)，能提供高吞吏量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 20 HDFS特點(diǎn) 20 ★可擴(kuò)展，只需添加服務(wù)器 ★健壯性 ,高度容錯性 ,文件刪除恢復(fù)機(jī)制 ★機(jī)架感知 ★數(shù)據(jù)冗余 , 副本機(jī)制 ★負(fù)載均衡 ★適合流式訪問 ,一次寫入 ,多次讀取 ★默認(rèn)塊大小 64MB，適合 PB級以上數(shù)據(jù)的存儲和處理 ★ MapReduce分布式計(jì)算框架 , 利用存儲節(jié)點(diǎn)的 CPU資源 21 HDFS優(yōu)缺點(diǎn) 21 HDFS優(yōu)點(diǎn)： ★適合大數(shù)據(jù)處理（支持 GB， TB， PB級別的數(shù)據(jù)存儲，支持百萬規(guī)模以上的文件數(shù)量） ★適合批處理（支持離線的批量數(shù)據(jù)處理，支持高吞吐率） ★高容錯性（以數(shù)據(jù)塊存儲，可以保存多個副本，容易實(shí)現(xiàn)負(fù)載均衡） HDFS缺點(diǎn)： ★小文件存?。ㄕ加?namenode大量內(nèi)存）， 1百萬個文件，至少 300M內(nèi)存 ★不支持并發(fā)寫入（同一時刻只能有一個進(jìn)程寫入，不支持隨機(jī)修改） ★多用戶寫入，任意修改文件 ★低延時（幾十毫秒），它是為高數(shù)據(jù)吞吐量設(shè)計(jì)的 22 HDFS— 分布式文件系統(tǒng) 22 HDFS架構(gòu)分析 23 HDFS— 分布式文件系統(tǒng) 23 24 HDFS— 分布式文件系統(tǒng) 24 HDFS文件讀取流程 25 HDFS— 分布式文件系統(tǒng) 25 文件寫入流程 26 26 WINDOWS進(jìn)程間通信方式 第二章 HBASE的介紹 27 Hbase簡介 27 ★來源于 Fay Chang 所撰寫的 Google論文“ Bigtable” ★ HBase – Hadoop Database分布式存儲系統(tǒng) ★高可靠性 ★高性能 ★面向列 ★可伸縮 ★可在廉價(jià) PC Server上搭建 28 Hadoo生態(tài)環(huán)境 28 底層 HDFS為 HBase提供了可靠的文件存儲 Map Reduce為它提供了高性能的計(jì)算 Pig和 Hive提供了 HBase的查詢功能 ,Hive提供的方法類似與 SQL語句 Sqoop提供了 Hbase與關(guān)系數(shù)據(jù)庫的導(dǎo)入導(dǎo)出功能 Zookeeper提供了協(xié)調(diào)以及 failover功能 . 29 Hbase架構(gòu) 29 ?1 商品目錄就是一張大表 (Bigtable)，由商品編號 (key)和裝商品的木箱(ColumnFamily列族 )組成。 ?2 一個編號下商品 (如某輛單車的零件 )，最好只用一種規(guī)格箱子就裝完，但某些零件大小差別過大，不得不使用多種箱子
試題試卷相關(guān)推薦
鄂ICP備17016276號-1