匯報(bào)1-大數(shù)據(jù)研究現(xiàn)狀探討42-wenkub
2023-03-17 00:25:12 本頁(yè)面
【正文】 批處理 ： MapReduce 1) 將問(wèn)題分而治之 2）把計(jì)算推到數(shù)據(jù)而不是把數(shù)據(jù)推到計(jì)算，避免數(shù)據(jù)傳輸過(guò)程中產(chǎn)生的大量通信開(kāi)銷 3/42 5/42 0大數(shù)據(jù)與云計(jì)算、云平臺(tái) ? Hadoop（數(shù)據(jù)密集型分布式應(yīng)用， Apache） 分布式數(shù)據(jù)處理 MapReduce（ 并行計(jì)算框架 ） 分布式文件系統(tǒng) HDFS（ google的 DFS基礎(chǔ)上） 分布式數(shù)據(jù)庫(kù) Hbase（ Nosql,列 ,BigTable） 數(shù)據(jù)倉(cāng)庫(kù)工具 Hive（ Facebook） 分布式鎖 Zookeeper（ Facebook） 大數(shù)據(jù)分析平臺(tái) Pig（提供多種接口） 管理工具 Ambari（監(jiān)控、部署、管理） Sqoop：在集群與傳統(tǒng)數(shù)據(jù)庫(kù)間的數(shù)據(jù)傳遞 00 分布式集群 Hadoop 6/42 01 并行計(jì)算框架 Mapreduce 7/42 02 分布式文件系統(tǒng) HDFS 8/42 03 分布式 NoSql列數(shù)據(jù)庫(kù) Hbase 04 數(shù)據(jù)倉(cāng)庫(kù) Hive 05 腳本語(yǔ)言 Pig Google后 Hadoop時(shí)代的新三駕馬車 ? Dremel： web數(shù)據(jù)級(jí)別的交互式數(shù)據(jù)分析系統(tǒng) 列存儲(chǔ)、多層次查詢樹(shù)，毫秒級(jí)海量數(shù)據(jù)分析 ? Caffeine：為 Google網(wǎng)絡(luò)搜索引擎提供支持，能夠更迅速的添加新的鏈接到自身大規(guī)模的網(wǎng)站索引系統(tǒng)中，丟棄 MapReduce轉(zhuǎn)而將索引放置在分布式數(shù)據(jù)庫(kù) BigTable上 ? Pregel：主要繪制大量網(wǎng)上信息之間關(guān)系的“圖形數(shù)據(jù)庫(kù)” 13/42 1Brighthouse: An Analytic Data Warehouse for adhoc Queries ? PVLDB’08 Dominik Slezak, Infobright, inc.,Poland ? An Analytic Data Warehouse for Adhoc Queries ? Columnoriented data warehouse with automatically tuned（基于列的自調(diào)整數(shù)據(jù)倉(cāng)庫(kù)
外語(yǔ)相關(guān)推薦
鄂ICP備17016276號(hào)-1