匯報1-大數(shù)據(jù)研究現(xiàn)狀探討42-文庫吧在線文庫
【正文】 D，舍不得 Relation，忽視實(shí)際應(yīng)用 ? 潛意識地奉行“一招鮮” (One Size Fits All) ? 結(jié)構(gòu)化 +半結(jié)構(gòu)化 /非結(jié)構(gòu)化數(shù)據(jù)（ 二八原則 ） ? 管理和處理需求 落實(shí) “ One Size Fits a Bunch” 查詢／檢索 ／ 統(tǒng)計／挖掘 離線／在線／即時／連續(xù) 本地／遠(yuǎn)程 ／ “云” ? 可回溯的可視化分析 事務(wù)型與分析型 多領(lǐng)域應(yīng)用（教育、醫(yī)療、交通 …… ） 大數(shù)據(jù)常用的處理框架 ? 流處理（直接處理）和批處理（先存儲后處理） ? 流處理 ： 數(shù)據(jù)持續(xù)到達(dá)，速度快，規(guī)模巨大，不永久存儲，數(shù)據(jù)不斷變化 》 難以掌握全貌； 代表的開源系統(tǒng)： Twitter的 storm、 Yahoo的 SLinkedin的 kafka ? 批處理 ： MapReduce 1) 將問題分而治之 2）把計算推到數(shù)據(jù)而不是把數(shù)據(jù)推到計算，避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通信開銷 3/42 5/42 0大數(shù)據(jù)與云計算、云平臺 ? Hadoop（數(shù)據(jù)密集型分布式應(yīng)用， Apache） 分布式數(shù)據(jù)處理 MapReduce（ 并行計算框架 ） 分布式文件系統(tǒng) HDFS（ google的 DFS基礎(chǔ)上） 分布式數(shù)據(jù)庫 Hbase（ Nosql,列 ,BigTable） 數(shù)據(jù)倉庫工具 Hive（ Facebook） 分布式鎖 Zookeeper（ Facebook） 大數(shù)據(jù)分析平臺 Pig（提供多種接口） 管理工具 Ambari（監(jiān)控、部署、管理） Sqoop：在集群與傳統(tǒng)數(shù)據(jù)庫間的數(shù)據(jù)傳遞 00 分布式集群 Hadoop 6/42 01 并行計算框架 Mapreduce 7/42 02 分布式文件系統(tǒng) HDFS 8/42 03 分布式 NoSql列數(shù)據(jù)庫 Hbase 04 數(shù)據(jù)倉庫 Hive 05 腳本語言 Pig Google后 Hadoop時代的新三駕馬車 ? Dremel： web數(shù)據(jù)級
外語相關(guān)推薦
鄂ICP備17016276號-1