大數(shù)據(jù)時代培訓課件(編輯修改稿)
2024-10-25 13:56 本頁面
【文章內(nèi)容簡介】 有一些用戶。 NoSQL，membase、MongoDB 商用大數(shù)據(jù)生態(tài)圈： 一體機數(shù)據(jù)庫/數(shù)據(jù)倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。 數(shù)據(jù)倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。 數(shù)據(jù)集市：QlikView、 Tableau 、 以及國內(nèi)的Yonghong Data Mart 。,處理和分析工具Hadoop,據(jù)IDC的預(yù)測，全球大數(shù)據(jù)市場2015年將達170億美元規(guī)模，市場發(fā)展前景很大。而Hadoop作為新一代的架構(gòu)和技術(shù)，因為有利于并行分布處理 “大數(shù)據(jù)”而備受重視。 Apache Hadoop 是一個用java語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應(yīng)用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。 Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成 。 優(yōu)點： 可擴展：不論是存儲的可擴展還是計算的可擴展都是Hadoop的設(shè)計根本。 經(jīng)濟：框架可以運行在任何普通的PC上。 可靠：分布式文件系統(tǒng)的備份恢復(fù)機制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準備。,處理和分析工具Hadoop,Hadoop原本來自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個應(yīng)用程序分解為許多并行計算指令，跨大量的計算節(jié)點運行非常巨大的數(shù)據(jù)集。使用該框架的一個典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運行的搜索算法。 Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（lowcost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce.HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。,MapReduce,HDFS,HBase,Pig,ChuKwa,Hive,ZooKeeper,Hadoop體系架構(gòu),Pig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復(fù)雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口 Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻 hive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行 ZooKeeper：高效的，可擴展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài) HBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫 HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序 MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算,HDFS——分布式文件系統(tǒng),
電大資料相關(guān)推薦
鄂ICP備17016276號-1