【文章內(nèi)容簡介】 數(shù)據(jù)簡介 * ? 大數(shù)據(jù)需要處理的數(shù)據(jù) 大小通常達到 PB（ 1024 TB） 或 EB（ 1024 PB）級 。 數(shù)據(jù)的類型多種多樣，包括 結構化 數(shù)據(jù)、 半結構化 數(shù)據(jù)和 非結構化 數(shù)據(jù) 。 ? 巨大的數(shù)據(jù)量和種類繁多的數(shù)據(jù)類型給大數(shù)據(jù)系統(tǒng)的存儲和計算帶來很大挑戰(zhàn)，單節(jié)點的存儲容量和計算能力成為瓶頸 。 ? 分布式系統(tǒng) 是對大數(shù)據(jù)進行處理的基本方法，分布式系統(tǒng)將數(shù)據(jù) 切分后存儲到多個節(jié)點 上，并 在多個節(jié)點上發(fā)起計算 ，解決單節(jié)點的存儲和計算瓶頸。常見的 數(shù)據(jù)切分的方法 有隨機方法、哈希方法和區(qū)間方法 : ? 隨機方法 將數(shù)據(jù)隨機分布到不同的節(jié)點 。 ? 哈希方法 根據(jù)數(shù)據(jù)的某一行或者某一列的哈希值將數(shù)據(jù)分布到不同的節(jié)點 。 ? 區(qū)間方法 將不同的數(shù)據(jù)按照不同區(qū)間分布到不同節(jié)點。 大數(shù)據(jù)簡介 * ? 5．大數(shù)據(jù)的應用領域 — 大數(shù)據(jù)在社會生活的各個領域得到廣泛的應用，不同領域的大數(shù)據(jù)應用具有不同的特點，其對響應時間、系統(tǒng)穩(wěn)定性、計算精確性的要求各不相同，其對比如表 。 表 典型的大數(shù)據(jù)應用特征對比 應用領域 示例 用戶數(shù)量 響應時延 數(shù)據(jù)量級 穩(wěn)定性 精確度 科學計算 基因計算 小 長 TB 一般 非常高 金融 股票交易 大 實時 GB 非常高 非常高 社交網(wǎng)絡 Facebook 非常大 快速 PB 高 高 移動數(shù)據(jù) 移動終端 非常大 快速 TB 高 高 物聯(lián)網(wǎng) 傳感網(wǎng) 大 快速 TB 高 高 網(wǎng)頁數(shù)據(jù) 新聞網(wǎng)站 非常大 快速 GB 高 高 多媒體 視頻網(wǎng)站 非常大 快速 GB 高 一般 大數(shù)據(jù)簡介 * ? 主要的大數(shù)據(jù)處理系統(tǒng) — 大數(shù)據(jù)處理的數(shù)據(jù)源類型多種多樣，如結構化數(shù)據(jù)、半結構化數(shù)據(jù)、非結構化數(shù)據(jù)，數(shù)據(jù)處理的需求各不相同 : ? 對海量已有數(shù)據(jù)進行批量處理， ? 對大量的實時生成的數(shù)據(jù)進行實時處理， ? 在進行數(shù)據(jù)分析時進行反復迭代計算， ? 對圖數(shù)據(jù)進行分析計算。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 目前主要的大數(shù)據(jù)處理系統(tǒng)有 : 數(shù)據(jù)查詢分析計算系統(tǒng)、批處理系統(tǒng)、流式計算系統(tǒng)、迭代計算系統(tǒng)、圖計算系統(tǒng)和內(nèi)存計算系統(tǒng)。 1．數(shù)據(jù)查詢分析計算系統(tǒng) —大數(shù)據(jù)時代，數(shù)據(jù)查詢分析計算系統(tǒng)需要具備對大規(guī)模數(shù)據(jù)進行實時或準實時查詢的能力，數(shù)據(jù)規(guī)模的增長已經(jīng)超出了傳統(tǒng)關系型數(shù)據(jù)庫的承載和處理能力。 —目前主要的數(shù)據(jù)查詢分析計算系統(tǒng)包括 HBase、 Hive、 Cassandra、Dremel、 Shark、 Hana等。 主要的大數(shù)據(jù)處理系統(tǒng) * ? HBase： — 開源、分布式、面向列的非關系型數(shù)據(jù)庫模型，是 Apache的Hadoop項目的子項目； — 源于 Google論文《 Bigtable：一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)》，實現(xiàn)了其中的壓縮算法、內(nèi)存操作和布隆過濾器 — HBase的編程語言為 Java。 HBase的表能夠作為 MapReduce任務的輸入和輸出，可以通過 Java API來存取數(shù)據(jù)。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Hive： — 基于 Hadoop的數(shù)據(jù)倉庫工具，用于查詢、管理分布式存儲中的大數(shù)據(jù)集，提供完整的 SQL查詢功能，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)表。 — Hive提供了一種類 SQL語言（ HiveQL）可以將 SQL語句轉換為MapReduce任務運行。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Cassandra： — 開源 NoSQL數(shù)據(jù)庫系統(tǒng)，最早由 Facebook開發(fā)，并于 2023年開源； — 由于其良好的可擴展性， Cassandra被 Facebook、 Twitter、Backspace、 Cisco等公司使用； — 其數(shù)據(jù)模型借鑒了 Amazon的 Dynamo和 Google BigTable，是一種流行的分布式結構化數(shù)據(jù)存儲方案。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Impala： — 由 Cloudera公司主導開發(fā)，是運行在 Hadoop平臺上的開源的大規(guī)模并行 SQL查詢引擎。 — 用戶可以使用標準的 SQL接口的工具查詢存儲在 Hadoop的HDFS和 HBase中的 PB級大數(shù)據(jù)。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Shark： — Spark上的數(shù)據(jù)倉庫實現(xiàn)，即 SQL on Spark； — 與 Hive相兼容，但處理 Hive QL 的性能比 Hive 快 100 倍。 ?Hana： — 由 SAP公司開發(fā)的與數(shù)據(jù)源無關、軟硬件結合、基于內(nèi)存計算的平臺。 主要的大數(shù)據(jù)處理系統(tǒng) * 2．批處理系統(tǒng) — MapReduce是被廣泛使用的批處理計算模式。 — MapReduce對具有簡單數(shù)據(jù)關系、易于劃分的大數(shù)據(jù)采用“分而治之”的并行處理思想，將數(shù)據(jù)記錄的處理分為 Map和 Reduce兩個簡單的抽象操作，提供了一個統(tǒng)一的并行計算框架。 — 批處理系統(tǒng)將復雜的并行計算的實現(xiàn)進行封裝，大大降低開發(fā)人員的并行程序設計難度。 — Hadoop和 Spark是典型的批處理系統(tǒng)。 MapReduce的批處理模式不支持迭代計算。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Hadoop： — 目前大數(shù)據(jù)處理最主流的平臺，是 Apache基金會的開源軟件項目，使用 Java語言開發(fā)實現(xiàn)。 — Hadoop平臺使開發(fā)人員無需了解底層的分布式細節(jié)，即可開發(fā)出分布式程序，在集群中對大數(shù)據(jù)進行存儲、分析。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Spark： — 由加州伯克利大學 AMP實驗室開發(fā)，適合用于機器學習、數(shù)據(jù)挖掘等迭代運算較多的計算任務。 — Spark引入了內(nèi)存計算的概念，運行 Spark時服務器可以將中間數(shù)據(jù)存儲在 RAM內(nèi)存中，大大加速數(shù)據(jù)分析結果的返回速度，可用于需要互動分析的場景。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 3．流式計算系統(tǒng) — 流式計算具有很強的實時性，需要對應用源源不斷產(chǎn)生的數(shù)據(jù)實時進行處理，使數(shù)據(jù)不積壓、不丟失，常用于處理電信、電力等行業(yè)應用以及互聯(lián)網(wǎng)行業(yè)的訪問日志等。 — Facebook 的 Scribe、 Apache的 Flume、 Twitter的 Storm、 Yahoo的 S UCBerkeley的 Spark Streaming是常用的流式計算系統(tǒng)。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Scribe： — Scribe 由 Facebook 開發(fā)開源系統(tǒng)，用于從海量服務器實時收集日志信息， 對日志信息進行實時的統(tǒng)計分析處理，應用在Facebook內(nèi)部。 ? Flume： — Flume由 Cloudera 公司開發(fā)，其功能與 Scribe相似，主要用于實時收集在海量節(jié)點上產(chǎn)生的日志信息，存儲到類似于 HDFS的網(wǎng)絡文件系統(tǒng)中，并根據(jù)用戶的需求進行相應的數(shù)據(jù)分析。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Storm： — 基于拓撲的 分布式流數(shù)據(jù)實時計算系統(tǒng) ，由 BackType公司（后被 Twitter收購）開發(fā)，現(xiàn)已經(jīng)開放源代碼，并應用于淘寶、百度、支付寶、 Groupon、 Facebook等平臺，是主要的流數(shù)據(jù)計算平臺之一。 主要的大數(shù)據(jù)處理系統(tǒng) * ? S4： — S4的全稱是 Simple Scalable Streaming System，是由 Yahoo開發(fā)的通用、分布式、可擴展、部分容錯、具備可插拔功能的平臺； — 其設計目的是根據(jù)用戶的搜索內(nèi)容計算得到相應的推薦廣告，現(xiàn)已經(jīng)開源，是重要的大數(shù)據(jù)計算平臺。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Spark Streaming： — 構建在 Spark上的流數(shù)據(jù)處理框架，將流式計算分解成一系列短小的批處理任務進行處理。 — 網(wǎng)站流量統(tǒng)計是 Spark Streaming的一種典型的使用場景，這種應用既需要具有實時性，還需要進行聚合、去重、連接等統(tǒng)計計算操作； — 如果使用 Hadoop MapReduce框架，則可以很容易地實現(xiàn)統(tǒng)計需求，但無法保證實時性；如果使用 Storm這種流式框架則可以保證實時性，但實現(xiàn)難度較大； Spark Streaming可以以準實時的方式方便地實現(xiàn)復雜的統(tǒng)計需求。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 4．迭代計算系統(tǒng) 針對 MapReduce不支持迭代計算的缺陷，人們對 Hadoop的 MapReduce進行了大量改進， Haloop、 iMapReduce、 Twister、 Spark是典型的迭代計算系統(tǒng)。 ?HaLoop： Haloop是 Hadoop MapReduce框架的修改版本，用于支持迭代、遞歸類型的數(shù)據(jù)分析任務，如 PageRank、 Kmeans等。 ?iMapReduce： 一種基于 MapReduce 的迭代模型，實現(xiàn)了 MapReduce 的異步迭代。 ?Twister： 基于 Java的迭代 MapReduce模型，上一輪 Reduce的結果會直接傳送到下一輪的 Map。 ?Spark： 基于內(nèi)存計算的