【正文】 開源集群計算框架。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 5．圖計算系統(tǒng) —社交網(wǎng)絡(luò)、網(wǎng)頁鏈接等包含具有復(fù)雜關(guān)系的圖數(shù)據(jù)，這些圖數(shù)據(jù)的規(guī)模巨大，可包含數(shù)十億頂點和上百億條邊，圖數(shù)據(jù)需要由專門的系統(tǒng)進(jìn)行存儲和計算。 —常用的圖計算系統(tǒng)有 Google公司的 Pregel、 Pregel的開源版本Giraph、微軟的 Trinity、 Berkeley AMPLab的 GraphX以及高速圖數(shù)據(jù)處理系統(tǒng) PowerGraph。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Pregel： — Google公司開發(fā)的一種面向圖數(shù)據(jù)計算的分布式編程框架，采用迭代的計算模型。 Google的數(shù)據(jù)計算任務(wù)中，大約 80%的任務(wù)處理采用 MapReduce模式，如網(wǎng)頁內(nèi)容索引；圖數(shù)據(jù)的計算任務(wù)約占 20%，采用 Pregel進(jìn)行處理。 ? Giraph： — 一個迭代的圖計算系統(tǒng)，最早由雅虎公司借鑒 Pregel系統(tǒng)開發(fā)，后捐贈給 Apache軟件基金會，成為開源的圖計算系統(tǒng)。 Giraph是基于 Hadoop建立的， Facebook在其臉譜搜索服務(wù)中大量使用了 Giraph。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Trinity： — 微軟公司開發(fā)的圖數(shù)據(jù)庫系統(tǒng)，該系統(tǒng)是基于內(nèi)存的數(shù)據(jù)存儲與運(yùn)算系統(tǒng)，源代碼不公開。 ? GraphX： — 由 AMPLab開發(fā)的運(yùn)行在數(shù)據(jù)并行的 Spark平臺上的圖數(shù)據(jù)計算系統(tǒng)。 ? PowerGraph： — 高速圖處理系統(tǒng)，常用于廣告推薦計算和自然語言處理。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 6．內(nèi)存計算系統(tǒng) — 隨著內(nèi)存價格的不斷下降、服務(wù)器可配置內(nèi)存容量的不斷增長，使用內(nèi)存計算完成高速的大數(shù)據(jù)處理已成為大數(shù)據(jù)處理的重要發(fā)展方向。 — 目前常用的內(nèi)存計算系統(tǒng)有分布式內(nèi)存計算系統(tǒng) Spark、全內(nèi)存式分布式數(shù)據(jù)庫系統(tǒng) HANA、 Google的可擴(kuò)展交互式查詢系統(tǒng)Dremel。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Dremel： — Google的交互式數(shù)據(jù)分析系統(tǒng)，可以在數(shù)以千計的服務(wù)器組成的集群上發(fā)起計算，處理 PB級的數(shù)據(jù)。 Dremel是 Google MapReduce的補(bǔ)充，大大縮短了數(shù)據(jù)的處理時間，成功地應(yīng)用在 Google的 bigquery中。 ?HANA： — SAP公司開發(fā)的基于內(nèi)存技術(shù)、面向企業(yè)分析性的產(chǎn)品。 ?Spark： — 基于內(nèi)存計算的開源集群計算系統(tǒng)。 主要的大數(shù)據(jù)處理系統(tǒng) * 大數(shù)據(jù)處理的基本流程 ? 大數(shù)據(jù)處理的基本流程 — 大數(shù)據(jù)的處理流程可以 定義 為在適合工具的輔助下，對廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行 抽取 和 集成 ，結(jié)果按照一定的標(biāo)準(zhǔn)統(tǒng)一 存儲 ，利用合適的數(shù)據(jù)分析技術(shù)對存儲的數(shù)據(jù)進(jìn)行 分析 ，從中 提取 有益的 知識 并利用恰當(dāng)?shù)姆绞綄⒔Y(jié)果 展示 給終端用戶。大數(shù)據(jù)處理的基本流程如圖 。 數(shù) 據(jù) 集 成結(jié) 構(gòu) 化 數(shù) 據(jù)（ R D B M S ）半 結(jié) 構(gòu) 化 數(shù) 據(jù)（ H T M L ）非 結(jié) 構(gòu) 化 數(shù) 據(jù)（ 文 檔 數(shù) 據(jù) ）數(shù) 據(jù) 抽 取源 數(shù) 據(jù)數(shù) 據(jù) 分 析機(jī) 器 學(xué) 習(xí)數(shù) 據(jù) 挖 掘數(shù) 據(jù) 統(tǒng) 計數(shù) 據(jù) 解 釋可 視 化人 機(jī) 交 互用 戶企 業(yè) 用 戶政 府 用 戶科 研 人 員數(shù) 據(jù) 清 洗圖 大數(shù)據(jù)處理的基本流程 * ? 1．?dāng)?shù)據(jù)抽取與集成 — 由于大數(shù)據(jù)處理的數(shù)據(jù)來源類型豐富，大數(shù)據(jù)處理的第一步是對數(shù)據(jù)進(jìn)行抽取和集成，從中提取出關(guān)系和實體，經(jīng)過關(guān)聯(lián)和聚合等操作，按照統(tǒng)一定義的格式對數(shù)據(jù)進(jìn)行存儲。 — 現(xiàn)有的數(shù)據(jù)抽取和集成方法有三種： ?基于物化或 ETL方法的引擎（ Materialization or ETL Engine）、 ?基于聯(lián)邦數(shù)據(jù)庫或中間件方法的引擎（ Federation Engine or Mediator）、 ?基于數(shù)據(jù)流方法的引擎（ Stream Engine）。 大數(shù)據(jù)處理的基本流程 * ? 2．?dāng)?shù)據(jù)分析 — 數(shù)據(jù)分析是大數(shù)據(jù)處理流程的核心步驟，通過數(shù)據(jù)抽取和集成環(huán)節(jié)，我們已經(jīng)從異構(gòu)的數(shù)據(jù)源中獲得了用于大數(shù)據(jù)處理的原始數(shù)據(jù)，用戶可以根據(jù)自己的需求對這些數(shù)據(jù)進(jìn)行分析處理，比如數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、數(shù)據(jù)統(tǒng)計等，數(shù)據(jù)分析可以用于決策支持、商業(yè)智能、推薦系統(tǒng)、預(yù)測系統(tǒng)等。 大數(shù)據(jù)處理的基本流程 * ? 3．?dāng)?shù)據(jù)解釋 — 大數(shù)據(jù)處理流程中用戶最關(guān)心的是數(shù)據(jù)處理的結(jié)果，正確的數(shù)據(jù)處理結(jié)果只有通過合適的展示方式才能被終端用戶正確理解，因此數(shù)據(jù)處理結(jié)果的展示非常重要， 可視化 和 人機(jī)交互 是數(shù)據(jù)解釋的主要技術(shù)。 大數(shù)據(jù)處理的基本流程 * — 我們在開發(fā)調(diào)試程序的時候經(jīng)常通過打印語句的方式來呈現(xiàn)結(jié)果，這種方式非常靈活、方便，但只有熟悉程序的人才能很好地理解打印結(jié)果。 — 使用可視化技術(shù)，可以將處理的結(jié)果通過圖形的方式直觀地呈現(xiàn)給用戶，標(biāo)簽云（ Tag Cloud）、歷史流（ History Flow）、空間信息流（ Spatial Information Flow）等是常用的可視化技術(shù)，用戶可以根據(jù)自己的需求靈活地使用這些可視化技術(shù)； — 人機(jī)交互技術(shù)可以引導(dǎo)用戶對數(shù)據(jù)進(jìn)行逐步的分析，使用戶參與到數(shù)據(jù)分析的過程中，使用戶可以深刻地理解數(shù)據(jù)分析結(jié)果。 大數(shù)據(jù)處理的基本流程 * 云計算與大數(shù)據(jù)的發(fā)展 ? 云計算與大數(shù)據(jù)的發(fā)展 1．云計算與大數(shù)據(jù)發(fā)展歷程 — 早在 1958年，人工智能之父 John McCarthy 發(fā)明了函數(shù)式語言 LISP， LISP 語言后來成為 MapReduce的思想來源。 — 1960年 John McCarthy 預(yù)言了：“今后計算機(jī)將會作為公共設(shè)施提供給公眾”，這一概念與我們現(xiàn)在所定義的云計算已非常相似，但當(dāng)時的技術(shù)條件決定了這一設(shè)想只是一種對未來技術(shù)發(fā)展的預(yù)言。 — 云計算是網(wǎng)絡(luò)技術(shù)發(fā)展到一定階段后必然出現(xiàn)的新的技術(shù)體系和產(chǎn)業(yè)模式。 — 1984年 SUN公司提出“網(wǎng)絡(luò)就是計算機(jī)”這一具有云計算特征的論點， — 2023年 Google公司 CEO Eric Schmidt提出云計算概念， — 2023年云計算概念全面進(jìn)入中國， — 2023年中國首屆云計算大會召開，此后云計算技術(shù)和產(chǎn)品迅速地發(fā)展起來。 * — 隨著社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，數(shù)據(jù)正在以前所未有的速度增長和積累， IDC的研究數(shù)據(jù)表明，全球的數(shù)據(jù)量每年增長 50%，兩年翻一番，這意味著全球近兩年產(chǎn)生的數(shù)據(jù)量將超過之前全部數(shù)據(jù)的總和。 — 2023年全球數(shù)據(jù)總量已達(dá) ，到 2023年，全球數(shù)據(jù)總量將達(dá)到 35 ZB。 — 2023年《 Nature》雜志推出了大數(shù)據(jù)?？?2023年《 Science》雜志推出大數(shù)據(jù)?？懻摽茖W(xué)研究的中大數(shù)據(jù)問題。 — 2023年大數(shù)據(jù)的關(guān)注度和影響力快速增長，成為當(dāng)年達(dá)沃斯世界經(jīng)濟(jì)論壇的主題，美國政府啟動大數(shù)據(jù)發(fā)展計劃。 — 中國計算機(jī)學(xué)會于 2023年成立了大數(shù)據(jù)專家委員會，并發(fā)布了大數(shù)據(jù)技術(shù)白皮書。 云計算與大數(shù)據(jù)的發(fā)展 * 圖 近年來 云計算、大數(shù)據(jù)的關(guān)注度 如圖 、大數(shù)據(jù)兩個關(guān)鍵詞近年來的網(wǎng)絡(luò)關(guān)注度，可以看出 2023年至今大數(shù)據(jù)的關(guān)注度越來越高，云計算和大數(shù)據(jù)是信息技術(shù)未來的發(fā)展方向。 云計算與大數(shù)據(jù)的發(fā)展 * ? 網(wǎng)絡(luò)技術(shù)在云計算和大數(shù)據(jù)的發(fā)展歷程中發(fā)揮了重要的推動作用。 — 可以認(rèn)為信息技術(shù)的發(fā)展經(jīng)歷了硬件發(fā)展推動和網(wǎng)絡(luò)技術(shù)推動兩個階段。 — 早期主要以硬件發(fā)展為主要動力，在這個階段硬件的技術(shù)水平?jīng)Q定著整個信息技術(shù)的發(fā)展水平，硬件的每一次進(jìn)步都有力地推動著信息技術(shù)的發(fā)展，從電子管技術(shù)到晶體管技術(shù)再到大規(guī)模集成電路，這種技術(shù)變革成為產(chǎn)業(yè)發(fā)展的核心動力。 — 但網(wǎng)絡(luò)技術(shù)的出現(xiàn)逐步地打破了單純的硬件能力決定技術(shù)發(fā)展的格局，通信帶寬的發(fā)展為信息技術(shù)的發(fā)展提供了新的動力，在這一階段通信帶寬成為了信息技術(shù)發(fā)展的決定性力量之一，云計算、大數(shù)據(jù)技術(shù)的出現(xiàn)正是這一階段的產(chǎn)物，其廣泛應(yīng)用并不是單純靠某一個人發(fā)明而是由于技術(shù)發(fā)展到現(xiàn)在的必然產(chǎn)物，生產(chǎn)力決定生產(chǎn)關(guān)系的規(guī)律在這里依然是成立的。 云計算與大數(shù)據(jù)的發(fā)展 * ? 當(dāng)前移動互聯(lián)網(wǎng)的出現(xiàn)并迅速普及更是對云計算、大數(shù)據(jù)的發(fā)展起到了推動作用。 — 移動瘦客戶終端與云計算資源池的結(jié)合大大拓展了移動應(yīng)用的思路，云計算資源得以在移動終端上實現(xiàn)隨時、隨地、隨身資源服務(wù)。 — 移動互聯(lián)網(wǎng)再次拓展了以網(wǎng)絡(luò)化資源交付為特點的云計算技術(shù)的應(yīng)用能力，同時也改變了數(shù)據(jù)的產(chǎn)生方式，推動了全球數(shù)據(jù)的快速增長，推動了大數(shù)據(jù)的技術(shù)和應(yīng)用的發(fā)展。 云計算與大數(shù)據(jù)的發(fā)展 * — 云計算是一種全新的領(lǐng)先信息技術(shù)，結(jié)合 IT技術(shù)和互聯(lián)網(wǎng)實現(xiàn)超級計算和存儲的能力，而推動云計算興起的動力是高速互聯(lián)網(wǎng)和虛擬化技術(shù)的發(fā)展、更加廉價且功能強(qiáng)勁的芯片及硬盤、數(shù)據(jù)中心的發(fā)展。 — 云計算作為下一代企業(yè)數(shù)據(jù)中心，其基本形式為大量鏈接在一起的共享 IT基礎(chǔ)設(shè)施，不受本地和遠(yuǎn)程計算機(jī)資源的限制，可以很方便地訪問云