【正文】 云計(jì)算與大數(shù)據(jù)的發(fā)展 * ?練習(xí)題 ? 1. 在信息產(chǎn)業(yè)的發(fā)展歷程中， 、 作為兩個重要的內(nèi)在動力在不同時期起著重要作用。 — 中國計(jì)算機(jī)學(xué)會于 2023年成立了大數(shù)據(jù)專家委員會； — 2023年發(fā)布了《中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書》，并舉辦了第一節(jié) CCF大數(shù)據(jù)學(xué)術(shù)會議。 圖 約翰 圖 西摩 同時也對精簡指令（ RISC）高端微處理器的產(chǎn)生 有重大的貢獻(xiàn)。 20世紀(jì) 50年代最早的網(wǎng)絡(luò)開始出現(xiàn)，信息產(chǎn)業(yè)的發(fā)展驅(qū)動力中開始出現(xiàn)網(wǎng)絡(luò)的力量，但當(dāng)時網(wǎng)絡(luò)性能很弱，網(wǎng)絡(luò)并不是推動信息產(chǎn)業(yè)發(fā)展的主要動力，處理器等硬件的影響還占絕對主導(dǎo)因素。 引入云計(jì)算模式后可以通過整合資源或采用租用存儲空間、租用計(jì)算能力等服務(wù)來降低企業(yè)運(yùn)行成本和節(jié)省能源。 云計(jì)算與大數(shù)據(jù)的發(fā)展 * ? 當(dāng)前移動互聯(lián)網(wǎng)的出現(xiàn)并迅速普及更是對云計(jì)算、大數(shù)據(jù)的發(fā)展起到了推動作用。 — 2023年《 Nature》雜志推出了大數(shù)據(jù)?？?， 2023年《 Science》雜志推出大數(shù)據(jù)?？懻摽茖W(xué)研究的中大數(shù)據(jù)問題。 大數(shù)據(jù)處理的基本流程 * — 我們在開發(fā)調(diào)試程序的時候經(jīng)常通過打印語句的方式來呈現(xiàn)結(jié)果，這種方式非常靈活、方便，但只有熟悉程序的人才能很好地理解打印結(jié)果。 ?HANA： — SAP公司開發(fā)的基于內(nèi)存技術(shù)、面向企業(yè)分析性的產(chǎn)品。 Giraph是基于 Hadoop建立的， Facebook在其臉譜搜索服務(wù)中大量使用了 Giraph。 ?iMapReduce： 一種基于 MapReduce 的迭代模型，實(shí)現(xiàn)了 MapReduce 的異步迭代。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Scribe： — Scribe 由 Facebook 開發(fā)開源系統(tǒng)，用于從海量服務(wù)器實(shí)時收集日志信息， 對日志信息進(jìn)行實(shí)時的統(tǒng)計(jì)分析處理，應(yīng)用在Facebook內(nèi)部。 — Hadoop和 Spark是典型的批處理系統(tǒng)。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Cassandra： — 開源 NoSQL數(shù)據(jù)庫系統(tǒng)，最早由 Facebook開發(fā)，并于 2023年開源； — 由于其良好的可擴(kuò)展性， Cassandra被 Facebook、 Twitter、Backspace、 Cisco等公司使用； — 其數(shù)據(jù)模型借鑒了 Amazon的 Dynamo和 Google BigTable，是一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲方案。 表 典型的大數(shù)據(jù)應(yīng)用特征對比 應(yīng)用領(lǐng)域 示例 用戶數(shù)量 響應(yīng)時延 數(shù)據(jù)量級 穩(wěn)定性 精確度 科學(xué)計(jì)算 基因計(jì)算 小 長 TB 一般 非常高 金融 股票交易 大 實(shí)時 GB 非常高 非常高 社交網(wǎng)絡(luò) Facebook 非常大 快速 PB 高 高 移動數(shù)據(jù) 移動終端 非常大 快速 TB 高 高 物聯(lián)網(wǎng) 傳感網(wǎng) 大 快速 TB 高 高 網(wǎng)頁數(shù)據(jù) 新聞網(wǎng)站 非常大 快速 GB 高 高 多媒體 視頻網(wǎng)站 非常大 快速 GB 高 一般 大數(shù)據(jù)簡介 * ? 主要的大數(shù)據(jù)處理系統(tǒng) — 大數(shù)據(jù)處理的數(shù)據(jù)源類型多種多樣，如結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)處理的需求各不相同 : ? 對海量已有數(shù)據(jù)進(jìn)行批量處理， ? 對大量的實(shí)時生成的數(shù)據(jù)進(jìn)行實(shí)時處理， ? 在進(jìn)行數(shù)據(jù)分析時進(jìn)行反復(fù)迭代計(jì)算， ? 對圖數(shù)據(jù)進(jìn)行分析計(jì)算。 大數(shù)據(jù)簡介 * ? 大數(shù)據(jù)需要處理的數(shù)據(jù) 大小通常達(dá)到 PB（ 1024 TB） 或 EB（ 1024 PB）級 。 （ 4）科學(xué)實(shí)驗(yàn)系統(tǒng)：主要用于學(xué)術(shù)科學(xué)研究，其環(huán)境是預(yù)先設(shè)定的，數(shù)據(jù)既可以是由真實(shí)實(shí)驗(yàn)產(chǎn)生也可以是通過模擬方式獲取仿真的。 ? 大數(shù)據(jù)的 “大” 是一個 動態(tài) 的概念 — 以前 10GB的數(shù)據(jù)是個天文數(shù)字；而現(xiàn)在，在地球、物理、基因、空間科學(xué)等領(lǐng)域， TB級的數(shù)據(jù)集已經(jīng)很普遍。 云計(jì)算技術(shù)分類 * — 在云計(jì)算服務(wù)體系結(jié)構(gòu)中各層次與相關(guān)云產(chǎn)品對應(yīng)。 云計(jì)算技術(shù)分類 * — 軟件即服務(wù)（ Software as a Service， SaaS）： ? 將計(jì)算和存儲資源 封裝 為 用戶可以直接使用 的應(yīng)用并通過網(wǎng)絡(luò)提供給用戶； ? SaaS面向的服務(wù)對象為 最終用戶 ，用戶只是 對軟件功能進(jìn)行使用 ，無需了解任何云計(jì)算系統(tǒng)的內(nèi)部結(jié)構(gòu)，也不需要用戶具有專業(yè)的技術(shù)開發(fā)能力。 — 公有云與私有云的界限并不是特別清晰，有時服務(wù)于一個地區(qū)和團(tuán)體的云也被稱為公有云。 云計(jì)算的特點(diǎn) * 云計(jì)算技術(shù)分類 ? 云計(jì)算技術(shù)分類 — 1．按技術(shù)路線分類 — 2．按服務(wù)對象分類 — 3．按資源封裝的層次分類 * ? 目前已出現(xiàn)的云計(jì)算技術(shù)種類非常多，對于云計(jì)算的分類可以有多種角度： — 從技術(shù)路線角度可以分為資源整合型云計(jì)算和資源切分型云計(jì)算； — 從服務(wù)對像角度可以被分為公有云和私有云； — 按資源封裝的層次來分可以分為： ? 基礎(chǔ)設(shè)施即服務(wù)（ Infrastructure as a Service， IaaS） ? 平臺即服務(wù)（ Platform as a Service， PaaS） ? 軟件即服務(wù)（ Software as a Service， SaaS）。 云計(jì)算的特點(diǎn) * （ 4）網(wǎng)絡(luò)化的資源接入。 云計(jì)算簡介 * ? 云計(jì)算的特點(diǎn) — 1． 資源池彈性可擴(kuò)張 — 2． 按需提供資源服務(wù) — 3． 虛擬化 — 4． 網(wǎng)絡(luò)化的資源接入 — 5． 高可靠性和安全性 云計(jì)算的特點(diǎn) * ? 與傳統(tǒng)的資源提供方向相比，云計(jì)算具有以下特點(diǎn)： （ 1）資源池彈性可擴(kuò)張 — 云計(jì)算系統(tǒng)的一個重要特征就是 資源的集中管理和輸出 ，這就是所謂的資源池。 —云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。 ? 從廣義上說，云計(jì)算技術(shù)幾乎包括了當(dāng)前信息技術(shù)中的絕大部分。 云計(jì)算簡介 * ? 云計(jì)算時代基本的 3種角色： 資源的整合運(yùn)營者、資源的使用者、終端客戶。 云計(jì)算的特點(diǎn) * （ 2）按需提供資源服務(wù) — 云計(jì)算系統(tǒng)帶給客戶最重要的好處就是敏捷地 適應(yīng)用戶對資源不斷變化的需求 ； — 云計(jì)算系統(tǒng)實(shí)現(xiàn) 按需向用戶提供資源 能大大節(jié)省用戶的硬件資源開支，用戶不用自己購買并維護(hù)大量固定的硬件資源，只需向自己實(shí)際消費(fèi)的資源量來付費(fèi)； — 按需提供資源服務(wù)使應(yīng)用開發(fā)者在邏輯上可以認(rèn)為資源池的大小是不受限制的，應(yīng)用開發(fā)者的主要精力只需要集中在自己的應(yīng)用上。 — 用戶數(shù)據(jù)存儲在服務(wù)器端，而應(yīng)用程序在服務(wù)器端運(yùn)行，計(jì)算由服務(wù)器端來處理。 ? 這種技術(shù)的優(yōu)點(diǎn)是用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計(jì)算技術(shù)上應(yīng)用得較為成功； ? 缺點(diǎn)是跨節(jié)點(diǎn)的資源整合代價較大； ? KVM、 VMware都是這類技術(shù)的代表。 云計(jì)算技術(shù)分類 * — 平臺即服務(wù)（ Platform as a Service， PaaS）： ? 計(jì)算和存儲資源經(jīng) 封裝 后， 以某種接口和協(xié)議的形式 提供給用戶調(diào)用，資源的使用者不再直接面對底層資源。 云計(jì)算技術(shù)分類 * — 云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，與大家熟悉的計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。 云計(jì)算技術(shù)分類 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 1．什么是大數(shù)據(jù) — 2．?dāng)?shù)據(jù)的來源 — 3．生產(chǎn)數(shù)據(jù)的三個階段 — 4．大數(shù)據(jù)的特點(diǎn) — 5．大數(shù)據(jù)的應(yīng)用領(lǐng)域 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 計(jì)算和數(shù)據(jù)是信息產(chǎn)業(yè)不變的主題，在信息和網(wǎng)絡(luò)技術(shù)迅速發(fā)展的推動下，人們的感知、計(jì)算、仿真、模擬、傳播等活動產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的產(chǎn)生不受時間、地點(diǎn)的限制，大數(shù)據(jù)的概念逐漸形成，大數(shù)據(jù)涵蓋了計(jì)算和數(shù)據(jù)兩大主題，是產(chǎn)業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)，被譽(yù)為未來十年的革命性技術(shù)。管理信息系統(tǒng)主要通過用戶輸入和系統(tǒng)的二次加工的方式生成數(shù)據(jù)，其產(chǎn)生的數(shù)據(jù)大多為結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中。 （ 2）數(shù)據(jù)采集密度 ： ? 以往我們進(jìn)行數(shù)據(jù)采集時的 采樣密度較低 ，獲得的 采樣數(shù)據(jù)有限 ； ? 在大數(shù)據(jù)時代，有了大數(shù)據(jù)處理平臺的支撐，我們可以對需要分析的事件的數(shù)據(jù)進(jìn)行更加密集地采樣 ，從而 精確 地 獲取 事件的 全局?jǐn)?shù)據(jù) 。 ? 哈希方法 根據(jù)數(shù)據(jù)的某一行或者某一列的哈希值將數(shù)據(jù)分布到不同的節(jié)點(diǎn) 。 HBase的表能夠作為 MapReduce任務(wù)的輸入和輸出，可以通過 Java API來存取數(shù)據(jù)。 主要的大數(shù)據(jù)處理系統(tǒng) * 2．批處理系統(tǒng) — MapReduce是被廣泛使用的批處理計(jì)算模式。 — Spark引入了內(nèi)存計(jì)算的概念，運(yùn)行 Spark時服務(wù)器可以將中間數(shù)據(jù)存儲在 RAM內(nèi)存中，大大加速數(shù)據(jù)分析結(jié)果的返回速度，可用于需要互動