【正文】 k： — 基于內(nèi)存計算的開源集群計算系統(tǒng)。 — 目前常用的內(nèi)存計算系統(tǒng)有分布式內(nèi)存計算系統(tǒng) Spark、全內(nèi)存式分布式數(shù)據(jù)庫系統(tǒng) HANA、 Google的可擴(kuò)展交互式查詢系統(tǒng)Dremel。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Trinity： — 微軟公司開發(fā)的圖數(shù)據(jù)庫系統(tǒng)，該系統(tǒng)是基于內(nèi)存的數(shù)據(jù)存儲與運(yùn)算系統(tǒng)，源代碼不公開。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Pregel： — Google公司開發(fā)的一種面向圖數(shù)據(jù)計算的分布式編程框架，采用迭代的計算模型。 ?Twister： 基于 Java的迭代 MapReduce模型，上一輪 Reduce的結(jié)果會直接傳送到下一輪的 Map。 — 網(wǎng)站流量統(tǒng)計是 Spark Streaming的一種典型的使用場景，這種應(yīng)用既需要具有實時性，還需要進(jìn)行聚合、去重、連接等統(tǒng)計計算操作； — 如果使用 Hadoop MapReduce框架，則可以很容易地實現(xiàn)統(tǒng)計需求，但無法保證實時性；如果使用 Storm這種流式框架則可以保證實時性，但實現(xiàn)難度較大； Spark Streaming可以以準(zhǔn)實時的方式方便地實現(xiàn)復(fù)雜的統(tǒng)計需求。 ? Flume： — Flume由 Cloudera 公司開發(fā)，其功能與 Scribe相似，主要用于實時收集在海量節(jié)點上產(chǎn)生的日志信息，存儲到類似于 HDFS的網(wǎng)絡(luò)文件系統(tǒng)中，并根據(jù)用戶的需求進(jìn)行相應(yīng)的數(shù)據(jù)分析。 — Spark引入了內(nèi)存計算的概念，運(yùn)行 Spark時服務(wù)器可以將中間數(shù)據(jù)存儲在 RAM內(nèi)存中，大大加速數(shù)據(jù)分析結(jié)果的返回速度，可用于需要互動分析的場景。 MapReduce的批處理模式不支持迭代計算。 主要的大數(shù)據(jù)處理系統(tǒng) * 2．批處理系統(tǒng) — MapReduce是被廣泛使用的批處理計算模式。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Impala： — 由 Cloudera公司主導(dǎo)開發(fā)，是運(yùn)行在 Hadoop平臺上的開源的大規(guī)模并行 SQL查詢引擎。 HBase的表能夠作為 MapReduce任務(wù)的輸入和輸出，可以通過 Java API來存取數(shù)據(jù)。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 目前主要的大數(shù)據(jù)處理系統(tǒng)有 : 數(shù)據(jù)查詢分析計算系統(tǒng)、批處理系統(tǒng)、流式計算系統(tǒng)、迭代計算系統(tǒng)、圖計算系統(tǒng)和內(nèi)存計算系統(tǒng)。 ? 哈希方法 根據(jù)數(shù)據(jù)的某一行或者某一列的哈希值將數(shù)據(jù)分布到不同的節(jié)點 。 數(shù)據(jù)的類型多種多樣，包括 結(jié)構(gòu)化 數(shù)據(jù)、 半結(jié)構(gòu)化 數(shù)據(jù)和 非結(jié)構(gòu)化 數(shù)據(jù) 。 （ 2）數(shù)據(jù)采集密度 ： ? 以往我們進(jìn)行數(shù)據(jù)采集時的 采樣密度較低 ，獲得的 采樣數(shù)據(jù)有限 ； ? 在大數(shù)據(jù)時代，有了大數(shù)據(jù)處理平臺的支撐，我們可以對需要分析的事件的數(shù)據(jù)進(jìn)行更加密集地采樣 ，從而 精確 地 獲取 事件的 全局?jǐn)?shù)據(jù) 。 大數(shù)據(jù)簡介 * ? 3．生產(chǎn)數(shù)據(jù)的三個階段 — （ 1）被動式生成數(shù)據(jù)： 數(shù)據(jù)庫技術(shù)使得數(shù)據(jù)的保存和管理變得簡單，業(yè)務(wù)系統(tǒng)在運(yùn)行時產(chǎn)生的數(shù)據(jù)直接保存數(shù)據(jù)庫中，這個時候數(shù)據(jù)的產(chǎn)生是被動的，數(shù)據(jù)是隨著業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生的。管理信息系統(tǒng)主要通過用戶輸入和系統(tǒng)的二次加工的方式生成數(shù)據(jù)，其產(chǎn)生的數(shù)據(jù)大多為結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中。大數(shù)據(jù)系統(tǒng)需要滿足以下三個 特性 。 云計算技術(shù)分類 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 1．什么是大數(shù)據(jù) — 2．?dāng)?shù)據(jù)的來源 — 3．生產(chǎn)數(shù)據(jù)的三個階段 — 4．大數(shù)據(jù)的特點 — 5．大數(shù)據(jù)的應(yīng)用領(lǐng)域 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 計算和數(shù)據(jù)是信息產(chǎn)業(yè)不變的主題，在信息和網(wǎng)絡(luò)技術(shù)迅速發(fā)展的推動下，人們的感知、計算、仿真、模擬、傳播等活動產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的產(chǎn)生不受時間、地點的限制，大數(shù)據(jù)的概念逐漸形成，大數(shù)據(jù)涵蓋了計算和數(shù)據(jù)兩大主題，是產(chǎn)業(yè)界和學(xué)術(shù)界的研究熱點，被譽(yù)為未來十年的革命性技術(shù)。 ? 應(yīng)用層對應(yīng) SaaS軟件即服務(wù)， 如： Google APPS、 SoftWare+Services。 云計算技術(shù)分類 * — 云計算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，與大家熟悉的計算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。 云計算技術(shù)分類 * 應(yīng) 用 層平 臺 層基 礎(chǔ) 設(shè) 施 層虛 擬 化 層軟 件 即 服 務(wù) （ S a a S ）平 臺 即 服 務(wù) （ P a a S ）基 礎(chǔ) 設(shè) 施 即 服 務(wù) （ I a a S ）硬 件 即 服 務(wù)四 層 模 型 對 應(yīng) 的 服 務(wù)圖 云計算服務(wù)體系結(jié)構(gòu) — 如圖所示，云計算系統(tǒng)按資源封裝的層次分為 IaaS、 PaaS、 SaaS，分為對底層硬件資源不同級別的封裝，從而實現(xiàn)將資源轉(zhuǎn)變?yōu)榉?wù)的目的。 云計算技術(shù)分類 * — 平臺即服務(wù)（ Platform as a Service， PaaS）： ? 計算和存儲資源經(jīng) 封裝 后， 以某種接口和協(xié)議的形式 提供給用戶調(diào)用，資源的使用者不再直接面對底層資源。所以這種云計算分類方法并不是一種準(zhǔn)確的分類方法，主要是在商業(yè)領(lǐng)域的一種稱呼。 ? 這種技術(shù)的優(yōu)點是用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計算技術(shù)上應(yīng)用得較為成功； ? 缺點是跨節(jié)點的資源整合代價較大； ? KVM、 VMware都是這類技術(shù)的代表。 云計算技術(shù)分類 * 1．按技術(shù)路線分類 — 資源整合型云計算： 這種類型的云計算系統(tǒng)在技術(shù)實現(xiàn)方面大多體現(xiàn)為集群架構(gòu)，通過將大量節(jié)點的計算資源和存儲資源整合后輸出。 — 用戶數(shù)據(jù)存儲在服務(wù)器端，而應(yīng)用程序在服務(wù)器端運(yùn)行，計算由服務(wù)器端來處理。 — 從最終用戶的角度看 ，基于云計算系統(tǒng)的應(yīng)用服務(wù)通常都是通過網(wǎng)絡(luò)來提供的，應(yīng)用開發(fā)者將云計算中心的計算、存儲等資源封裝為不同的應(yīng)用后往往會通過網(wǎng)絡(luò)提供給最終的用戶。 云計算的特點 * （ 2）按需提供資源服務(wù) — 云計算系統(tǒng)帶給客戶最重要的好處就是敏捷地 適應(yīng)用戶對資源不斷變化的需求 ； — 云計算系統(tǒng)實現(xiàn) 按需向用戶提供資源 能大大節(jié)省用戶的硬件資源開支，用戶不用自己購買并維護(hù)大量固定的硬件資源，只需向自己實際消費的資源量來付費； — 按需提供資源服務(wù)使應(yīng)用開發(fā)者在邏輯上可以認(rèn)為資源池的大小是不受限制的，應(yīng)用開發(fā)者的主要精力只需要集中在自己的應(yīng)用上。從資源低效率的分散使用到資源高效的集約化使用正是云計算的基本特征之一。 云計算簡介 * ? 云計算時代基本的 3種角色： 資源的整合運(yùn)營者、資源的使用者、終端客戶。 云計算簡介 * ? 云計算技術(shù)的出現(xiàn)改變了信息產(chǎn)業(yè)傳統(tǒng)的格局。 ? 從廣義上說，云計算技術(shù)幾乎包括了當(dāng)前信息技術(shù)中的絕大部分。 * ? 云計算技術(shù)的內(nèi)容很多 — 包括分布式計算技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)技術(shù)、服務(wù)器技術(shù)、數(shù)據(jù)中心技術(shù)、云計算平臺技術(shù)、存儲技術(shù)等。 —云計算是傳統(tǒng)計算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。 — 云計算技術(shù)使資源與用戶需求之間是一種彈性化的關(guān)系，資源的使用者和資源的整合者并不是一個企業(yè)，資源的使用者只需要對資源按需付費，從而敏捷地響應(yīng)客戶不斷變化的資源需求，這一方法降低了資源使用者的成本，提高了資源的利用效率。 云計算簡介 * ? 云計算的特點 — 1． 資源池彈性可擴(kuò)張 — 2． 按需提供資源服務(wù) — 3． 虛擬化 — 4． 網(wǎng)絡(luò)化的資源接入 — 5． 高可靠性和安全性 云計算的特點 * ? 與傳統(tǒng)的資源提供方向相比，云計算具有以下特點： （ 1）資源池彈性可擴(kuò)張 — 云計算系統(tǒng)的一個重要特征就是 資源的集中管理和輸出 ，這就是所謂的資源池。 — 大多數(shù)云計算系統(tǒng)都能較為方便地實現(xiàn)新資源的加入。 云計算的特點 * （ 4）網(wǎng)絡(luò)化的資源接入。 云計算的特點 * （ 5）高可靠性和安全性。 云計算的特點 * 云計算技術(shù)分類 ? 云計算技術(shù)分類 — 1．按技術(shù)路線分類 — 2．按服務(wù)對象分類 — 3．按資源封裝的層次分類 * ? 目前已出現(xiàn)的云計算技術(shù)種類非常多，對于云計算的分類可以有多種角度： — 從技術(shù)路線角度可以分為資源整合型云計算和資源切分型云計算； — 從服務(wù)對像角度可以被分為公有云和私有云； — 按資源封裝的層次來分可以分為： ? 基礎(chǔ)設(shè)施即服務(wù)（ Infrastructure as a Service， IaaS） ? 平臺即服務(wù)（ Platform as a Service， PaaS） ? 軟件即服務(wù)（ Software as a Service， SaaS）。 云計算技術(shù)分類 * — 資源切分型云計算： 這種類型最為典型的就是虛擬化系統(tǒng)，這類云計算系統(tǒng)通過系統(tǒng)虛擬化實現(xiàn)對單個服務(wù)器資源的彈性化切分，從而有效地利用服務(wù)器資源，其核心技術(shù)為虛擬化技術(shù)。 — 公有云與私有云的界限并不是特別清晰，有時服務(wù)于一個地區(qū)和團(tuán)