【正文】 — 基于內(nèi)存計(jì)算的開源集群計(jì)算系統(tǒng)。 — 目前常用的內(nèi)存計(jì)算系統(tǒng)有分布式內(nèi)存計(jì)算系統(tǒng) Spark、全內(nèi)存式分布式數(shù)據(jù)庫系統(tǒng) HANA、 Google的可擴(kuò)展交互式查詢系統(tǒng)Dremel。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Trinity： — 微軟公司開發(fā)的圖數(shù)據(jù)庫系統(tǒng)，該系統(tǒng)是基于內(nèi)存的數(shù)據(jù)存儲與運(yùn)算系統(tǒng)，源代碼不公開。 主要的大數(shù)據(jù)處理系統(tǒng) * ? Pregel： — Google公司開發(fā)的一種面向圖數(shù)據(jù)計(jì)算的分布式編程框架，采用迭代的計(jì)算模型。 ?Twister： 基于 Java的迭代 MapReduce模型，上一輪 Reduce的結(jié)果會直接傳送到下一輪的 Map。 — 網(wǎng)站流量統(tǒng)計(jì)是 Spark Streaming的一種典型的使用場景，這種應(yīng)用既需要具有實(shí)時性，還需要進(jìn)行聚合、去重、連接等統(tǒng)計(jì)計(jì)算操作； — 如果使用 Hadoop MapReduce框架，則可以很容易地實(shí)現(xiàn)統(tǒng)計(jì)需求，但無法保證實(shí)時性；如果使用 Storm這種流式框架則可以保證實(shí)時性，但實(shí)現(xiàn)難度較大； Spark Streaming可以以準(zhǔn)實(shí)時的方式方便地實(shí)現(xiàn)復(fù)雜的統(tǒng)計(jì)需求。 ? Flume： — Flume由 Cloudera 公司開發(fā)，其功能與 Scribe相似，主要用于實(shí)時收集在海量節(jié)點(diǎn)上產(chǎn)生的日志信息，存儲到類似于 HDFS的網(wǎng)絡(luò)文件系統(tǒng)中，并根據(jù)用戶的需求進(jìn)行相應(yīng)的數(shù)據(jù)分析。 — Spark引入了內(nèi)存計(jì)算的概念，運(yùn)行 Spark時服務(wù)器可以將中間數(shù)據(jù)存儲在 RAM內(nèi)存中，大大加速數(shù)據(jù)分析結(jié)果的返回速度，可用于需要互動分析的場景。 MapReduce的批處理模式不支持迭代計(jì)算。 主要的大數(shù)據(jù)處理系統(tǒng) * 2．批處理系統(tǒng) — MapReduce是被廣泛使用的批處理計(jì)算模式。 主要的大數(shù)據(jù)處理系統(tǒng) * ?Impala： — 由 Cloudera公司主導(dǎo)開發(fā)，是運(yùn)行在 Hadoop平臺上的開源的大規(guī)模并行 SQL查詢引擎。 HBase的表能夠作為 MapReduce任務(wù)的輸入和輸出，可以通過 Java API來存取數(shù)據(jù)。 主要的大數(shù)據(jù)處理系統(tǒng) * ? 目前主要的大數(shù)據(jù)處理系統(tǒng)有 : 數(shù)據(jù)查詢分析計(jì)算系統(tǒng)、批處理系統(tǒng)、流式計(jì)算系統(tǒng)、迭代計(jì)算系統(tǒng)、圖計(jì)算系統(tǒng)和內(nèi)存計(jì)算系統(tǒng)。 ? 哈希方法 根據(jù)數(shù)據(jù)的某一行或者某一列的哈希值將數(shù)據(jù)分布到不同的節(jié)點(diǎn) 。 數(shù)據(jù)的類型多種多樣，包括 結(jié)構(gòu)化 數(shù)據(jù)、 半結(jié)構(gòu)化 數(shù)據(jù)和 非結(jié)構(gòu)化 數(shù)據(jù) 。 （ 2）數(shù)據(jù)采集密度 ： ? 以往我們進(jìn)行數(shù)據(jù)采集時的 采樣密度較低 ，獲得的 采樣數(shù)據(jù)有限 ； ? 在大數(shù)據(jù)時代，有了大數(shù)據(jù)處理平臺的支撐，我們可以對需要分析的事件的數(shù)據(jù)進(jìn)行更加密集地采樣 ，從而 精確 地 獲取 事件的 全局?jǐn)?shù)據(jù) 。 大數(shù)據(jù)簡介 * ? 3．生產(chǎn)數(shù)據(jù)的三個階段 — （ 1）被動式生成數(shù)據(jù)： 數(shù)據(jù)庫技術(shù)使得數(shù)據(jù)的保存和管理變得簡單，業(yè)務(wù)系統(tǒng)在運(yùn)行時產(chǎn)生的數(shù)據(jù)直接保存數(shù)據(jù)庫中，這個時候數(shù)據(jù)的產(chǎn)生是被動的，數(shù)據(jù)是隨著業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生的。管理信息系統(tǒng)主要通過用戶輸入和系統(tǒng)的二次加工的方式生成數(shù)據(jù)，其產(chǎn)生的數(shù)據(jù)大多為結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中。大數(shù)據(jù)系統(tǒng)需要滿足以下三個 特性 。 云計(jì)算技術(shù)分類 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 1．什么是大數(shù)據(jù) — 2．?dāng)?shù)據(jù)的來源 — 3．生產(chǎn)數(shù)據(jù)的三個階段 — 4．大數(shù)據(jù)的特點(diǎn) — 5．大數(shù)據(jù)的應(yīng)用領(lǐng)域 * 大數(shù)據(jù)技術(shù)概述 ? 大數(shù)據(jù)簡介 — 計(jì)算和數(shù)據(jù)是信息產(chǎn)業(yè)不變的主題，在信息和網(wǎng)絡(luò)技術(shù)迅速發(fā)展的推動下，人們的感知、計(jì)算、仿真、模擬、傳播等活動產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的產(chǎn)生不受時間、地點(diǎn)的限制，大數(shù)據(jù)的概念逐漸形成，大數(shù)據(jù)涵蓋了計(jì)算和數(shù)據(jù)兩大主題，是產(chǎn)業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)，被譽(yù)為未來十年的革命性技術(shù)。 ? 應(yīng)用層對應(yīng) SaaS軟件即服務(wù)， 如： Google APPS、 SoftWare+Services。 云計(jì)算技術(shù)分類 * — 云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，與大家熟悉的計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中層次的劃分不同。 云計(jì)算技術(shù)分類 * 應(yīng) 用 層平 臺 層基 礎(chǔ) 設(shè) 施 層虛 擬 化 層軟 件 即 服 務(wù) （ S a a S ）平 臺 即 服 務(wù) （ P a a S ）基 礎(chǔ) 設(shè) 施 即 服 務(wù) （ I a a S ）硬 件 即 服 務(wù)四 層 模 型 對 應(yīng) 的 服 務(wù)圖 云計(jì)算服務(wù)體系結(jié)構(gòu) — 如圖所示，云計(jì)算系統(tǒng)按資源封裝的層次分為 IaaS、 PaaS、 SaaS，分為對底層硬件資源不同級別的封裝，從而實(shí)現(xiàn)將資源轉(zhuǎn)變?yōu)榉?wù)的目的。 云計(jì)算技術(shù)分類 * — 平臺即服務(wù)（ Platform as a Service， PaaS）： ? 計(jì)算和存儲資源經(jīng) 封裝 后， 以某種接口和協(xié)議的形式 提供給用戶調(diào)用，資源的使用者不再直接面對底層資源。所以這種云計(jì)算分類方法并不是一種準(zhǔn)確的分類方法，主要是在商業(yè)領(lǐng)域的一種稱呼。 ? 這種技術(shù)的優(yōu)點(diǎn)是用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計(jì)算技術(shù)上應(yīng)用得較為成功； ? 缺點(diǎn)是跨節(jié)點(diǎn)的資源整合代價較大； ? KVM、 VMware都是這類技術(shù)的代表。 云計(jì)算技術(shù)分類 * 1．按技術(shù)路線分類 — 資源整合型云計(jì)算： 這種類型的云計(jì)算系統(tǒng)在技術(shù)實(shí)現(xiàn)方面大多體現(xiàn)為集群架構(gòu)，通過將大量節(jié)點(diǎn)的計(jì)算資源和存儲資源整合后輸出。 — 用戶數(shù)據(jù)存儲在服務(wù)器端，而應(yīng)用程序在服務(wù)器端運(yùn)行，計(jì)算由服務(wù)器端來處理。 — 從最終用戶的角度看 ，基于云計(jì)算系統(tǒng)的應(yīng)用服務(wù)通常都是通過網(wǎng)絡(luò)來提供的，應(yīng)用開發(fā)者將云計(jì)算中心的計(jì)算、存儲等資源封裝為不同的應(yīng)用后往往會通過網(wǎng)絡(luò)提供給最終的用戶。 云計(jì)算的特點(diǎn) * （ 2）按需提供資源服務(wù) — 云計(jì)算系統(tǒng)帶給客戶最重要的好處就是敏捷地 適應(yīng)用戶對資源不斷變化的需求 ； — 云計(jì)算系統(tǒng)實(shí)現(xiàn) 按需向用戶提供資源 能大大節(jié)省用戶的硬件資源開支，用戶不用自己購買并維護(hù)大量固定的硬件資源，只需向自己實(shí)際消費(fèi)的資源量來付費(fèi)； — 按需提供資源服務(wù)使應(yīng)用開發(fā)者在邏輯上可以認(rèn)為資源池的大小是不受限制的，應(yīng)用開發(fā)者的主要精力只需要集中在自己的應(yīng)用上。從資源低效率的分散使用到資源高效的集約化使用正是云計(jì)算的基本特征之一。 云計(jì)算簡介 * ? 云計(jì)算時代基本的 3種角色： 資源的整合運(yùn)營者、資源的使用者、終端客戶。 云計(jì)算簡介 * ? 云計(jì)算技術(shù)的出現(xiàn)改變了信息產(chǎn)業(yè)傳統(tǒng)的格局。 ? 從廣義上說，云計(jì)算技術(shù)幾乎包括了當(dāng)前信息技術(shù)中的絕大部分。 * ? 云計(jì)算技術(shù)的內(nèi)容很多 — 包括分布式計(jì)算技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)技術(shù)、服務(wù)器技術(shù)、數(shù)據(jù)中心技術(shù)、云計(jì)算平臺技術(shù)、存儲技術(shù)等。 —云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。 — 云計(jì)算技術(shù)使資源與用戶需求之間是一種彈性化的關(guān)系，資源的使用者和資源的整合者并不是一個企業(yè)，資源的使用者只需要對資源按需付費(fèi)，從而敏捷地響應(yīng)客戶不斷變化的資源需求，這一方法降低了資源使用者的成本，提高了資源的利用效率。 云計(jì)算簡介 * ? 云計(jì)算的特點(diǎn) — 1． 資源池彈性可擴(kuò)張 — 2． 按需提供資源服務(wù) — 3． 虛擬化 — 4． 網(wǎng)絡(luò)化的資源接入 — 5． 高可靠性和安全性 云計(jì)算的特點(diǎn) * ? 與傳統(tǒng)的資源提供方向相比，云計(jì)算具有以下特點(diǎn)： （ 1）資源池彈性可擴(kuò)張 — 云計(jì)算系統(tǒng)的一個重要特征就是 資源的集中管理和輸出 ，這就是所謂的資源池。 — 大多數(shù)云計(jì)算系統(tǒng)都能較為方便地實(shí)現(xiàn)新資源的加入。 云計(jì)算的特點(diǎn) * （ 4）網(wǎng)絡(luò)化的資源接入。 云計(jì)算的特點(diǎn) * （ 5）高可靠性和安全性。 云計(jì)算的特點(diǎn) * 云計(jì)算技術(shù)分類 ? 云計(jì)算技術(shù)分類 — 1．按技術(shù)路線分類 — 2．按服務(wù)對象分類 — 3．按資源封裝的層次分類 * ? 目前已出現(xiàn)的云計(jì)算技術(shù)種類非常多，對于云計(jì)算的分類可以有多種角度： — 從技術(shù)路線角度可以分為資源整合型云計(jì)算和資源切分型云計(jì)算； — 從服務(wù)對像角度可以被分為公有云和私有云； — 按資源封裝的層次來分可以分為： ? 基礎(chǔ)設(shè)施即服務(wù)（ Infrastructure as a Service， IaaS） ? 平臺即服務(wù)（ Platform as a Service， PaaS） ? 軟件即服務(wù)（ Software as a Service， SaaS）。 云計(jì)算技術(shù)分類 * — 資源切分型云計(jì)算： 這種類型最為典型的就是虛擬化系統(tǒng)，這類云計(jì)算系統(tǒng)通過系統(tǒng)虛擬化實(shí)現(xiàn)對單個服務(wù)器資源的彈性化切分，從而有效地利用服務(wù)器資源，其核心技術(shù)為虛擬化技術(shù)。 — 公有云與私有云的界限并不是特別清晰，有時服務(wù)于一個地區(qū)