【文章內(nèi)容簡介】 60。 其次，云數(shù)據(jù)庫可以滿足中小企業(yè)的低成本數(shù)據(jù)存儲需求。中小企業(yè)在IT基礎(chǔ)設(shè)施方面的投人比較有限，非?？释麖牡谌椒奖?、快捷、廉價地獲得數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫采用多租戶方式同時為多個用戶提供服務(wù)，降低了單個用戶的使用成本，而且用戶使用云數(shù)據(jù)庫服務(wù)通常按需付費，不會浪費資源造成額外支出，因此，云數(shù)據(jù)庫使用成本很低，對于中小企業(yè)而言可以大大降低企業(yè)的信息化門檻，讓企業(yè)在付出較低成本的同時，獲得優(yōu)質(zhì)的專業(yè)級數(shù)據(jù)庫服務(wù),從而有效提升企業(yè)信息化水平。 另外，云數(shù)據(jù)庫可以滿足企業(yè)動態(tài)變化的數(shù)據(jù)存儲需求。企業(yè)在不同時期需要存儲的數(shù)據(jù)量是不斷變化的，有時增加，有時減少。在小規(guī)模應(yīng)用的情況下，系統(tǒng)負載的變化可以由系統(tǒng)空閑的多余資源來處理,但是，在大規(guī)模應(yīng)用的情況下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫由于其伸縮性較差，不僅無法滿足應(yīng)用需求，而且會給企業(yè)帶來高昂的存儲成本和管理開銷。而云數(shù)據(jù)庫的良好伸縮性，可以讓企業(yè)在需求增加時立即獲得數(shù)據(jù)庫能力的提升,在需求減少時立即釋放多余的數(shù)據(jù)庫能力,較好地滿足企業(yè)的動態(tài)數(shù)據(jù)存儲需求。答：云數(shù)據(jù)庫供應(yīng)商主要分為三類。1) 傳統(tǒng)的數(shù)據(jù)庫廠商，如Teradata、Oracle、IBM DB2和Microsoft SQLServer等。2) 涉足數(shù)據(jù)庫市場的云供應(yīng)商，如Amazon、!、阿里、百度、騰訊等。3) 新興廠商，和EnterpriseDB等。系統(tǒng)的功能。答： UMP系統(tǒng)是構(gòu)建在一個大的集群之上的，通過多個組件的協(xié)同作業(yè)，整個系統(tǒng)實現(xiàn)了對用戶透明的 容災(zāi)、讀寫分離、分庫分表、資源管理、資源調(diào)度、資源隔離和數(shù)據(jù)安全功能。云數(shù)據(jù)庫必須向用戶提供一直可用的數(shù)據(jù)庫連接，當MySQL實例發(fā)生故障時，系統(tǒng)必須自動執(zhí)行故障恢復(fù)，所有故障處理過程對于用戶而言是透明的，用戶不會感知到后臺發(fā)生的一切。為了實現(xiàn)容災(zāi)，UMP系統(tǒng)會為每個用戶創(chuàng)建兩個MySQL實例，一個是主庫，一個是從庫，而且，這兩個MySQL實例之間互相把對方設(shè)置為備份機，任意一個MySQL實例上面發(fā)生的更新都會復(fù)制到對方。同時，Proxy服務(wù)器可以保證只向主庫寫人數(shù)據(jù)。由于每個用戶都有兩個MySQL實例，即主庫和從庫，因此，可以充分利用主從庫實現(xiàn)用戶讀寫操作的分離，實現(xiàn)負載均衡。UMP系統(tǒng)實現(xiàn)了對于用戶透明的讀寫分離功能，當整個功能被開啟時，負責向用戶提供訪問MySQL數(shù)據(jù)庫服務(wù)的Proxy服務(wù)器，就會對用戶發(fā)起的SQL語句進行解析，如果屬于寫操作,就直接發(fā)送到主庫，如果是讀操作，就會被均衡地發(fā)送到主庫和從庫上執(zhí)行。UMP支持對用戶透明的分庫分表(Shard/HorizontalPartition)。但是，用戶在創(chuàng)建賬號的時候需要指定類型為多實例，并且設(shè)置實例的個數(shù)，系統(tǒng)會根據(jù)用戶設(shè)置來創(chuàng)建多組MySQL實例。除此以外，用戶還需要自己設(shè)定分庫分表規(guī)則，如需要確定分區(qū)字段，也就是根據(jù)哪個字段進行分庫分表，還要確定分區(qū)字段里的值如何映射到不同的MySQL實例上。UMP系統(tǒng)采用資源池機制來管理數(shù)據(jù)庫服務(wù)器上的CPU、內(nèi)存、磁盤等計算資源，所有的計算資源都放在資源池內(nèi)進行統(tǒng)一分配，資源池是為MySQL實例分配資源的基本單位。整個集群中的所有服務(wù)器會根據(jù)其機型、所在機房等因素被劃分為多個資源池，每臺服務(wù)器會被加人到相應(yīng)的資源池。在資源池劃分的基礎(chǔ)上，UMP還在每臺服務(wù)器內(nèi)部采用Cgroup將資源進一步地細化，從而可以限制每個進程組使用資源的上限，同時保證進程組之間相互隔離。UMP系統(tǒng)中有3種規(guī)格的用戶，分別是數(shù)據(jù)量和流量比較小的用戶、中等規(guī)模用戶以及需要分庫分表的用戶。多個小規(guī)模用戶可以共享同一個MySQL實例。對于中等規(guī)模的用戶，每個用戶獨占個MySQL實例。用戶可以根據(jù)自己的需求來調(diào)整內(nèi)存空間和磁盤空間，如果用戶需要更多的資源，就可以遷移到資源有空閑或者具有更高配置的服務(wù)器上對于分庫分表的用戶，會占有多個獨立的MySQL實例，這些實例既可以共存在同一臺物理機上，也可以每個實例獨占一臺物理機。UMP通過MySQL實例的遷移來實現(xiàn)資源調(diào)度。借助于阿里集團中間件團隊開發(fā)的愚公系統(tǒng)，UMP可以實現(xiàn)在不停機的情況下動態(tài)擴容、縮容和遷移。當多個用戶共享同一個MySQL實例或者多個MySQL實例共存在同一個物理機上時，為了保護用戶應(yīng)用和數(shù)據(jù)的安全，必須實現(xiàn)資源隔離，否則，某個用戶過多消耗系統(tǒng)資源會嚴重影響到其他用戶的操作性能。 數(shù)據(jù)安全是讓用戶放心使用云數(shù)據(jù)庫產(chǎn)品的關(guān)鍵，尤其是企業(yè)用戶，數(shù)據(jù)庫中存放了很多業(yè)務(wù)數(shù)據(jù)，有些屬于商業(yè)機密，一旦泄露，會給企業(yè)造成損失。UMP系統(tǒng)設(shè)計了多種機制來保證數(shù)據(jù)安全。1) SSL數(shù)據(jù)庫連接。2) 數(shù)據(jù)訪問IP白名單。3) 記錄用戶操作日志。4) SQL攔截。13.UMP系統(tǒng)是如何保障數(shù)據(jù)安全的? 答：1) SSL數(shù)據(jù)庫連接。SSL (Secure Sockets Layer) 是為網(wǎng)絡(luò)通信提供安全及數(shù)據(jù)完整性的一種安全協(xié)議，它在傳輸層對網(wǎng)絡(luò)連接進行加密。Proxy 服務(wù)器實現(xiàn)了完整的MySQL 客戶端服務(wù)器協(xié)議，可以與客戶端之間建立SSL 數(shù)據(jù)庫連接。2) 數(shù)據(jù)訪問IP白名單?？梢园言试S訪問云數(shù)據(jù)庫的IP 地址放入“白名單”，只有白名單內(nèi)的IP地址才能訪問，其他IP地址的訪問都會被拒絕，從而進一步保證賬戶安全。3) 記錄用戶操作日志。用戶的所有操作記錄都會被記錄到日志分析服務(wù)器，通過檢查用戶操作記錄，可以發(fā)現(xiàn)隱藏的安全漏洞。4) SQL攔截。Proxy 服務(wù)器可以根據(jù)要求攔截多種類型的SQL 語句，比如全表掃描語句select *”。15.簡述RDS中實例與數(shù)據(jù)庫的概念。答：RDS實例或簡稱“實例”，是用戶購買RDS服務(wù)的基本單位。在實例中可以創(chuàng)建多個數(shù)據(jù)庫，可以使用常見的數(shù)據(jù)庫客戶端連接、管理及使用數(shù)據(jù)庫?？梢酝ㄟ^RDS管理控制臺或OPENAPI來創(chuàng)建、修改和刪除數(shù)據(jù)庫。各實例之間相互獨立、資源隔離，相互之間不存在CPU、內(nèi)存、IOPS等搶占問題。但是，同一實例中的不同數(shù)據(jù)庫之間是資源共享的。每個實例擁有其自己的特性，如數(shù)據(jù)庫類型、版本等，系統(tǒng)有相應(yīng)的參數(shù)來控制實例行為。用戶所購買RDS實例的性能，取決于購買RDS實例時所選擇的配置，可供用戶選擇的硬件配置項為內(nèi)存和磁盤容量。 RDS數(shù)據(jù)庫或簡稱“數(shù)據(jù)庫”，是用戶在一個實例下創(chuàng)建的邏輯單元，一個實例可以創(chuàng)建多個數(shù)據(jù)庫，在實例內(nèi)數(shù)據(jù)庫命名唯一，所有數(shù)據(jù)庫都會共享該實例下的資源，如CPU、內(nèi)存、磁盤容量等。RDS不支持使用標準的SQL語句或客戶端工具創(chuàng)建數(shù)據(jù)庫，必須使用OPENAPI或RDS管理控制臺進行操作。16.列舉連接RDSforMySQL數(shù)據(jù)庫的4種方法。答： 方法1:使用客戶端MySQLFront訪問。使用客戶端MySQLFront,在連接Host框中輸人數(shù)據(jù)實例鏈接地址、端口(默認3306)、數(shù)據(jù)庫用戶名和數(shù)據(jù)庫密碼后，單擊“確定”按鈕即可。方法2: 使用數(shù)據(jù)庫管理T具NavicatMySQL。Navicat_MySQL是一套專為MySQL設(shè)計的強大的數(shù)據(jù)庫管理及開發(fā)工具，可以在連接輸人框中輸人數(shù)據(jù)實例地址、端口(默認3306)、數(shù)據(jù)庫用戶名和數(shù)據(jù)庫密碼后，單擊“確定”按鈕即可。方法3:使用MySQL命令登錄。用戶安裝MySQL客戶端后，可進人命令行方式連接數(shù)據(jù)庫。命令格式如下。mysql uuser_name h P3306 pxxxx 其中，u指定的是用戶名，h指定的是主機名，P指定的是端口，p指定的是密碼。方法4:使用阿里云控制臺iDBCloud訪問。阿里云控制臺iDBCloud的頁面如圖67所示，RDS連接地址以及端口不需要再輸人，只需在“用戶名”中輸人數(shù)據(jù)庫的賬號,在“密碼”欄中輸人數(shù)據(jù)庫賬號的密碼，便可以登錄RDS進行數(shù)據(jù)操作了。第七章。答：谷歌公司最先提出了分布式并行編程模型MapReduce, Hadoop MapReduce是它的開源實現(xiàn)。谷歌的MapReduce運行在分布式文件系統(tǒng)GFS上，與谷歌類似，HadoopMapReduce運行在分布式文件系統(tǒng)HDFS上。相對而言，HadoopMapReduce要比谷歌MapReduce的使用門檻低很多，程序員即使沒有任何分布式程序開發(fā)經(jīng)驗，也可以很輕松地開發(fā)出分布式程序并部署到計算機集群中。是處理大數(shù)據(jù)的有力工具，但不是每個任務(wù)都可以使用MapReduce來進行處理。試述適合用MapReduce來處理的任務(wù)或者數(shù)據(jù)集需滿足怎樣的要求。答：適合用MapReduce來處理的數(shù)據(jù)集，需要滿足一個前提條件:待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行地進行處理。3. MapReduce模型采用Master(JobTracker)Slave(TaskTracker)結(jié)構(gòu)，試描述JobTracker和TasKTracker的功能。答：MapReduce框架采用了Master/Slave架構(gòu)，包括一個Master和若干個Slave。Master上運行JobTracker,Slave上運行TaskTrackero用戶提交的每個計算作業(yè)，會被劃分成若千個任務(wù)。JobTracker負責作業(yè)和任務(wù)的調(diào)度，監(jiān)控它們的執(zhí)行，并重新調(diào)度已經(jīng)失敗的任務(wù)。TaskTracker負責執(zhí)行由JobTracker指派的任務(wù)。(需包括提交任務(wù)、Map、Shuffle、Reduce的過程)。 :移動計算比移動數(shù)據(jù)更經(jīng)濟。試述什么是本地計算，并分析為何要采用本地計算。答：MapReduce設(shè)計的一個理念就是“計算向數(shù)據(jù)靠攏”，而不是“數(shù)據(jù)向計算靠攏”，因為移動數(shù)據(jù)需要大量的網(wǎng)絡(luò)傳輸開銷，尤其是在大規(guī)模數(shù)據(jù)環(huán)境下，這種開銷尤為驚人，所以，移動計算要比移動數(shù)據(jù)更加經(jīng)濟。本地計算：在一個集群中，只要有可能，MapReduce框架就會將Map程序就近地在HDFS數(shù)據(jù)所在的節(jié)點運行，即將計算節(jié)點和存儲節(jié)點放在一起運行，從而減少了節(jié)點間的數(shù)據(jù)移動開銷。，所啟動的Map任務(wù)數(shù)量和Reduce任務(wù)數(shù)量各是由什么因素決定的。?如果不是，請舉例說明。答：不是。對于關(guān)系的選擇運算，只需要Map過程就能實現(xiàn)，對于關(guān)系R中的每個元組t,檢測是否是滿足條件的所需元組，如果滿足條件，則輸出鍵值對,也就是說，鍵和值都是t。這時的Reduce函數(shù)就只是一個恒等式，對輸入不做任何變換就直接輸出。?是否所有的MapReduce程序都可以采用Combiner?為什么?答：對于每個分區(qū)內(nèi)的所有鍵值對，后臺線程會根據(jù)key對它們進行內(nèi)存排序(Sort),排序是MapReduce的默認操作。排序結(jié)束后，還包含一個可選的合并(Combine)操作。如果用戶事先沒有定義Combiner函數(shù)，就不用進行合并操作。如果用戶事先定義了Combiner函數(shù)，則這個時候會執(zhí)行合并操作，從而減少需要溢寫到磁盤的數(shù)據(jù)量。所謂“合并”，是指將那些具有相同key的key,value的value加起來，比如，有兩個鍵值對*xmu,1和*xmu,1,經(jīng)過合并操作以后就可以得到一個鍵值對*xmu,2,減少了鍵值對的數(shù)量。 不過，并非所有場合都可以使用Combiner,因為，Combiner的輸出是Reduce任務(wù)的輸人，Combiner絕不能改變Reduce任務(wù)最終的計算結(jié)果，一般而言，累加、最大值等場景可以使用合并操作。、輸出文件都存儲在HDFS中，而在Map任務(wù)完成時的中間結(jié)果則存儲在本地磁盤中。試分析中間結(jié)果存儲在本地磁盤而不是HDFS上有何優(yōu)缺點。答：第八章 試述在Hadoop推出之后其優(yōu)化與發(fā)展主要體現(xiàn)在哪兩個方面。答：Hadoop對MapReduce和GDFS的許多方面做了有針對性的改進提升。 。答：，不僅會帶來單點故障問題，還存在可擴展性、性能和隔離性等問題。在可擴展性方面，名稱節(jié)點把整個HDFS文件系統(tǒng)中的元數(shù)據(jù)信息都保存在自己的內(nèi)存中，不可以水平擴展，而單個名稱節(jié)點的內(nèi)存空間是由上限的，這限制了系統(tǒng)中數(shù)據(jù)塊、文件和目錄的數(shù)目。在系統(tǒng)整體性能方面，整個HDFS文件系統(tǒng)的性能會受限于單個名稱節(jié)點的吞吐量。在隔離性方面，單個名稱節(jié)點難以提供不同程序之間的隔離性，一個程序可能會影響會影響其他運行的程序。 請描述HDFS HA架構(gòu)組成組建及其具體功能。答：在一個典型的HA集群中，一般設(shè)置兩個名稱節(jié)點，其中一個名稱節(jié)點處于“活躍”狀態(tài)，另一個處于“待命”狀態(tài)。處于活躍狀態(tài)的名稱節(jié)點負責對外處理所有客戶端的請