【正文】 . 如何準(zhǔn)確理解NoSQL的含義？NoSQL是一種不同于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)庫管理系統(tǒng)設(shè)計(jì)方式，是對(duì)非關(guān)系型數(shù)據(jù)庫的一類統(tǒng)稱，它采用的數(shù)據(jù)模型并非傳統(tǒng)關(guān)系數(shù)據(jù)庫的關(guān)系模型，而是類似鍵/值、列族、文檔等非關(guān)系模型。18. 當(dāng)一臺(tái)Region服務(wù)器意外終止時(shí)，Master如何發(fā)現(xiàn)這種意外終止情況？為了恢復(fù)這臺(tái)發(fā)生意外的Region服務(wù)器上的Region,Master應(yīng)該做出哪些處理(包括如何使用HLog進(jìn)行恢復(fù))? Zookeeper會(huì)實(shí)時(shí)監(jiān)測(cè)每個(gè)Region服務(wù)器的狀態(tài)，當(dāng)某個(gè)Region服務(wù)器發(fā)生故障時(shí)，Zookeeper會(huì)通知Master。17. 在HBase中，每個(gè)Region服務(wù)器維護(hù)一個(gè)HLog，而不是為每個(gè)Region都單獨(dú)維護(hù)一個(gè)HLog。15. 試述HStore的工作原理每個(gè)Store對(duì)應(yīng)了表中的一個(gè)列族的存儲(chǔ)。13. 試述HBase系統(tǒng)基本架構(gòu)以及每個(gè)組成部分的作用。11. 試述HBase的三層結(jié)構(gòu)中各層次的名稱和作用。在物理視圖中，一個(gè)表會(huì)按照屬于同一列族的數(shù)據(jù)保存在一起8. 試述HBase各功能組建及其作用（1）庫函數(shù)：鏈接到每個(gè)客戶端；（2）一個(gè)Master主服務(wù)器：主服務(wù)器Master主要負(fù)責(zé)表和Region的管理工作；（3）許多個(gè)Region服務(wù)器：Region服務(wù)器是HBase中最核心的模塊，負(fù)責(zé)維護(hù)分配給自己的Region，并響應(yīng)用戶的讀寫請(qǐng)求9. 請(qǐng)闡述HBase的數(shù)據(jù)分區(qū)機(jī)制。列族名必須由可打印字符組成，創(chuàng)建表的時(shí)候不需要定義好列。2. 請(qǐng)闡述HBase和BigTable的底層技術(shù)的對(duì)應(yīng)關(guān)系答：項(xiàng)目BigTableHBase文件存儲(chǔ)系統(tǒng)GFSHDFS海量數(shù)據(jù)處理MapReduceHadoop MapReduce協(xié)同服務(wù)管理ChubbyZookeeper3. 請(qǐng)闡述HBase和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別答：區(qū)別傳統(tǒng)關(guān)系數(shù)據(jù)庫HBase數(shù)據(jù)類型關(guān)系模型數(shù)據(jù)模型數(shù)據(jù)操作插入、刪除、更新、查詢、多表連接插入、查詢、刪除、清空，無法實(shí)現(xiàn)表與表之間關(guān)聯(lián)存儲(chǔ)模式基于行模式存儲(chǔ)，元組或行會(huì)被連續(xù)地存儲(chǔ)在磁盤也中基于列存儲(chǔ)，每個(gè)列族都由幾個(gè)文件保存，不同列族的文件是分離的數(shù)據(jù)索引針對(duì)不同列構(gòu)建復(fù)雜的多個(gè)索引只有一個(gè)行鍵索引數(shù)據(jù)維護(hù)用最新的當(dāng)前值去替換記錄中原來的舊值更新操作不會(huì)刪除數(shù)據(jù)舊的版本，而是生成一個(gè)新的版本可伸縮性很難實(shí)現(xiàn)橫向擴(kuò)展，縱向擴(kuò)展的空間也比較有限輕易地通過在集群中增加或者減少硬件數(shù)量來實(shí)現(xiàn)性能的伸縮4. HBase有哪些類型的訪問接口？答：HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等訪問接口。也支持從標(biāo)準(zhǔn)輸入(stdin)中讀取輸入寫入目標(biāo)文件系統(tǒng)。hadoop fs ls path 顯示path指定的文件的詳細(xì)信息hadoop fs cat path 將path指定的文件的內(nèi)容輸出到標(biāo)準(zhǔn)輸出hadoop fs mkdir path 創(chuàng)建path指定的文件夾hadoop fs get [ignorecrc] [crc] srclocaldst 復(fù)制src指定的文件到本地文件系統(tǒng)localdst指定的文件或文件夾。HDFS中的塊，默認(rèn)一個(gè)塊大小為64MB，而HDFS中的文件會(huì)被拆分成多個(gè)塊，每個(gè)塊作為獨(dú)立的單元進(jìn)行存儲(chǔ)。Chukwa是一個(gè)開源的、用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，可以將各種類型的數(shù)據(jù)收集成適合Hadoop處理的文件，并保存在HDFS中供Hadoop進(jìn)行各種 MapReduce操作。Zoookepper是針對(duì)谷歌Chubby的一個(gè)開源實(shí)現(xiàn)，是高效和可靠的協(xié)同工作系統(tǒng)，提供分布式鎖之類的基本服務(wù)，用于構(gòu)建分布式應(yīng)用，減輕分布式應(yīng)用程序所承擔(dān)的協(xié)調(diào)任務(wù)。答：PigChukwaHiveHBaseMapReduceHDFSZookeeperCommonAvroCommeon是為Hadoop其他子項(xiàng)目提供支持的常用工具，主要包括文件系統(tǒng)、RPC和串行化庫Avro是為Hadoop的子項(xiàng)目，用于數(shù)據(jù)序列化的系統(tǒng)，提供了豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進(jìn)制數(shù)據(jù)格式、存儲(chǔ)持續(xù)性數(shù)據(jù)的文件集、遠(yuǎn)程調(diào)用的功能和簡(jiǎn)單的動(dòng)態(tài)語言集成功能。2. 試述Hadoop具有哪些特性。大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的區(qū)別大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的聯(lián)系大數(shù)據(jù)側(cè)重于海量數(shù)據(jù)的存儲(chǔ)、處理與分析，海量數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，服務(wù)于生產(chǎn)和生活；云計(jì)算本質(zhì)上皆在整合和優(yōu)化各種IT資源并通過網(wǎng)絡(luò)已服務(wù)的方法，廉價(jià)地提供給用戶；物聯(lián)網(wǎng)的發(fā)展目標(biāo)是實(shí)現(xiàn)嗚嗚向量，應(yīng)用創(chuàng)新是物聯(lián)網(wǎng)的核心從整體來看，大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)這三者是相輔相成的。答：IT基礎(chǔ)設(shè)施層、數(shù)據(jù)源層、數(shù)據(jù)管理層、數(shù)據(jù)分析層、數(shù)據(jù)平臺(tái)層、數(shù)據(jù)應(yīng)用層。大數(shù)據(jù)決策可以面向類型繁多的、非結(jié)構(gòu)化的海量數(shù)據(jù)進(jìn)行決策分析。4. 試述大數(shù)據(jù)時(shí)代的“數(shù)據(jù)爆炸”的特性答：大數(shù)據(jù)時(shí)代的“數(shù)據(jù)爆炸”的特性是，人類社會(huì)產(chǎn)生的數(shù)據(jù)一致都以每年50%的速度增長(zhǎng)，也就是說，每?jī)赡暝黾右槐丁? . . .第一章。5. 數(shù)據(jù)研究經(jīng)歷了哪4個(gè)階段？答：人類自古以來在科學(xué)研究上先后歷經(jīng)了實(shí)驗(yàn)、理論、計(jì)算、和數(shù)據(jù)四種范式。8. 舉例說明大數(shù)據(jù)的基本應(yīng)用答：領(lǐng)域大數(shù)據(jù)的應(yīng)用金融行業(yè)大數(shù)據(jù)在高頻交易、社區(qū)情緒分析和信貸風(fēng)險(xiǎn)分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重要作用。11. 定義并解釋以下術(shù)語：云計(jì)算、物聯(lián)網(wǎng)答： 云計(jì)算：云計(jì)算就是實(shí)現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價(jià)的分布式計(jì)算機(jī)能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時(shí)隨地獲得所需的各種IT資源。大數(shù)據(jù)根植于云計(jì)算，大數(shù)據(jù)分析的很多技術(shù)都來自于云計(jì)算，云計(jì)算的分布式存儲(chǔ)和管理系統(tǒng)提供了海量數(shù)據(jù)的存儲(chǔ)和管理能力，沒有這些云計(jì)算技術(shù)作為支撐，大數(shù)據(jù)分析就無從談起。答：高可靠性，高效性，高可擴(kuò)展性，高容錯(cuò)性，成本低，運(yùn)行在Linux平臺(tái)，支持多種編程語言3. 試述Hadoop在各個(gè)領(lǐng)域的應(yīng)用情況。HDFS是Hadoop項(xiàng)目的兩個(gè)核心之一，它是針對(duì)谷歌文件系統(tǒng)的開源實(shí)現(xiàn)。Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉庫工具，可以用于對(duì)Hadoop文件中的數(shù)據(jù)集進(jìn)行數(shù)據(jù)整理、特殊查詢和分布存儲(chǔ)。第三章1． 試述分布式文件系統(tǒng)設(shè)計(jì)的需求。HDFS在塊的大小的設(shè)計(jì)上明顯要大于普通文件系統(tǒng)。ignorecrc選項(xiàng)復(fù)制CRC校驗(yàn)失敗的文件。hadoop fs rmr path 刪除path指定的文件夾及其的所有文件第四章1. 試述在Hadoop體系架構(gòu)中HBase與其他組成部分的相互關(guān)系。5. 請(qǐng)以實(shí)例說明HBase數(shù)據(jù)模型。(3) 時(shí)間戳，默認(rèn)由系統(tǒng)指定，用戶也可以顯示設(shè)置。答： HBase采用分區(qū)存儲(chǔ)，一個(gè)大的表會(huì)被分拆許多個(gè)Region，這些Region會(huì)被分發(fā)到不同的服務(wù)器上實(shí)現(xiàn)分布式存儲(chǔ)。層次名稱作用第一層Zookeeper文件記錄了ROOT表的位置信息第二層ROOT表ROOT表只能有一個(gè)Region。（1）客戶端客戶端包含訪問HBase的接口，同時(shí)在緩存中維護(hù)著已經(jīng)訪問過的Region位置信息，用來加快后續(xù)數(shù)據(jù)訪問過程（2）Zookeeper服務(wù)器Zookeeper可以幫助選舉出一個(gè)Master作為集群的總管，并保證在任何時(shí)刻總有唯一一個(gè)Master在運(yùn)行，這就避免了Master的“單點(diǎn)失效”問題（3）Master主服務(wù)器Master主要負(fù)責(zé)表和Region的管理工作：管理用戶對(duì)表的增加、刪除、修改、查詢等操作；實(shí)現(xiàn)不同Region服務(wù)器之間的負(fù)載均衡；在Region分裂或合并后，負(fù)責(zé)重新調(diào)整Region的分布；對(duì)發(fā)生故障失效的Region服務(wù)器上的Region進(jìn)行遷移（4）Region服務(wù)器Region服務(wù)器是HBase中最核心的模塊，負(fù)責(zé)維護(hù)分配給自己的Region，并響應(yīng)用戶的讀寫請(qǐng)求14. 請(qǐng)闡述Region服務(wù)器向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)的基本原理Region服務(wù)器內(nèi)部管理一系列Region對(duì)象和一個(gè)HLog文件，其中，HLog是磁盤上面的記錄文件，它記錄著所有的更新操作。每個(gè)Store包括一個(gè)MenStore緩存和若干個(gè)StoreFile文件。請(qǐng)說明這種做法的優(yōu)缺點(diǎn)。Master首先會(huì)處理該故障Region服務(wù)器上面遺留的HLog文件，這個(gè)遺留的HLog文件中包含了來自多個(gè)Region對(duì)象的日志記錄。2. 。數(shù)據(jù)庫適用場(chǎng)合優(yōu)點(diǎn)缺點(diǎn)鍵值數(shù)據(jù)庫通過鍵而是通過值來查的業(yè)務(wù)擴(kuò)展性好，靈活性好，大量寫操作時(shí)性能高無法存儲(chǔ)結(jié)構(gòu)化信息，條件查詢效率較低列族數(shù)據(jù)庫不需要ACID事務(wù)支持的情形查找速度快，可擴(kuò)展性強(qiáng)，容易進(jìn)行分布式擴(kuò)展，復(fù)雜性低功能較少，大都不支持強(qiáng)事務(wù)一致性文檔數(shù)據(jù)庫只在相同的文檔上添加事務(wù)性能好（高并發(fā)），靈活性高，復(fù)雜性低，數(shù)據(jù)結(jié)構(gòu)靈活提供嵌入式文檔功能，將經(jīng)常查詢的數(shù)據(jù)存儲(chǔ)在同一個(gè)文檔中既可以根據(jù)鍵來構(gòu)建索引，也可以根據(jù)內(nèi)容構(gòu)建索引缺乏統(tǒng)一的查詢語法圖形數(shù)據(jù)庫具有高度相互關(guān)聯(lián)關(guān)系的數(shù)據(jù)靈活性高，支持復(fù)雜的圖形算法，可用于構(gòu)建復(fù)雜的關(guān)系圖譜復(fù)雜性高，只能支持一定的數(shù)據(jù)規(guī)模。（consistency）指事務(wù)在完成時(shí)，必須使所有的數(shù)據(jù)都保持一致狀態(tài)?！败洜顟B(tài)（softstate）”是與“硬狀態(tài)（hardstate）”相對(duì)應(yīng)的一種提法。如果由于某些失敗情形令會(huì)話終止，就要建立新的會(huì)話，而且系統(tǒng)保證不會(huì)延續(xù)到新的會(huì)話；（2） 單調(diào)寫一致性：系統(tǒng)保證來自同一個(gè)進(jìn)程的寫操作順序執(zhí)行。所有后續(xù)的訪問都可以讀取到操作OP寫入的最新值。第六章。，云計(jì)算這種模式具有哪些明顯的優(yōu)勢(shì)??答：1）動(dòng)態(tài)可擴(kuò)展 2)高可用性 3)較低的使用代價(jià)4)易用性 5)高性能 6)免維護(hù) 7)安全。 首先，云數(shù)據(jù)庫可以滿足大企業(yè)的海量數(shù)據(jù)存儲(chǔ)需求。云數(shù)據(jù)庫采用多租戶方式同時(shí)為多個(gè)用戶提供服務(wù)，降低了單個(gè)用戶的使用成本，而且用戶使用云數(shù)據(jù)庫服務(wù)通常按需付費(fèi)，不會(huì)浪費(fèi)資源造成額外支出，因此，云數(shù)據(jù)庫使用成本很低，對(duì)于中小企業(yè)而言可以大大降低企業(yè)的信息化門檻，讓企業(yè)在付出較低成本的同時(shí)，獲得優(yōu)質(zhì)的專業(yè)級(jí)數(shù)據(jù)庫服務(wù),從而有效提升企業(yè)信息化水平。而云數(shù)據(jù)庫的良好伸縮性，可以讓企業(yè)在需求增加時(shí)立即獲得數(shù)據(jù)庫能力的提升,在需求減少時(shí)立即釋放多余的數(shù)據(jù)庫能力,較好地滿足企業(yè)的動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)需求。Server等。同時(shí)，Proxy服務(wù)器可以保證只向主庫寫人數(shù)據(jù)。語句進(jìn)行解析，如果屬于寫操作,就直接發(fā)送到主庫，如果是讀操作，就會(huì)被均衡地發(fā)送到主庫和從庫上執(zhí)行。除此以外，用戶還需要自己設(shè)定分庫分表規(guī)則，如需要確定分區(qū)字段，也就是根據(jù)哪個(gè)字段進(jìn)行分庫分表，還要確定分區(qū)字段里的值如何映射到不同的MySQL整個(gè)集群中的所有服務(wù)器會(huì)根據(jù)其機(jī)型、所在機(jī)房等因素被劃分為多個(gè)資源池，每臺(tái)服務(wù)器會(huì)被加人到相應(yīng)的資源池。對(duì)于中等規(guī)模的用戶，每個(gè)用戶獨(dú)占個(gè)MySQL可以實(shí)現(xiàn)在不停機(jī)的情況下動(dòng)態(tài)擴(kuò)容、縮容和遷移。 數(shù)據(jù)安全是讓用戶放心使用云數(shù)據(jù)庫產(chǎn)品的關(guān)鍵，尤其是企業(yè)用戶，數(shù)據(jù)庫中存放了很多業(yè)務(wù)數(shù)據(jù)，有些屬于商業(yè)機(jī)密，一旦泄露，會(huì)給企業(yè)造成損失。數(shù)據(jù)庫連接。白名單。4) SQL攔截。系統(tǒng)是如何保障數(shù)據(jù)安全的? 答：1) SSLSSL (Secure Sockets Layer) 是為網(wǎng)絡(luò)通信提供安全及數(shù)據(jù)完整性的一種安全協(xié)議，它在傳輸層對(duì)網(wǎng)絡(luò)連接進(jìn)行加密?？梢园言试S訪問云數(shù)據(jù)庫的IP 地址放入“白名單”，只有白名單內(nèi)的IP地址才能訪問，其他IP地址的訪問都會(huì)被拒絕，從而進(jìn)一步保證賬戶安全。用戶的所有操作記錄都會(huì)被記錄到日志分析服務(wù)器，通過檢查用戶操作記錄，可以發(fā)現(xiàn)隱藏的安全漏洞。API來創(chuàng)建、修改和刪除數(shù)據(jù)庫。用戶所購買RDS實(shí)例的性能，取決于購買RDS實(shí)例時(shí)所選擇的配置，可供用戶選擇的硬件配置項(xiàng)為內(nèi)存和磁盤容量。API或RDS管理控制臺(tái)進(jìn)行操作。for答：框中輸人數(shù)據(jù)實(shí)例鏈接地址、端口(默認(rèn)3306)、數(shù)據(jù)庫用戶名和數(shù)據(jù)庫密碼后，單擊“確定”按鈕即可。具Navicat設(shè)計(jì)的強(qiáng)大的數(shù)據(jù)庫管理及開發(fā)工具，可以在連接輸人框中輸人數(shù)據(jù)實(shí)例地址、端口(默認(rèn)3306方法3:客戶端后，可進(jìn)人命令行方式連接數(shù)據(jù)庫。mysql uCloud訪問。連接地址以及端口不需要再輸人，只需在“用戶名”中輸人數(shù)據(jù)庫的賬號(hào),在“密碼”欄中輸人數(shù)據(jù)庫賬號(hào)的密碼，便可以登錄RDS進(jìn)行數(shù)據(jù)操作了。谷歌公司最先提出了分布式并行編程模型MapReduce, Hadoop MapReduce是它的開源實(shí)現(xiàn)。的使用門檻低很多，程序員即使沒有任何分布式程序開發(fā)經(jīng)驗(yàn)，也可以很輕松地開發(fā)出分布式程序并部署到計(jì)算機(jī)集群中。試述適合用MapReduce來處理的任務(wù)或者數(shù)據(jù)集需滿足怎樣的要求。3. MapReduce模型采用Master(JobTracker)Slave(TaskTracker)結(jié)構(gòu)，試描述Job