【正文】 間操作, 如打開、關(guān)閉、重命名文件或目錄等, 也負(fù)責(zé)數(shù)據(jù)塊到具體DataNode的映射。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的文件讀寫操作, 并在 NameNode 的統(tǒng)一調(diào)度下進(jìn) 行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制操作。3 HDFS的運(yùn)行機(jī)制可靠性保障： 冗余機(jī)制——數(shù)據(jù)復(fù)制 故障檢測——datanode （心跳包，塊報(bào)告，數(shù)據(jù)完整性監(jiān)測）namenode（日志和鏡像）讀文件流程： –客戶端調(diào)用DistributedFileSystem對象的open（）方法 – DistributedFileSystem通過RPC聯(lián)系namenode,得到所有數(shù)據(jù)塊信息，對每個(gè)數(shù)據(jù)塊，namenode返回存有該塊副本的datanode地址，并且這些datanode根據(jù)他們與客戶端的距離進(jìn)行排序 – DistributedFileSystem類返回一個(gè)FSDataInputStream對象給客戶端并讀取數(shù)據(jù) –客戶端對該對象調(diào)用read（）方法讀取數(shù)據(jù) – FSDataInputStream連接距離最近的datanode讀取數(shù)據(jù)，數(shù)據(jù)讀取完畢時(shí)FSDataInputStream會關(guān)閉與該datanode的連接，然后尋找下一個(gè)塊的datanode – FSDataInputStream可能并行讀取多個(gè)datanode，當(dāng)客戶端完成讀取時(shí)，對FSDataInputStream調(diào)用close（）方法 — FSDataInputStream從datanode讀取數(shù)據(jù)時(shí)如果遇到錯(cuò)誤，會嘗試從該塊的另外一個(gè)最近的datanode讀取數(shù)據(jù)，并記住故障datanode保證以后不會繼續(xù)從該節(jié)點(diǎn)讀取其他塊 – 每個(gè)讀取的塊通過校驗(yàn)和確認(rèn)以保證數(shù)據(jù)完整 – 如果FSDataInputStream發(fā)現(xiàn)一個(gè)損壞的塊，則在從其他datanode讀取塊之前通知namenode寫文件流程： – 客戶端調(diào)用DistributedFileSystem對象的create（）方法創(chuàng)建文件– DistributedFileSystem通過RPC聯(lián)系namenode,namenode執(zhí)行各種檢查確保待建立的文件不存在，且客戶端擁有創(chuàng)建該文件的權(quán)限– 如果檢查通過，namenode為新文件創(chuàng)建一條記錄，否則拋出一個(gè)IOException異常– DistributedFileSystem給客戶端返回一個(gè)FSDataOutputStream對象進(jìn)行寫數(shù)據(jù)– FSDataOutputStream將待寫入數(shù)據(jù)分成數(shù)據(jù)包并寫入內(nèi)部隊(duì)列dataqueue– DataStreamer處理dataqueue，根據(jù)datanode列表要求namenode分配適合的新塊來存儲數(shù)據(jù)備份– namenode分配的數(shù)據(jù)備份datanode（通常3個(gè)）形成一個(gè)管線，DataStreamer將數(shù)據(jù)包傳輸給管線中的第一個(gè)節(jié)點(diǎn)，然后該節(jié)點(diǎn)存儲完之后發(fā)送給第二個(gè)節(jié)點(diǎn)，以此類推– FSDataOutputStream維護(hù)一個(gè)確認(rèn)隊(duì)列ackqueue，當(dāng)收到管線中所有datanode的確認(rèn)后，該數(shù)據(jù)包從確認(rèn)隊(duì)列中刪除– 如果datanode發(fā)生故障，則關(guān)閉管線，將確認(rèn)隊(duì)列中的數(shù)據(jù)包添加回?cái)?shù)據(jù)隊(duì)列的最前端，將故障的數(shù)據(jù)塊和datanode信息返回給namenode以便該datanode恢復(fù)后刪除錯(cuò)誤數(shù)據(jù)塊，從管線中刪除錯(cuò)誤節(jié)點(diǎn)，并把剩余數(shù)據(jù)塊寫入正常datanode– 如果復(fù)本數(shù)量不足，則namenode根據(jù)datanode分配新的datanode并創(chuàng)建新的復(fù)本，該datanode被加入管線繼續(xù)正常存儲4 Htable的數(shù)據(jù)結(jié)構(gòu) 行：每行數(shù)據(jù)有一可排序的關(guān)鍵字和任意列項(xiàng)；不同行的列的數(shù)目可以大不相同 列：用“族”來定義；“族：標(biāo)簽”；物理上將同族數(shù)據(jù)存儲在一起；數(shù)據(jù)可以通過時(shí)間戳區(qū)分版本5 Hbase的運(yùn)行機(jī)制 數(shù)據(jù)存儲實(shí)體為區(qū)域，表按照水平的方式劃分為一個(gè)或多個(gè)區(qū)域，每個(gè)區(qū)域有一個(gè)隨機(jī)id ，且區(qū)域內(nèi)行為鍵值有序的。區(qū)域以分布式方式存儲在集群內(nèi)。通過區(qū)域服務(wù)器運(yùn)行：寫：寫數(shù)據(jù)首先寫入“預(yù)寫日志”；先緩存，再批量寫入；完成后在日志中做標(biāo)記 讀：區(qū)域服務(wù)器先在緩存中查找，找到則直接服務(wù)； 合并：映射文件數(shù)量超過閾值，則區(qū)域服務(wù)器進(jìn)行合并 分割：區(qū)域文件大過閾值時(shí)，按照行方式對半分割；在元信息表中生成子元信息表；主服務(wù)器在得知分割后，將子表分配給新的區(qū)域服務(wù)器服務(wù) 失效恢復(fù)：將失效服務(wù)器的區(qū)域分配給其他服務(wù)器，原“預(yù)寫”日志進(jìn)行分割并分配給新的區(qū)域服務(wù)器 6 ZooKeeper的數(shù)據(jù)讀寫機(jī)制 ZooKeeper：提供通用的分布式鎖服務(wù)，用以協(xié)調(diào)分布式應(yīng)用。 ZooKeeper是一個(gè)由多個(gè)Server組成的集群，一個(gè)Leader，多個(gè)Follower（每個(gè)Server都保存了一份數(shù)據(jù)副本；全局?jǐn)?shù)據(jù)一致；分布式讀寫；更新請求轉(zhuǎn)發(fā)，由Leader實(shí)施）。 一些約定：更新請求順序執(zhí)行；數(shù)據(jù)更新原子性；全局唯一數(shù)據(jù)視圖；實(shí)時(shí)性。7 Yarn對Hadoop的核心改進(jìn)原框架中的JobTracker和TaskTracker 被ResourceManager, ApplicationMaster 與NodeManager取代。 ResourceManager是一個(gè)中心的服務(wù), 它做的事情是調(diào)度、啟動(dòng)每一個(gè)Job所屬的ApplicationMaster 、另外監(jiān)控 ApplicationMaster 的存在情況。NodeManager功能比較專一, 就是負(fù)責(zé)Container狀態(tài)的維護(hù), 并向RM 保持心跳。ApplicationMaster負(fù)責(zé)一個(gè)Job生命周期內(nèi)的所有工作,類似老的框架中JobTracker?？梢赃\(yùn)行在resourceManager以外的機(jī)器上 改進(jìn)后的優(yōu)點(diǎn)： 減少了jobTracker也即resourceManager的資源消耗，讓監(jiān)測每一個(gè)Job子任務(wù)(tasks)狀態(tài)的程序分布式化 ApplicationMaster 是一個(gè)可變更的部分, 用戶可以對不同的編程模型寫自己的AppMst,讓更多類型的編程模型能夠跑在Hadoop集群中 對于資源的表示以內(nèi)存為單位，比以task 任務(wù)數(shù)目分配更加合理 客戶端調(diào)用API或者接口，程序框架改變后不再需要被強(qiáng)制更新。