《云計算之hdfs》ppt課件-文庫吧
2024-12-22 13:06 本頁面
【正文】 心跳包（檢測是否宕機(jī)） 塊報告（安全模式下檢測） 數(shù)據(jù)完整性檢測（校驗和比較） 名字節(jié)點（日志文件，鏡像文件） ? 空間回收機(jī)制 HDFS關(guān)鍵運行機(jī)制 保障可靠性的措施 7 HDFS關(guān)鍵運行機(jī)制 寫文件流程 ? 客戶端緩存 ? 流水線復(fù)制 ? 并發(fā)寫控制 ? 流程 ： 64M，客戶端聯(lián)系 NameNode， NameNode分配DataNode， DataNode依照客戶端的位置被排列成一個有著最近物理距離和最小的序列 Socket連接，發(fā)送請求頭，然后等待回應(yīng)，依次下傳，客戶端得到回包，流水線建立成功， 4. 正式發(fā)送數(shù)據(jù)，以 4K為大小傳送 8 HDFS關(guān)鍵運行機(jī)制 讀文件流程 ? 客戶端聯(lián)系 NameNode,得到所有數(shù)據(jù)塊信息，以及數(shù)據(jù)塊對應(yīng)的所有數(shù)據(jù)服務(wù)器的位置信息 ? 嘗試從某個數(shù)據(jù)塊對應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個，進(jìn)行連接（選取算法未加入相對位置的考慮） ? 數(shù)據(jù)被一個包一個包發(fā)送回客戶端，等到整個數(shù)據(jù)塊的數(shù)據(jù)都被讀取完了，就會斷開此鏈接，嘗試連接下一個數(shù)據(jù)塊對應(yīng)的數(shù)據(jù)服務(wù)器，整個流程，依次如此反復(fù)，直到所有想讀的都讀取完了為止 9 HDFS VS. GFS ? 總體架構(gòu)的比較 –數(shù)據(jù)結(jié)構(gòu)化管理組件： Hbase→BigTable –并行計算模型： MapReduce→MapReduce –分布式文件系統(tǒng)： HDFS→GFS – Hadoop缺少分布式鎖服務(wù)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1