【文章內(nèi)容簡介】 收到了數(shù)據(jù)，客戶端發(fā)起一個寫請求控制命令給Primary。由于Primary可能收到多個客戶端對同一個chunk的并發(fā)追加操作，Primary將確定這些操作的順序并寫入本地；Primary把寫請求提交給所有的Secondary副本。每一個Secondary會根據(jù)Primary確定的順序執(zhí)行寫操作；Secondary副本成功完成后應(yīng)答Primary；Primary應(yīng)答客戶端，如果有副本發(fā)生錯誤，將出現(xiàn)Primary寫成功但是某些Secondary不成功的情況，客戶端將重試。GFS追加流程有兩個特色：流水線及分離數(shù)據(jù)流與控制流。流水線操作用來減少延時。當(dāng)一個ChunkServer接收到一些數(shù)據(jù)，它就立即開始轉(zhuǎn)發(fā)。由于采用全雙工網(wǎng)絡(luò)，立即發(fā)送數(shù)據(jù)并不會降低接收數(shù)據(jù)的速率。拋開網(wǎng)絡(luò)阻塞，傳輸B個字節(jié)到R個副本的理想時間是B/T + RL，其中T是網(wǎng)絡(luò)吞吐量，L是亮點之間的延時。假設(shè)采用千兆網(wǎng)絡(luò)，L通常小于1ms，傳輸1MB數(shù)據(jù)到多個副本的時間小于80ms。分離數(shù)據(jù)流與控制流主要是為了優(yōu)化數(shù)據(jù)傳輸，每一個機器都是把數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)拓?fù)鋱D上”最近”的尚未收到數(shù)據(jù)的數(shù)據(jù)。舉個例子，假設(shè)有三臺ChunkServer S1，S2和S3，S1與S3在同一個機架上，S2在另外一個機架，客戶端部署在機器S1上。如果數(shù)據(jù)先從S1轉(zhuǎn)發(fā)到S2，再從S2轉(zhuǎn)發(fā)到S3，需要經(jīng)歷兩次跨機架數(shù)據(jù)傳輸；相對地，按照GFS中的策略，數(shù)據(jù)先發(fā)送到S1，接著從S1轉(zhuǎn)發(fā)到S3，最后轉(zhuǎn)發(fā)到S2，只需要一次跨機架數(shù)據(jù)傳輸?？偨Y(jié)：GFS的追加流程非常精致：控制與數(shù)據(jù)分離，利用流水線（pipe line）方式進(jìn)行數(shù)據(jù)傳輸，傳輸?shù)耐負(fù)浣Y(jié)構(gòu)精心設(shè)計。這一系列措施都是盡最大可能減少系統(tǒng)瓶頸，加快網(wǎng)絡(luò)傳輸速度，以提高整體性能。. 容錯機制Master的容錯與傳統(tǒng)的方法類似，通過操作日志加checkpoint的方式進(jìn)行，并且有一臺稱為”Shadow Master”的實時熱備。Master上保存了三種元數(shù)據(jù)信息：(1) 命名空間（Name Space），也就是整個文件系統(tǒng)的目錄結(jié)構(gòu)以及chunk基本信息；(2) 文件到chunk之間的映射；(3) Chunk副本的位置信息，每個Chunk通常有三個副本；GFS Master的修改操作總是先記錄操作日志，然后再修改內(nèi)存，當(dāng)Master發(fā)生故障重啟時，可以通過磁盤中的操作日志恢復(fù)內(nèi)存數(shù)據(jù)結(jié)構(gòu)；另外，為了減少Master宕機恢復(fù)時間，Master會定期將內(nèi)存中的數(shù)據(jù)以checkpoint文件的形式轉(zhuǎn)儲到磁盤中，從而減少回放的日志量。為了進(jìn)一步提高M(jìn)aster的可靠性和可用性，GFS中還會執(zhí)行實時熱備，所有的元數(shù)據(jù)修改操作都必須保證發(fā)送到實時熱備才算成功。遠(yuǎn)程的實時熱備將實時接收Master發(fā)送的操作日志并在內(nèi)存中回放這些元數(shù)據(jù)操作。如果Master宕機，還可以秒級切換到實時備機繼續(xù)提供服務(wù)。為了保證同一時刻只有一個Master，GFS依賴Google內(nèi)部的Chubby服務(wù)進(jìn)行選主操作。Master需要持久化前兩種元數(shù)據(jù)，即命令空間及文件到chunk之間的映射關(guān)系；對于第三種元數(shù)據(jù)，即Chunk副本的位置信息，Master可以選擇不進(jìn)行持久化，這是因為ChunkServer維護(hù)了這些信息，即使Master發(fā)生故障，也可以在重啟時通過ChunkServer匯報來獲取。GFS采用復(fù)制多個副本的方式實現(xiàn)Chunk Server的容錯，每一個Chunk有多個存儲副本，分別存儲在不同的Chunk Server上。對于每一個Chunk，必須將所有的副本全部寫入成功，才視為成功寫入。如果相關(guān)的副本出現(xiàn)丟失或不可恢復(fù)的情況，Master自動將給副本復(fù)制到其它Chunk Server，從而確保副本保持一定的個數(shù)。另外，Chunk Server會對存儲的數(shù)據(jù)維持校驗和。GFS以64MB為Chunk大小來劃分文件，每一個Chunk又以Block為單位進(jìn)行劃分，大小為64KB，每一個Block對應(yīng)一個32位的校驗和。當(dāng)讀取一個Chunk副本時，Chunk Server會將讀取的數(shù)據(jù)和校驗和進(jìn)行比較，如果不匹配，就會返回錯誤，客戶端將選擇其它Chunk Server上的副本?？偨Y(jié)：Master Server和Chunk Server都提供了相應(yīng)的容錯機制，能實現(xiàn)完全自動的容錯處理和切換，響應(yīng)切換速度為秒級。. Master內(nèi)存占用Master維護(hù)了系統(tǒng)中的元數(shù)據(jù)，包括文件及chunk名字空間，文件到chunk的映射，chunk副本的位置信息。其中前兩種元數(shù)據(jù)需要持久化到磁盤，chunk副本的位置信息不需要持久化，可以通過Chunk Server匯報獲取。內(nèi)存是Master的稀有資源，下面估算Master的內(nèi)存使用量。Chunk的元信息包括全局唯一的ID，版本號，每個副本所在的Chunk Server編號，引用計數(shù)等。GFS系統(tǒng)中每個chunk大小為64MB，默認(rèn)存儲3份，每個chunk的元數(shù)據(jù)小于64字節(jié)。那么1PB數(shù)據(jù)的chunk元信息大小不超過1PB * 3 / 64MB * 64 = 3GB。另外，Master對命名空間進(jìn)行了壓縮存儲，例如有兩個文件foo1和foo2都存放在目錄/home/very_long_directory_name/中，那么目錄名在內(nèi)存中只需要存放一次。壓縮存儲后，每個文件在文件名字空間的元數(shù)據(jù)也不超過64字節(jié)，由于GFS中的文件一般都是大文件，因此，文件名字空間占用內(nèi)存不多。這也就說明了Master內(nèi)存容量不會成為GFS的系統(tǒng)瓶頸?？偨Y(jié)：為了提高性能，Master Server需要將部分元數(shù)據(jù)緩存到內(nèi)存，因此需要較大的內(nèi)存。Chunk Server則不需要進(jìn)行數(shù)據(jù)緩存。. 負(fù)載均衡GFS中副本的分布策略需要考慮多種因素，如網(wǎng)絡(luò)的拓?fù)?，機架的分布，磁盤的利用率等等。為了提高系統(tǒng)的可用性，GFS會避免同一個chunk的所有副本都存放在同一個機架的情況。系統(tǒng)中有三種需要創(chuàng)建chunk副本的情況：chunk創(chuàng)建，chunk重新復(fù)制（rereplication）以及重新平衡（rebalancing）。當(dāng)Master創(chuàng)建了一個chunk，它會根據(jù)如下因素來選擇chunk副本的初始位置：(1) 新副本所在的Chunk Server的磁盤利用率低于平均水平；(2) 限制每個Chunk Server”最近”創(chuàng)建的數(shù)量。（3）每個chunk的所有副本不能在同一個機架。第二點容易忽略但卻很重要，因為創(chuàng)建完chunk以后通常需要馬上寫入數(shù)據(jù)，如果不限制”最近”創(chuàng)建的數(shù)量，當(dāng)一臺空的Chunk Server上線時，由于磁盤利用率低，可能導(dǎo)致大量的chunk瞬間遷移到這臺機器從而將它壓垮。當(dāng)Chunk的副本數(shù)量小于一定的數(shù)量后，Master會嘗試重新復(fù)制一個chunk副本。可能的原因包括Chunk Server宕機或者Chunk Server報告自己的副本損壞，或者它的某個磁盤故障，或者用戶動態(tài)增加了Chunk的副本數(shù)，等等。每一個chunk復(fù)制任務(wù)都有一個優(yōu)先級，按照優(yōu)先級從高到低在Master排隊等待執(zhí)行。例如，只有一個副本的chunk需要優(yōu)先復(fù)制