分布式文件存儲系統(tǒng)調(diào)研-資料下載頁
2025-08-04 14:22本頁面
【正文】 的低延遲。216。 更適合上G甚至上T的大文件。216。 一次寫入多次讀取，文件在經(jīng)過創(chuàng)建、寫入和關(guān)閉后就不需要改變，簡化了數(shù)據(jù)一致性問題。216。 采用master/slave架構(gòu)。，需要人工切換。不過HDFS版本繁多，有的版本則具備快速自動切換功能。216。 通信協(xié)議：基于TCP/IP長鏈接。216。 健壯性：n 支持：數(shù)據(jù)安全（容錯機制）；集群均衡；數(shù)據(jù)完整性檢查和恢復；橫向擴展n 不支持：Master節(jié)點自動恢復；快照. 性能HDFS作為一個Java語言開發(fā)的產(chǎn)品，有著鮮明的優(yōu)缺點。216。 開源合作更容易，更流行。216。 資源占用率高，系統(tǒng)的內(nèi)存緩存量很大幾乎等于全部內(nèi)存，iowait 也很高，這點和C++產(chǎn)品沒法比。. KFS開發(fā)語言： C++，可用C++、Java和Python訪問客戶端。與HDFS相似，KFS也是以Google GFS理論為基礎(chǔ)的實現(xiàn)。因此和HDFS有這相同的架構(gòu)和特點。區(qū)別：216。 KFS本身的性能優(yōu)于HDFS，但若集成到hadoop中，性能卻未必出色。216。 站在開源角度，不及HDFS活躍。. 流行的開源文件存儲系統(tǒng)比較 18比較表一：HDFSKFSMooseFSMogileFSFastDFSTFSCephGlusterFS開發(fā)語言JavaC++CPerlCC++C++C支持的Client語言C/C++、Java、Python支持thriftC++、Java、PythonC、Java、PerlPerl、Java、Ruby、PHP、PythonC、Java、PHPC++、Java文件系統(tǒng)操作放寬了POSIX約束（懷疑涉及本地實現(xiàn)）支持FUSE，可以直接使用mount命令掛載（懷疑涉及本地實現(xiàn)）支持FUSE，可以直接使用mount命令掛載支持POSIX支持FUSE，可以直接使用mount命令掛載支持軟鏈接和硬鏈接支持FUSE不支持POSIX、FUSE、不能mount使用可以在做了RAID的服務(wù)器上運轉(zhuǎn)，但是認為沒有必要不支持POSIX支持POSIX支持FUSE，可以直接使用mount命令掛載支持軟鏈接和硬鏈接支持POSIX支持FUSE，可以直接使用mount命令掛載磁盤上保存client上傳的原文件容錯機制支持支持支持支持支持支持支持支持集群/負載均衡支持支持支持支持支持支持支持支持擴容能力支持動態(tài)的增減支持動態(tài)的增減支持動態(tài)的增減支持動態(tài)的增減支持動態(tài)的增減支持動態(tài)的增減支持動態(tài)的增減高可用存在Namenode單點故障，需人工干預不能確定是否存在MetaServer單點故障嚴重的Master單點故障支持，不存在單點問題支持，不存在單點問題支持，不存在單點問題多個MDS，不存在單點故障和瓶頸。MDS可以擴展，不存在瓶頸無，不存在單點故障?？窟\行在各個節(jié)點上的動態(tài)算法來代替MDS,不需同步元數(shù)據(jù),無硬盤I/O瓶頸。性能分析性能一般理論上優(yōu)于HDFS性能一般存在性能瓶頸性能很高，“窮人的解決方案”據(jù)說性能不錯據(jù)說性能不錯讀寫操作一次寫入，多次讀取可多次寫，可以在任意位置寫，也可以在文件尾append一次寫入，多次讀取一次寫入，多次讀取一次寫入，多次讀取可多次寫，可以在任意位置寫，也可以在文件尾append一次寫入，多次讀取安裝和移植安裝簡便Java應(yīng)用，容易移植安裝比較簡便只能在有限的linux版本上可用其它特點支持快照已經(jīng)進入Linux內(nèi)核，前景光明其它缺陷不支持快照（在計劃中）不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接Master很耗內(nèi)存還不成熟，不適合生產(chǎn)環(huán)境由于沒有元數(shù)據(jù)服務(wù)器，因此增加了客戶端的負載，占用相當?shù)腃PU和內(nèi)存。但遍歷文件目錄時，則實現(xiàn)較為復雜和低效，需要搜索所有的存儲節(jié)點。因此不建議使用較深的路徑。開源支持強大的社區(qū)支持，資料完備齊全非常流行，幾乎所有流行的分布式系統(tǒng)都可以和HDFS進行對接資料很少，已經(jīng)很長時間沒有出新版本文檔齊全，社區(qū)活躍文檔少因為是淘寶開發(fā)的，中文支持較好；文檔齊全因為是淘寶開發(fā)的，中文支持較好；文檔齊全資料齊全，較多人使用適用場景模仿GFS，更適合大文件系統(tǒng)；吞吐力強，延遲高，適合離線云計算后端的存儲基礎(chǔ)設(shè)施，密集型數(shù)據(jù)應(yīng)用，如搜索引擎，數(shù)據(jù)挖掘，網(wǎng)格計算模仿GFS，更適合大文件系統(tǒng)適合以文件為載體的在線服務(wù)，如相冊網(wǎng)站、視頻網(wǎng)站等等。適合以文件為載體的在線服務(wù)，如相冊網(wǎng)站、視頻網(wǎng)站等等。海量小文件存儲海量小文件存儲適合大文件比較表二：LustreKafkaMetaq開發(fā)語言CJavaJava支持的Client語言文件系統(tǒng)操作支持POSIX支持FUSE，可以直接使用mount命令掛載容錯機制支持不支持冗余備份不支持冗余備份集群/負載均衡支持支持支持擴容能力支持動態(tài)的增減支持支持高可用存在瓶頸性能分析存在瓶頸存儲能力和實時性都很高存儲能力和實時性都很高讀寫操作一次寫入，多次讀取一次寫入，多次讀取安裝和移植其它特點即使數(shù)據(jù)堆積量達到TB級，交互延時也很低；號稱每秒吞吐達到幾十萬級；支持數(shù)據(jù)并行加載到hadoop即使數(shù)據(jù)堆積量達到TB級，交互延時也很低；號稱每秒吞吐達到幾十萬級；支持數(shù)據(jù)并行加載到hadoop支持定時消費消息其它缺陷嚴重依賴內(nèi)核，需要重新編譯內(nèi)核。重量級產(chǎn)品，不適合我們作為消息隊列，不能提供優(yōu)先級等功能作為消息隊列，不能提供優(yōu)先級功能開源支持適用場景適合大文件適合作為消息隊列適合作為消息隊列. 開源分布式文件存儲學習總結(jié)雖然列出了多達11個分布式文件系統(tǒng)，但是還有眾多的產(chǎn)品沒有列出。有意思的是，這些產(chǎn)品無一例外的都與hadoop相比較：216。 Spark,性能超Hadoop百倍，算法實現(xiàn)僅有其1/10或1/100216。 Piccolo，速度比比Hadoop快11倍216。 Sector/Sphere 比hadoop快24倍限于精力有限，這些產(chǎn)品沒有進行調(diào)研和總結(jié)。總體感覺，最火莫過hadoop，如果要開始，那就先hadoop吧。4. 參考資料GFS：Hadoop：KFS：
高考資料相關(guān)推薦
鄂ICP備17016276號-1