分布式文件存儲(chǔ)系統(tǒng)調(diào)研-資料下載頁
2025-08-04 14:22本頁面
【正文】 的低延遲。216。 更適合上G甚至上T的大文件。216。 一次寫入多次讀取，文件在經(jīng)過創(chuàng)建、寫入和關(guān)閉后就不需要改變，簡(jiǎn)化了數(shù)據(jù)一致性問題。216。 采用master/slave架構(gòu)。，需要人工切換。不過HDFS版本繁多，有的版本則具備快速自動(dòng)切換功能。216。 通信協(xié)議：基于TCP/IP長(zhǎng)鏈接。216。 健壯性：n 支持：數(shù)據(jù)安全（容錯(cuò)機(jī)制）；集群均衡；數(shù)據(jù)完整性檢查和恢復(fù)；橫向擴(kuò)展n 不支持：Master節(jié)點(diǎn)自動(dòng)恢復(fù)；快照. 性能HDFS作為一個(gè)Java語言開發(fā)的產(chǎn)品，有著鮮明的優(yōu)缺點(diǎn)。216。 開源合作更容易，更流行。216。 資源占用率高，系統(tǒng)的內(nèi)存緩存量很大幾乎等于全部?jī)?nèi)存，iowait 也很高，這點(diǎn)和C++產(chǎn)品沒法比。. KFS開發(fā)語言： C++，可用C++、Java和Python訪問客戶端。與HDFS相似，KFS也是以Google GFS理論為基礎(chǔ)的實(shí)現(xiàn)。因此和HDFS有這相同的架構(gòu)和特點(diǎn)。區(qū)別：216。 KFS本身的性能優(yōu)于HDFS，但若集成到hadoop中，性能卻未必出色。216。 站在開源角度，不及HDFS活躍。. 流行的開源文件存儲(chǔ)系統(tǒng)比較 18比較表一：HDFSKFSMooseFSMogileFSFastDFSTFSCephGlusterFS開發(fā)語言JavaC++CPerlCC++C++C支持的Client語言C/C++、Java、Python支持thriftC++、Java、PythonC、Java、PerlPerl、Java、Ruby、PHP、PythonC、Java、PHPC++、Java文件系統(tǒng)操作放寬了POSIX約束（懷疑涉及本地實(shí)現(xiàn)）支持FUSE，可以直接使用mount命令掛載（懷疑涉及本地實(shí)現(xiàn)）支持FUSE，可以直接使用mount命令掛載支持POSIX支持FUSE，可以直接使用mount命令掛載支持軟鏈接和硬鏈接支持FUSE不支持POSIX、FUSE、不能mount使用可以在做了RAID的服務(wù)器上運(yùn)轉(zhuǎn)，但是認(rèn)為沒有必要不支持POSIX支持POSIX支持FUSE，可以直接使用mount命令掛載支持軟鏈接和硬鏈接支持POSIX支持FUSE，可以直接使用mount命令掛載磁盤上保存client上傳的原文件容錯(cuò)機(jī)制支持支持支持支持支持支持支持支持集群/負(fù)載均衡支持支持支持支持支持支持支持支持?jǐn)U容能力支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減支持動(dòng)態(tài)的增減高可用存在Namenode單點(diǎn)故障，需人工干預(yù)不能確定是否存在MetaServer單點(diǎn)故障嚴(yán)重的Master單點(diǎn)故障支持，不存在單點(diǎn)問題支持，不存在單點(diǎn)問題支持，不存在單點(diǎn)問題多個(gè)MDS，不存在單點(diǎn)故障和瓶頸。MDS可以擴(kuò)展，不存在瓶頸無，不存在單點(diǎn)故障?？窟\(yùn)行在各個(gè)節(jié)點(diǎn)上的動(dòng)態(tài)算法來代替MDS,不需同步元數(shù)據(jù),無硬盤I/O瓶頸。性能分析性能一般理論上優(yōu)于HDFS性能一般存在性能瓶頸性能很高，“窮人的解決方案”據(jù)說性能不錯(cuò)據(jù)說性能不錯(cuò)讀寫操作一次寫入，多次讀取可多次寫，可以在任意位置寫，也可以在文件尾append一次寫入，多次讀取一次寫入，多次讀取一次寫入，多次讀取可多次寫，可以在任意位置寫，也可以在文件尾append一次寫入，多次讀取安裝和移植安裝簡(jiǎn)便Java應(yīng)用，容易移植安裝比較簡(jiǎn)便只能在有限的linux版本上可用其它特點(diǎn)支持快照已經(jīng)進(jìn)入Linux內(nèi)核，前景光明其它缺陷不支持快照（在計(jì)劃中）不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接Master很耗內(nèi)存還不成熟，不適合生產(chǎn)環(huán)境由于沒有元數(shù)據(jù)服務(wù)器，因此增加了客戶端的負(fù)載，占用相當(dāng)?shù)腃PU和內(nèi)存。但遍歷文件目錄時(shí)，則實(shí)現(xiàn)較為復(fù)雜和低效，需要搜索所有的存儲(chǔ)節(jié)點(diǎn)。因此不建議使用較深的路徑。開源支持強(qiáng)大的社區(qū)支持，資料完備齊全非常流行，幾乎所有流行的分布式系統(tǒng)都可以和HDFS進(jìn)行對(duì)接資料很少，已經(jīng)很長(zhǎng)時(shí)間沒有出新版本文檔齊全，社區(qū)活躍文檔少因?yàn)槭翘詫氶_發(fā)的，中文支持較好；文檔齊全因?yàn)槭翘詫氶_發(fā)的，中文支持較好；文檔齊全資料齊全，較多人使用適用場(chǎng)景模仿GFS，更適合大文件系統(tǒng)；吞吐力強(qiáng)，延遲高，適合離線云計(jì)算后端的存儲(chǔ)基礎(chǔ)設(shè)施，密集型數(shù)據(jù)應(yīng)用，如搜索引擎，數(shù)據(jù)挖掘，網(wǎng)格計(jì)算模仿GFS，更適合大文件系統(tǒng)適合以文件為載體的在線服務(wù)，如相冊(cè)網(wǎng)站、視頻網(wǎng)站等等。適合以文件為載體的在線服務(wù)，如相冊(cè)網(wǎng)站、視頻網(wǎng)站等等。海量小文件存儲(chǔ)海量小文件存儲(chǔ)適合大文件比較表二：LustreKafkaMetaq開發(fā)語言CJavaJava支持的Client語言文件系統(tǒng)操作支持POSIX支持FUSE，可以直接使用mount命令掛載容錯(cuò)機(jī)制支持不支持冗余備份不支持冗余備份集群/負(fù)載均衡支持支持支持?jǐn)U容能力支持動(dòng)態(tài)的增減支持支持高可用存在瓶頸性能分析存在瓶頸存儲(chǔ)能力和實(shí)時(shí)性都很高存儲(chǔ)能力和實(shí)時(shí)性都很高讀寫操作一次寫入，多次讀取一次寫入，多次讀取安裝和移植其它特點(diǎn)即使數(shù)據(jù)堆積量達(dá)到TB級(jí)，交互延時(shí)也很低；號(hào)稱每秒吞吐達(dá)到幾十萬級(jí)；支持?jǐn)?shù)據(jù)并行加載到hadoop即使數(shù)據(jù)堆積量達(dá)到TB級(jí)，交互延時(shí)也很低；號(hào)稱每秒吞吐達(dá)到幾十萬級(jí)；支持?jǐn)?shù)據(jù)并行加載到hadoop支持定時(shí)消費(fèi)消息其它缺陷嚴(yán)重依賴內(nèi)核，需要重新編譯內(nèi)核。重量級(jí)產(chǎn)品，不適合我們作為消息隊(duì)列，不能提供優(yōu)先級(jí)等功能作為消息隊(duì)列，不能提供優(yōu)先級(jí)功能開源支持適用場(chǎng)景適合大文件適合作為消息隊(duì)列適合作為消息隊(duì)列. 開源分布式文件存儲(chǔ)學(xué)習(xí)總結(jié)雖然列出了多達(dá)11個(gè)分布式文件系統(tǒng)，但是還有眾多的產(chǎn)品沒有列出。有意思的是，這些產(chǎn)品無一例外的都與hadoop相比較：216。 Spark,性能超Hadoop百倍，算法實(shí)現(xiàn)僅有其1/10或1/100216。 Piccolo，速度比比Hadoop快11倍216。 Sector/Sphere 比hadoop快24倍限于精力有限，這些產(chǎn)品沒有進(jìn)行調(diào)研和總結(jié)?？傮w感覺，最火莫過hadoop，如果要開始，那就先hadoop吧。4. 參考資料GFS：Hadoop：KFS：
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1