【文章內(nèi)容簡介】 由于 NAS 的擴展限制，導(dǎo)致單一 NAS 整體性能會隨著容量的增加，而逐步下降，這些限制將會給數(shù)據(jù)的統(tǒng)一管理維護帶來不少困難。 14 在于 集群 NAS 而言 存在兩點問題，一是集群 NAS 走的是 NFS 協(xié)議， NFS協(xié)議注定一臺計算節(jié)點只能與一臺 NAS 頭進行連接，也就是說當(dāng)某一時刻，只有掛載在一個 NAS 頭上的計算節(jié)點在運行計算的時候就會對當(dāng)前的 NAS 頭造成性能瓶頸，第二點是 所有計算節(jié)點在進行數(shù)據(jù)寫入的時候，需要把數(shù)據(jù)的元數(shù)據(jù)信息寫入到一個 NAS 頭上，然后 在 由這個 NAS 頭和系統(tǒng)內(nèi)所有的 NAS 頭進行數(shù)據(jù)同步，和所有的 NAS 頭同步完之后才會返回給客戶端一個信息告訴客戶端繼續(xù)進行數(shù)據(jù)讀寫，這也就說明 NAS 頭的數(shù)量不可能無限制的擴展，擴展過多會導(dǎo)致需要同步的數(shù)據(jù)過多，而集群 NAS 的整體性能又是由 NAS 頭的數(shù)量決定的，這也就成為了 NAS 系統(tǒng)的一個矛盾點。 存儲系統(tǒng) NAS 結(jié)構(gòu)很好的解決了信息孤島的情況，但由于本身的架構(gòu)理念，制約了性能的進一步提升，對于計算行業(yè)， NAS 的這方面劣勢被無限的放 大，以至于會影響到整體工作的效率，雖然采用了聚合帶寬的方式，但 NAS 的基本劣勢依然存在。 15 集群存儲 如圖所示，是一個典型的集群存儲架構(gòu)圖。集群存儲系統(tǒng)，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對象存儲技術(shù)將文件切片分布式存儲在存儲服務(wù)器集群上，充分利用所有存儲服務(wù)器硬件性能，并且同時對客戶端提供訪問服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫效率。 通過以上三種方式的對比，我們可以看出無論是 SAN 還是 NAS，都存在性能瓶頸，且擴展性比較差，無法滿足現(xiàn)有 存儲 平臺的需求，集群存儲技術(shù) 順勢 成為 滿足 大數(shù)據(jù)、高并發(fā)應(yīng)用的 存儲 發(fā)展趨勢。 存 儲 服 務(wù) 器 集 群應(yīng) 用 服 務(wù) 器 集 群千 兆 / 萬 兆 網(wǎng) 絡(luò) 、 I B 網(wǎng) 絡(luò)元 數(shù) 據(jù) 服 務(wù) 器集 群16 第三章 存儲方案設(shè)計 整體方案架構(gòu) LoongStore 集群存儲架構(gòu) 介紹 如圖所示， LoongStore 集群存儲采用 DoublCluster 雙集群架構(gòu)，將元數(shù)據(jù)集群與數(shù)據(jù)集群分離并可實現(xiàn)獨立擴展，用戶既可以通過擴展元數(shù)據(jù)集群獲得更多文件管理的能力，又可通過擴展數(shù)據(jù)存儲集群獲得更大的聚合帶寬與存儲容量，靈活、無縫、平滑的擴展方式讓用戶可以有效地控制成本。 LoongStore 集群 存儲為大中型組織提供可橫向擴展、分布式并行系統(tǒng)，開放式架 集群存儲，它具備企業(yè)級存儲虛擬化、數(shù)據(jù)高安全及管理功能。精簡配臵和按需供給容量功能可實現(xiàn)存儲資源分配及容量的動態(tài)管理，有助于集中管理各種17 不同的存儲環(huán)境。以軟硬件及整體應(yīng)用解決方案形式提供。 同時， LoongStore 集群存儲系統(tǒng)采用動態(tài)擴展技術(shù)，用戶無需中斷應(yīng)用的運行就可以通過 LoongStore 的配臵工具動態(tài)添加節(jié)點以擴大系統(tǒng)的容量、性能和規(guī)模，系統(tǒng)會自動實現(xiàn)負載均衡。而隨著存儲服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會線性的增長，完全可以滿足業(yè)務(wù)不斷 發(fā)展所產(chǎn)生的容量和性能需求，保持用戶業(yè)務(wù)的連續(xù)性。 LoongStore 集群存儲系統(tǒng)主要由應(yīng)用服務(wù)器集群、元數(shù)據(jù)控制節(jié)點集群、集群存儲節(jié)點集群三大部分組成。 元數(shù)據(jù)服務(wù)器集群：管理文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護、文件操作日志記錄、授權(quán)訪問等），管理整個存儲系統(tǒng)的命名空間，對外提供單一的系統(tǒng)映像。 應(yīng)用服務(wù)器集群 ：引導(dǎo)存儲服務(wù)器，實現(xiàn)集群存儲功能，存儲節(jié)點集群系統(tǒng)控制軟件許可，包括存儲設(shè)備管理，網(wǎng)絡(luò)設(shè)備管理，權(quán)限管理等。 智能存儲服務(wù)器集群 ：存儲用戶的實際數(shù)據(jù)，是整個集群存儲系統(tǒng)的存儲資源提供者。 18 龍存方案特點 存儲挑戰(zhàn) 龍存解決問題 海量數(shù)據(jù)不間斷實時訪問 長期運行海量數(shù)據(jù)，不間斷實時訪問 LeoFS 集群存儲系統(tǒng)采用存儲服務(wù)器集群的方式來滿足海量數(shù)據(jù)的存儲需求，大量的存儲服務(wù)器構(gòu)成的一個分布式的虛擬化存儲池，能夠為應(yīng)用提供單卷 EB 的存儲容量。所有的應(yīng)用客戶端都可以實時不間斷共享訪問虛擬化存儲池中的數(shù)據(jù)； 多節(jié)點實時訪問各自獨立的數(shù)據(jù)內(nèi)容，容易造成存儲信息孤島； 統(tǒng)一的共享空間，支持文件與數(shù)據(jù)庫存儲需求 LeoFS 提供一個單一的全局共享命名空間，使巨大且不斷增長的網(wǎng)絡(luò)存儲系統(tǒng) LoongStore的 LeoFS集群文件系統(tǒng)能確保維持實時復(fù)雜的大型分布式數(shù)據(jù)的可視化建模和分析應(yīng)用。 強大的網(wǎng)絡(luò)計算能力會給存儲帶來更大的負荷 集群并發(fā)環(huán)境，加快您的業(yè)務(wù)效率 LeoFS 是一個基于網(wǎng)絡(luò)的全局分布式架構(gòu)的集群存儲系統(tǒng)。LeoFS 提供高水平的并行讀寫存取，相比于傳統(tǒng)的存儲系統(tǒng)，LeoFS 的性能和高可用性都有很大的提高，并能讓您更簡單的擴展系統(tǒng)。 細粒度權(quán)限管理機制 系統(tǒng)管理實現(xiàn)硬盤級別訪問控制機制 所有管理都可基于硬盤進行管理，主要管理功能包括：禁止設(shè)備恢復(fù)，手動設(shè)備恢復(fù)、禁止分配空間、鎖定客戶端、垃圾回收、元數(shù)據(jù)存儲節(jié)點在線添加刪除等管理功能 . 19 快速、持續(xù)增長的數(shù)據(jù)導(dǎo)致難于管理和發(fā)展。 簡便的管理和快速在線擴容，減少您的管理投資 LeoFS 的集群模塊化設(shè)計方法可加速動態(tài)擴容和刪除操作的完成。此外， LoongStore 的存儲操作系統(tǒng)的簡化的管理還能將您的IT 人員從中解放出來，從而可減少人為錯誤，使他們能夠更關(guān)注數(shù)據(jù)管理戰(zhàn)略，而不是日常任務(wù)。 關(guān)鍵任務(wù)的數(shù)據(jù)連續(xù)性、完整性。 高效的災(zāi)難保護機制，保護您的業(yè)務(wù)不受干擾 LeoFS 具有內(nèi)在的高可用性架構(gòu) ,確保當(dāng)磁盤損壞時業(yè)務(wù)不會中斷，連續(xù)、高效的完成業(yè)務(wù)。 分布式環(huán)境 的解決方案。 更優(yōu)的分布式架構(gòu)，更通用更快捷 LeoFS 是基于靈活的硬件和高度優(yōu)化的分布式集群存儲環(huán)境。 當(dāng)存儲空間擴容時，需要手動停機進行數(shù)據(jù)遷移 動態(tài)擴容和自動負載均衡，解放您的 IT 員工 LeoFS 的獨特的架構(gòu)和負載均衡技術(shù)支持集群系統(tǒng)動態(tài)擴容和在線負載均衡功能，讓您在不需要停止業(yè)務(wù)的情況下提升集群的容量和性能。而且，自動的負載均衡能力使得您不用為繁雜的數(shù)據(jù)遷移而頭疼。 20 龍存集群存儲系統(tǒng)功能說明 功能名稱 功能簡介 全局文件共享 LoongStore 集群存儲系統(tǒng)對外提供全局統(tǒng)一文件系統(tǒng)鏡像，可以支持系統(tǒng)內(nèi)所有服務(wù)器使用存儲系統(tǒng)進行數(shù)據(jù)共享服務(wù)； POSIX 接口研發(fā) 可支持所有通用軟件以及所有通用操作系統(tǒng)的掛載使用，無需進行二次開發(fā)，應(yīng)用系統(tǒng)可以向使用本地硬盤一樣的使用存儲系統(tǒng)； 設(shè)臵數(shù)據(jù)冗余策略 LoongStore 集群存儲系統(tǒng)可以 針對 不同的目錄數(shù)據(jù)設(shè)臵 不同 的安全級別，可在多臺服務(wù)器同時宕機的情況下保證應(yīng)用系統(tǒng)的正常運轉(zhuǎn)； 負載均衡 存儲系統(tǒng)自帶負載均衡之際，在大數(shù)據(jù)進行處理與讀寫時，可以將所有的訪問壓力分?jǐn)傇诩簝?nèi)所有存儲磁盤中，將所有服務(wù)器的 CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤的性能全部利用起來，不會形成任何訪問熱點，屏蔽熱點情況造成的部分磁盤訪問壓力過大造成的部分磁盤損壞的情況，降低磁盤消耗。 導(dǎo)出子目錄 可以將 不同應(yīng)用服務(wù)器與存儲內(nèi)的任意數(shù)據(jù)目錄進行綁定設(shè)臵，形成數(shù)據(jù)隔離，使不同的應(yīng)用系統(tǒng)有自己私有的存儲目錄，其它業(yè)務(wù)系統(tǒng)無法訪問， 做到數(shù)據(jù) 可控 的安全隔離 ； 垃圾回收 清理 文件系統(tǒng)由于宕機或者壞盤造成的 垃圾數(shù)據(jù) ； 禁止分配空間 系統(tǒng)可對 任何服務(wù)器的任何磁盤進行 限制其寫入數(shù)據(jù) 的功能，解決由于磁盤訪問延遲過高時降低此磁盤的訪問壓力，將所有21 存在安全性問題的事情全部做到可控范圍內(nèi)； 鎖定客戶端 當(dāng)系統(tǒng)出現(xiàn)任何安全隱患包括泄密等問題時，可以直接鎖定出現(xiàn)問題的機器，讓此機器無法在進行數(shù)據(jù)讀寫，給用戶爭取處理時間； 增強型權(quán)限管理 針對不同的客戶端，對重命名和刪除權(quán)限進行控制 ，可以禁止系統(tǒng)內(nèi)某些客戶端的重命名以及刪除文件的操作，屏蔽由于誤刪除帶來的損失； 目錄配額 存儲系統(tǒng)內(nèi)可對任意目錄 進行容量控制，動態(tài)的按需分配 不同應(yīng)用所使用的不同存儲空間，方便用戶對存儲系統(tǒng)的使用規(guī)劃； 在線更換設(shè)備 存儲系統(tǒng)可在線更換線上所有硬件設(shè)備，方便在硬件更新?lián)Q代時，無需停止任何應(yīng)用的情況下，進行硬件設(shè)備的在線更換； 用戶目錄權(quán)限 系統(tǒng)內(nèi)臵私有權(quán)限設(shè)臵， 可以屏蔽操作系統(tǒng)的權(quán)限設(shè)臵進行私有設(shè)臵，即使是管理員用戶也無法跳過私有權(quán)限設(shè)臵對數(shù)據(jù)進行操作； 22 龍存方案與 SAN 對比 架構(gòu)參數(shù) FC/IP SAN LoongStore 共享性能 FC/IP SAN 設(shè)備本身不支持共享，需 要 共 享 文 件 系 統(tǒng) 支 持 ， 如StorNext，或 EMC 自己的 MPFS，但這 次文件系統(tǒng)都不是集群設(shè)計，性能普遍很低，支持客戶端數(shù)量也很有限。 單個 LUN 被共享訪問時性能會急劇下降 ； 基于高效的并行存儲技術(shù)，系統(tǒng)聚合帶寬隨著存儲規(guī)模擴大而近線性增長，帶寬可擴展至數(shù)百 GB/s；單個數(shù)據(jù)對象可以被多個客戶端訪問保持性能不變 ； 擴展性 擴容需要 重新規(guī)劃空間分配；容量越大，性能越低 ； 動態(tài)無縫的擴展，擴展之后性能得到提高，容量越大，性能越高 ； 可靠性 數(shù)據(jù) Raid5 數(shù)據(jù)保護； Raid 組內(nèi)兩塊硬盤損壞，或者單臺存儲設(shè)備失效，會造成數(shù)據(jù)丟失 ； 數(shù)據(jù)冗余度可調(diào)；可 允許多塊磁盤同時損壞，甚至單臺存儲設(shè)備失效也不會影響數(shù)據(jù)的完整性 ； 故障恢復(fù)時間 系統(tǒng)重構(gòu) 完全基于內(nèi)部 RAID 機制進行數(shù)據(jù)恢復(fù)，數(shù)據(jù)恢復(fù)時影響 業(yè)務(wù) 性能 ， 且數(shù)據(jù)恢復(fù) 時間很長 ，存在較大的概率造成同一 RAID 組中其它硬件在次損壞，致使數(shù)據(jù)丟失； 內(nèi)臵硬件損壞掃描機制，可快速發(fā)現(xiàn)損壞硬件，并 在線系統(tǒng)快速重構(gòu)和數(shù)據(jù)恢復(fù)，速度是SAN 的數(shù)倍， 且數(shù)據(jù)恢復(fù)時 對存儲系統(tǒng) 性能幾乎沒有影響 ； 23 完備性 SAN 設(shè)備本身只提供基本存儲空間， 要實現(xiàn)一個完整的 共享 存儲解決方案，需要一個“系統(tǒng)集成”的過程 ，否則則會出現(xiàn)一個應(yīng)用系統(tǒng)掛載多個卷的情況出現(xiàn)，使用先對復(fù)雜； 系統(tǒng)提供存儲、共享、自修復(fù)、負載均衡、安全、 等完整的功能，無需另購軟件 ，一套系統(tǒng)可滿足所有數(shù)據(jù)存儲的需求； 維護升級費用 需要專人學(xué)習(xí)、負責(zé)維護 ； 廠家專用磁盤，價格十分昂貴； 系統(tǒng) 自動化程度高，接近零維護，任何網(wǎng)絡(luò)維護人員都能承擔(dān)維護任務(wù)； 24 龍存方案與集群 NAS 對比 架構(gòu)參數(shù) NAS LoongStore 帶寬 NAS 設(shè)備控制器存在數(shù)量限制，即數(shù)據(jù)出口少 ,容易成為性能 性能瓶頸 ； 基于高效的并行存儲技術(shù)，聚合帶寬隨著存儲集群規(guī)模擴大而線性增長 ； 可靠性 數(shù)據(jù) Raid5 數(shù)據(jù)保護； Raid 組內(nèi)兩塊硬盤損壞，或者單臺存儲設(shè)備失效，會造成數(shù)據(jù)丟失 ； 數(shù)據(jù)冗余度可調(diào)；可以允許多塊磁盤同時損壞，甚至單臺存儲設(shè)備失效也不會影響數(shù)據(jù)的完整性 ； 并發(fā) 所謂雙 Active 集群文件服務(wù)器 ,一個數(shù)據(jù)對象同時只有一臺NFS 服務(wù)器能夠訪問 ，容易出現(xiàn)訪問熱點的情況； 單 一 數(shù)據(jù)對象可以同時被多個數(shù)據(jù)接收端接收數(shù)據(jù) ，實現(xiàn)多臺客戶端同時對一個文件進行操作或者存??； 擴