【文章內(nèi)容簡(jiǎn)介】 由于 NAS 的擴(kuò)展限制，導(dǎo)致單一 NAS 整體性能會(huì)隨著容量的增加，而逐步下降，這些限制將會(huì)給數(shù)據(jù)的統(tǒng)一管理維護(hù)帶來不少困難。 14 在于 集群 NAS 而言 存在兩點(diǎn)問題，一是集群 NAS 走的是 NFS 協(xié)議， NFS協(xié)議注定一臺(tái)計(jì)算節(jié)點(diǎn)只能與一臺(tái) NAS 頭進(jìn)行連接，也就是說當(dāng)某一時(shí)刻，只有掛載在一個(gè) NAS 頭上的計(jì)算節(jié)點(diǎn)在運(yùn)行計(jì)算的時(shí)候就會(huì)對(duì)當(dāng)前的 NAS 頭造成性能瓶頸，第二點(diǎn)是 所有計(jì)算節(jié)點(diǎn)在進(jìn)行數(shù)據(jù)寫入的時(shí)候，需要把數(shù)據(jù)的元數(shù)據(jù)信息寫入到一個(gè) NAS 頭上，然后 在 由這個(gè) NAS 頭和系統(tǒng)內(nèi)所有的 NAS 頭進(jìn)行數(shù)據(jù)同步，和所有的 NAS 頭同步完之后才會(huì)返回給客戶端一個(gè)信息告訴客戶端繼續(xù)進(jìn)行數(shù)據(jù)讀寫，這也就說明 NAS 頭的數(shù)量不可能無限制的擴(kuò)展，擴(kuò)展過多會(huì)導(dǎo)致需要同步的數(shù)據(jù)過多，而集群 NAS 的整體性能又是由 NAS 頭的數(shù)量決定的，這也就成為了 NAS 系統(tǒng)的一個(gè)矛盾點(diǎn)。 存儲(chǔ)系統(tǒng) NAS 結(jié)構(gòu)很好的解決了信息孤島的情況，但由于本身的架構(gòu)理念，制約了性能的進(jìn)一步提升，對(duì)于計(jì)算行業(yè)， NAS 的這方面劣勢(shì)被無限的放 大，以至于會(huì)影響到整體工作的效率，雖然采用了聚合帶寬的方式，但 NAS 的基本劣勢(shì)依然存在。 15 集群存儲(chǔ) 如圖所示，是一個(gè)典型的集群存儲(chǔ)架構(gòu)圖。集群存儲(chǔ)系統(tǒng)，采用帶外分布式架構(gòu)，隔離元數(shù)據(jù)信息與數(shù)據(jù)信息，降低二者之間的性能干擾，采用對(duì)象存儲(chǔ)技術(shù)將文件切片分布式存儲(chǔ)在存儲(chǔ)服務(wù)器集群上，充分利用所有存儲(chǔ)服務(wù)器硬件性能，并且同時(shí)對(duì)客戶端提供訪問服務(wù)，形成高效聚合帶寬，增加業(yè)務(wù)讀寫效率。 通過以上三種方式的對(duì)比，我們可以看出無論是 SAN 還是 NAS，都存在性能瓶頸，且擴(kuò)展性比較差，無法滿足現(xiàn)有 存儲(chǔ) 平臺(tái)的需求，集群存儲(chǔ)技術(shù) 順勢(shì) 成為 滿足 大數(shù)據(jù)、高并發(fā)應(yīng)用的 存儲(chǔ) 發(fā)展趨勢(shì)。 存 儲(chǔ) 服 務(wù) 器 集 群應(yīng) 用 服 務(wù) 器 集 群千 兆 / 萬 兆 網(wǎng) 絡(luò) 、 I B 網(wǎng) 絡(luò)元 數(shù) 據(jù) 服 務(wù) 器集 群16 第三章 存儲(chǔ)方案設(shè)計(jì) 整體方案架構(gòu) LoongStore 集群存儲(chǔ)架構(gòu) 介紹 如圖所示， LoongStore 集群存儲(chǔ)采用 DoublCluster 雙集群架構(gòu)，將元數(shù)據(jù)集群與數(shù)據(jù)集群分離并可實(shí)現(xiàn)獨(dú)立擴(kuò)展，用戶既可以通過擴(kuò)展元數(shù)據(jù)集群獲得更多文件管理的能力，又可通過擴(kuò)展數(shù)據(jù)存儲(chǔ)集群獲得更大的聚合帶寬與存儲(chǔ)容量，靈活、無縫、平滑的擴(kuò)展方式讓用戶可以有效地控制成本。 LoongStore 集群 存儲(chǔ)為大中型組織提供可橫向擴(kuò)展、分布式并行系統(tǒng)，開放式架 集群存儲(chǔ)，它具備企業(yè)級(jí)存儲(chǔ)虛擬化、數(shù)據(jù)高安全及管理功能。精簡(jiǎn)配臵和按需供給容量功能可實(shí)現(xiàn)存儲(chǔ)資源分配及容量的動(dòng)態(tài)管理，有助于集中管理各種17 不同的存儲(chǔ)環(huán)境。以軟硬件及整體應(yīng)用解決方案形式提供。 同時(shí)， LoongStore 集群存儲(chǔ)系統(tǒng)采用動(dòng)態(tài)擴(kuò)展技術(shù)，用戶無需中斷應(yīng)用的運(yùn)行就可以通過 LoongStore 的配臵工具動(dòng)態(tài)添加節(jié)點(diǎn)以擴(kuò)大系統(tǒng)的容量、性能和規(guī)模，系統(tǒng)會(huì)自動(dòng)實(shí)現(xiàn)負(fù)載均衡。而隨著存儲(chǔ)服務(wù)器數(shù)據(jù)的增多，整套系統(tǒng)的聚合帶寬也會(huì)線性的增長(zhǎng)，完全可以滿足業(yè)務(wù)不斷 發(fā)展所產(chǎn)生的容量和性能需求，保持用戶業(yè)務(wù)的連續(xù)性。 LoongStore 集群存儲(chǔ)系統(tǒng)主要由應(yīng)用服務(wù)器集群、元數(shù)據(jù)控制節(jié)點(diǎn)集群、集群存儲(chǔ)節(jié)點(diǎn)集群三大部分組成。 元數(shù)據(jù)服務(wù)器集群：管理文件系統(tǒng)的元數(shù)據(jù)（包括文件目錄樹組織、屬性維護(hù)、文件操作日志記錄、授權(quán)訪問等），管理整個(gè)存儲(chǔ)系統(tǒng)的命名空間，對(duì)外提供單一的系統(tǒng)映像。 應(yīng)用服務(wù)器集群 ：引導(dǎo)存儲(chǔ)服務(wù)器，實(shí)現(xiàn)集群存儲(chǔ)功能，存儲(chǔ)節(jié)點(diǎn)集群系統(tǒng)控制軟件許可，包括存儲(chǔ)設(shè)備管理，網(wǎng)絡(luò)設(shè)備管理，權(quán)限管理等。 智能存儲(chǔ)服務(wù)器集群 ：存儲(chǔ)用戶的實(shí)際數(shù)據(jù)，是整個(gè)集群存儲(chǔ)系統(tǒng)的存儲(chǔ)資源提供者。 18 龍存方案特點(diǎn) 存儲(chǔ)挑戰(zhàn) 龍存解決問題 海量數(shù)據(jù)不間斷實(shí)時(shí)訪問 長(zhǎng)期運(yùn)行海量數(shù)據(jù)，不間斷實(shí)時(shí)訪問 LeoFS 集群存儲(chǔ)系統(tǒng)采用存儲(chǔ)服務(wù)器集群的方式來滿足海量數(shù)據(jù)的存儲(chǔ)需求，大量的存儲(chǔ)服務(wù)器構(gòu)成的一個(gè)分布式的虛擬化存儲(chǔ)池，能夠?yàn)閼?yīng)用提供單卷 EB 的存儲(chǔ)容量。所有的應(yīng)用客戶端都可以實(shí)時(shí)不間斷共享訪問虛擬化存儲(chǔ)池中的數(shù)據(jù)； 多節(jié)點(diǎn)實(shí)時(shí)訪問各自獨(dú)立的數(shù)據(jù)內(nèi)容，容易造成存儲(chǔ)信息孤島； 統(tǒng)一的共享空間，支持文件與數(shù)據(jù)庫存儲(chǔ)需求 LeoFS 提供一個(gè)單一的全局共享命名空間，使巨大且不斷增長(zhǎng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng) LoongStore的 LeoFS集群文件系統(tǒng)能確保維持實(shí)時(shí)復(fù)雜的大型分布式數(shù)據(jù)的可視化建模和分析應(yīng)用。 強(qiáng)大的網(wǎng)絡(luò)計(jì)算能力會(huì)給存儲(chǔ)帶來更大的負(fù)荷 集群并發(fā)環(huán)境，加快您的業(yè)務(wù)效率 LeoFS 是一個(gè)基于網(wǎng)絡(luò)的全局分布式架構(gòu)的集群存儲(chǔ)系統(tǒng)。LeoFS 提供高水平的并行讀寫存取，相比于傳統(tǒng)的存儲(chǔ)系統(tǒng)，LeoFS 的性能和高可用性都有很大的提高，并能讓您更簡(jiǎn)單的擴(kuò)展系統(tǒng)。 細(xì)粒度權(quán)限管理機(jī)制 系統(tǒng)管理實(shí)現(xiàn)硬盤級(jí)別訪問控制機(jī)制 所有管理都可基于硬盤進(jìn)行管理，主要管理功能包括：禁止設(shè)備恢復(fù)，手動(dòng)設(shè)備恢復(fù)、禁止分配空間、鎖定客戶端、垃圾回收、元數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)在線添加刪除等管理功能 . 19 快速、持續(xù)增長(zhǎng)的數(shù)據(jù)導(dǎo)致難于管理和發(fā)展。 簡(jiǎn)便的管理和快速在線擴(kuò)容，減少您的管理投資 LeoFS 的集群模塊化設(shè)計(jì)方法可加速動(dòng)態(tài)擴(kuò)容和刪除操作的完成。此外， LoongStore 的存儲(chǔ)操作系統(tǒng)的簡(jiǎn)化的管理還能將您的IT 人員從中解放出來，從而可減少人為錯(cuò)誤，使他們能夠更關(guān)注數(shù)據(jù)管理戰(zhàn)略，而不是日常任務(wù)。 關(guān)鍵任務(wù)的數(shù)據(jù)連續(xù)性、完整性。 高效的災(zāi)難保護(hù)機(jī)制，保護(hù)您的業(yè)務(wù)不受干擾 LeoFS 具有內(nèi)在的高可用性架構(gòu) ,確保當(dāng)磁盤損壞時(shí)業(yè)務(wù)不會(huì)中斷，連續(xù)、高效的完成業(yè)務(wù)。 分布式環(huán)境 的解決方案。 更優(yōu)的分布式架構(gòu)，更通用更快捷 LeoFS 是基于靈活的硬件和高度優(yōu)化的分布式集群存儲(chǔ)環(huán)境。 當(dāng)存儲(chǔ)空間擴(kuò)容時(shí)，需要手動(dòng)停機(jī)進(jìn)行數(shù)據(jù)遷移 動(dòng)態(tài)擴(kuò)容和自動(dòng)負(fù)載均衡，解放您的 IT 員工 LeoFS 的獨(dú)特的架構(gòu)和負(fù)載均衡技術(shù)支持集群系統(tǒng)動(dòng)態(tài)擴(kuò)容和在線負(fù)載均衡功能，讓您在不需要停止業(yè)務(wù)的情況下提升集群的容量和性能。而且，自動(dòng)的負(fù)載均衡能力使得您不用為繁雜的數(shù)據(jù)遷移而頭疼。 20 龍存集群存儲(chǔ)系統(tǒng)功能說明 功能名稱 功能簡(jiǎn)介 全局文件共享 LoongStore 集群存儲(chǔ)系統(tǒng)對(duì)外提供全局統(tǒng)一文件系統(tǒng)鏡像，可以支持系統(tǒng)內(nèi)所有服務(wù)器使用存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)共享服務(wù)； POSIX 接口研發(fā) 可支持所有通用軟件以及所有通用操作系統(tǒng)的掛載使用，無需進(jìn)行二次開發(fā)，應(yīng)用系統(tǒng)可以向使用本地硬盤一樣的使用存儲(chǔ)系統(tǒng)； 設(shè)臵數(shù)據(jù)冗余策略 LoongStore 集群存儲(chǔ)系統(tǒng)可以 針對(duì) 不同的目錄數(shù)據(jù)設(shè)臵 不同 的安全級(jí)別，可在多臺(tái)服務(wù)器同時(shí)宕機(jī)的情況下保證應(yīng)用系統(tǒng)的正常運(yùn)轉(zhuǎn)； 負(fù)載均衡 存儲(chǔ)系統(tǒng)自帶負(fù)載均衡之際，在大數(shù)據(jù)進(jìn)行處理與讀寫時(shí)，可以將所有的訪問壓力分?jǐn)傇诩簝?nèi)所有存儲(chǔ)磁盤中，將所有服務(wù)器的 CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤的性能全部利用起來，不會(huì)形成任何訪問熱點(diǎn)，屏蔽熱點(diǎn)情況造成的部分磁盤訪問壓力過大造成的部分磁盤損壞的情況，降低磁盤消耗。 導(dǎo)出子目錄 可以將 不同應(yīng)用服務(wù)器與存儲(chǔ)內(nèi)的任意數(shù)據(jù)目錄進(jìn)行綁定設(shè)臵，形成數(shù)據(jù)隔離，使不同的應(yīng)用系統(tǒng)有自己私有的存儲(chǔ)目錄，其它業(yè)務(wù)系統(tǒng)無法訪問， 做到數(shù)據(jù) 可控 的安全隔離 ； 垃圾回收 清理 文件系統(tǒng)由于宕機(jī)或者壞盤造成的 垃圾數(shù)據(jù) ； 禁止分配空間 系統(tǒng)可對(duì) 任何服務(wù)器的任何磁盤進(jìn)行 限制其寫入數(shù)據(jù) 的功能，解決由于磁盤訪問延遲過高時(shí)降低此磁盤的訪問壓力，將所有21 存在安全性問題的事情全部做到可控范圍內(nèi)； 鎖定客戶端 當(dāng)系統(tǒng)出現(xiàn)任何安全隱患包括泄密等問題時(shí)，可以直接鎖定出現(xiàn)問題的機(jī)器，讓此機(jī)器無法在進(jìn)行數(shù)據(jù)讀寫，給用戶爭(zhēng)取處理時(shí)間； 增強(qiáng)型權(quán)限管理 針對(duì)不同的客戶端，對(duì)重命名和刪除權(quán)限進(jìn)行控制 ，可以禁止系統(tǒng)內(nèi)某些客戶端的重命名以及刪除文件的操作，屏蔽由于誤刪除帶來的損失； 目錄配額 存儲(chǔ)系統(tǒng)內(nèi)可對(duì)任意目錄 進(jìn)行容量控制，動(dòng)態(tài)的按需分配 不同應(yīng)用所使用的不同存儲(chǔ)空間，方便用戶對(duì)存儲(chǔ)系統(tǒng)的使用規(guī)劃； 在線更換設(shè)備 存儲(chǔ)系統(tǒng)可在線更換線上所有硬件設(shè)備，方便在硬件更新?lián)Q代時(shí)，無需停止任何應(yīng)用的情況下，進(jìn)行硬件設(shè)備的在線更換； 用戶目錄權(quán)限 系統(tǒng)內(nèi)臵私有權(quán)限設(shè)臵， 可以屏蔽操作系統(tǒng)的權(quán)限設(shè)臵進(jìn)行私有設(shè)臵，即使是管理員用戶也無法跳過私有權(quán)限設(shè)臵對(duì)數(shù)據(jù)進(jìn)行操作； 22 龍存方案與 SAN 對(duì)比 架構(gòu)參數(shù) FC/IP SAN LoongStore 共享性能 FC/IP SAN 設(shè)備本身不支持共享，需 要 共 享 文 件 系 統(tǒng) 支 持 ， 如StorNext，或 EMC 自己的 MPFS，但這 次文件系統(tǒng)都不是集群設(shè)計(jì)，性能普遍很低，支持客戶端數(shù)量也很有限。 單個(gè) LUN 被共享訪問時(shí)性能會(huì)急劇下降 ； 基于高效的并行存儲(chǔ)技術(shù)，系統(tǒng)聚合帶寬隨著存儲(chǔ)規(guī)模擴(kuò)大而近線性增長(zhǎng)，帶寬可擴(kuò)展至數(shù)百 GB/s；單個(gè)數(shù)據(jù)對(duì)象可以被多個(gè)客戶端訪問保持性能不變 ； 擴(kuò)展性 擴(kuò)容需要 重新規(guī)劃空間分配；容量越大，性能越低 ； 動(dòng)態(tài)無縫的擴(kuò)展，擴(kuò)展之后性能得到提高，容量越大，性能越高 ； 可靠性 數(shù)據(jù) Raid5 數(shù)據(jù)保護(hù)； Raid 組內(nèi)兩塊硬盤損壞，或者單臺(tái)存儲(chǔ)設(shè)備失效，會(huì)造成數(shù)據(jù)丟失 ； 數(shù)據(jù)冗余度可調(diào)；可 允許多塊磁盤同時(shí)損壞，甚至單臺(tái)存儲(chǔ)設(shè)備失效也不會(huì)影響數(shù)據(jù)的完整性 ； 故障恢復(fù)時(shí)間 系統(tǒng)重構(gòu) 完全基于內(nèi)部 RAID 機(jī)制進(jìn)行數(shù)據(jù)恢復(fù)，數(shù)據(jù)恢復(fù)時(shí)影響 業(yè)務(wù) 性能 ， 且數(shù)據(jù)恢復(fù) 時(shí)間很長(zhǎng) ，存在較大的概率造成同一 RAID 組中其它硬件在次損壞，致使數(shù)據(jù)丟失； 內(nèi)臵硬件損壞掃描機(jī)制，可快速發(fā)現(xiàn)損壞硬件，并 在線系統(tǒng)快速重構(gòu)和數(shù)據(jù)恢復(fù)，速度是SAN 的數(shù)倍， 且數(shù)據(jù)恢復(fù)時(shí) 對(duì)存儲(chǔ)系統(tǒng) 性能幾乎沒有影響 ； 23 完備性 SAN 設(shè)備本身只提供基本存儲(chǔ)空間， 要實(shí)現(xiàn)一個(gè)完整的 共享 存儲(chǔ)解決方案，需要一個(gè)“系統(tǒng)集成”的過程 ，否則則會(huì)出現(xiàn)一個(gè)應(yīng)用系統(tǒng)掛載多個(gè)卷的情況出現(xiàn)，使用先對(duì)復(fù)雜； 系統(tǒng)提供存儲(chǔ)、共享、自修復(fù)、負(fù)載均衡、安全、 等完整的功能，無需另購軟件 ，一套系統(tǒng)可滿足所有數(shù)據(jù)存儲(chǔ)的需求； 維護(hù)升級(jí)費(fèi)用 需要專人學(xué)習(xí)、負(fù)責(zé)維護(hù) ； 廠家專用磁盤，價(jià)格十分昂貴； 系統(tǒng) 自動(dòng)化程度高，接近零維護(hù)，任何網(wǎng)絡(luò)維護(hù)人員都能承擔(dān)維護(hù)任務(wù)； 24 龍存方案與集群 NAS 對(duì)比 架構(gòu)參數(shù) NAS LoongStore 帶寬 NAS 設(shè)備控制器存在數(shù)量限制，即數(shù)據(jù)出口少 ,容易成為性能 性能瓶頸 ； 基于高效的并行存儲(chǔ)技術(shù)，聚合帶寬隨著存儲(chǔ)集群規(guī)模擴(kuò)大而線性增長(zhǎng) ； 可靠性 數(shù)據(jù) Raid5 數(shù)據(jù)保護(hù)； Raid 組內(nèi)兩塊硬盤損壞，或者單臺(tái)存儲(chǔ)設(shè)備失效，會(huì)造成數(shù)據(jù)丟失 ； 數(shù)據(jù)冗余度可調(diào)；可以允許多塊磁盤同時(shí)損壞，甚至單臺(tái)存儲(chǔ)設(shè)備失效也不會(huì)影響數(shù)據(jù)的完整性 ； 并發(fā) 所謂雙 Active 集群文件服務(wù)器 ,一個(gè)數(shù)據(jù)對(duì)象同時(shí)只有一臺(tái)NFS 服務(wù)器能夠訪問 ，容易出現(xiàn)訪問熱點(diǎn)的情況； 單 一 數(shù)據(jù)對(duì)象可以同時(shí)被多個(gè)數(shù)據(jù)接收端接收數(shù)據(jù) ，實(shí)現(xiàn)多臺(tái)客戶端同時(shí)對(duì)一個(gè)文件進(jìn)行操作或者存??； 擴(kuò)