【導(dǎo)讀】cStor云存儲平臺解決方案。南京云創(chuàng)存儲科技有限公司2020-08-21

　　

【正文】 議等信息，并且和規(guī)則庫進行 匹配，看是否允許通過或丟棄； 編碼與解碼：對靜態(tài)的數(shù)據(jù)塊進行編碼，編碼是相對復(fù)雜而且基于隨機關(guān)鍵字的。一旦編碼，則打亂了數(shù)據(jù)或命令的原有格式，使數(shù)據(jù)中可能攜帶的可執(zhí)行惡意代碼失效，阻止惡意程序執(zhí)行。一旦數(shù)據(jù)經(jīng)過了內(nèi)容檢測且確認是安全的，它就被解碼，準備發(fā)送到內(nèi)部網(wǎng)絡(luò)；會話生成內(nèi)部服務(wù)器模擬應(yīng)用的客戶端，將經(jīng)檢測過的數(shù)據(jù)發(fā)送到內(nèi)部網(wǎng)絡(luò)，和內(nèi)部網(wǎng)絡(luò)上真正的應(yīng)用服務(wù)器建立一個新的連接，接著生成符合 RFC 協(xié)議的新通信包。 同時，通過外部集成入侵檢測系統(tǒng) IDS，對網(wǎng)絡(luò)通信進行安全審計，及時發(fā)現(xiàn)和追蹤各類非法連接行為； 通過外部集成的負載均衡設(shè)備，為訪問用戶提供虛擬 IP 地址，保證物理機器對用戶不可見，避免非法用戶對真實物理機的直接訪問，避免對物理機的 cStor 云存儲平臺解決方案 28 / 50 南京云創(chuàng)存儲科技有限公司 20200821 可能操作動作。 云 平臺 安全審計 云平臺安全審計任務(wù)由分布于網(wǎng)絡(luò)各處的功能單元協(xié)作完成，這些單元還能在更高層次結(jié)構(gòu)上進一步擴展，從而能夠適應(yīng)網(wǎng)絡(luò)規(guī)模的擴大。云安全審計體系結(jié)構(gòu)如下圖所示。 圖表 云存儲安全審計體系結(jié)構(gòu) 它由三部分組成： ? 主機代理模塊：在受監(jiān)視系統(tǒng)中作為后臺進程運行的審計信息收集模塊。主要目的是收集主機上與安全相關(guān)的事件信息，并將數(shù)據(jù)傳送給中央管理者。 ? 局域網(wǎng) 監(jiān)視器代理模塊：主要分析局域網(wǎng)通訊流量，根據(jù)需要將結(jié)果報告給中央管理者。 ? 中央管理者模塊：接收包括來自局域網(wǎng)監(jiān)視器和主機代理的數(shù)據(jù)和報告，控制整個系統(tǒng)的通信信息，對接收到的數(shù)據(jù)進行分析。 在云安全審計體系結(jié)構(gòu)中，代理截獲審計收集系統(tǒng)生成的審計記錄，應(yīng)用過濾器去掉與安全無關(guān)的記錄，然后將這些記錄轉(zhuǎn)化成一種標準格式以實現(xiàn)互操作。然后，代理中的分析模塊分析記錄，并與該用戶的歷史映像相比較，當檢測出異常時，向中央管理者報警。局域網(wǎng)監(jiān)視器代理審計主機與主機之間的連接以及使用的服務(wù)和通訊量的大 cStor 云存儲平臺解決方案 29 / 50 南京云創(chuàng)存儲科技有限公司 20200821 小，以查找出顯著的事件，如 網(wǎng)絡(luò)負載的突然改變、安全相關(guān)服務(wù)的使用等。 對于安全審計系統(tǒng)來說，數(shù)據(jù)源可以分為三類：基于主機、 基于目標 、 基于網(wǎng)絡(luò)，下面分別對每類來源進行論述。 （ 1）基于主機的數(shù)據(jù)源 基于主機（包括虛擬機）的數(shù)據(jù)有以下四類：操作系統(tǒng)日志、系統(tǒng)日志、應(yīng)用日志和基于目標的信息。 （ 2）基于目標的數(shù)據(jù)源 評估出系統(tǒng)中關(guān)鍵的或是有特殊價值的對象，針對每一個對象制定信息收集和監(jiān)視機制，該對象即為審計的目標；對于審計目標的每一次狀態(tài)轉(zhuǎn)變，與系統(tǒng)的安全策略進行比較，所出現(xiàn)的任何異常都進行記錄或響應(yīng)。 最常見的基于目標的審計技術(shù)是完整性 校驗，其審計對象多為文件。采用消息摘要算法，計算需要保護的系統(tǒng)對象（如關(guān)鍵文件）的校驗值，并存儲在安全區(qū)域。周期性地對目標進行檢查，可以發(fā)現(xiàn)目標是否被改變，從而提供一定級別的保護。 （ 3）基于網(wǎng)絡(luò)的數(shù)據(jù)源 網(wǎng)絡(luò)數(shù)據(jù)源的基本原理是：當網(wǎng)絡(luò)數(shù)據(jù)流在網(wǎng)段中傳播時，采用特殊的數(shù)據(jù)提取技術(shù)，收取網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)，作為安全審計系統(tǒng)的數(shù)據(jù)源。在計算機網(wǎng)絡(luò)系統(tǒng)中，局域網(wǎng)普遍采用的是基于廣播機制的 IEEE 協(xié)議，即以太網(wǎng)（ Ether）協(xié)議。該協(xié)議保證傳輸?shù)臄?shù)據(jù)包能被同一沖突域內(nèi)的所有主機接收，基于網(wǎng)絡(luò)的安全審 計正是利用了以太網(wǎng)的這一特性。 安全審計方法描述：為系統(tǒng)描述方便，用 T 表示安全服務(wù)器，與外部網(wǎng)絡(luò)隔離，它的通信安全性可由各種方法實現(xiàn)，如抵賴的令牌、 VPN 安全信道、 SSL 安全信道等，如內(nèi)部網(wǎng)絡(luò)中的安全服務(wù)器、安全的電子證據(jù)收集設(shè)備或安全的中央服務(wù)器等；用 U 表示不安全的系統(tǒng)，容易受到攻擊卻記錄著日志的計算機系統(tǒng)，它在物理位置上并不安全，也就是說它是接入網(wǎng)絡(luò)的，也沒有有效的防御措施來確保不被攻擊者控制，如個人 PC、防火墻、入侵檢測系統(tǒng)或其它應(yīng)用系統(tǒng)等；用 V 表示某些授權(quán)用戶使用的計算機，安全性介于 U 和 T 之間，它能 被信任查看某些日志記錄，但不能修改記錄，也就是說并不支持所有的操作，如內(nèi)部工作站等。 本系統(tǒng)創(chuàng)建新的安全日志文件時，由 U 隨機產(chǎn)生初始認證密鑰，并由安全信道發(fā)送 cStor 云存儲平臺解決方案 30 / 50 南京云創(chuàng)存儲科技有限公司 20200821 到 T 保存。 U 產(chǎn)生原始日志信息，通過多種加密的標準工具對原始日志的每條記錄進行保護后寫入安全審計日志文件中，并定期將安全審計日志文件備份到 T 中保存。安全審計時， T 發(fā)送認證碼給 V，指定 V 查看或?qū)徲?U 和 T 中的日志文件的部分日志記錄，也可由 T 直接對 U 中的日志文件進行安全審計，出現(xiàn)可疑信息時與 T 中的備份日志數(shù)據(jù)進行比較，發(fā)現(xiàn)確實不一致的則可初步判斷 U 可能遭受攻擊 。安全日志審計系統(tǒng)結(jié)構(gòu)如下圖所示。 圖表 安全日志審計系統(tǒng)結(jié)構(gòu)圖 U 開始創(chuàng)建日志文件時與安全的認證系統(tǒng) T 共享一個密鑰，用這個密鑰創(chuàng)建日志文件。 對于分布式安全審計系統(tǒng)的具體實現(xiàn)來說，應(yīng)用 Agent 技術(shù)是一個較好的解決方案，該技術(shù)已經(jīng)在一些實際的安全審計系統(tǒng)中得到了應(yīng)用。 Agent 最早起源于人工智能，現(xiàn)廣泛地應(yīng)用于人工智能、網(wǎng)絡(luò)管理、軟件工程等領(lǐng)域。我們將 Agent（代理）定義為“一個自治的實體，它能夠感知環(huán)境，并且對外界的信息做出判斷和推理，來控制自己的決策和行動，以便完成一定的任務(wù)”。 基于 Agent 的安全審計系統(tǒng)是將 Agent 分布于系統(tǒng)的關(guān)鍵點上，包括提供各項服務(wù)的服務(wù)器、重要的工作站、內(nèi)部網(wǎng)關(guān)和防火墻上，完成大部分安全審計和響應(yīng)任務(wù)。由于代理本身具有自治性，可以針對特定的應(yīng)用環(huán)境編程和配置，使得代理占用系統(tǒng)資源最??；在將代理放入具體復(fù)雜環(huán)境前可以對它進行獨立測試；同時通過 Agent 間的有限交互（包括數(shù)據(jù)和控制信息），可以獲得更復(fù)雜的信息，有利于解決網(wǎng)絡(luò)中的協(xié)作入侵活動。 cStor 云存儲平臺解決方案 31 / 50 南京云創(chuàng)存儲科技有限公司 20200821 安全審計中 Agent 通過探查所在的系統(tǒng)的日志文件，捕獲網(wǎng)絡(luò)數(shù)據(jù)包或其他的信息源獲取數(shù)據(jù)。 此外，將審計任務(wù)分配到多臺計算 機上有利于減少監(jiān)控計算機的負荷，而且能提高系統(tǒng)的處理速度和效率，提高系統(tǒng)的實時性；最后， Agent 可以自動升級，而且對系統(tǒng)的其他部分保持透明。 5 工作機制 數(shù)據(jù)寫入機制 數(shù)據(jù)寫入過程參考下圖： CHK1CHK2CHK3CHK N客 戶 端元 數(shù) 據(jù) 服 務(wù) 器（ 1 ） 、 （ 3 ）（ 5 ）（ 2 ）（ 4 ） (1) 客戶端向元數(shù)據(jù)服務(wù)器請求寫入文件數(shù)據(jù) ，元數(shù)據(jù)服務(wù)器返回寫入服務(wù)器列表 ； (2) 客戶端 進行文件切塊寫入有塊數(shù)據(jù)服務(wù)器； (3) 客戶端每寫入一定量的塊數(shù)據(jù)后，通知元數(shù)據(jù)服務(wù)器，由元數(shù)據(jù)服務(wù)器啟動一個編碼任務(wù)，進行編碼；而客戶端繼續(xù)寫數(shù)據(jù)，真到寫完成為止； (4) 元數(shù)據(jù)服務(wù)器調(diào)度一個 或多個塊數(shù)據(jù)服務(wù)器進行編碼任務(wù)； (5) 被調(diào)度的塊數(shù)據(jù)服務(wù)器，獲取需要的原始信息塊組進行編碼，產(chǎn)生冗余數(shù)據(jù)塊； cStor 云存儲平臺解決方案 32 / 50 南京云創(chuàng)存儲科技有限公司 20200821 數(shù)據(jù)讀出機制 數(shù)據(jù) 讀出 過程參考下圖： CHK1CHK2CHK3CHK N客 戶 端元 數(shù) 據(jù) 服 務(wù) 器（ 1 ）（ 2 ） 、 （ 3 ） 、 （ 4 ） (1) 客戶端向元數(shù)據(jù)服務(wù)器請求 讀出 文件數(shù)據(jù) ，元數(shù)據(jù)服務(wù)器返回數(shù)據(jù)塊位置列表 ； (2) 客戶端 進行數(shù)據(jù)塊讀出； (3) 客戶端進行數(shù)據(jù)塊校驗； (4) 對未能讀出的數(shù)據(jù)塊或無效塊通過同編碼組內(nèi)其它數(shù)據(jù)塊進行解碼，獲得完整正解的文件數(shù)據(jù) 。 6 關(guān)鍵技術(shù) 負載自動均衡技術(shù) 采 用中心服務(wù)器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在主 管理服務(wù)器 上，文件則劃分為多個節(jié)點存儲在不同的節(jié)點服務(wù)器上。 主卷管理服務(wù)器維護了一個統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)節(jié)點服務(wù)器的使用情況，當客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務(wù)器根據(jù)節(jié)點服務(wù)器的磁盤使用情況、網(wǎng)絡(luò)負擔等情況，選擇負擔最輕的節(jié)點服務(wù)器對外提供服務(wù)，自動 cStor 云存儲平臺解決方案 33 / 50 南京云創(chuàng)存儲科技有限公司 20200821 均衡負載負擔。 另外，當某有一個節(jié)點服務(wù)器因為機器故障或者其他原因造成離線時，主卷管理服務(wù)器會將此機器自動屏蔽掉，不再將此節(jié)點服務(wù)器提供給客戶端使用，同時存儲在此節(jié)點服務(wù)器上的數(shù)據(jù)也會自動的 編碼冗余 到其他可用的節(jié)點服務(wù)器上，自動屏蔽節(jié)點 服務(wù)器故障對系統(tǒng)的影響。 高速并發(fā)訪問技術(shù) 客戶端在訪問云存儲時，首先訪問主卷管理服務(wù)器節(jié)點，獲取將要與之進行交互的節(jié)點服務(wù)器信息，然后直接訪問這些節(jié)點服務(wù)器完成數(shù)據(jù)存取。 客戶端與主卷管理服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了主卷管理服務(wù)器的負載，使之不成為系統(tǒng)性能的一個瓶頸?？蛻舳伺c節(jié)點服務(wù)器之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個節(jié)點進行分布式存儲，客戶端可以同時訪問多個節(jié)點服務(wù)器，從而使得整個系統(tǒng)的 I/O 高度并行，系統(tǒng)整體性能得到提高。 通常情況下，系統(tǒng)的整體吞吐率與節(jié)點服務(wù)器的數(shù)量 呈正比。 高可靠性保證技術(shù) 對于元數(shù)據(jù)，通過操作日志來提供容錯功能，當主 管理服務(wù)器發(fā)生故障時， 在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。為了防止主管理服務(wù)器徹底死機的情況，還提供了主 管理服務(wù)器遠程的實時備份 ，這樣在當前的主管理服務(wù)器出現(xiàn)故障無法工作的時候，另外一臺備 管理服務(wù)器可以迅速接替其工作。 對于節(jié)點服務(wù)器，采用 編解碼 的方式實現(xiàn)容錯 ， 分布存儲在不同的節(jié)點服務(wù)器上。數(shù)據(jù)塊的 分布策略考慮了多種因素，如網(wǎng)絡(luò)的拓撲、機架的分布、磁盤的利用率等。在其后的過程中，如果相關(guān)的 數(shù)據(jù)塊出現(xiàn)丟失或不可恢復(fù)等狀況， 主 管理服務(wù)器會自動將該 數(shù)據(jù)塊編解碼冗余 到其他節(jié)點服務(wù)器，從而確保 數(shù)據(jù)塊的一定的冗余容錯，進行自動冗余容錯重建 。在有多個節(jié)點服務(wù)器的情況下，任意損失一個節(jié)點，數(shù)據(jù)都不會丟失，而且隨著節(jié)點服務(wù)器數(shù)目的增多，整個系統(tǒng)的可靠性越大。 cStor 云存儲平臺解決方案 34 / 50 南京云創(chuàng)存儲科技有限公司 20200821 高可用技術(shù) 系統(tǒng)中的所有服務(wù)節(jié)點均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯機制，系統(tǒng)增減節(jié)點不必停止服務(wù)，可在線增減存儲節(jié)點，存儲節(jié)點和元數(shù)據(jù)節(jié)點間通過注冊管理機制自適應(yīng)管理，實現(xiàn)自動伸縮。 元數(shù)據(jù)服務(wù)器采用主備雙機熱備技術(shù)，主機故障，備機自動接替其工作，對外服務(wù)不停止；存儲節(jié)點采 用 編解碼 冗余備份機制， 如采用 4:2 編碼容錯 ，任意損失 兩 個節(jié)點，數(shù)據(jù)不丟失，服務(wù)不停止。 低功耗存儲技術(shù) 服務(wù)器的功耗取決于各個配件的總體功耗，而主要耗電大戶則是處理器、芯片組和存儲器了。低功耗存儲技術(shù)主要是改進這些配件能夠進而實現(xiàn)節(jié)能，這樣服務(wù)器乃至數(shù)據(jù)中心整體功耗則會得到更好的控制。 隨著嵌入式技術(shù)的飛速發(fā)展，嵌入式的性能有了很大的提高，嵌入式的性能與計算機的差距不斷縮小，特別是在專用計算機領(lǐng)域。由于嵌入式系統(tǒng)是應(yīng)用在特定的環(huán)境下，針對特殊的用途來設(shè)計的系統(tǒng)。所以不同于通用的計算機系統(tǒng)。同樣是計算機系統(tǒng)， 嵌入式