【導(dǎo)讀】cStor云存儲(chǔ)平臺(tái)解決方案。南京云創(chuàng)存儲(chǔ)科技有限公司2020-08-21

　　

【正文】 議等信息，并且和規(guī)則庫進(jìn)行 匹配，看是否允許通過或丟棄； 編碼與解碼：對(duì)靜態(tài)的數(shù)據(jù)塊進(jìn)行編碼，編碼是相對(duì)復(fù)雜而且基于隨機(jī)關(guān)鍵字的。一旦編碼，則打亂了數(shù)據(jù)或命令的原有格式，使數(shù)據(jù)中可能攜帶的可執(zhí)行惡意代碼失效，阻止惡意程序執(zhí)行。一旦數(shù)據(jù)經(jīng)過了內(nèi)容檢測(cè)且確認(rèn)是安全的，它就被解碼，準(zhǔn)備發(fā)送到內(nèi)部網(wǎng)絡(luò)；會(huì)話生成內(nèi)部服務(wù)器模擬應(yīng)用的客戶端，將經(jīng)檢測(cè)過的數(shù)據(jù)發(fā)送到內(nèi)部網(wǎng)絡(luò)，和內(nèi)部網(wǎng)絡(luò)上真正的應(yīng)用服務(wù)器建立一個(gè)新的連接，接著生成符合 RFC 協(xié)議的新通信包。 同時(shí)，通過外部集成入侵檢測(cè)系統(tǒng) IDS，對(duì)網(wǎng)絡(luò)通信進(jìn)行安全審計(jì)，及時(shí)發(fā)現(xiàn)和追蹤各類非法連接行為； 通過外部集成的負(fù)載均衡設(shè)備，為訪問用戶提供虛擬 IP 地址，保證物理機(jī)器對(duì)用戶不可見，避免非法用戶對(duì)真實(shí)物理機(jī)的直接訪問，避免對(duì)物理機(jī)的 cStor 云存儲(chǔ)平臺(tái)解決方案 28 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 可能操作動(dòng)作。 云 平臺(tái) 安全審計(jì) 云平臺(tái)安全審計(jì)任務(wù)由分布于網(wǎng)絡(luò)各處的功能單元協(xié)作完成，這些單元還能在更高層次結(jié)構(gòu)上進(jìn)一步擴(kuò)展，從而能夠適應(yīng)網(wǎng)絡(luò)規(guī)模的擴(kuò)大。云安全審計(jì)體系結(jié)構(gòu)如下圖所示。 圖表 云存儲(chǔ)安全審計(jì)體系結(jié)構(gòu) 它由三部分組成： ? 主機(jī)代理模塊：在受監(jiān)視系統(tǒng)中作為后臺(tái)進(jìn)程運(yùn)行的審計(jì)信息收集模塊。主要目的是收集主機(jī)上與安全相關(guān)的事件信息，并將數(shù)據(jù)傳送給中央管理者。 ? 局域網(wǎng) 監(jiān)視器代理模塊：主要分析局域網(wǎng)通訊流量，根據(jù)需要將結(jié)果報(bào)告給中央管理者。 ? 中央管理者模塊：接收包括來自局域網(wǎng)監(jiān)視器和主機(jī)代理的數(shù)據(jù)和報(bào)告，控制整個(gè)系統(tǒng)的通信信息，對(duì)接收到的數(shù)據(jù)進(jìn)行分析。 在云安全審計(jì)體系結(jié)構(gòu)中，代理截獲審計(jì)收集系統(tǒng)生成的審計(jì)記錄，應(yīng)用過濾器去掉與安全無關(guān)的記錄，然后將這些記錄轉(zhuǎn)化成一種標(biāo)準(zhǔn)格式以實(shí)現(xiàn)互操作。然后，代理中的分析模塊分析記錄，并與該用戶的歷史映像相比較，當(dāng)檢測(cè)出異常時(shí)，向中央管理者報(bào)警。局域網(wǎng)監(jiān)視器代理審計(jì)主機(jī)與主機(jī)之間的連接以及使用的服務(wù)和通訊量的大 cStor 云存儲(chǔ)平臺(tái)解決方案 29 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 小，以查找出顯著的事件，如 網(wǎng)絡(luò)負(fù)載的突然改變、安全相關(guān)服務(wù)的使用等。 對(duì)于安全審計(jì)系統(tǒng)來說，數(shù)據(jù)源可以分為三類：基于主機(jī)、 基于目標(biāo) 、 基于網(wǎng)絡(luò)，下面分別對(duì)每類來源進(jìn)行論述。 （ 1）基于主機(jī)的數(shù)據(jù)源 基于主機(jī)（包括虛擬機(jī)）的數(shù)據(jù)有以下四類：操作系統(tǒng)日志、系統(tǒng)日志、應(yīng)用日志和基于目標(biāo)的信息。 （ 2）基于目標(biāo)的數(shù)據(jù)源 評(píng)估出系統(tǒng)中關(guān)鍵的或是有特殊價(jià)值的對(duì)象，針對(duì)每一個(gè)對(duì)象制定信息收集和監(jiān)視機(jī)制，該對(duì)象即為審計(jì)的目標(biāo)；對(duì)于審計(jì)目標(biāo)的每一次狀態(tài)轉(zhuǎn)變，與系統(tǒng)的安全策略進(jìn)行比較，所出現(xiàn)的任何異常都進(jìn)行記錄或響應(yīng)。 最常見的基于目標(biāo)的審計(jì)技術(shù)是完整性 校驗(yàn)，其審計(jì)對(duì)象多為文件。采用消息摘要算法，計(jì)算需要保護(hù)的系統(tǒng)對(duì)象（如關(guān)鍵文件）的校驗(yàn)值，并存儲(chǔ)在安全區(qū)域。周期性地對(duì)目標(biāo)進(jìn)行檢查，可以發(fā)現(xiàn)目標(biāo)是否被改變，從而提供一定級(jí)別的保護(hù)。 （ 3）基于網(wǎng)絡(luò)的數(shù)據(jù)源 網(wǎng)絡(luò)數(shù)據(jù)源的基本原理是：當(dāng)網(wǎng)絡(luò)數(shù)據(jù)流在網(wǎng)段中傳播時(shí)，采用特殊的數(shù)據(jù)提取技術(shù)，收取網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)，作為安全審計(jì)系統(tǒng)的數(shù)據(jù)源。在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中，局域網(wǎng)普遍采用的是基于廣播機(jī)制的 IEEE 協(xié)議，即以太網(wǎng)（ Ether）協(xié)議。該協(xié)議保證傳輸?shù)臄?shù)據(jù)包能被同一沖突域內(nèi)的所有主機(jī)接收，基于網(wǎng)絡(luò)的安全審 計(jì)正是利用了以太網(wǎng)的這一特性。 安全審計(jì)方法描述：為系統(tǒng)描述方便，用 T 表示安全服務(wù)器，與外部網(wǎng)絡(luò)隔離，它的通信安全性可由各種方法實(shí)現(xiàn)，如抵賴的令牌、 VPN 安全信道、 SSL 安全信道等，如內(nèi)部網(wǎng)絡(luò)中的安全服務(wù)器、安全的電子證據(jù)收集設(shè)備或安全的中央服務(wù)器等；用 U 表示不安全的系統(tǒng)，容易受到攻擊卻記錄著日志的計(jì)算機(jī)系統(tǒng)，它在物理位置上并不安全，也就是說它是接入網(wǎng)絡(luò)的，也沒有有效的防御措施來確保不被攻擊者控制，如個(gè)人 PC、防火墻、入侵檢測(cè)系統(tǒng)或其它應(yīng)用系統(tǒng)等；用 V 表示某些授權(quán)用戶使用的計(jì)算機(jī)，安全性介于 U 和 T 之間，它能 被信任查看某些日志記錄，但不能修改記錄，也就是說并不支持所有的操作，如內(nèi)部工作站等。 本系統(tǒng)創(chuàng)建新的安全日志文件時(shí)，由 U 隨機(jī)產(chǎn)生初始認(rèn)證密鑰，并由安全信道發(fā)送 cStor 云存儲(chǔ)平臺(tái)解決方案 30 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 到 T 保存。 U 產(chǎn)生原始日志信息，通過多種加密的標(biāo)準(zhǔn)工具對(duì)原始日志的每條記錄進(jìn)行保護(hù)后寫入安全審計(jì)日志文件中，并定期將安全審計(jì)日志文件備份到 T 中保存。安全審計(jì)時(shí)， T 發(fā)送認(rèn)證碼給 V，指定 V 查看或?qū)徲?jì) U 和 T 中的日志文件的部分日志記錄，也可由 T 直接對(duì) U 中的日志文件進(jìn)行安全審計(jì)，出現(xiàn)可疑信息時(shí)與 T 中的備份日志數(shù)據(jù)進(jìn)行比較，發(fā)現(xiàn)確實(shí)不一致的則可初步判斷 U 可能遭受攻擊 。安全日志審計(jì)系統(tǒng)結(jié)構(gòu)如下圖所示。 圖表 安全日志審計(jì)系統(tǒng)結(jié)構(gòu)圖 U 開始創(chuàng)建日志文件時(shí)與安全的認(rèn)證系統(tǒng) T 共享一個(gè)密鑰，用這個(gè)密鑰創(chuàng)建日志文件。 對(duì)于分布式安全審計(jì)系統(tǒng)的具體實(shí)現(xiàn)來說，應(yīng)用 Agent 技術(shù)是一個(gè)較好的解決方案，該技術(shù)已經(jīng)在一些實(shí)際的安全審計(jì)系統(tǒng)中得到了應(yīng)用。 Agent 最早起源于人工智能，現(xiàn)廣泛地應(yīng)用于人工智能、網(wǎng)絡(luò)管理、軟件工程等領(lǐng)域。我們將 Agent（代理）定義為“一個(gè)自治的實(shí)體，它能夠感知環(huán)境，并且對(duì)外界的信息做出判斷和推理，來控制自己的決策和行動(dòng)，以便完成一定的任務(wù)”。 基于 Agent 的安全審計(jì)系統(tǒng)是將 Agent 分布于系統(tǒng)的關(guān)鍵點(diǎn)上，包括提供各項(xiàng)服務(wù)的服務(wù)器、重要的工作站、內(nèi)部網(wǎng)關(guān)和防火墻上，完成大部分安全審計(jì)和響應(yīng)任務(wù)。由于代理本身具有自治性，可以針對(duì)特定的應(yīng)用環(huán)境編程和配置，使得代理占用系統(tǒng)資源最?。辉趯⒋矸湃刖唧w復(fù)雜環(huán)境前可以對(duì)它進(jìn)行獨(dú)立測(cè)試；同時(shí)通過 Agent 間的有限交互（包括數(shù)據(jù)和控制信息），可以獲得更復(fù)雜的信息，有利于解決網(wǎng)絡(luò)中的協(xié)作入侵活動(dòng)。 cStor 云存儲(chǔ)平臺(tái)解決方案 31 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 安全審計(jì)中 Agent 通過探查所在的系統(tǒng)的日志文件，捕獲網(wǎng)絡(luò)數(shù)據(jù)包或其他的信息源獲取數(shù)據(jù)。 此外，將審計(jì)任務(wù)分配到多臺(tái)計(jì)算 機(jī)上有利于減少監(jiān)控計(jì)算機(jī)的負(fù)荷，而且能提高系統(tǒng)的處理速度和效率，提高系統(tǒng)的實(shí)時(shí)性；最后， Agent 可以自動(dòng)升級(jí)，而且對(duì)系統(tǒng)的其他部分保持透明。 5 工作機(jī)制 數(shù)據(jù)寫入機(jī)制 數(shù)據(jù)寫入過程參考下圖： CHK1CHK2CHK3CHK N客 戶 端元 數(shù) 據(jù) 服 務(wù) 器（ 1 ） 、 （ 3 ）（ 5 ）（ 2 ）（ 4 ） (1) 客戶端向元數(shù)據(jù)服務(wù)器請(qǐng)求寫入文件數(shù)據(jù) ，元數(shù)據(jù)服務(wù)器返回寫入服務(wù)器列表 ； (2) 客戶端 進(jìn)行文件切塊寫入有塊數(shù)據(jù)服務(wù)器； (3) 客戶端每寫入一定量的塊數(shù)據(jù)后，通知元數(shù)據(jù)服務(wù)器，由元數(shù)據(jù)服務(wù)器啟動(dòng)一個(gè)編碼任務(wù)，進(jìn)行編碼；而客戶端繼續(xù)寫數(shù)據(jù)，真到寫完成為止； (4) 元數(shù)據(jù)服務(wù)器調(diào)度一個(gè) 或多個(gè)塊數(shù)據(jù)服務(wù)器進(jìn)行編碼任務(wù)； (5) 被調(diào)度的塊數(shù)據(jù)服務(wù)器，獲取需要的原始信息塊組進(jìn)行編碼，產(chǎn)生冗余數(shù)據(jù)塊； cStor 云存儲(chǔ)平臺(tái)解決方案 32 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 數(shù)據(jù)讀出機(jī)制 數(shù)據(jù) 讀出 過程參考下圖： CHK1CHK2CHK3CHK N客 戶 端元 數(shù) 據(jù) 服 務(wù) 器（ 1 ）（ 2 ） 、 （ 3 ） 、 （ 4 ） (1) 客戶端向元數(shù)據(jù)服務(wù)器請(qǐng)求 讀出 文件數(shù)據(jù) ，元數(shù)據(jù)服務(wù)器返回?cái)?shù)據(jù)塊位置列表 ； (2) 客戶端 進(jìn)行數(shù)據(jù)塊讀出； (3) 客戶端進(jìn)行數(shù)據(jù)塊校驗(yàn)； (4) 對(duì)未能讀出的數(shù)據(jù)塊或無效塊通過同編碼組內(nèi)其它數(shù)據(jù)塊進(jìn)行解碼，獲得完整正解的文件數(shù)據(jù) 。 6 關(guān)鍵技術(shù) 負(fù)載自動(dòng)均衡技術(shù) 采 用中心服務(wù)器模式來管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在主 管理服務(wù)器 上，文件則劃分為多個(gè)節(jié)點(diǎn)存儲(chǔ)在不同的節(jié)點(diǎn)服務(wù)器上。 主卷管理服務(wù)器維護(hù)了一個(gè)統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)節(jié)點(diǎn)服務(wù)器的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)節(jié)點(diǎn)服務(wù)器的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù)，自動(dòng) cStor 云存儲(chǔ)平臺(tái)解決方案 33 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 均衡負(fù)載負(fù)擔(dān)。 另外，當(dāng)某有一個(gè)節(jié)點(diǎn)服務(wù)器因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí)，主卷管理服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉，不再將此節(jié)點(diǎn)服務(wù)器提供給客戶端使用，同時(shí)存儲(chǔ)在此節(jié)點(diǎn)服務(wù)器上的數(shù)據(jù)也會(huì)自動(dòng)的 編碼冗余 到其他可用的節(jié)點(diǎn)服務(wù)器上，自動(dòng)屏蔽節(jié)點(diǎn) 服務(wù)器故障對(duì)系統(tǒng)的影響。 高速并發(fā)訪問技術(shù) 客戶端在訪問云存儲(chǔ)時(shí)，首先訪問主卷管理服務(wù)器節(jié)點(diǎn)，獲取將要與之進(jìn)行交互的節(jié)點(diǎn)服務(wù)器信息，然后直接訪問這些節(jié)點(diǎn)服務(wù)器完成數(shù)據(jù)存取。 客戶端與主卷管理服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了主卷管理服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸?？蛻舳伺c節(jié)點(diǎn)服務(wù)器之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)，客戶端可以同時(shí)訪問多個(gè)節(jié)點(diǎn)服務(wù)器，從而使得整個(gè)系統(tǒng)的 I/O 高度并行，系統(tǒng)整體性能得到提高。 通常情況下，系統(tǒng)的整體吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)量 呈正比。 高可靠性保證技術(shù) 對(duì)于元數(shù)據(jù)，通過操作日志來提供容錯(cuò)功能，當(dāng)主 管理服務(wù)器發(fā)生故障時(shí)， 在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。為了防止主管理服務(wù)器徹底死機(jī)的情況，還提供了主 管理服務(wù)器遠(yuǎn)程的實(shí)時(shí)備份 ，這樣在當(dāng)前的主管理服務(wù)器出現(xiàn)故障無法工作的時(shí)候，另外一臺(tái)備 管理服務(wù)器可以迅速接替其工作。 對(duì)于節(jié)點(diǎn)服務(wù)器，采用 編解碼 的方式實(shí)現(xiàn)容錯(cuò) ， 分布存儲(chǔ)在不同的節(jié)點(diǎn)服務(wù)器上。數(shù)據(jù)塊的 分布策略考慮了多種因素，如網(wǎng)絡(luò)的拓?fù)洹C(jī)架的分布、磁盤的利用率等。在其后的過程中，如果相關(guān)的 數(shù)據(jù)塊出現(xiàn)丟失或不可恢復(fù)等狀況， 主 管理服務(wù)器會(huì)自動(dòng)將該 數(shù)據(jù)塊編解碼冗余 到其他節(jié)點(diǎn)服務(wù)器，從而確保 數(shù)據(jù)塊的一定的冗余容錯(cuò)，進(jìn)行自動(dòng)冗余容錯(cuò)重建 。在有多個(gè)節(jié)點(diǎn)服務(wù)器的情況下，任意損失一個(gè)節(jié)點(diǎn)，數(shù)據(jù)都不會(huì)丟失，而且隨著節(jié)點(diǎn)服務(wù)器數(shù)目的增多，整個(gè)系統(tǒng)的可靠性越大。 cStor 云存儲(chǔ)平臺(tái)解決方案 34 / 50 南京云創(chuàng)存儲(chǔ)科技有限公司 20200821 高可用技術(shù) 系統(tǒng)中的所有服務(wù)節(jié)點(diǎn)均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯(cuò)機(jī)制，系統(tǒng)增減節(jié)點(diǎn)不必停止服務(wù)，可在線增減存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)節(jié)點(diǎn)間通過注冊(cè)管理機(jī)制自適應(yīng)管理，實(shí)現(xiàn)自動(dòng)伸縮。 元數(shù)據(jù)服務(wù)器采用主備雙機(jī)熱備技術(shù)，主機(jī)故障，備機(jī)自動(dòng)接替其工作，對(duì)外服務(wù)不停止；存儲(chǔ)節(jié)點(diǎn)采 用 編解碼 冗余備份機(jī)制， 如采用 4:2 編碼容錯(cuò) ，任意損失 兩 個(gè)節(jié)點(diǎn)，數(shù)據(jù)不丟失，服務(wù)不停止。 低功耗存儲(chǔ)技術(shù) 服務(wù)器的功耗取決于各個(gè)配件的總體功耗，而主要耗電大戶則是處理器、芯片組和存儲(chǔ)器了。低功耗存儲(chǔ)技術(shù)主要是改進(jìn)這些配件能夠進(jìn)而實(shí)現(xiàn)節(jié)能，這樣服務(wù)器乃至數(shù)據(jù)中心整體功耗則會(huì)得到更好的控制。 隨著嵌入式技術(shù)的飛速發(fā)展，嵌入式的性能有了很大的提高，嵌入式的性能與計(jì)算機(jī)的差距不斷縮小，特別是在專用計(jì)算機(jī)領(lǐng)域。由于嵌入式系統(tǒng)是應(yīng)用在特定的環(huán)境下，針對(duì)特殊的用途來設(shè)計(jì)的系統(tǒng)。所以不同于通用的計(jì)算機(jī)系統(tǒng)。同樣是計(jì)算機(jī)系統(tǒng)， 嵌入式