【導(dǎo)讀】蚃膀肀薃蕿腿膂莆袈膈莄薁襖膈蒆蒄螀膇膆蝕蚆膆羋蒂羄膅莁蚈袀芄蒃蒁螆芃膃蚆螞袀芅葿薈衿蕆蚅羇袈膇薇袃袇艿螃蝿袆莂薆蚅裊蒄莈羃裊膄薄衿羄芆莇螅羃莈薂蟻肈蒞蚇羈芀蟻羆羀莂蒃袂罿蒅蠆螈罿膄蒂蚄羈芇蚇薀肇荿蒀衿肆聿蚅螅肅芁蒈螁肄莃螄蚇肄蒆薆羅肅膅荿袁肂羋薅螇膁莀莈蚃膀肀薃蕿腿膂莆袈膈莄薁襖膈蒆蒄螀膇膆蝕蚆膆羋蒂羄膅莁蚈袀芄蒃蒁螆芃膃蚆螞袀芅葿薈衿蕆蚅羇袈膇薇袃袇艿螃蝿袆莂薆蚅裊蒄莈羃裊膄薄衿羄芆莇螅羃莈薂蟻肈蒞蚇羈芀蟻羆羀莂蒃袂罿蒅蠆螈罿膄蒂蚄羈芇蚇薀肇荿蒀衿肆聿蚅螅肅芁蒈螁肄莃螄蚇肄蒆薆羅肅膅荿袁肂羋薅螇膁莀莈蚃膀肀薃蕿腿膂莆袈膈莄薁襖膈蒆蒄螀膇膆蝕蚆膆羋蒂羄膅莁蚈袀芄蒃蒁螆芃膃蚆螞袀芅葿薈衿蕆蚅羇袈膇薇袃袇艿螃蝿袆莂薆蚅裊蒄莈羃裊膄薄衿羄芆莇螅羃莈薂蟻肈蒞蚇羈芀蟻羆羀莂蒃袂罿蒅蠆螈罿膄蒂蚄羈芇蚇薀肇荿蒀衿肆聿蚅螅肅芁蒈螁肄莃螄蚇肄蒆薆羅肅膅荿袁肂羋薅螇膁莀莈蚃膀肀薃蕿腿膂莆袈膈莄薁襖膈蒆蒄螀膇膆

　　

【正文】 需求和集中管控需求、安全性需求及協(xié)同性需求本身就是一種矛盾。 企業(yè)對(duì)文檔集中的幾種常見的技術(shù)方式： ? 虛擬化存儲(chǔ)，通常由虛擬化廠商提供。有即時(shí)性的集中化能力，有較好的權(quán)限控制能力。缺點(diǎn)為：數(shù)據(jù)分發(fā)能力弱、無協(xié)調(diào)能力。用戶需要使用數(shù)據(jù)時(shí)才通過網(wǎng)絡(luò)進(jìn)行分發(fā)，導(dǎo)致大數(shù)據(jù)傳送緩慢。 ? FTP 服務(wù)，最多企業(yè)目前使用的存儲(chǔ)方案。優(yōu)點(diǎn)是有較好的權(quán)限控制能力，在數(shù)據(jù)集中化、數(shù)據(jù)分發(fā)方面需要手動(dòng)操作，功能較弱，也沒有協(xié)同處理數(shù)據(jù)機(jī)制。 ? Windows 文件共享，操作方便，但是復(fù)雜權(quán)限的管控設(shè)置非常麻煩，安全性不好。 ? NAS/NFS，優(yōu)缺點(diǎn)基本同虛擬化協(xié)議。 金山 WPS 安全云存儲(chǔ)綜合上述各種協(xié)議的優(yōu)勢，采用了用戶端虛擬盤 +云端集中存儲(chǔ) +文件實(shí)時(shí)同步的解決方案模型。，通過自主設(shè)計(jì)的成熟數(shù)據(jù)同步引擎，同時(shí)達(dá)成了集中化與數(shù)據(jù)即時(shí)分發(fā)兩個(gè)目標(biāo)，并通過用戶管理、共享、群組文件、協(xié)同編輯等功能，提供了優(yōu)秀的權(quán)限管理和協(xié)同能力。 金山云存儲(chǔ)安全辦公解決方案 23 同步 同步 同步同步 同步 同步WPS 企業(yè) 云 存儲(chǔ)系統(tǒng)虛擬盤 虛擬盤 虛擬盤 虛擬盤 虛擬盤集中管控策略 WPS 企業(yè)云存儲(chǔ)客戶端結(jié)合云端同步的整體結(jié)構(gòu)示意圖 采用金山 WPS 企業(yè)云存儲(chǔ)模型能很好的解決企業(yè)文檔分散處理及集中存儲(chǔ)的矛盾需求。如上圖所示，總體結(jié)構(gòu)上分為 云端及終端兩部分。 云端也稱為服務(wù)端，通常是以多臺(tái)服務(wù)器集群的形式，配合客戶端協(xié)同工作，向用戶提供安全便捷的云存儲(chǔ)服務(wù)。用戶數(shù)據(jù)集中存儲(chǔ)在云端服務(wù)器中，并且按照數(shù)據(jù)量的大小按需調(diào)整，體現(xiàn)了數(shù)據(jù)的集中性和可伸縮性。因此，云存儲(chǔ)屬于云計(jì)算中的 SaaS 應(yīng)用。 終端也稱為客戶端，指運(yùn)行在最終用戶的硬件設(shè)備上的應(yīng)用程序，包括移動(dòng)平臺(tái)應(yīng)用程序、安全云存儲(chǔ)數(shù)據(jù)管理網(wǎng)站，以及運(yùn)行在個(gè)人電腦上的客戶端等。 終端的文檔可以通過金山云存儲(chǔ)平臺(tái)的同步機(jī)制，實(shí)現(xiàn)自動(dòng)化的傳輸服務(wù)。 . WPS 云存儲(chǔ)文件去重技術(shù)介紹 文件重復(fù)數(shù)據(jù)刪除是一 種數(shù)據(jù)縮減技術(shù)，可自動(dòng)縮減重復(fù)數(shù)據(jù)，將相同的數(shù)據(jù)只保留唯一的一份副本，能極大地減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量。 企業(yè)文件在流轉(zhuǎn)過程中同份文件往往會(huì)產(chǎn)生多個(gè)相同副本，由不同員工持有。按金山公司通過互聯(lián)網(wǎng)與企業(yè)運(yùn)營的統(tǒng)計(jì)數(shù)據(jù)，純文檔性質(zhì)數(shù)據(jù)重復(fù)度在15%30%，全部數(shù)據(jù)重復(fù)度達(dá)到 50%70%。 金山云存儲(chǔ)安全辦公解決方案 24 金山安全云存儲(chǔ)能自動(dòng)地進(jìn)行重復(fù)數(shù)據(jù)的合并，提高存儲(chǔ)空間利用率，節(jié)省硬件設(shè)備資源，同時(shí)大幅提升用戶體驗(yàn)，當(dāng)用戶往客戶端同步盤放入文檔時(shí)，如果他人已經(jīng)放入過此文檔，則此文檔實(shí)際無需重新上傳，用戶可感受到極速的“零秒上傳”， 在文件較大時(shí)尤為明顯。 金山 WPS 企業(yè)云存儲(chǔ)系統(tǒng)采用“數(shù)據(jù)塊”級(jí)去重技術(shù)，不單可以識(shí)別兩個(gè)文件名不同而內(nèi)容完全相同的文件，避免多次存儲(chǔ)，而且還能在文件中搜索相同的數(shù)據(jù)塊，避免文件中相同數(shù)據(jù)塊的冗余存儲(chǔ)，從而極大的提高服務(wù)端存儲(chǔ)效率。 基于數(shù)據(jù)塊的數(shù)據(jù)去重技術(shù)原理 文件重復(fù)數(shù)據(jù)刪除是一個(gè)識(shí)別文件數(shù)據(jù)中的冗余并消除這些冗余的過程。進(jìn)入云存儲(chǔ)系統(tǒng)中的上傳文件被分割多個(gè)固定大小的數(shù)據(jù)塊。這些數(shù)據(jù)塊經(jīng)過特殊標(biāo)識(shí)符的哈希算法進(jìn)行處理，并被“標(biāo)記”索引。然后把這種特殊的標(biāo)識(shí)符與其他從之前保存過的數(shù)據(jù)塊所生成的標(biāo)識(shí)符進(jìn) 行對(duì)比。如果相同，則進(jìn)行刪除，只保留唯一的一份數(shù)據(jù)。 去重機(jī)制的運(yùn)作過程如下：當(dāng)新增文檔放入同步盤時(shí)，客戶端監(jiān)測到事件，計(jì)算出新文件的摘要值（信息摘要是使用摘要算法計(jì)算出的一段數(shù)據(jù)的摘要值。一般地，不同的數(shù)據(jù)計(jì)算出的摘要值也不同，因此摘要值可唯一地標(biāo)識(shí)這段數(shù)據(jù)內(nèi)容。金山安全云存儲(chǔ)使用美國國家標(biāo)準(zhǔn)技術(shù)研究所 NIST 設(shè)計(jì) SHA1 算法為摘要算法，沖突率極?。?，向云端請(qǐng)求新建文件。云端對(duì)比摘要值是否已存在于云端，如果不存在，則返回信息允許客戶端上傳數(shù)據(jù)、新建此文件。如果摘要值已存在，則云端新建該文件及對(duì)應(yīng)的權(quán)限、屬 性信息，但文件數(shù)據(jù)直接引用已有數(shù)據(jù)內(nèi)容，無需再上傳。 . WPS 企業(yè)云存儲(chǔ)的分塊存儲(chǔ)技術(shù) 金山安全云存儲(chǔ)客戶端按 4M（ 分塊大小值可在部署金山安全云存儲(chǔ)服務(wù)時(shí)金山云存儲(chǔ)安全辦公解決方案 25 指定，默認(rèn)、推薦值為 4M。 ）對(duì)文件進(jìn)行分塊，上傳下載以數(shù)據(jù)塊為單元，云端存儲(chǔ)文件數(shù)據(jù)也按此分塊存儲(chǔ)。 文件分塊會(huì)進(jìn)行壓縮加密，分塊加密保證了文件上傳下載過程及存儲(chǔ)在云端時(shí)的安全性，分塊壓縮則大大增加了存儲(chǔ)系統(tǒng)的可用容量。 分塊機(jī)制使處理數(shù)據(jù)單元比整個(gè)文件方式來說相對(duì)固定，上傳下載及云端處理的效率與穩(wěn)定性都有大幅提升，且可以支持?jǐn)帱c(diǎn)續(xù)傳。 分塊機(jī)制同時(shí)使得大文 檔修改后的上傳速度加快。如一個(gè) 4M 以上的文件，在末尾追加內(nèi)容，那么僅最末尾的文件塊需要重新上傳，而不必全文重新上傳，提高了同步效率。對(duì)在文件中間某些內(nèi)容進(jìn)行修改而沒有產(chǎn)生數(shù)據(jù)移位的，也僅上傳被修改的文件塊。 . WPS 云存儲(chǔ)數(shù)據(jù)冗余技術(shù) 存儲(chǔ)的核心介質(zhì)是溫氏硬盤（存儲(chǔ)介質(zhì)包括磁帶、溫氏硬盤、固態(tài)硬盤。磁帶不支持隨機(jī)存取，固態(tài)硬盤的技術(shù)和價(jià)格未成熟，溫氏硬盤是大數(shù)據(jù)量存儲(chǔ)的唯一選擇）。硬盤廠商標(biāo)稱無故障運(yùn)行時(shí)間約為 100150 萬小時(shí)，而實(shí)際失效率約為為標(biāo)稱值的 15倍 (參考 由 CMU 于 2020 年 5th USENIX Conference（ FAST39。07）發(fā)布論文，對(duì)約 10 萬塊硬盤進(jìn)行研究后得出的結(jié)論。另外目前硬盤廠商的標(biāo)稱年失效率為 %左右，參考希捷、西部數(shù)據(jù)的官方資料 ），實(shí)際年失效幾率超過 1%。 在存儲(chǔ)介質(zhì)可靠性不高的情況下，任何商用環(huán)境都需要使用冗余策略來保證數(shù)據(jù)的安全可靠，常見的有如下冗余方案： ? 硬件方式： RAID 磁盤陣列，使用鏡像盤或校驗(yàn)盤作為冗余，在數(shù)據(jù)損壞時(shí)使用冗余盤進(jìn)行修復(fù) ? 軟件方式：使 用分布式文件系統(tǒng)軟件，在服務(wù)器集群上復(fù)制出同一數(shù)據(jù)的多個(gè)鏡像，在數(shù)據(jù)損壞時(shí)丟棄壞鏡像再復(fù)制新鏡像 冗余策略能減少數(shù)據(jù)丟失幾率，最終失效率由冗余倍數(shù)與單個(gè)冗余的重建時(shí)間決定。需指出，重建過程中因大量數(shù)據(jù)頻繁讀寫，其失效率會(huì)大幅上升。 實(shí)際用況中的典型數(shù)據(jù)：單盤 2T，年失效率 1%，重建時(shí)間按 24 小時(shí)算，重建時(shí)失效率上升一個(gè)數(shù)量級(jí)，由此計(jì)算一個(gè)冗余組的年失效率： 金山云存儲(chǔ)安全辦公解決方案 26 無冗余： N=1，年失效率 1% RAID5： N2，年失效率高于 RAID1 RAID1： N=2，年失效率 % * 1% ^ 2 * 2 3 倍冗余： N=3，年失效率 % ^ 2 * 1% ^ 3 * 6 可見 2 倍冗余已經(jīng)可以獲得很好的數(shù)據(jù)保障，但在 PB 級(jí)數(shù)據(jù)以上時(shí)，仍存在有數(shù)據(jù)丟失的隱患。例如 2PB 數(shù)據(jù)的存儲(chǔ)系統(tǒng)，其 RAID1 方案失效率為 2TB數(shù)據(jù)的失效率的 1000 倍，約 %。在 3 倍冗余策略下，失效率比 2 倍冗余降低了幾個(gè)數(shù)量級(jí)，數(shù)據(jù)可認(rèn)為永不丟失，廣泛用于業(yè)界多種成熟存儲(chǔ)方案（ Google公司的內(nèi)部存儲(chǔ)系統(tǒng) GFS 使用 3 倍冗余， Hadoop 的分布式存儲(chǔ)系統(tǒng) HDFS 推薦使用 3 倍冗余，亞馬遜云存儲(chǔ) S3 的存儲(chǔ)方案根據(jù)不同的 SLA 實(shí)施不低于 3 倍的冗余 ）。 金 山安全云存儲(chǔ)使用軟件方式維護(hù)數(shù)據(jù)鏡像，可兼容硬件冗余方案。在無其他冗余策略時(shí)，推薦倍數(shù)為 3，在存儲(chǔ)設(shè)備為盤柜等已有硬件冗余的情況下，推薦倍數(shù)為 2，在成本非常敏感的情況下可配置為倍數(shù) 1。 金山安全云存儲(chǔ)可以通過配置指定冗余策略。如果在部署后運(yùn)行期間修改冗余倍數(shù)配置，需要大量數(shù)據(jù)鏡像維護(hù)操作。因此應(yīng)在部署前，根據(jù)硬件環(huán)境決定冗余策略。 . WPS 云存儲(chǔ)支持多種終端設(shè)備同步訪問 金山云存儲(chǔ)系統(tǒng)的一個(gè)設(shè)計(jì)目標(biāo)是支持多種終端設(shè)備的同步訪問。目前除了Windows 平臺(tái)下的客戶端同步軟件外，系統(tǒng)還支持蘋果 iOS 操作系統(tǒng)、安卓 操作系統(tǒng)，這樣用戶持不同的客戶端，如 iPad、 iPhone、安卓智能手機(jī)都可以訪問云端的文件。 由于目前智能終端容量及帶寬流量等限制，智能終端不能像 PC 客戶端一樣自動(dòng)完全同步所有文件。目前客戶端同步訪問策略設(shè)置是先訪問文件及目錄的列表，當(dāng)具體打開閱讀某一份文檔時(shí)，文件才同步到智能終端自身的存儲(chǔ)空間。 金山云存儲(chǔ)安全辦公解決方案 27 . 系統(tǒng)部署方案及承載能力 . 系統(tǒng)拓?fù)浣Y(jié)構(gòu) 為了滿足企業(yè)內(nèi)部海量數(shù)據(jù)文件的存儲(chǔ)，需要部署足夠的磁盤存儲(chǔ)空間；為了確保文檔數(shù)據(jù)存儲(chǔ)的安全，又需要具備足夠的冗余和可靠性；從企業(yè)業(yè)務(wù)擴(kuò)展需求看，文件數(shù)據(jù)存儲(chǔ)需要滿足多部 門、多分支機(jī)構(gòu)甚至集團(tuán)化多公司狀況；從企業(yè) IT 設(shè)備運(yùn)維角度看，也需要足夠的運(yùn)維方便性；從企業(yè)的運(yùn)營成本角度看，同時(shí)也需要最經(jīng)濟(jì)的設(shè)備成本方案。 金山企業(yè)云存儲(chǔ)產(chǎn)品能充分滿足上述要求。金山云存儲(chǔ)服務(wù)器端的部署框架如下圖所示： 金山云存儲(chǔ)安全辦公解決方案 28 金山云存儲(chǔ)架設(shè)企業(yè)私有云平臺(tái)拓?fù)浣Y(jié)構(gòu)示意圖 上圖展示了利用金山云存儲(chǔ)系統(tǒng)架設(shè)企業(yè)內(nèi)部私有云存儲(chǔ)平臺(tái)的結(jié)構(gòu)。系統(tǒng)的服務(wù)器部署分應(yīng)用服務(wù)層和數(shù)據(jù)存儲(chǔ)服務(wù)層兩層，其中應(yīng)用服務(wù)層部署高性能的 Nginx 提供反向 HTTP 代理服務(wù)以及云存儲(chǔ)的賬戶認(rèn)證等多種相關(guān)應(yīng)用服務(wù)，數(shù)據(jù)存儲(chǔ)服務(wù)器專門負(fù)責(zé)提供存 儲(chǔ)服務(wù)，并可以動(dòng)態(tài)進(jìn)行無限擴(kuò)展，實(shí)現(xiàn)海量服務(wù)。 . 服務(wù)端架構(gòu)擴(kuò)展 服務(wù)端架構(gòu)需要解決的問題是數(shù)據(jù)的可靠安全與容量的按需擴(kuò)展。一般地分為以下幾種： ? 單服務(wù)器，一般以 RAID 方案保證數(shù)據(jù)可靠，容量擴(kuò)展性差。此類型對(duì)于數(shù)據(jù)增長緩慢、可預(yù)期的場合適用。 ? 服務(wù)器 +存儲(chǔ)設(shè)備，也以 RAID 方案保證數(shù)據(jù)可靠，有較好的按需擴(kuò)容能金山云存儲(chǔ)安全辦公解決方案 29 力。服務(wù)器與存儲(chǔ)設(shè)備之間按連接模型可以分為 NAS、 SCSI 直連、 FC SAN、 iSCSI SAN，其中以 iSCSI 連接的方案最為普遍。 金山安全云存儲(chǔ)系統(tǒng)運(yùn)行在軟件層，可以很好地支持各種硬件設(shè)備，除了 低效的 NAS 連接以外其他都可以支持并