【導(dǎo)讀】山東省警務(wù)云計算平臺視頻資源整合方案。南京云創(chuàng)存儲科技有限公司2020/12/3

　　

【正文】 端根據(jù)得到的存儲節(jié)點信息，向?qū)?yīng)存儲節(jié)點發(fā)出數(shù)據(jù)寫請求，并向存儲節(jié)點發(fā)送數(shù)據(jù)； 存儲節(jié)點接收數(shù)據(jù)并存儲到相應(yīng)塊，同時也向其他存儲節(jié)點發(fā)起備份； 當本地寫以及備份均成功后，存儲節(jié)點將成功信息返回給客戶端； 客戶端收到成功信號后，即完成數(shù)據(jù)的存儲。 下圖為 cStor 客戶端讀數(shù)據(jù)流程 圖如下所示： 元 數(shù) 據(jù) 服 務(wù) 器 元 數(shù) 據(jù) 服 務(wù) 器客 戶 端存 儲 服 務(wù) 器 存 儲 服 務(wù) 器 存 儲 服 務(wù) 器 存 儲 服 務(wù) 器2 . 數(shù) 據(jù) 在 X 存 儲 服 務(wù) 器3 . 讀 數(shù) 據(jù) 請 求4 . 返 回 數(shù) 據(jù) 內(nèi) 容1 . 數(shù) 據(jù) 在 哪 里 ？數(shù) 據(jù) 流控 制 流圖 35 cStor 客戶端讀數(shù)據(jù)流程 總的來說， cStor 云存儲系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負擔，使得其處理能力更強，另一方面將數(shù)據(jù)讀寫的負擔分擔到各存儲節(jié)點，使得系統(tǒng)的整體性能得到了提高，與節(jié)點數(shù)目成正相關(guān)。 山東省警務(wù)云計算平臺視頻資源整合方案 28 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 minicloud 簡介 云計算的飛速發(fā)展，使云存儲領(lǐng)域涉及的范圍越來越廣，隨著企業(yè)辦公人員對數(shù)據(jù)存儲安全性和可靠性的要求越來越高，使用傳統(tǒng)的存儲模式，如移動硬盤、U 盤、刻錄光盤等方式，都存在 著使用不方便、管理麻煩等諸多問題，特別軟硬件故障可能導(dǎo)致本地存儲信息的大量丟失或損壞。因此如何安全可靠的存儲企業(yè)運營數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。 因此，云創(chuàng)存儲推出 minicloud微型云計算數(shù)據(jù)中心，用最少的成本為企業(yè)部署云存儲以及企業(yè)辦公應(yīng)用軟件，為辦公室配置一朵迷你的云，滿足企業(yè)的辦公需求，大幅度降低了企業(yè) IT 建設(shè)的門檻與風險。 圖 36 minicloud 外觀圖 minicloud 產(chǎn)品優(yōu)勢 ? 超安全的私有云計算數(shù)據(jù)中心 minicloud 采用可靠的分布式云存儲 ,最大支撐三個 27TB 的存儲節(jié)點 ,采用1:1 容錯保證企業(yè)數(shù)據(jù)安全可靠 ,minicloud 可作為企業(yè)的數(shù)據(jù)中心 ,為企業(yè)的各種重要數(shù)據(jù)提供安全可靠的存儲 ,重要數(shù)據(jù)包括企業(yè)設(shè)計文檔、設(shè)計圖紙、經(jīng)營數(shù)據(jù)等。 ? 海量存儲空間支持靈活使用 山東省警務(wù)云計算平臺視頻資源整合方案 29 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 裸容量高達 81TB，采用 1:1 容錯，可用空間最大達 ，既可作為應(yīng)用軟件（如郵箱、視頻監(jiān)控等）的海量存儲空間，又可以作為員工的私密存儲空間，還可以作為數(shù)據(jù)共享空間。為了保障數(shù)據(jù)安全，辦公室內(nèi)部共享數(shù)據(jù)與通過互聯(lián)網(wǎng)共享數(shù)據(jù)采用完全隔離的兩套系統(tǒng)。 ? 簡易的部署方式 隨著中小型企業(yè)、學(xué)校等單 位的迅速發(fā)展壯大，擁有自己的服務(wù)器是必不可少的。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專門的機房，對于辦公場所面積有限制的企業(yè)、單位來說部署一套傳統(tǒng)的服務(wù)器是相當不易的。而 minicloud 具有節(jié)省空間的得天獨厚優(yōu)勢， 441mm 550mm 350mm的大小集三個服務(wù)器于一身，完全消除企業(yè)單位應(yīng)對部署服務(wù)器的困難。不需要專業(yè)人員就能在自己的辦公場所部署一套集成多應(yīng)用的服務(wù)器。 ? 人性化的系統(tǒng)監(jiān)控 可方便地對 minicloud 進行監(jiān)控，完成對系統(tǒng)的實時監(jiān)控，包括云存儲容量的監(jiān)控、磁盤的監(jiān) 控、 CPU 的監(jiān)控以及內(nèi)存的監(jiān)控 ，界面效果如下圖所示 。 圖 37 minicloud 監(jiān)控界面 ? 可靠的企業(yè)應(yīng)用 企業(yè)應(yīng)用程序包括郵件服務(wù)器程序、數(shù)據(jù)庫、云存儲管理節(jié)點等均采用雙機熱備，為企業(yè)提供安全可靠的應(yīng)用，保證應(yīng)用程序可持續(xù)的運行；同時 minicloud提供配置接口，通過配置可實現(xiàn)第三方應(yīng)用程序的雙機熱備。 ? 自動同步 山東省警務(wù)云計算平臺視頻資源整合方案 30 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 各個客戶端中文件夾自動同步，服務(wù)器文件自動保持一致，多客戶端文件自動同步。 ? 多平臺隨時訪問 minicloud 微型云計算數(shù)據(jù)中心支持 Windows 客戶端、網(wǎng)站、 Android 客戶端、 iPhone/iPad 客戶端，方便用戶隨時隨地訪問 minicloud。 ? 便攜共享，協(xié)同辦公 minicloud 支持多人共享同步文件夾，提供了更加便捷的協(xié)同辦公的方式。 minicloud 技術(shù)規(guī)格 “ minicloud” 產(chǎn)品根據(jù)不同應(yīng)用對象的應(yīng)用需求以及對系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細說明如下。 表 31 “ minicloud”技術(shù)規(guī)格表 經(jīng)濟型 （ minicloud M1100) 標準型 （ minicloud M1200) 增強型 （ minicloud M1300) 尺寸 550mm(長度 ) x 441mm(寬度 ) x 350mm(高度 ) 售后質(zhì)保服務(wù) 第 1 年提供免費質(zhì)保服務(wù)，第 23 年提供成本價維修服務(wù) 內(nèi)置服務(wù)器數(shù)量 3 3 3 每臺服務(wù)器技術(shù)規(guī)格 主板 Intel 芯片組主板 處理器 單路四核， 2GHz 以上 雙路四核， 2GHz 以上 雙路四核， 2GHz 以上 內(nèi)存 8GB 16GB 32GB 網(wǎng)絡(luò) 板載千兆網(wǎng)口 , 支持負載均衡和失敗替換 電源 480W（ 1+1）冗余電源 包裝內(nèi)容 minicloud 說明書、保修卡、電源線、網(wǎng)線 包含軟件 cStor云存儲系統(tǒng)存儲容量 最高可達 81TB，采用 1:1副本容錯網(wǎng)盤系統(tǒng) 在云存儲系統(tǒng)基礎(chǔ)上構(gòu)建的領(lǐng)先的私有網(wǎng)盤系統(tǒng)，支持 Windows、 Android、iOS、 Web 等多種訪問方式。郵箱系統(tǒng) 企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。 minicloud 管理平臺可便捷的對 minicloud 進行管理，包括用戶的管理、存儲的管理、運行狀態(tài)的管理等。 cStor 存儲性能 cStor 云存儲系統(tǒng)的性能指標如下表所示： 山東省警務(wù)云計算平臺視頻資源整合方案 31 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 表 32 cStor 云存儲性能指標 cStor 云存儲系統(tǒng)軟件性能指標 主特性 子特性 功能說明 高 可用保證 主備雙機 能夠在主元數(shù)據(jù)服務(wù)器故障情況下自動切換至備用元數(shù)據(jù)服務(wù)器，對外服務(wù)不停止 空間掛載（接口開放性） Windows 掛載 運行 Windows 客戶端程序，在 Windows 系統(tǒng)上顯示為一本地海量磁盤 Linux/Unix/FreeBS/MacOS 掛載 運行 Linux/Unix/FreeBS/MacOS 掛載程序，在系統(tǒng)上對應(yīng)為一本地目錄 可靠性保證 元數(shù)據(jù)日志 元數(shù)據(jù)日志本地持久化，可根據(jù)元數(shù)據(jù)日志恢復(fù)元數(shù)據(jù) 元數(shù)據(jù)日志備份 支持元數(shù)據(jù)日志異機備份，可根據(jù)備份日志恢復(fù)元數(shù)據(jù) 塊數(shù)據(jù) 備份 采用副本冗余方式或編解碼方式容錯，當磁盤損壞副本數(shù)減少時，系統(tǒng)自動重建副本數(shù)到配置的值，保證數(shù)據(jù)安全可靠、服務(wù)不間斷 空間利用率 磁盤有效容量 系統(tǒng) N+M 編解碼配置下，磁盤有效容量=N/(N+M)裸容量，如 8+2 編碼情況下，磁盤利用率為 80%。 若采用傳統(tǒng)副本方式 1： N 容錯，則磁盤有效容量為 1/(1+N)裸容量。 高性能保證 吞吐量 系統(tǒng)整體吞吐量隨系統(tǒng)規(guī)模增加呈線性增長 寫性能 單客戶端寫性能高于 100MB/s 讀性能 單客戶端讀性能高于 80MB/s 動態(tài)擴展 存儲節(jié)點動態(tài)擴展 能 夠在不停止服務(wù)的情況下進行擴容或收縮規(guī)模，在線增加和減少存儲節(jié)點 訪問接口支持 支持 POSIX 規(guī)范 支 持 掛 載為 Linux/Unix 本 地 文 件目 錄 或Windows 磁盤，用戶使用和操作與本地文件系統(tǒng)相同 支持 FTP 訪問 支持 FTP 訪問方式 支持 NFS 訪問 支持 NFS 訪問方式 支持 CIFS 訪問 支持 CIFS 訪問方式 存儲節(jié)點可兼作服務(wù)節(jié)點 存儲節(jié)點可兼作服務(wù)節(jié)點 存儲節(jié)點可兼作服務(wù)節(jié)點，對外提供數(shù)據(jù)訪問服務(wù) 負載均衡 負載自動均衡 根據(jù)空間利用情況進行負載均衡 流量分擔 并發(fā)訪問時流量自動分擔 并發(fā)訪問時流量自動分擔至不同的存儲節(jié)點 山東省警務(wù)云計算平臺視頻資源整合方案 32 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 安全性 身份標識和鑒別 系統(tǒng)的管理監(jiān)控中心具有身份標識和鑒別功能 正常訪問控制 系統(tǒng)具有對系統(tǒng)正常訪問的控制能力 屏蔽非法操作 系統(tǒng)具有對未預(yù)期的非法操作的控制能力 數(shù)據(jù)備份和恢復(fù) 系統(tǒng)可以配置備份因子，設(shè)置數(shù)據(jù)存儲的份數(shù) 日志管理 系統(tǒng)元數(shù)據(jù)服務(wù)器具有日志功能 管理監(jiān)控 設(shè)備監(jiān)控 監(jiān)控設(shè)備的運行狀態(tài) 磁盤監(jiān)控 監(jiān)控設(shè)備的磁盤狀態(tài) 空間監(jiān)控 監(jiān)控系統(tǒng)的空間使用狀態(tài) 文件監(jiān)控 監(jiān)控和統(tǒng)計系統(tǒng)的文件狀態(tài) 塊級監(jiān)控 監(jiān)控系統(tǒng)的數(shù)據(jù)塊狀態(tài)、 壞塊統(tǒng)計和定位 PaaS 層 cProc 云處理 JobKeeper 云調(diào)度 如何保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運行；如何保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù) ，同時能夠完全解決系統(tǒng)單點故障問題 ， 負載均衡，自動調(diào)度與部署的高效云調(diào)度平臺 ，JobKeeper 服務(wù)器最大的作用即是解決云計算系統(tǒng)中的單點故障和任務(wù)調(diào)度的問題。 Jobkeeper 系統(tǒng)架構(gòu) Jobkeeper 的系統(tǒng)架構(gòu)如下圖所示： 山東省警務(wù)云計算平臺視頻資源整合方案 33 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 圖 38 Jobkeeper 架構(gòu)圖 上 圖中對 Jobkeeper 進行了分層，對每層進行具體闡述 ? 虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務(wù)集群。 ? 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。 ? 數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper 調(diào)度平臺進行統(tǒng)一的配置管理。 ? 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 ? 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。 Jobkeeper 任務(wù)分發(fā) 當用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點，管理節(jié)點調(diào)度機器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點，處理節(jié)點將結(jié)果返回給管理節(jié)點，管理節(jié)點整理結(jié)果，而后返回給應(yīng)用層。 山東省警務(wù)云計算平臺視頻資源整合方案 34 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 JobKeeper 的任務(wù)分發(fā)流程如下圖所示： 圖 39 JobKeeper 任務(wù) 分發(fā) 流程 圖 服務(wù)器節(jié)點組 ： 負責對處理節(jié)點的系統(tǒng)信息以及任務(wù)處理信息進行實時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于 cStor 或者 NFS 服務(wù)的存儲系統(tǒng)上 。 處理節(jié)點組 ： 通過 RPC 的遠程調(diào)用獲取各自節(jié)點的任務(wù)處理目標，并實時的和處理節(jié)點上的任務(wù)處理目標進行對比 ，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。 Jobkeeper 優(yōu)勢分析 ? 高可靠性 ： 采用 “ 多主多備，負載均衡 ” 的管理節(jié)點，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。 ? 低依賴性 ： 采用模塊化設(shè)計思想，通過統(tǒng)一化配置和 API 接口的方式向用戶提供服務(wù)。 ? 低干預(yù)性 ： 采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自山東省警務(wù)云計算平臺視頻資源整合方案 35 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 動完成 故障處理等功能 。 ? 高實時性 ： 在機器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的 高效性。 Jobkeeper 故障處理機制 當 任務(wù)處理節(jié)點宕機 ， 或者該任務(wù) 被 初始化 時，系統(tǒng)產(chǎn)生相應(yīng)錯誤，繼而 該任務(wù) 會 返還到任務(wù)調(diào)度層交給調(diào)度節(jié)點重新分配。如果任務(wù)處理節(jié)點宕機或者子任務(wù)出現(xiàn)未知錯誤，那么該任務(wù)將返回到任務(wù)處理節(jié)點上 ， 由任務(wù)節(jié)點機器重新分配該子任務(wù)。而所有的任務(wù)信息和處理節(jié)點信息都會定時寫入到磁盤文件 ，因此， 不 會出現(xiàn) 做了一半的任務(wù) 終止后需要重新執(zhí)行的問題，系統(tǒng)會自動根據(jù)上次執(zhí)行的情況將錯誤前的狀態(tài)遷移到另一臺處理節(jié)點上，使整個任務(wù)繼續(xù)進行下去 。 圖 310 JobKeeper 故障處理 由于 JobKeeper 主節(jié)點由多臺組成，互為