【導(dǎo)讀】山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案。南京云創(chuàng)存儲(chǔ)科技有限公司2020/12/3

　　

【正文】 端根據(jù)得到的存儲(chǔ)節(jié)點(diǎn)信息，向?qū)?yīng)存儲(chǔ)節(jié)點(diǎn)發(fā)出數(shù)據(jù)寫請(qǐng)求，并向存儲(chǔ)節(jié)點(diǎn)發(fā)送數(shù)據(jù)； 存儲(chǔ)節(jié)點(diǎn)接收數(shù)據(jù)并存儲(chǔ)到相應(yīng)塊，同時(shí)也向其他存儲(chǔ)節(jié)點(diǎn)發(fā)起備份； 當(dāng)本地寫以及備份均成功后，存儲(chǔ)節(jié)點(diǎn)將成功信息返回給客戶端； 客戶端收到成功信號(hào)后，即完成數(shù)據(jù)的存儲(chǔ)。 下圖為 cStor 客戶端讀數(shù)據(jù)流程 圖如下所示： 元 數(shù) 據(jù) 服 務(wù) 器 元 數(shù) 據(jù) 服 務(wù) 器客 戶 端存 儲(chǔ) 服 務(wù) 器 存 儲(chǔ) 服 務(wù) 器 存 儲(chǔ) 服 務(wù) 器 存 儲(chǔ) 服 務(wù) 器2 . 數(shù) 據(jù) 在 X 存 儲(chǔ) 服 務(wù) 器3 . 讀 數(shù) 據(jù) 請(qǐng) 求4 . 返 回 數(shù) 據(jù) 內(nèi) 容1 . 數(shù) 據(jù) 在 哪 里 ？數(shù) 據(jù) 流控 制 流圖 35 cStor 客戶端讀數(shù)據(jù)流程 總的來(lái)說(shuō)， cStor 云存儲(chǔ)系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負(fù)擔(dān)，使得其處理能力更強(qiáng)，另一方面將數(shù)據(jù)讀寫的負(fù)擔(dān)分擔(dān)到各存儲(chǔ)節(jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，與節(jié)點(diǎn)數(shù)目成正相關(guān)。 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 28 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 minicloud 簡(jiǎn)介 云計(jì)算的飛速發(fā)展，使云存儲(chǔ)領(lǐng)域涉及的范圍越來(lái)越廣，隨著企業(yè)辦公人員對(duì)數(shù)據(jù)存儲(chǔ)安全性和可靠性的要求越來(lái)越高，使用傳統(tǒng)的存儲(chǔ)模式，如移動(dòng)硬盤、U 盤、刻錄光盤等方式，都存在 著使用不方便、管理麻煩等諸多問(wèn)題，特別軟硬件故障可能導(dǎo)致本地存儲(chǔ)信息的大量丟失或損壞。因此如何安全可靠的存儲(chǔ)企業(yè)運(yùn)營(yíng)數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。 因此，云創(chuàng)存儲(chǔ)推出 minicloud微型云計(jì)算數(shù)據(jù)中心，用最少的成本為企業(yè)部署云存儲(chǔ)以及企業(yè)辦公應(yīng)用軟件，為辦公室配置一朵迷你的云，滿足企業(yè)的辦公需求，大幅度降低了企業(yè) IT 建設(shè)的門檻與風(fēng)險(xiǎn)。 圖 36 minicloud 外觀圖 minicloud 產(chǎn)品優(yōu)勢(shì) ? 超安全的私有云計(jì)算數(shù)據(jù)中心 minicloud 采用可靠的分布式云存儲(chǔ) ,最大支撐三個(gè) 27TB 的存儲(chǔ)節(jié)點(diǎn) ,采用1:1 容錯(cuò)保證企業(yè)數(shù)據(jù)安全可靠 ,minicloud 可作為企業(yè)的數(shù)據(jù)中心 ,為企業(yè)的各種重要數(shù)據(jù)提供安全可靠的存儲(chǔ) ,重要數(shù)據(jù)包括企業(yè)設(shè)計(jì)文檔、設(shè)計(jì)圖紙、經(jīng)營(yíng)數(shù)據(jù)等。 ? 海量存儲(chǔ)空間支持靈活使用 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 29 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 裸容量高達(dá) 81TB，采用 1:1 容錯(cuò)，可用空間最大達(dá) ，既可作為應(yīng)用軟件（如郵箱、視頻監(jiān)控等）的海量存儲(chǔ)空間，又可以作為員工的私密存儲(chǔ)空間，還可以作為數(shù)據(jù)共享空間。為了保障數(shù)據(jù)安全，辦公室內(nèi)部共享數(shù)據(jù)與通過(guò)互聯(lián)網(wǎng)共享數(shù)據(jù)采用完全隔離的兩套系統(tǒng)。 ? 簡(jiǎn)易的部署方式 隨著中小型企業(yè)、學(xué)校等單 位的迅速發(fā)展壯大，擁有自己的服務(wù)器是必不可少的。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專門的機(jī)房，對(duì)于辦公場(chǎng)所面積有限制的企業(yè)、單位來(lái)說(shuō)部署一套傳統(tǒng)的服務(wù)器是相當(dāng)不易的。而 minicloud 具有節(jié)省空間的得天獨(dú)厚優(yōu)勢(shì)， 441mm 550mm 350mm的大小集三個(gè)服務(wù)器于一身，完全消除企業(yè)單位應(yīng)對(duì)部署服務(wù)器的困難。不需要專業(yè)人員就能在自己的辦公場(chǎng)所部署一套集成多應(yīng)用的服務(wù)器。 ? 人性化的系統(tǒng)監(jiān)控 可方便地對(duì) minicloud 進(jìn)行監(jiān)控，完成對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控，包括云存儲(chǔ)容量的監(jiān)控、磁盤的監(jiān) 控、 CPU 的監(jiān)控以及內(nèi)存的監(jiān)控 ，界面效果如下圖所示 。 圖 37 minicloud 監(jiān)控界面 ? 可靠的企業(yè)應(yīng)用 企業(yè)應(yīng)用程序包括郵件服務(wù)器程序、數(shù)據(jù)庫(kù)、云存儲(chǔ)管理節(jié)點(diǎn)等均采用雙機(jī)熱備，為企業(yè)提供安全可靠的應(yīng)用，保證應(yīng)用程序可持續(xù)的運(yùn)行；同時(shí) minicloud提供配置接口，通過(guò)配置可實(shí)現(xiàn)第三方應(yīng)用程序的雙機(jī)熱備。 ? 自動(dòng)同步 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 30 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 各個(gè)客戶端中文件夾自動(dòng)同步，服務(wù)器文件自動(dòng)保持一致，多客戶端文件自動(dòng)同步。 ? 多平臺(tái)隨時(shí)訪問(wèn) minicloud 微型云計(jì)算數(shù)據(jù)中心支持 Windows 客戶端、網(wǎng)站、 Android 客戶端、 iPhone/iPad 客戶端，方便用戶隨時(shí)隨地訪問(wèn) minicloud。 ? 便攜共享，協(xié)同辦公 minicloud 支持多人共享同步文件夾，提供了更加便捷的協(xié)同辦公的方式。 minicloud 技術(shù)規(guī)格 “ minicloud” 產(chǎn)品根據(jù)不同應(yīng)用對(duì)象的應(yīng)用需求以及對(duì)系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細(xì)說(shuō)明如下。 表 31 “ minicloud”技術(shù)規(guī)格表 經(jīng)濟(jì)型 （ minicloud M1100) 標(biāo)準(zhǔn)型 （ minicloud M1200) 增強(qiáng)型 （ minicloud M1300) 尺寸 550mm(長(zhǎng)度 ) x 441mm(寬度 ) x 350mm(高度 ) 售后質(zhì)保服務(wù) 第 1 年提供免費(fèi)質(zhì)保服務(wù)，第 23 年提供成本價(jià)維修服務(wù) 內(nèi)置服務(wù)器數(shù)量 3 3 3 每臺(tái)服務(wù)器技術(shù)規(guī)格 主板 Intel 芯片組主板 處理器 單路四核， 2GHz 以上 雙路四核， 2GHz 以上 雙路四核， 2GHz 以上 內(nèi)存 8GB 16GB 32GB 網(wǎng)絡(luò) 板載千兆網(wǎng)口 , 支持負(fù)載均衡和失敗替換 電源 480W（ 1+1）冗余電源 包裝內(nèi)容 minicloud 說(shuō)明書、保修卡、電源線、網(wǎng)線 包含軟件 cStor云存儲(chǔ)系統(tǒng)存儲(chǔ)容量 最高可達(dá) 81TB，采用 1:1副本容錯(cuò)網(wǎng)盤系統(tǒng) 在云存儲(chǔ)系統(tǒng)基礎(chǔ)上構(gòu)建的領(lǐng)先的私有網(wǎng)盤系統(tǒng)，支持 Windows、 Android、iOS、 Web 等多種訪問(wèn)方式。郵箱系統(tǒng) 企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。 minicloud 管理平臺(tái)可便捷的對(duì) minicloud 進(jìn)行管理，包括用戶的管理、存儲(chǔ)的管理、運(yùn)行狀態(tài)的管理等。 cStor 存儲(chǔ)性能 cStor 云存儲(chǔ)系統(tǒng)的性能指標(biāo)如下表所示： 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 31 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 表 32 cStor 云存儲(chǔ)性能指標(biāo) cStor 云存儲(chǔ)系統(tǒng)軟件性能指標(biāo) 主特性 子特性 功能說(shuō)明 高 可用保證 主備雙機(jī) 能夠在主元數(shù)據(jù)服務(wù)器故障情況下自動(dòng)切換至備用元數(shù)據(jù)服務(wù)器，對(duì)外服務(wù)不停止 空間掛載（接口開(kāi)放性） Windows 掛載 運(yùn)行 Windows 客戶端程序，在 Windows 系統(tǒng)上顯示為一本地海量磁盤 Linux/Unix/FreeBS/MacOS 掛載 運(yùn)行 Linux/Unix/FreeBS/MacOS 掛載程序，在系統(tǒng)上對(duì)應(yīng)為一本地目錄 可靠性保證 元數(shù)據(jù)日志 元數(shù)據(jù)日志本地持久化，可根據(jù)元數(shù)據(jù)日志恢復(fù)元數(shù)據(jù) 元數(shù)據(jù)日志備份 支持元數(shù)據(jù)日志異機(jī)備份，可根據(jù)備份日志恢復(fù)元數(shù)據(jù) 塊數(shù)據(jù) 備份 采用副本冗余方式或編解碼方式容錯(cuò)，當(dāng)磁盤損壞副本數(shù)減少時(shí)，系統(tǒng)自動(dòng)重建副本數(shù)到配置的值，保證數(shù)據(jù)安全可靠、服務(wù)不間斷 空間利用率 磁盤有效容量 系統(tǒng) N+M 編解碼配置下，磁盤有效容量=N/(N+M)裸容量，如 8+2 編碼情況下，磁盤利用率為 80%。 若采用傳統(tǒng)副本方式 1： N 容錯(cuò)，則磁盤有效容量為 1/(1+N)裸容量。 高性能保證 吞吐量 系統(tǒng)整體吞吐量隨系統(tǒng)規(guī)模增加呈線性增長(zhǎng) 寫性能 單客戶端寫性能高于 100MB/s 讀性能 單客戶端讀性能高于 80MB/s 動(dòng)態(tài)擴(kuò)展 存儲(chǔ)節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展 能 夠在不停止服務(wù)的情況下進(jìn)行擴(kuò)容或收縮規(guī)模，在線增加和減少存儲(chǔ)節(jié)點(diǎn) 訪問(wèn)接口支持 支持 POSIX 規(guī)范 支 持 掛 載為 Linux/Unix 本 地 文 件目 錄 或Windows 磁盤，用戶使用和操作與本地文件系統(tǒng)相同 支持 FTP 訪問(wèn) 支持 FTP 訪問(wèn)方式 支持 NFS 訪問(wèn) 支持 NFS 訪問(wèn)方式 支持 CIFS 訪問(wèn) 支持 CIFS 訪問(wèn)方式 存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn) 存儲(chǔ)節(jié)點(diǎn)可兼作服務(wù)節(jié)點(diǎn)，對(duì)外提供數(shù)據(jù)訪問(wèn)服務(wù) 負(fù)載均衡 負(fù)載自動(dòng)均衡 根據(jù)空間利用情況進(jìn)行負(fù)載均衡 流量分擔(dān) 并發(fā)訪問(wèn)時(shí)流量自動(dòng)分擔(dān) 并發(fā)訪問(wèn)時(shí)流量自動(dòng)分擔(dān)至不同的存儲(chǔ)節(jié)點(diǎn) 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 32 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 安全性 身份標(biāo)識(shí)和鑒別 系統(tǒng)的管理監(jiān)控中心具有身份標(biāo)識(shí)和鑒別功能 正常訪問(wèn)控制 系統(tǒng)具有對(duì)系統(tǒng)正常訪問(wèn)的控制能力 屏蔽非法操作 系統(tǒng)具有對(duì)未預(yù)期的非法操作的控制能力 數(shù)據(jù)備份和恢復(fù) 系統(tǒng)可以配置備份因子，設(shè)置數(shù)據(jù)存儲(chǔ)的份數(shù) 日志管理 系統(tǒng)元數(shù)據(jù)服務(wù)器具有日志功能 管理監(jiān)控 設(shè)備監(jiān)控 監(jiān)控設(shè)備的運(yùn)行狀態(tài) 磁盤監(jiān)控 監(jiān)控設(shè)備的磁盤狀態(tài) 空間監(jiān)控 監(jiān)控系統(tǒng)的空間使用狀態(tài) 文件監(jiān)控 監(jiān)控和統(tǒng)計(jì)系統(tǒng)的文件狀態(tài) 塊級(jí)監(jiān)控 監(jiān)控系統(tǒng)的數(shù)據(jù)塊狀態(tài)、 壞塊統(tǒng)計(jì)和定位 PaaS 層 cProc 云處理 JobKeeper 云調(diào)度 如何保證在云計(jì)算平臺(tái)中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運(yùn)行；如何保證在云計(jì)算平臺(tái)中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù) ，同時(shí)能夠完全解決系統(tǒng)單點(diǎn)故障問(wèn)題 ， 負(fù)載均衡，自動(dòng)調(diào)度與部署的高效云調(diào)度平臺(tái) ，JobKeeper 服務(wù)器最大的作用即是解決云計(jì)算系統(tǒng)中的單點(diǎn)故障和任務(wù)調(diào)度的問(wèn)題。 Jobkeeper 系統(tǒng)架構(gòu) Jobkeeper 的系統(tǒng)架構(gòu)如下圖所示： 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 33 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 圖 38 Jobkeeper 架構(gòu)圖 上 圖中對(duì) Jobkeeper 進(jìn)行了分層，對(duì)每層進(jìn)行具體闡述 ? 虛擬化資源層：將機(jī)器進(jìn)行虛擬化，形成更大范圍的服務(wù)集群。 ? 存儲(chǔ)層：存儲(chǔ)數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。 ? 數(shù)據(jù)處理層：獨(dú)立的數(shù)據(jù)處理程序，是對(duì)不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper 調(diào)度平臺(tái)進(jìn)行統(tǒng)一的配置管理。 ? 業(yè)務(wù)層：對(duì)于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進(jìn)行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 ? 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個(gè)系統(tǒng)面向用戶和開(kāi)發(fā)人員的基礎(chǔ)承載。 Jobkeeper 任務(wù)分發(fā) 當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)調(diào)度機(jī)器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點(diǎn)，處理節(jié)點(diǎn)將結(jié)果返回給管理節(jié)點(diǎn)，管理節(jié)點(diǎn)整理結(jié)果，而后返回給應(yīng)用層。 山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 34 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 JobKeeper 的任務(wù)分發(fā)流程如下圖所示： 圖 39 JobKeeper 任務(wù) 分發(fā) 流程 圖 服務(wù)器節(jié)點(diǎn)組 ： 負(fù)責(zé)對(duì)處理節(jié)點(diǎn)的系統(tǒng)信息以及任務(wù)處理信息進(jìn)行實(shí)時(shí)的跟蹤和保存，對(duì)應(yīng)的信息鏡像存儲(chǔ)在基于 cStor 或者 NFS 服務(wù)的存儲(chǔ)系統(tǒng)上 。 處理節(jié)點(diǎn)組 ： 通過(guò) RPC 的遠(yuǎn)程調(diào)用獲取各自節(jié)點(diǎn)的任務(wù)處理目標(biāo)，并實(shí)時(shí)的和處理節(jié)點(diǎn)上的任務(wù)處理目標(biāo)進(jìn)行對(duì)比 ，控制程序的執(zhí)行和結(jié)束。處理節(jié)點(diǎn)組會(huì)在一個(gè)設(shè)定的心跳間隔內(nèi)主動(dòng)的和管理節(jié)點(diǎn)組聯(lián)系一次，報(bào)告節(jié)點(diǎn)存活狀態(tài)。 Jobkeeper 優(yōu)勢(shì)分析 ? 高可靠性 ： 采用 “ 多主多備，負(fù)載均衡 ” 的管理節(jié)點(diǎn)，從而保證無(wú)論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都不存在任何單點(diǎn)故障問(wèn)題。 ? 低依賴性 ： 采用模塊化設(shè)計(jì)思想，通過(guò)統(tǒng)一化配置和 API 接口的方式向用戶提供服務(wù)。 ? 低干預(yù)性 ： 采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無(wú)人值守的情況下自山東省警務(wù)云計(jì)算平臺(tái)視頻資源整合方案 35 / 99 南京云創(chuàng)存儲(chǔ)科技有限公司 2020/12/3 動(dòng)完成 故障處理等功能 。 ? 高實(shí)時(shí)性 ： 在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級(jí)完成，具有前所未有的 高效性。 Jobkeeper 故障處理機(jī)制 當(dāng) 任務(wù)處理節(jié)點(diǎn)宕機(jī) ， 或者該任務(wù) 被 初始化 時(shí)，系統(tǒng)產(chǎn)生相應(yīng)錯(cuò)誤，繼而 該任務(wù) 會(huì) 返還到任務(wù)調(diào)度層交給調(diào)度節(jié)點(diǎn)重新分配。如果任務(wù)處理節(jié)點(diǎn)宕機(jī)或者子任務(wù)出現(xiàn)未知錯(cuò)誤，那么該任務(wù)將返回到任務(wù)處理節(jié)點(diǎn)上 ， 由任務(wù)節(jié)點(diǎn)機(jī)器重新分配該子任務(wù)。而所有的任務(wù)信息和處理節(jié)點(diǎn)信息都會(huì)定時(shí)寫入到磁盤文件 ，因此， 不 會(huì)出現(xiàn) 做了一半的任務(wù) 終止后需要重新執(zhí)行的問(wèn)題，系統(tǒng)會(huì)自動(dòng)根據(jù)上次執(zhí)行的情況將錯(cuò)誤前的狀態(tài)遷移到另一臺(tái)處理節(jié)點(diǎn)上，使整個(gè)任務(wù)繼續(xù)進(jìn)行下去 。 圖 310 JobKeeper 故障處理 由于 JobKeeper 主節(jié)點(diǎn)由多臺(tái)組成，互為