【正文】 ? 高實時性 ： 在機器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的 高效性。 Jobkeeper 任務(wù)分發(fā) 當用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點，管理節(jié)點調(diào)度機器處理任務(wù)，將任務(wù)扔給具體的處理節(jié)點，處理節(jié)點將結(jié)果返回給管理節(jié)點，管理節(jié)點整理結(jié)果，而后返回給應(yīng)用層。 若采用傳統(tǒng)副本方式 1： N 容錯，則磁盤有效容量為 1/(1+N)裸容量。 ? 自動同步 山東省警務(wù)云計算平臺視頻資源整合方案 30 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 各個客戶端中文件夾自動同步，服務(wù)器文件自動保持一致，多客戶端文件自動同步。 ? 海量存儲空間支持靈活使用 山東省警務(wù)云計算平臺視頻資源整合方案 29 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 裸容量高達 81TB，采用 1:1 容錯，可用空間最大達 ，既可作為應(yīng)用軟件（如郵箱、視頻監(jiān)控等）的海量存儲空間，又可以作為員工的私密存儲空間，還可以作為數(shù)據(jù)共享空間。并且， cStor 支持 NFS、 CIFS、 FTP 等協(xié)議的訪問接口。它采用包括元數(shù)據(jù)管理服務(wù)器（ Master Server）和數(shù)據(jù)存儲節(jié)點服務(wù)器（ Chunk Server）以及客戶端節(jié)點的結(jié)構(gòu)構(gòu)成一個虛擬的海量存儲卷。對于每一個 Chunk Server，必須將所有的副本全部寫入成功，才視為成功寫入。 Client 與 Master Server 之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了Master Server 的負載，使之不成為系統(tǒng)性能的一個瓶頸。 如： 同時， cStor 也提供專用的 API 接口，供開發(fā)人員調(diào)用。在降低系統(tǒng)的構(gòu)建成本的同時，系統(tǒng)的可靠性不僅沒有收到影響，相反，通過一系列的可靠性保障機制，使得 cStor山東省警務(wù)云計算平臺視頻資源整合方案 21 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 系統(tǒng)具有高可靠性的特性。 山東省警務(wù)云計算平臺視頻資源整合方案 19 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 3 平臺模塊技術(shù)描述 方案采用信令流和數(shù)據(jù)流分離的方式，在標準 X86(X64)服務(wù)器集群上部署存儲、處理、調(diào)度等軟件系統(tǒng)，形成一個整體的云視頻監(jiān)控解決方案，實現(xiàn)對現(xiàn)有視頻監(jiān)控資源的整合。 如果此時子平臺的用戶也想監(jiān)控上述該路的實時視頻，在請求該路監(jiān)控時，子平臺的中心服務(wù)器會自動發(fā)現(xiàn)該監(jiān)控任務(wù)已由總平臺用戶發(fā)起過，只要經(jīng)過總平臺中心控制的許可，便可立即將流媒體服務(wù)器推送地址反饋給客戶端，子平臺用戶的客戶端則直接可以播放出該路實時視頻流。 客戶端 支持 Windows、 Linux、 iOS、 Android 等主流操作系統(tǒng)，提供 B/S 和 C/S 架構(gòu)客戶端，控制視頻解碼上墻等，實現(xiàn)與用戶的直接交互。 d） 對服務(wù)器集群進行統(tǒng)一的調(diào)度管理，獲取每臺機器的運行狀態(tài)。 這七個模塊既相互獨立，又協(xié)調(diào)統(tǒng)一，共同對外提供服務(wù) 。 但 另 一方面，一旦 進行 了 網(wǎng)閘設(shè)置 ， 勢必會對帶寬有所限制，因此為了保證網(wǎng)絡(luò)互聯(lián)互通的同時，保證系統(tǒng)的安全性需對視頻數(shù)據(jù)進行云轉(zhuǎn)碼傳輸。 山東省警務(wù)云計算平臺視頻資源整合方案 10 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 前端監(jiān)控設(shè)備所采集到的視頻數(shù)據(jù) 保存在所屬的“ minicloud”中，或經(jīng)過接入服務(wù)器，接 入所屬區(qū)級的 cVideo 監(jiān)控平臺中進行管理和處理， 各級客戶端訪問相應(yīng)中心服務(wù)器，按需操作和調(diào)控。 網(wǎng)絡(luò)架構(gòu) 網(wǎng)絡(luò)拓撲 針對山東省的實際情況， 多級 cVideo 云視頻監(jiān)控系統(tǒng)采用分布式架構(gòu)，分級管理和部署。 國內(nèi)外很多公司以及機構(gòu)都在這一領(lǐng)域投入了大量的研究，將云計算，智能識別等技術(shù)聯(lián)系在一起，更好的為安防服務(wù) 。 首先，需 要對所有的視頻錄像進行諸秒瀏覽，才能發(fā)現(xiàn)重點圖像，這無疑工作量巨大，甚至猶如大海撈針。 山東省警務(wù)云計算平臺視頻資源整合方案 6 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 “平臺” 在現(xiàn)有信息化建設(shè)基礎(chǔ)上，集成現(xiàn)有視 頻監(jiān)控資源，建設(shè)大規(guī)模視頻實時接入處理分析監(jiān)控平臺 ， 實現(xiàn)與 現(xiàn)有平臺，網(wǎng)絡(luò)攝像機、以及新建監(jiān)控設(shè)備 的對接 ，實現(xiàn)上萬路的視頻接入。 國內(nèi)外很多公司以及機構(gòu)都在這一領(lǐng)域投入了大量的研究，將云計算，智能識別等技術(shù)聯(lián)系在一起，更好的為安防服務(wù) 。要對這些海量視頻通過人工進行重點圖像的抓拍，困難很大。針對上述海量監(jiān)控視頻錄像的事后分析，傳統(tǒng)以人海戰(zhàn)術(shù)為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動的、智能的系統(tǒng)實現(xiàn)上述需求。 本次項目計劃為二期方案，在一期已有工程的基礎(chǔ)上，接入剩下的20 萬路公安網(wǎng)視頻，同時，也為今后將全省其他社會資源上的攝像頭進行規(guī)劃和考慮。 從人工監(jiān)控到智能安防的轉(zhuǎn)變 在實現(xiàn)互聯(lián)之后，我們?nèi)詴l(fā)現(xiàn)新的問題。理想 的 情況是 ：一旦有重要事件發(fā)生，系統(tǒng)就可在很短時間內(nèi) 查找到線索 并定位，而目前 海量監(jiān)控視頻 大多以 錄像的 形式用于 事后 調(diào)取和回看 ， 并且主要 以傳統(tǒng)人海戰(zhàn)術(shù)的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動的、智能的系統(tǒng)實現(xiàn)上述需求。 因此，需要實現(xiàn)將警務(wù)綜合平臺與視頻結(jié)合應(yīng)用相互結(jié)合，整合成一共公共的基礎(chǔ)平臺，以更好地提供各類上層應(yīng)用系統(tǒng)的使用。而區(qū) 縣 級 和市級 主要負責對區(qū)域視頻的匯聚和處理，部署 cVideo 系統(tǒng) ，并將處理后得到的信息提供給各 上層 應(yīng)用服務(wù)。因此，我們提出了緩沖資源池的建議，對安全性和傳輸山東省警務(wù)云計算平臺視頻資源整合方案 11 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 帶寬進行了雙重保障，其大致架構(gòu)如下圖所示： 圖 23 社會資源接入建議架構(gòu)圖 假設(shè)途中 網(wǎng)段為社會資源網(wǎng)， 網(wǎng)段為公安網(wǎng)，在中間加入緩沖資源池（ 網(wǎng)段），該部分可租用電信運營商的機房和帶寬，作為過渡層，一方面對社會資源進行收集匯總、存儲分析，另一方面利用軟件防火墻和運營商的安全機制進行了第一次的安全保障。然后在 cProc 云計算平臺上利用高效的轉(zhuǎn)碼技術(shù)，將采集到的高清視頻信號解碼后再重新編碼，在滿足用戶需求的同時降低對網(wǎng)絡(luò)帶寬的消耗。 b） 前端信息采集設(shè)備管理功能：根據(jù)攝像機和用戶的權(quán)限，管理當前用戶所能涉及的前端設(shè)備狀態(tài)、節(jié)點運行狀態(tài)，并進行實時的更新。 處理服務(wù)器集群 大致可以分為接入分析、數(shù)據(jù)處理和結(jié)果分發(fā)三個子模塊，主要負責對完成對接入視頻的各項處理任務(wù)，諸如：內(nèi)容識別、實時轉(zhuǎn)碼、 錄像存儲 等，再將處理好的結(jié)果發(fā)送至流媒體服務(wù)器 和存儲服務(wù)器 。在“平臺”用戶視角，相當于所有下級平臺和第三方平臺的設(shè)備都是直接部署在此綜合的云平臺之上。從用戶的角度而言，呈現(xiàn)在面前的只是單純的一個個獨立的攝像機，用戶不必關(guān)心前端的攝像機具體是從我們部署的 minicloud 中傳輸過來的，亦或是從已有區(qū)縣系統(tǒng)中傳輸過來的，“平臺”已經(jīng)將中間過程透明化，以更貼近用戶的使用習慣。與目前國際上知名的云存儲 廠商 相比，具有更高的性價比、更低的能耗、更加通用和更方便的使用模式。 同時， cStor 采用負載均衡技術(shù)，自動均衡各服務(wù)器負載，使得各存儲節(jié)點的性能調(diào)節(jié)到最高。 另外，當某有一個 Chunk Server 因為機器故障或者其他原因造成離線時，Master Server 會將此機器自動屏蔽掉，不再將此 Chunk Server 提供給客戶端使用，同時存儲在此 Chunk Server 上的數(shù)據(jù)也會自動的備份到其他可用的 Chunk Server上，自動屏蔽 Chunk Server 故障對系統(tǒng)的影響。 山東省警務(wù)云計算平臺視頻資源整合方案 23 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 對于 Chunk Server， cStor 采用副本的方式實現(xiàn)容錯。 ? 高可用技術(shù) 系統(tǒng)中的所有服務(wù)節(jié)點均是通過網(wǎng)絡(luò)連接在一起，由于采用了高可靠的容錯機制，系統(tǒng)增減節(jié)點不必停止服務(wù)，可在線增減存儲節(jié)點，存儲節(jié)點和元數(shù)據(jù)節(jié)點間通過注冊管理機制自適應(yīng)管理，實現(xiàn)自動伸縮。所有存儲節(jié)點同時擔任對外服務(wù)功能，客戶端分別掛載到不同存儲節(jié)點訪問云存儲系統(tǒng)。因此如何安全可靠的存儲企業(yè)運營數(shù)據(jù)，成為了現(xiàn)在企業(yè)辦公的重中之重。不需要專業(yè)人員就能在自己的辦公場所部署一套集成多應(yīng)用的服務(wù)器。郵箱系統(tǒng) 企業(yè)私有郵箱系統(tǒng)，采用云架構(gòu)，數(shù)據(jù)更可靠更安全。 ? 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 ? 低依賴性 ： 采用模塊化設(shè)計思想，通過統(tǒng)一化配置和 API 接口的方式向用戶提供服務(wù)。而所有的任務(wù)信息和處理節(jié)點信息都會定時寫入到磁盤文件 ，因此， 不 會出現(xiàn) 做了一半的任務(wù) 終止后需要重新執(zhí)行的問題，系統(tǒng)會自動根據(jù)上次執(zhí)行的情況將錯誤前的狀態(tài)遷移到另一臺處理節(jié)點上，使整個任務(wù)繼續(xù)進行下去 。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。 ? 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。 minicloud 技術(shù)規(guī)格 “ minicloud” 產(chǎn)品根據(jù)不同應(yīng)用對象的應(yīng)用需求以及對系統(tǒng)配置的要求分成三種技術(shù)規(guī)格，詳細說明如下。但是傳統(tǒng)的服務(wù)器的部署不僅占用空間，而且可能還需要有專門的機房，對于辦公場所面積有限制的企業(yè)、單位來說部署一套傳統(tǒng)的服務(wù)器是相當不易的。 下圖為 cStor 客戶端讀數(shù)據(jù)流程 圖如下所示： 元 數(shù) 據(jù) 服 務(wù) 器 元 數(shù) 據(jù) 服 務(wù) 器客 戶 端存 儲 服 務(wù) 器 存 儲 服 務(wù) 器 存 儲 服 務(wù) 器 存 儲 服 務(wù) 器2 . 數(shù) 據(jù) 在 X 存 儲 服 務(wù) 器3 . 讀 數(shù) 據(jù) 請 求4 . 返 回 數(shù) 據(jù) 內(nèi) 容1 . 數(shù) 據(jù) 在 哪 里 ？數(shù) 據(jù) 流控 制 流圖 35 cStor 客戶端讀數(shù)據(jù)流程 總的來說， cStor 云存儲系統(tǒng)的控制流和數(shù)據(jù)流是分離的，一方面降低了元數(shù)據(jù)服務(wù)的負擔，使得其處理能力更強，另一方面將數(shù)據(jù)讀寫的負擔分擔到各存儲節(jié)點，使得系統(tǒng)的整體性能得到了提高，與節(jié)點數(shù)目成正相關(guān)。 這種分布式系統(tǒng)最大的好處是有利于存儲系統(tǒng)的擴展和實現(xiàn)，在小規(guī)模的數(shù)據(jù)擴展時，只需要添加具體的 Chunk Server 即可，而不需要添加整套設(shè)備。 同時，系統(tǒng)除了支持傳統(tǒng)的 1： 1： 2 的冗余備份技術(shù)外，也支持高效的N： N+M 的編碼容錯技術(shù)，即：假設(shè)將原始文件切分為 N 個數(shù)據(jù)塊，通過冗余編碼技術(shù)，將其編碼后增加了 M 個數(shù)據(jù)塊，數(shù)據(jù)總量變成了 N+M 個數(shù)據(jù)塊。 ? 高可靠性保證技術(shù) 對于元數(shù)據(jù)， cStor 通過操作日志來提供容錯功能，當 Master Server 發(fā)生故障時，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。 山東省警務(wù)云計算平臺視頻資源整合方案 22 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 cStor 關(guān)鍵技術(shù) ? 負載自動均衡技術(shù) cStor 采用中心服務(wù)器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在 Master Server 上，文件則劃分為多個 chunk 存儲在不同的 Chunk Server 上。 同時，元數(shù)據(jù)管理節(jié)點采用雙機鏡像模式容錯，如果有一節(jié)點出現(xiàn)故障，另一節(jié)點自動接替。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，它具有構(gòu)建成本低、性能高效可靠、使用簡單方便的特點。 區(qū)縣未集中處理的視頻 對于區(qū)縣沒有集中處理的視頻，“平臺”會按照 章節(jié)中的部署規(guī)則，給每個派出所部署一套 minicloud，用其本地化保存視頻數(shù)據(jù)，并接受省廳中心的直接管理，同時 提供給上層應(yīng)用和服務(wù)的支撐?？偲脚_通過接入服務(wù)器登陸到子平臺，從而進行獲取設(shè)備列表、獲取設(shè)備信息、云臺控制、獲取流地址等操作 。 存儲服務(wù)器集群 使用 cStor 云存儲系統(tǒng)，提供統(tǒng)一的存儲資源池，用以存儲關(guān)鍵數(shù)據(jù)，提供歷史視頻的回看以及相關(guān)數(shù)據(jù)的下載服務(wù)。 山東省警務(wù)云計算平臺視頻資源整合方案 14 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 中心服務(wù)器 平臺的核心控制部分，實現(xiàn)了與客戶端的信令交互、通過 JobKeeper 云調(diào)度系統(tǒng)來 調(diào)度云集群節(jié)點處理各項任務(wù)、 并實現(xiàn) 對整個平臺的統(tǒng)一管理和監(jiān)控。 山東省警務(wù)云計算平臺視頻資源整合方案 12 / 99 南京云創(chuàng)存儲科技有限公司 2020/12/3 圖 24 轉(zhuǎn)碼前 后視頻對比 視頻接入模塊首先將不同廠家的前端設(shè)備接入進來，對于支持 RTSP 的采集設(shè)備，我們利用標準的流媒體協(xié)議接口實 現(xiàn)視頻和