【正文】 種云存儲設(shè)備被虛擬化成一個統(tǒng)一存儲池，提供給多個系統(tǒng)來使用。通過存儲池管理，可以為每個系統(tǒng)或者每個用途劃分獨立的存儲空間來使用。 存儲池用Bucket來表示，是分布式文件系統(tǒng)內(nèi)的一個存儲文件的容器，系統(tǒng)中每一個文件，都必須包含在一個Bucket中，Bucket不能嵌套，即Bucket內(nèi)不允許再次創(chuàng)建Bucket。扁平的系統(tǒng)結(jié)構(gòu)，使得云存儲提供海量存儲、線性擴(kuò)展能力成為可能。Bucket也可以理解為一個空間獨立的目錄，比如監(jiān)控領(lǐng)域可以按照攝像頭來設(shè)置Bucket，給每個攝像頭指定相應(yīng)的存儲空間配額。流媒體SDK支持自動空間的自動回收，可以配置兩種策略，一種是按照時間刪除舊的數(shù)據(jù)，一種是按照空間刪除舊的數(shù)據(jù)。另一種按照空間刪除舊數(shù)據(jù)的策略適合恒定數(shù)據(jù)產(chǎn)生速度，或者按照空間收費的場合。 錄像圖片索引 錄像圖片索引由元數(shù)據(jù)服務(wù)器和數(shù)據(jù)節(jié)點共同完成，可以實現(xiàn)各種條件的查詢，并在元數(shù)據(jù)服務(wù)器和數(shù)據(jù)節(jié)點都有索引緩沖，可以提高查詢定位效率。 視頻圖片云寫入 錄像圖片寫入流程為，中心管理服務(wù)器將錄像計劃下發(fā)到流媒體服務(wù)器，流媒體服務(wù)器從前端攝像頭或者卡口相機(jī)獲取視頻和圖片，然后調(diào)用流媒體SDK將數(shù)據(jù)寫入到云存儲中。 寫入云存儲時，流媒體服務(wù)器先訪問元數(shù)據(jù)服務(wù)器分配存儲對象空間，一個對象的空間是由多個存儲節(jié)點組成的，流媒體SDK會對數(shù)據(jù)進(jìn)行分片和EC計算，然后將數(shù)據(jù)接入到分配好的到多個數(shù)據(jù)節(jié)點中。同時，流媒體SDK會實現(xiàn)按照空間或者時間刪除舊的文件，保證新文件可以持續(xù)寫入，實現(xiàn)循環(huán)覆蓋。 視頻圖片云檢索 錄像圖片查詢時，命令先發(fā)給負(fù)載比較輕的流媒體服務(wù)器，任意一個流媒體服務(wù)器都可以通過流媒體SDK找到云存儲中的任意攝像頭的錄像記錄。文件列表一直緩沖在元數(shù)據(jù)服務(wù)器的內(nèi)存中，所以結(jié)果可以秒級呈現(xiàn)給用戶。 視頻圖片云回放 錄像圖片讀取時，命令也會經(jīng)由中心管理服務(wù)器發(fā)給流媒體服務(wù)器，包括對應(yīng)的攝像頭和時間點。最終會根據(jù)攝像頭名稱，ID，時間段，錄像類型定位到云存儲上的文件及偏移，開始讀文件過程。 讀數(shù)據(jù)時，流媒體服務(wù)器也是現(xiàn)訪問元數(shù)據(jù)服務(wù)器，得到相關(guān)存儲對象在數(shù)據(jù)節(jié)點上的分布情況，然后直接訪問對應(yīng)的數(shù)據(jù)節(jié)點，獲取數(shù)據(jù)切片。 通過流媒體SDK和流媒體服務(wù)，可以實現(xiàn)支持快放、慢放、倒放、單幀回放、抽幀播放、停止回放等功能。按時間段下載時，流媒體SDK會把錄像圖片記錄按照需要的時間段進(jìn)行切割和組合，得到完整的時間段內(nèi)數(shù)據(jù)。 視頻圖片云鎖定 通過流媒體SDK，可以對重要的錄像圖片進(jìn)行鎖定，避免被循環(huán)覆蓋掉，循環(huán)覆蓋會在剩余的中進(jìn)行。 快速異常恢復(fù)文件寫入時，數(shù)據(jù)被分片冗余存儲在不同的存儲節(jié)點上，采用節(jié)點間冗余容錯機(jī)制進(jìn)行容錯，可在組內(nèi)任意損壞一個存儲服務(wù)器節(jié)點的情況下實現(xiàn)數(shù)據(jù)完整可靠，降低硬件故障、網(wǎng)絡(luò)異常等給系統(tǒng)造成的數(shù)據(jù)丟失風(fēng)險。以節(jié)點間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長度的文件內(nèi)容，切分成四個數(shù)據(jù)塊，通過利用EC算法計算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺存儲節(jié)點上，就完成了一次數(shù)據(jù)寫入動作。由于數(shù)據(jù)存儲的時候被分片存儲在不同的存儲節(jié)點上，任意節(jié)點或者硬盤損壞，除了損壞的節(jié)點和硬盤，元數(shù)據(jù)管理服務(wù)器會調(diào)度其他所有的存儲節(jié)點和硬盤參與恢復(fù)，以最大的速度將該硬盤上的數(shù)據(jù)恢復(fù)出來，維持?jǐn)?shù)據(jù)健康狀態(tài)。系統(tǒng)支持手動選擇需要恢復(fù)的時間段，以快速恢復(fù)重要的文件。 動態(tài)負(fù)載均衡 一個存儲集群內(nèi)部，眾多存儲節(jié)點組建形成的一個統(tǒng)一空間，從整體性能、避免單點故障、數(shù)據(jù)熱點瓶頸等方面，都需要一個良好的動態(tài)負(fù)載均衡功能。 大華云存儲采用兩級負(fù)載均衡調(diào)度，首先由元數(shù)據(jù)服務(wù)器選擇一個負(fù)載輕的數(shù)據(jù)節(jié)點作為當(dāng)前請求的讀寫節(jié)點，同時節(jié)點內(nèi)部還會根據(jù)每個硬盤的負(fù)載選擇最合適的硬盤參與數(shù)據(jù)寫入。元數(shù)據(jù)服務(wù)器根據(jù)各節(jié)點的負(fù)載情況，自動調(diào)度，將新的數(shù)據(jù)寫入調(diào)度到綜合負(fù)載相對較低的節(jié)點，實現(xiàn)整體負(fù)載平衡。 在線彈性擴(kuò)容大華云存儲支持在線擴(kuò)容，在線業(yè)務(wù)持續(xù)運(yùn)行的情況下，可以動態(tài)增加或縮小云存儲系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無感知的增加或刪除存儲節(jié)點。增加新的節(jié)點時，配置好節(jié)點的網(wǎng)絡(luò)地址，即可加入系統(tǒng)工作，實現(xiàn)一鍵擴(kuò)展，快速部署。系統(tǒng)具有線性擴(kuò)展的特性，容量增加時，整體的讀寫性能也同步增加。對于硬盤未滿的節(jié)點插入硬盤也非常方便，不需要做任何配置。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲服務(wù)可用性較低。即元數(shù)據(jù)服務(wù)器實時監(jiān)測各數(shù)據(jù)節(jié)點情況，一旦發(fā)現(xiàn)節(jié)點異常，則將節(jié)點所負(fù)責(zé)的業(yè)務(wù)調(diào)度到其他節(jié)點上。元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過單獨網(wǎng)絡(luò)連接，進(jìn)行實時的錯誤檢測。心跳機(jī)制保證集群服務(wù)器之間錯誤的實時檢測和發(fā)現(xiàn)，為主備快速切換提供保證。為提供更高可靠性，元數(shù)據(jù)服務(wù)器集群內(nèi)部，通過獨立的心跳網(wǎng)絡(luò)，實時監(jiān)控集群服務(wù)狀態(tài)，在出現(xiàn)主元數(shù)據(jù)服務(wù)器異常時，自動推舉從節(jié)點接管服務(wù)，完成內(nèi)部失敗接管，而整個過程都是元數(shù)據(jù)集群內(nèi)部完成，對外部而已是無感知的。管理監(jiān)控中心提供設(shè)備管理、系統(tǒng)監(jiān)控、告警管理、故障管理等功能。設(shè)備的版本、CPU、內(nèi)存、網(wǎng)卡、磁盤可以通過運(yùn)維界面很方便地查看。只有系統(tǒng)留有一定的備份空間，保證部分硬盤或者節(jié)點故障后，可用空間依然可以達(dá)到系統(tǒng)的要求，則硬盤或者節(jié)點錯誤就可以集中處理，批量更換故障設(shè)備。 系統(tǒng)自帶郵件通知組件，在有新的故障發(fā)生時，比如系統(tǒng)容量不足，硬盤故障，數(shù)據(jù)節(jié)點故障等情況，會立即發(fā)送郵件給配置好的運(yùn)維收件人列表。 云存儲運(yùn)維系統(tǒng)已經(jīng)和云平臺以及整個系統(tǒng)的運(yùn)維平臺進(jìn)行對接，可以在云平臺或者運(yùn)維平臺對云存儲進(jìn)行統(tǒng)一管理，協(xié)議采用SNMP，RESTful等接口進(jìn)行對接。第4章 方案部署 典型應(yīng)用場景平安城市項目建設(shè)過程中，可結(jié)合項目建設(shè)場景和核心功能，來規(guī)劃云存儲的應(yīng)用方案設(shè)計。 場景1:海量視頻錄像存儲在目前的平安城市項目建設(shè)中，由于高清技術(shù)和網(wǎng)絡(luò)帶寬能力不斷提升，通常在建設(shè)后端時會面臨海量的集中式視頻存儲需求（從1PB到20PB），這種應(yīng)用場景下客戶典型的需求有：對云存儲系統(tǒng)的基本需求包括：（1PB～20PB）；、節(jié)點故障等情況下錄像不丟失、業(yè)務(wù)不中斷；；；除此之外，當(dāng)應(yīng)用場景專注視頻存儲業(yè)務(wù)，對高性價比和運(yùn)營成本比較關(guān)注時，可以首選視頻云直存系統(tǒng)方案：視頻云直存方案云直存是一種視頻業(yè)務(wù)強(qiáng)相關(guān)的“應(yīng)用云存儲”解決方案，方案將視頻監(jiān)控業(yè)務(wù)中的主要特性融合到云存儲系統(tǒng)中，如前端接入，碼流的存儲、轉(zhuǎn)發(fā)、點播等功能，單存儲節(jié)點即可配合視頻監(jiān)控平臺和業(yè)務(wù)應(yīng)用系統(tǒng)為用戶提供高效穩(wěn)定的存儲和視頻業(yè)務(wù)支撐能力。海量視頻云直存應(yīng)用場景下的用戶價值主要是：海量空間系統(tǒng)規(guī)模最大4096PB，系統(tǒng)標(biāo)配支持16PB、支持海量文件數(shù)量；，單域系統(tǒng)支持1萬路高清同時錄像回放，超大文件秒級下載；低冗余、高可靠業(yè)界先進(jìn)Erasure Code冗余技術(shù)空間利用率達(dá)到80%以上，支持文件級容錯，單硬盤損壞數(shù)據(jù)可自動恢復(fù)，恢復(fù)時間小于30分鐘，采用節(jié)點間容錯技術(shù)，多節(jié)點損壞不影響讀和寫業(yè)務(wù)，最多支持4臺設(shè)備損壞；易運(yùn)維高可靠設(shè)計、硬盤和節(jié)點故障不影響視頻業(yè)務(wù)，可統(tǒng)一更換，單人可管理上萬臺設(shè)備；彈性擴(kuò)展空間按需分配，支持硬盤熱插拔即擴(kuò)即用；支持在線增加和移除存儲節(jié)點，無需停止存儲服務(wù)，無需配置；擴(kuò)容無需數(shù)據(jù)遷移；單節(jié)點擴(kuò)容上線時間小于1分鐘；高性價比云直存系統(tǒng)不需要碼流的二次轉(zhuǎn)發(fā)，節(jié)省了流媒體轉(zhuǎn)發(fā)服務(wù)器，并節(jié)省了整體的運(yùn)營成本，接入前端設(shè)備取流后，可直接把錄像保存在存儲節(jié)點，并節(jié)省了網(wǎng)絡(luò)流量；云轉(zhuǎn)存是一種標(biāo)準(zhǔn)的視頻存儲方案，和視頻流直存方案相比，視頻云轉(zhuǎn)存方案的主要特點是：，IT分層架構(gòu)，各層次劃分清晰，業(yè)務(wù)與存儲解耦合，不會相互干擾；，進(jìn)行按需擴(kuò)容，更加靈活；（如大數(shù)據(jù)智能分析業(yè)務(wù)），轉(zhuǎn)存方式相對更加穩(wěn)定，性能Qos保障更加；，但是如果考慮到對流媒體轉(zhuǎn)發(fā)服務(wù)器使用虛擬化等技術(shù)方案整合后，也可以達(dá)到較好的整體方案性價比；視頻云轉(zhuǎn)存方案 場景2:海量卡口圖片存儲平安城市項目中有大量卡口建設(shè)，卡口圖片有量級大（一般城市卡口圖片均在百億級別）、小文件(每張約512KB)的特點。 視頻圖片云轉(zhuǎn)存方案 場景3:價值視圖數(shù)據(jù)二次存儲現(xiàn)階段平安城市建設(shè)中有價值數(shù)據(jù)較多，缺乏共享應(yīng)用從系統(tǒng)的數(shù)據(jù)來源分析，目前公安系統(tǒng)的數(shù)據(jù)資源主要由以下三個部分組成：公安視頻監(jiān)控系統(tǒng)由于建設(shè)時期的不同，缺乏統(tǒng)籌規(guī)劃，公安機(jī)關(guān)各部門、警種建設(shè)的視頻監(jiān)控系統(tǒng)相對獨立，視頻數(shù)據(jù)無法共享應(yīng)用，存在信息孤島現(xiàn)象。公安各類業(yè)務(wù)系統(tǒng)公安機(jī)關(guān)各類業(yè)務(wù)系統(tǒng)中，既有統(tǒng)一規(guī)劃建設(shè)的信息資源系統(tǒng)，如大情報系統(tǒng)、警綜系統(tǒng)、公安八大數(shù)據(jù)庫等，也有各個地市部門在不同時期按照自身需求建設(shè)的地方特色業(yè)務(wù)系統(tǒng)，如指揮調(diào)度系統(tǒng)、圖像偵查系統(tǒng)等，這些系統(tǒng)異構(gòu)性較強(qiáng)，業(yè)務(wù)數(shù)據(jù)相對獨立，數(shù)據(jù)多存儲在各自的業(yè)務(wù)系統(tǒng)中。目前，這部分?jǐn)?shù)據(jù)的管理和存儲相對分散，很多數(shù)據(jù)甚至離散的存儲于民警的個人存儲介質(zhì)或者紙質(zhì)記錄中，缺乏統(tǒng)一的、規(guī)范的入庫、管理、應(yīng)用。另外由于視頻文件是公安日常辦案中重要的取證來源之一，所以相關(guān)的案事件的視頻需要保證完整性，一般都不允許壓縮和處理。視頻全警業(yè)務(wù)應(yīng)用從視頻數(shù)據(jù)的數(shù)據(jù)量增長的角度來考慮，隨著公安業(yè)務(wù)及視頻技術(shù)的不斷發(fā)展，視頻數(shù)據(jù)在公安業(yè)務(wù)中所占的比例將越來越重，這勢必對視頻監(jiān)控系統(tǒng)的吞吐能力及處理性能提出了很高的要求。高價值視頻可靠存儲需求平安城市建設(shè)涉及到海量視頻和海量圖片的的存儲，對于圖偵應(yīng)用這些海量信息都是一些低價值密度的信息，日常的辦案過程民警會通過各種方式從海量的視頻、圖片中提取有價值的信息保持在不同的存儲介質(zhì)中，目前存在的問題是二次提取出來的高價值密度的信息保存分散，無法提供信息共享以及為后期決策分析提供有價值的參考。云存儲視圖庫應(yīng)用特點：視圖庫采用云存儲的概念來應(yīng)對海量案事件相關(guān)的視頻圖像文件存儲的技術(shù)要求，同時也需要對案事件處理過程中產(chǎn)生的半結(jié)構(gòu)化數(shù)據(jù)（如文檔）進(jìn)行保存。同時還具備高容錯能力，能夠自動保存數(shù)據(jù)的冗余信息，并且能夠自動將失敗的任務(wù)重新分配，確保數(shù)據(jù)的高可靠性和安全性，完全可以以最小的建設(shè)成本來滿足視圖庫的存儲要求。融合共享存儲解決方案 注：但由于網(wǎng)閘或者邊界接入系統(tǒng)原因造成的網(wǎng)絡(luò)隔離時，需要在專網(wǎng)和內(nèi)網(wǎng)各建設(shè)一套云存儲系統(tǒng)來滿足不同網(wǎng)絡(luò)中各個業(yè)務(wù)系統(tǒng)的存儲需求。智能視頻分析服務(wù)是公安警務(wù)云、視頻大數(shù)據(jù)建設(shè)的基礎(chǔ)服務(wù)，通過系統(tǒng)后端分析平臺可以靈活的對前端監(jiān)控點的視頻圖像進(jìn)行分析，實現(xiàn)視頻濃縮摘要分析、人臉采集、車輛分析、視頻質(zhì)量輪巡等多種智能分析功能，可以將大量低價值密度的視頻、圖像的非機(jī)構(gòu)數(shù)據(jù)提取出來轉(zhuǎn)變?yōu)榭梢岳酶邇r值密度的數(shù)據(jù)信息力助公安大數(shù)據(jù)平臺建設(shè)。以視頻濃縮為例，采用云存儲技術(shù)配合云計算濃縮技術(shù)，可解決傳統(tǒng)單臺ipsan集中存儲時濃縮過程中讀取源視頻文件的性能瓶頸，實現(xiàn)對于GB級別文件的秒級讀取訪問，再結(jié)合云濃縮對視頻的分布式處理，實現(xiàn)對任意長時間錄像or任意大量視頻錄像的快速并發(fā)濃縮處理（所有任務(wù)5分鐘內(nèi)）。amp。在智慧城市amp。數(shù)據(jù)中心建設(shè)場景下，視頻云儲存系統(tǒng)的客戶價值和建設(shè)方式主要是：，政府出于城市社會管理和服務(wù)的角度出發(fā)，通常需要建設(shè)城市的5大公共數(shù)據(jù)庫即人口庫、法人庫、宏觀經(jīng)濟(jì)庫、地理空間庫、建筑物數(shù)據(jù)庫等；視頻作為城市一種基礎(chǔ)設(shè)施和重要資源，需要我們在5大庫之外，建設(shè)城市第六大庫城市視頻圖像信息庫，來保存城市管理中的高價值的視圖文件（公安主導(dǎo)），而視圖云存儲系統(tǒng)就是建設(shè)視圖庫最好的存儲載體選型；，不同的行業(yè)應(yīng)用對于存儲的要求是不一樣的類型1.）大部分事務(wù)性IT系統(tǒng)對于存儲的要求類似于傳統(tǒng)的信息化系統(tǒng)，以數(shù)據(jù)庫事務(wù)性業(yè)務(wù)和結(jié)構(gòu)化記錄讀取為主的業(yè)務(wù)，對存儲的要求主要體現(xiàn)在高并發(fā)、突發(fā)性iops，而存儲空間的需求則不是最主要的這類通常會選用高端的SAN存儲媒介和方案，如FCSAN來保證性能和可靠性；類型2.）平安城市海量視頻云存儲視頻業(yè)務(wù)基本是是業(yè)務(wù)持續(xù)型的存儲訪問模式，沒有太多突發(fā)性的iops風(fēng)暴，關(guān)注存儲的性價比、海量規(guī)模、易擴(kuò)展、高吞吐等，因此最好的選型就是視頻行業(yè)的專業(yè)云存儲系統(tǒng)；在規(guī)劃建設(shè)智慧城市數(shù)據(jù)中心時，建議針對不同的業(yè)務(wù)場景，選擇不同的存儲產(chǎn)品和方案，來獲得最佳的性價比；總結(jié)：在規(guī)劃建設(shè)智慧城市數(shù)據(jù)中心時，對于平安城市視頻存儲以及和視圖文件存儲相關(guān)的業(yè)務(wù)系統(tǒng)（如視圖庫），可以選擇專業(yè)的視頻云存儲系統(tǒng)來降低整體的建設(shè)成本，同時獲得最佳的視頻應(yīng)用效能。 系統(tǒng)部署方案 容量規(guī)劃采用云存儲方式，因此存儲容量計算時采用云存儲容量計算方式。 圖片數(shù)據(jù)量分析平安城市系統(tǒng)有車輛抓拍圖片和人臉抓拍圖片兩類圖片存儲，每類圖片所需的存儲空間如下表：圖片類型數(shù)據(jù)源類型圖片大小車輛抓拍圖片200萬像素300KB車輛抓拍圖片300萬像素300KB車輛抓拍圖片500萬像素500KB車輛抓拍圖片600萬像素500KB人臉抓拍圖片300萬像素300KB計算公