【正文】 現(xiàn)故障時，備管理節(jié)點自動接替主管理節(jié)點的工作，成為新的主管理節(jié)點，大幅提高了系統(tǒng)的穩(wěn)定性，保障系統(tǒng)的724小時不間斷服務(wù)，支持應(yīng)用系統(tǒng)對數(shù)據(jù)的隨時存取。錄像和圖片數(shù)據(jù)的存儲周期可配置。 用戶價值海量空間amp。 云池配額管理 通過存儲虛擬化技術(shù)，各種云存儲設(shè)備被虛擬化成一個統(tǒng)一存儲池，提供給多個系統(tǒng)來使用。 存儲池用Bucket來表示，是分布式文件系統(tǒng)內(nèi)的一個存儲文件的容器，系統(tǒng)中每一個文件，都必須包含在一個Bucket中，Bucket不能嵌套，即Bucket內(nèi)不允許再次創(chuàng)建Bucket。Bucket也可以理解為一個空間獨立的目錄，比如監(jiān)控領(lǐng)域可以按照攝像頭來設(shè)置Bucket，給每個攝像頭指定相應(yīng)的存儲空間配額。另一種按照空間刪除舊數(shù)據(jù)的策略適合恒定數(shù)據(jù)產(chǎn)生速度，或者按照空間收費的場合。 視頻圖片云寫入 錄像圖片寫入流程為，中心管理服務(wù)器將錄像計劃下發(fā)到流媒體服務(wù)器，流媒體服務(wù)器從前端攝像頭或者卡口相機(jī)獲取視頻和圖片，然后調(diào)用流媒體SDK將數(shù)據(jù)寫入到云存儲中。同時，流媒體SDK會實現(xiàn)按照空間或者時間刪除舊的文件，保證新文件可以持續(xù)寫入，實現(xiàn)循環(huán)覆蓋。文件列表一直緩沖在元數(shù)據(jù)服務(wù)器的內(nèi)存中，所以結(jié)果可以秒級呈現(xiàn)給用戶。最終會根據(jù)攝像頭名稱，ID，時間段，錄像類型定位到云存儲上的文件及偏移，開始讀文件過程。 通過流媒體SDK和流媒體服務(wù)，可以實現(xiàn)支持快放、慢放、倒放、單幀回放、抽幀播放、停止回放等功能。 視頻圖片云鎖定 通過流媒體SDK，可以對重要的錄像圖片進(jìn)行鎖定，避免被循環(huán)覆蓋掉，循環(huán)覆蓋會在剩余的中進(jìn)行。以節(jié)點間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長度的文件內(nèi)容，切分成四個數(shù)據(jù)塊，通過利用EC算法計算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺存儲節(jié)點上，就完成了一次數(shù)據(jù)寫入動作。系統(tǒng)支持手動選擇需要恢復(fù)的時間段，以快速恢復(fù)重要的文件。 大華云存儲采用兩級負(fù)載均衡調(diào)度，首先由元數(shù)據(jù)服務(wù)器選擇一個負(fù)載輕的數(shù)據(jù)節(jié)點作為當(dāng)前請求的讀寫節(jié)點，同時節(jié)點內(nèi)部還會根據(jù)每個硬盤的負(fù)載選擇最合適的硬盤參與數(shù)據(jù)寫入。 在線彈性擴(kuò)容大華云存儲支持在線擴(kuò)容，在線業(yè)務(wù)持續(xù)運行的情況下，可以動態(tài)增加或縮小云存儲系統(tǒng)的容量，表現(xiàn)業(yè)務(wù)無感知的增加或刪除存儲節(jié)點。系統(tǒng)具有線性擴(kuò)展的特性，容量增加時，整體的讀寫性能也同步增加。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲服務(wù)可用性較低。元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。心跳機(jī)制保證集群服務(wù)器之間錯誤的實時檢測和發(fā)現(xiàn)，為主備快速切換提供保證。管理監(jiān)控中心提供設(shè)備管理、系統(tǒng)監(jiān)控、告警管理、故障管理等功能。只有系統(tǒng)留有一定的備份空間，保證部分硬盤或者節(jié)點故障后，可用空間依然可以達(dá)到系統(tǒng)的要求，則硬盤或者節(jié)點錯誤就可以集中處理，批量更換故障設(shè)備。 云存儲運維系統(tǒng)已經(jīng)和云平臺以及整個系統(tǒng)的運維平臺進(jìn)行對接，可以在云平臺或者運維平臺對云存儲進(jìn)行統(tǒng)一管理，協(xié)議采用SNMP，RESTful等接口進(jìn)行對接。 場景1:海量視頻錄像存儲在目前的平安城市項目建設(shè)中，由于高清技術(shù)和網(wǎng)絡(luò)帶寬能力不斷提升，通常在建設(shè)后端時會面臨海量的集中式視頻存儲需求（從1PB到20PB），這種應(yīng)用場景下客戶典型的需求有：對云存儲系統(tǒng)的基本需求包括：（1PB～20PB）；、節(jié)點故障等情況下錄像不丟失、業(yè)務(wù)不中斷；；；除此之外，當(dāng)應(yīng)用場景專注視頻存儲業(yè)務(wù)，對高性價比和運營成本比較關(guān)注時，可以首選視頻云直存系統(tǒng)方案：視頻云直存方案云直存是一種視頻業(yè)務(wù)強相關(guān)的“應(yīng)用云存儲”解決方案，方案將視頻監(jiān)控業(yè)務(wù)中的主要特性融合到云存儲系統(tǒng)中，如前端接入，碼流的存儲、轉(zhuǎn)發(fā)、點播等功能，單存儲節(jié)點即可配合視頻監(jiān)控平臺和業(yè)務(wù)應(yīng)用系統(tǒng)為用戶提供高效穩(wěn)定的存儲和視頻業(yè)務(wù)支撐能力。 視頻圖片云轉(zhuǎn)存方案 場景3:價值視圖數(shù)據(jù)二次存儲現(xiàn)階段平安城市建設(shè)中有價值數(shù)據(jù)較多，缺乏共享應(yīng)用從系統(tǒng)的數(shù)據(jù)來源分析，目前公安系統(tǒng)的數(shù)據(jù)資源主要由以下三個部分組成：公安視頻監(jiān)控系統(tǒng)由于建設(shè)時期的不同，缺乏統(tǒng)籌規(guī)劃，公安機(jī)關(guān)各部門、警種建設(shè)的視頻監(jiān)控系統(tǒng)相對獨立，視頻數(shù)據(jù)無法共享應(yīng)用，存在信息孤島現(xiàn)象。目前，這部分?jǐn)?shù)據(jù)的管理和存儲相對分散，很多數(shù)據(jù)甚至離散的存儲于民警的個人存儲介質(zhì)或者紙質(zhì)記錄中，缺乏統(tǒng)一的、規(guī)范的入庫、管理、應(yīng)用。視頻全警業(yè)務(wù)應(yīng)用從視頻數(shù)據(jù)的數(shù)據(jù)量增長的角度來考慮，隨著公安業(yè)務(wù)及視頻技術(shù)的不斷發(fā)展，視頻數(shù)據(jù)在公安業(yè)務(wù)中所占的比例將越來越重，這勢必對視頻監(jiān)控系統(tǒng)的吞吐能力及處理性能提出了很高的要求。云存儲視圖庫應(yīng)用特點：視圖庫采用云存儲的概念來應(yīng)對海量案事件相關(guān)的視頻圖像文件存儲的技術(shù)要求，同時也需要對案事件處理過程中產(chǎn)生的半結(jié)構(gòu)化數(shù)據(jù)（如文檔）進(jìn)行保存。融合共享存儲解決方案 注：但由于網(wǎng)閘或者邊界接入系統(tǒng)原因造成的網(wǎng)絡(luò)隔離時，需要在專網(wǎng)和內(nèi)網(wǎng)各建設(shè)一套云存儲系統(tǒng)來滿足不同網(wǎng)絡(luò)中各個業(yè)務(wù)系統(tǒng)的存儲需求。以視頻濃縮為例，采用云存儲技術(shù)配合云計算濃縮技術(shù)，可解決傳統(tǒng)單臺ipsan集中存儲時濃縮過程中讀取源視頻文件的性能瓶頸，實現(xiàn)對于GB級別文件的秒級讀取訪問，再結(jié)合云濃縮對視頻的分布式處理，實現(xiàn)對任意長時間錄像or任意大量視頻錄像的快速并發(fā)濃縮處理（所有任務(wù)5分鐘內(nèi)）。在智慧城市amp。 系統(tǒng)部署方案 容量規(guī)劃采用云存儲方式，因此存儲容量計算時采用云存儲容量計算方式。云存儲節(jié)點數(shù)量云存儲節(jié)點數(shù)量 = EVEN（實際硬盤容量/(單節(jié)點盤位數(shù)硬盤容量)）云存儲節(jié)點合計 = 云存儲節(jié)點數(shù)量+冗余節(jié)點數(shù)量注：EVEN向上取整。隨著硬盤的容量越來越大，RAID的重構(gòu)時間變得越來越長。顯然，存儲節(jié)點內(nèi)RAID技術(shù)，對于一定規(guī)模的云存儲系統(tǒng)而言，是無法提供數(shù)據(jù)可靠性保證的，且由于重構(gòu)時間以及重構(gòu)時出錯概率增加，甚至?xí)?dǎo)致可靠性降低。如Facebook正在實現(xiàn)HDFS的EC版本，以追求更高的性價比。 節(jié)點間冗余技術(shù)示意圖以節(jié)點間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長度的文件內(nèi)容，切分成四個數(shù)據(jù)塊，通過利用EC算法計算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺存儲節(jié)點上，就完成了一次數(shù)據(jù)寫入動作。形成集群之后，故障率得到了放大，從而表現(xiàn)為集群整體可靠性下降，存儲服務(wù)可用性較低。數(shù)據(jù)恢復(fù)機(jī)制分布式系統(tǒng)通過數(shù)據(jù)冗余和數(shù)據(jù)恢復(fù)，屏蔽集群內(nèi)磁盤故障、節(jié)點故障對系統(tǒng)整體的沖擊，不會降低數(shù)據(jù)的高可靠性。而視頻監(jiān)控系統(tǒng)所采用的存儲設(shè)備往往存儲密度非常高，IO能力卻不是非常強，導(dǎo)致數(shù)據(jù)恢復(fù)較慢。而對于一般性文件，則可以通過數(shù)據(jù)冗余保證數(shù)據(jù)依然可訪問。以節(jié)點間4+1冗余策略為例，客戶端在MDS的調(diào)度下，將一定長度的文件內(nèi)容，切分成四個數(shù)據(jù)塊，通過利用EC算法計算得到一份冗余數(shù)據(jù)，然后客戶端將五份數(shù)據(jù)分發(fā)到MDS指定的五臺存儲節(jié)點上，就完成了一次數(shù)據(jù)寫入動作。磁盤的熱插拔影響僅限于集群內(nèi)部，實現(xiàn)業(yè)務(wù)無感知的插拔。 元數(shù)據(jù)高可用設(shè)計元數(shù)據(jù)管理的高可用性保障元數(shù)據(jù)服務(wù)器管理著分布式文件系統(tǒng)的所有元數(shù)據(jù)，其高可用性直接影響著系統(tǒng)的可用性。心跳機(jī)制保證集群服務(wù)器之間錯誤的實時檢測和發(fā)現(xiàn)，為主備快速切換提供保證。每臺元數(shù)據(jù)服務(wù)器內(nèi)部，存儲元數(shù)據(jù)的磁盤都組RAID1，相當(dāng)于每個元數(shù)據(jù)總共有4個副本，以更好的保障元數(shù)據(jù)的可靠性。 組網(wǎng)規(guī)劃云存儲系統(tǒng)都是集群系統(tǒng)，追求系統(tǒng)性能和容量的橫向擴(kuò)展。通過網(wǎng)卡綁定既能增加網(wǎng)絡(luò)帶寬，同時又能做相應(yīng)的冗余備份或負(fù)載均衡，從而提高網(wǎng)絡(luò)的性能和可靠性。交換機(jī)的鏈路聚合也可以選擇負(fù)載均衡策略，我們一般選擇（源MAC地址+目的MAC 地址）或者（源 IP 地址+目的IP 地址）這兩種均衡策略。 設(shè)備產(chǎn)品介紹 元數(shù)據(jù)服務(wù)器一體機(jī)特性大華云存儲元數(shù)據(jù)服務(wù)器 DHCSS9064X外觀外形規(guī)格1U機(jī)架尺寸（寬）* （高）* （深）處理器英特爾 志強 雙路處理器E52600 8核芯片組英特爾 C610內(nèi)存64GB DDR3，可擴(kuò)展至768GB, ECC內(nèi)存RAID控制器PERC H310硬盤標(biāo)配：2塊 SATA 500GB 企業(yè)級機(jī)械硬盤2塊 SATA 200GB 數(shù)據(jù)中心級固態(tài)硬盤嵌入式網(wǎng)卡Broad 5720 四端口 1Gb千兆網(wǎng)口接口2 個USB ，2 個USB ，1 個內(nèi)置USB 1個串口顯示2個VGA接口可用性高效能、熱插拔冗余電源熱插拔硬盤熱插拔冗余風(fēng)扇 數(shù)據(jù)存儲節(jié)點一體機(jī)特性大華云存儲數(shù)據(jù)存儲節(jié)點 DHCSS3116XNS外觀外形規(guī)格3U 標(biāo)準(zhǔn)架式服務(wù)器處理器英特爾SandyBridge 4核CPU內(nèi)存4GB DDR3 主頻1333MHz硬盤的SATA硬盤網(wǎng)卡4個10/100/1000Mbps以太網(wǎng)口。 負(fù)載均衡模式顯示1個VGA口2個HDMI口接口2個USB ，1個eSATA口2個SAS口1個RS232，1個RS485功耗不大于400W（含硬盤）， 不大于200W（不含硬盤）機(jī)箱整機(jī)完全自主設(shè)計。；高精度鋁合金滑道；自主專利的抽拉式硬盤架。 第三方設(shè)備兼容清單云存儲系統(tǒng)目前可支持在國內(nèi)主流品牌（浪潮、曙光、華三、華為等）的X86架構(gòu)服務(wù)器或存儲設(shè)備上進(jìn)行部署。A、 推薦1：銳捷方案流媒體方案直存/轉(zhuǎn)存網(wǎng)絡(luò)環(huán)境千兆萬兆交換機(jī)端口數(shù)24萬兆交換機(jī)實際可用端口數(shù)20千兆交換機(jī)端口數(shù)48千兆交換機(jī)實際可用端口數(shù)48交換機(jī)是否上行匯聚是交換機(jī)品牌銳捷交換是否堆疊是交換機(jī)利用方式端口盡量使用萬兆網(wǎng)口需求0千兆網(wǎng)口需求8流媒體方案直存/轉(zhuǎn)存網(wǎng)絡(luò)環(huán)境萬兆萬兆交換機(jī)端口數(shù)24萬兆交換機(jī)實際可用端口數(shù)20千兆交換機(jī)端口數(shù)48千兆交換機(jī)實際可用端口數(shù)48交換機(jī)是否上行匯聚是交換機(jī)品牌銳捷交換是否堆疊是交換機(jī)利用方式端口盡量使用萬兆網(wǎng)口需求6千兆網(wǎng)口需求0B、推薦2：華三方案流媒體方案直存/轉(zhuǎn)存網(wǎng)絡(luò)環(huán)境千兆萬兆交換機(jī)端口數(shù)24萬兆交換機(jī)實際可用端口數(shù)20千兆交換機(jī)端口數(shù)48千兆交換機(jī)實際可用端口數(shù)48交換機(jī)是否上行匯聚是交換機(jī)品牌華三交換是否堆疊是交換機(jī)利用方式端口盡量使用萬兆網(wǎng)口需求0千兆網(wǎng)口需求8流媒體方案直存/轉(zhuǎn)存網(wǎng)絡(luò)環(huán)境萬兆萬兆交換機(jī)端口數(shù)24萬兆交換機(jī)實際可用端口數(shù)20千兆交換機(jī)端口數(shù)48千兆交換機(jī)實際可用端口數(shù)48交換機(jī)是否上行匯聚是交換機(jī)品牌華三交換是否堆疊是交換機(jī)利用方式端口盡量使用萬兆網(wǎng)口需求6千兆網(wǎng)口需求0 硬盤選型介紹卡耐基梅隆大學(xué)研究將近100000塊硬盤的工作狀況得出一個研究報告：當(dāng)今企業(yè)級硬盤（MTBF通常在1,000,000小時 – 1,500,000小時）的年平均故障率為23%（有些極端環(huán)境甚至達(dá)到13%），%。因此推薦采用專用的企業(yè)級硬盤。同時要求新增存儲設(shè)備具有較高的安全性，具有一定的數(shù)據(jù)保護(hù)措施，如存儲架構(gòu)和空間冗余；業(yè)務(wù)連續(xù)性由于業(yè)務(wù)系統(tǒng)的運行要求不同，對業(yè)務(wù)連續(xù)性的要求也不同。兼容性遷移的業(yè)務(wù)系統(tǒng)必須滿足對虛擬化技術(shù)、操作系統(tǒng)的版本、應(yīng)用軟件版本、硬件平臺的兼容性的要求。遷移風(fēng)險分析根據(jù)遷移風(fēng)險調(diào)研表分析整個遷移風(fēng)險情況。風(fēng)險應(yīng)對計劃制定針對整個業(yè)務(wù)遷移風(fēng)險情況制定相應(yīng)的應(yīng)對措施及計劃。2. 在原有云存儲基礎(chǔ)上進(jìn)行擴(kuò)容該場景方式簡單，云存儲系統(tǒng)采用模塊化結(jié)構(gòu)設(shè)計，持不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點實現(xiàn)擴(kuò)容最大容量僅受元數(shù)據(jù)內(nèi)存限制。3. 原有建設(shè)IPSAN數(shù)據(jù)遷移到新建云存儲中，且原有設(shè)備利舊使用該場景方案建議上層新建大華綜合監(jiān)控管理平臺做主平臺，與原有平臺上下級聯(lián)對接，需要額外增加部分云存儲節(jié)點（增加存儲節(jié)點空間越大，遷移速度越快）進(jìn)行數(shù)據(jù)搬遷，將需要遷移的前端視頻流在額外存儲節(jié)點中進(jìn)行存儲，來釋放已有前端對應(yīng)的IPSAN存儲磁盤陣列中的業(yè)務(wù)數(shù)據(jù)，待保留日期滿后進(jìn)行格式化刪除，通過對數(shù)據(jù)的分批遷移，完成整體數(shù)據(jù)搬遷。要求利舊原服務(wù)器和IPSAN。通過大華應(yīng)用平臺進(jìn)行相應(yīng)點位錄像查詢時，平臺內(nèi)部實現(xiàn)存儲錄像的自動調(diào)取，歷史錄像從原先IPSAN中進(jìn)行檢索，新產(chǎn)生的錄像信息從云存儲中進(jìn)行檢索，對用戶層面應(yīng)做到無感知。圖 利舊的云存儲數(shù)據(jù)節(jié)點上圖所示，就是改造后的云存儲數(shù)據(jù)節(jié)點，可以加入到云存儲系統(tǒng)中，提供數(shù)據(jù)存儲功能。4. 原有建設(shè)第三方平臺，數(shù)據(jù)遷移到新建云存儲中該場景方案建議在云存儲資源池之上新建一套大華綜合監(jiān)控管理平臺，作為主平臺對接第三方平臺進(jìn)行上層業(yè)務(wù)應(yīng)用融