【正文】 交通視頻云存儲解決方案交通視頻云存儲解決方案目 錄第 一 章 概述 5 系統(tǒng)簡介 5 設(shè)計目標(biāo) 5 設(shè)計原則 6第 二 章 總體設(shè)計 8 邏輯架構(gòu) 8 技術(shù)路線 10 系統(tǒng)特點 11 高效靈活的空間管理 11 海量數(shù)據(jù)的快速檢索 12 持續(xù)可靠的數(shù)據(jù)服務(wù) 13 高可擴展的應(yīng)用支撐 14 開放透明的兼容系統(tǒng) 15 應(yīng)用場景 15 系統(tǒng)軟硬件設(shè)計 16 軟件設(shè)計 16 硬件設(shè)計 24第 三 章 視頻、圖片混合云存儲設(shè)計 26 系統(tǒng)物理拓?fù)?26 系統(tǒng)功能設(shè)計 28 視頻存儲功能 28 錄像管理功能 29 圖片存儲功能 29 系統(tǒng)管理功能 30 運維管理功能 30 系統(tǒng)業(yè)務(wù)流程 30 視頻存儲流程 31 視頻檢索流程 32 視頻讀取流程 33 圖片存儲流程 33 圖片檢索流程 36 圖片下載流程 36 云存儲管理服務(wù)器設(shè)計 37 數(shù)量配置 37 硬件配置 38 云存儲存儲設(shè)備設(shè)計 39 存儲容量計算 39 存儲設(shè)備數(shù)量配置 40 存儲設(shè)備硬件配置 41第 四 章 交通綜合管控平臺設(shè)計 44 平臺整體架構(gòu) 44 平臺功能模塊設(shè)計 45 平臺功能設(shè)計 46 視頻監(jiān)控 46 實時視頻監(jiān)控 46 交通監(jiān)控 51 系統(tǒng)管理 62 運維管理 70 流媒體管理 73 存儲管理 74 報警管理 75 以圖搜圖 77 電視墻管理 78 跨網(wǎng)域訪問 79 平臺聯(lián)網(wǎng)設(shè)計 80 平臺級聯(lián)與國標(biāo)設(shè)備接入 80 平臺互聯(lián)協(xié)議接口 81 平臺互聯(lián)建設(shè)遵循標(biāo)準(zhǔn)規(guī)范 81 平臺部署 83 運行環(huán)境要求 83 配置推薦原則 85第 一 章 概述 系統(tǒng)簡介隨著交通監(jiān)控系統(tǒng)規(guī)模越來越大，以及高清視頻監(jiān)控系統(tǒng)、高清卡口系統(tǒng)及卡口型電子警察系統(tǒng)的大規(guī)模應(yīng)用，需要存儲的數(shù)據(jù)和應(yīng)用的復(fù)雜程度在不斷提高，且視頻數(shù)據(jù)和圖片數(shù)據(jù)需要長時間持續(xù)地保存到存儲系統(tǒng)中，并要求隨時可以調(diào)用，對存儲系統(tǒng)的可靠性和性能等方面都提出了新的要求。在未來的交警監(jiān)控系統(tǒng)中，視頻監(jiān)控點和電警卡口車道數(shù)會達(dá)到幾千路的規(guī)模，視頻視頻和圖片的存儲容量將達(dá)到PB級別，對海量數(shù)據(jù)提供快速存儲及檢索技術(shù)，顯得尤為重要，存儲系統(tǒng)正在成為交通監(jiān)控技術(shù)未來發(fā)展的決定性因素。面對PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸。云存儲可以突破這些性能瓶頸，并且可以實現(xiàn)性能與容量的線性擴展，這對于追求高性能、高可用性的企業(yè)用戶來說是一個新選擇。云存儲是在云計算（cloud puting）概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，應(yīng)用存儲虛擬化技術(shù)將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。所以云存儲可以認(rèn)為是配置了大容量存儲設(shè)備的一個云計算系統(tǒng)。 依據(jù)云存儲的技術(shù)及功能特點，海康威視公司專門針對大容量視頻數(shù)據(jù)和圖片數(shù)據(jù)的存儲和管理以及滿足監(jiān)控領(lǐng)域特殊的應(yīng)用需求，量身設(shè)計了一套?？低暯煌ㄖ悄茉拼鎯ο到y(tǒng)（以簡稱為交通云存儲系統(tǒng)）。 設(shè)計目標(biāo)交通云存儲系統(tǒng)設(shè)計的核心目標(biāo)其一是視頻和圖片數(shù)據(jù)在存儲方面能夠很好的滿足用戶需求；其二是為用戶應(yīng)用數(shù)據(jù)提供高效、穩(wěn)定、快速的服務(wù)；其三是系統(tǒng)可以實現(xiàn)便捷、可靠的統(tǒng)一管理及運維。1）數(shù)據(jù)存儲交通云存儲系統(tǒng)實現(xiàn)PB級的海量存儲，突破傳統(tǒng)的SAN或NAS在容量和性能的擴展上存在的瓶頸，實現(xiàn)性能與容量的線性擴展，滿足用戶對高性能、高可用性的需求。交通云存儲系統(tǒng)通過集群智能化部署設(shè)計，不同于傳統(tǒng)存儲的部署模式，系統(tǒng)性能全面提升，而且不再存在單機故障及性能瓶頸應(yīng)用，從而實現(xiàn)高效實用的存儲系統(tǒng)。2）應(yīng)用服務(wù)交通云存儲系統(tǒng)是一套貼合用戶需求而設(shè)計的云存儲系統(tǒng)，其先天的基因中就融入了面向應(yīng)用的特質(zhì)，在不斷發(fā)展的趨勢下這種面向應(yīng)用的特質(zhì)會不斷地為用戶提供高效、靈活、可靠的專業(yè)級存儲服務(wù)。3）統(tǒng)一管理及運維交通云存儲系統(tǒng)具有高效靈活的空間管理能力，通過全系統(tǒng)分層集群的設(shè)計將系統(tǒng)的管理資源進(jìn)行整合，并根據(jù)負(fù)載均衡算法提供全高效并發(fā)處理機制，提高了系統(tǒng)的整體性能。交通云存儲系統(tǒng)內(nèi)的設(shè)備和資源的運行情況進(jìn)行統(tǒng)一監(jiān)控，以標(biāo)準(zhǔn)的SNMP協(xié)議與運維服務(wù)器進(jìn)行數(shù)據(jù)交互，能夠非常便捷的實現(xiàn)系統(tǒng)整體運維。 設(shè)計原則交通云存儲系統(tǒng)的設(shè)計和實施主要遵循“技術(shù)先進(jìn)性、應(yīng)用高效性、開放兼容性”等方面的原則。1）采用前瞻性的存儲技術(shù)架構(gòu)采用以云存儲為核心的IT技術(shù)與交通行業(yè)特點進(jìn)行結(jié)合，進(jìn)而針對性開發(fā)出具有行業(yè)屬性的先進(jìn)視頻、圖片混合的專有交通云存儲系統(tǒng)。將云存儲核心技術(shù)如集群化部署、資源虛擬化整合、分布式流數(shù)據(jù)存儲等技術(shù)應(yīng)用到交通云存儲系統(tǒng)中。同時充分考慮交通監(jiān)控行業(yè)的發(fā)展需要，本系統(tǒng)能夠支撐未來大數(shù)據(jù)處理、智能分析處理等云計算技術(shù)的需要，實現(xiàn)云存儲系統(tǒng)在交通監(jiān)控領(lǐng)域的先進(jìn)性和前瞻性。2）專注與應(yīng)用結(jié)合的設(shè)計方式本套云存儲系統(tǒng)是針對交通行業(yè)內(nèi)視頻數(shù)據(jù)、圖片數(shù)據(jù)存儲而設(shè)計的，對數(shù)據(jù)的具體業(yè)務(wù)應(yīng)用進(jìn)行詳細(xì)的應(yīng)用分析后，從系統(tǒng)底層的流數(shù)據(jù)結(jié)構(gòu)的設(shè)計一直到上層的應(yīng)用調(diào)度策略設(shè)計都是站在應(yīng)用的角度考慮存儲。云存儲系統(tǒng)應(yīng)該定位于作為應(yīng)用的支撐，而不能再停留在傳統(tǒng)存儲和通用的文件云存儲僅僅是數(shù)據(jù)存儲的這一較低的層次認(rèn)識。因此專注于視頻和圖片的應(yīng)用是本套交通云存儲系統(tǒng)的重要設(shè)計原則。3）提供開放和兼容的系統(tǒng)環(huán)境云存儲系統(tǒng)的開放性和兼容性是需要考慮的重要原則，本套交通云存儲系統(tǒng)充分考慮了與第三方標(biāo)準(zhǔn)存儲設(shè)備的兼容性問題。對于第三方標(biāo)準(zhǔn)存儲設(shè)備，交通云存儲系統(tǒng)能夠做到良好的兼容性，以保護(hù)用戶的前期投入提供一個開放、公平的系統(tǒng)環(huán)境。第 二 章 總體設(shè)計交通云存儲系統(tǒng)是由?？低曌灾餮邪l(fā)的一套針對安防監(jiān)控行業(yè)應(yīng)用的專業(yè)級云存儲系統(tǒng)。采用軟硬件一體化設(shè)計，結(jié)合先進(jìn)的集群化技術(shù)、虛擬化技術(shù)、離散存儲技術(shù)等，通過流式文件系統(tǒng)對存儲資源進(jìn)行虛擬化和應(yīng)用化整合，為用戶提供高性能、高穩(wěn)定、高擴展性的數(shù)據(jù)存儲服務(wù)。 邏輯架構(gòu)交通云存儲系統(tǒng)采用分層結(jié)構(gòu)設(shè)計，整個系統(tǒng)從邏輯上分為五層，分別為設(shè)備層、存儲層、管理層、接口層、應(yīng)用層。圖1. 云存儲邏輯架構(gòu)圖1）設(shè)備層設(shè)備層是云存儲最基礎(chǔ)、最底層的部分，該層由標(biāo)準(zhǔn)的物理設(shè)備組成，支持標(biāo)準(zhǔn)的IPSAN、FCSAN存儲設(shè)備。在系統(tǒng)組成中，存儲設(shè)備可以是SAN架構(gòu)下的FC光纖通道存儲設(shè)備或iSCSI協(xié)議下的IP存儲設(shè)備。2）存儲層在存儲層上部署云存儲流數(shù)據(jù)系統(tǒng)，通過調(diào)用云存儲流數(shù)據(jù)系統(tǒng)，實現(xiàn)存儲傳輸協(xié)議和標(biāo)準(zhǔn)存儲設(shè)備之間的邏輯卷或磁盤陣列的映射，實現(xiàn)數(shù)據(jù)（視頻、圖片、附屬流）和設(shè)備層存儲設(shè)備之間的通信連接，完成數(shù)據(jù)的高效的寫入、讀取和調(diào)用等服務(wù)。3）管理層在管理層，融合了索引管理、計劃管理、調(diào)度管理、資源管理、集群管理、設(shè)備管理等多種核心的管理功能。可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動下發(fā)，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)等；實現(xiàn)整個存儲系統(tǒng)的虛擬化的統(tǒng)一管理，實現(xiàn)上層服務(wù)（視頻錄像、回放、查詢、智能分析數(shù)據(jù)請求等）的響應(yīng)。4）接口層應(yīng)用接口層是云存儲最靈活多變的部分，接口層面向用戶應(yīng)用提供完善以及統(tǒng)一的訪問接口，接口類型可分為Web Service接口、API接口、Mibs接口，可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。實現(xiàn)和行業(yè)專屬平臺、運維平臺的對接；實現(xiàn)和智能分析處理系統(tǒng)之間的對接；實現(xiàn)視頻數(shù)據(jù)的存儲、檢索、回放、瀏覽轉(zhuǎn)發(fā)等操作；實現(xiàn)關(guān)鍵視頻數(shù)據(jù)的遠(yuǎn)程容災(zāi)；實現(xiàn)設(shè)備以及服務(wù)的監(jiān)控和運維等。5）應(yīng)用層應(yīng)用層包括交通綜合管控平臺、運維平臺等應(yīng)用平臺，應(yīng)用平臺通過相應(yīng)的接口與交通云存儲系統(tǒng)對接，實現(xiàn)與交通云存儲系統(tǒng)之間的數(shù)據(jù)以及信令的交互。交通綜合管控平臺可與交通云存儲系統(tǒng)進(jìn)行配置錄像計劃、配置存儲策略、檢索視頻資源、重要錄像的備份存儲等指令的交互，輔助流數(shù)據(jù)、視頻數(shù)據(jù)、圖片數(shù)據(jù)的存取。運維平臺采用標(biāo)準(zhǔn)的SNMP協(xié)議實現(xiàn)并提供Mibs 接口，對交通云存儲系統(tǒng)以及服務(wù)進(jìn)行監(jiān)控管理，及時將產(chǎn)生的告警傳遞給用戶。 技術(shù)路線交通云存儲系統(tǒng)基于云架構(gòu)進(jìn)行開發(fā)，采用面向交通用戶業(yè)務(wù)應(yīng)用的設(shè)計思路，融合集群應(yīng)用、負(fù)載均衡、虛擬化、云結(jié)構(gòu)化、離散存儲等技術(shù)，可將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過專業(yè)應(yīng)用軟件集合起來協(xié)同工作，共同對外提供高性能、高可靠、不間斷的數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。在交通云存儲系統(tǒng)的設(shè)計中，采用的核心技術(shù)如下：1）采用存儲全域虛擬化技術(shù)對具有海量存儲需求的用戶提供透明存儲構(gòu)架，可持續(xù)擴容避免瓶頸限制，可以更有效的進(jìn)行資源管理，靈活增減空間，達(dá)到最大程度上合理利用空間的效果。2）采用集群技術(shù)，解決單/多節(jié)點失效問題，并利用負(fù)載均衡技術(shù)充分利用各存儲節(jié)點的性能，提升系統(tǒng)的可靠性和安全性。3）采用離散存儲技術(shù)，保障了用戶高效的讀寫的同時保證了業(yè)務(wù)的持續(xù)性。4）采用統(tǒng)一完善的接口，降低對接成本、平臺維護(hù)成本和用戶管理的復(fù)雜度。5）采用開放的集成構(gòu)架，使其可兼容業(yè)界各類iSCSI/FC存儲設(shè)備，保護(hù)用戶現(xiàn)有存儲投資資源。6）采用數(shù)據(jù)備份和容災(zāi)技術(shù)，保證云存儲中的數(shù)據(jù)不丟失，確證云存儲服務(wù)的安全穩(wěn)定。7）可采用視頻、圖片的全直存技術(shù)方案（需要前端支持），保證項目整體的成本控制，優(yōu)化存儲系統(tǒng)流程。 系統(tǒng)特點交通云存儲系統(tǒng)通過全集群化設(shè)計、全域虛擬化設(shè)計、分布式文件系統(tǒng)設(shè)計、面向應(yīng)用的算法、功能設(shè)計為用戶提供了更為海量的存儲空間、更為龐大的前端路數(shù)支持、更為高效的處理能力、更為透明的系統(tǒng)環(huán)境。對于面向視頻、圖片等監(jiān)控行業(yè)無疑是一套非常優(yōu)秀的云存儲系統(tǒng)。 高效靈活的空間管理交通云存儲系統(tǒng)具有高效靈活的空間管理能力。為了突破傳統(tǒng)存儲在存儲容量和系統(tǒng)性能上的矛盾，在管理大容量空間時通過全系統(tǒng)分層集群的設(shè)計將系統(tǒng)的管理資源進(jìn)行整合，并根據(jù)負(fù)載均衡算法提供全高效并發(fā)處理機制，大大地提高了系統(tǒng)的整體性能。1）存儲資源的虛擬化對存儲空間的管理方面交通云存儲系統(tǒng)將全域各存儲節(jié)點的資源進(jìn)行虛擬化后，向用戶呈現(xiàn)出一個持續(xù)的、超大的數(shù)據(jù)資源池，將其稱之為存儲資源池。存儲資源池的整合過程完全透明，由系統(tǒng)算法自行完成，將用戶從繁瑣的空間管理和配置中解脫出來，提高了管理效率。2）存儲資源的在線擴展當(dāng)存儲資源無法滿足用戶的容量需求，需要進(jìn)行存儲資源的擴展時，交通云存儲系統(tǒng)能為用戶提供十分便易的操作。用戶只需要在集群內(nèi)添加新增存儲設(shè)備的IP地址，系統(tǒng)會自動辨別新增設(shè)備，對新增設(shè)備進(jìn)行虛擬化整合，這樣新增設(shè)備的容量就能融入集群，并作為集群內(nèi)全部存儲資源的一部分為用戶所用；同時，在整個存儲資源的擴展過程中，交通云存儲系統(tǒng)的錄像業(yè)務(wù)正常運行，保障用戶不會因為系統(tǒng)的擴容而中斷正在進(jìn)行的正常業(yè)務(wù)，從而實現(xiàn)存儲資源的在線擴展。云存儲的系統(tǒng)架構(gòu)保證了存儲資源在線擴容的同時，可以滿足容量與處理性能的線性增長，從而提供了無限制的容量增長能力。3）虛擬空間的靈活使用用戶對存儲資源池的使用完全可以做到隨心所欲，可以按照監(jiān)控系統(tǒng)的需要和監(jiān)控區(qū)域的容量大小將存儲資源池的存儲資源進(jìn)行分配，分配后的存儲資源稱為錄像池。錄像池的劃分采用靈活策略方式，對于已經(jīng)分配好的并在線運行的錄像池策略依然能夠進(jìn)行調(diào)整。調(diào)整方式非常靈活，不但能夠做到將錄像池進(jìn)行擴大，同時也能非常靈活的支持將錄像池進(jìn)行縮小，而這點在傳統(tǒng)存儲中則非常困難。 海量數(shù)據(jù)的快速檢索 交通云存儲系統(tǒng)在管理著PB級的存儲容量空間時，依然能夠具備高效、準(zhǔn)確、快速的數(shù)據(jù)檢索能力。1）一體化索引設(shè)計 交通云存儲系統(tǒng)的索引管理遵循著高效、簡潔、一體化的設(shè)計思路。所有與用戶業(yè)務(wù)相關(guān)的索引信息統(tǒng)一由交通云存儲系統(tǒng)的視頻云存儲管理節(jié)點或者集群進(jìn)行管理。視頻云存儲管理集群在對索引的一體化設(shè)計上將海量數(shù)據(jù)索引查找、篩選進(jìn)行了全面的優(yōu)化，大大的提高了查找速度。在規(guī)模不斷擴大時性能幾乎相同，均能做到毫秒級耗時。2）深化的應(yīng)用設(shè)計 交通云存儲系統(tǒng)本著交通云存儲系統(tǒng)的特有性，在視頻、圖片的某些專有信息上也進(jìn)行了獨特的設(shè)計?？梢灾С挚焖俚膶幀定位并直接讀取I幀信息，避免了傳統(tǒng)存儲在I幀數(shù)據(jù)獲取時反復(fù)讀取視頻數(shù)據(jù)再分析呈現(xiàn)的過程。該項設(shè)計使得交通云存儲系統(tǒng)在數(shù)據(jù)存儲索引設(shè)計與用戶應(yīng)用更緊密地進(jìn)行了融合，使得交通云存儲系統(tǒng)能夠為用戶提供更為高效的海量數(shù)據(jù)的快速檢索能力。 持續(xù)可靠的數(shù)據(jù)服務(wù)交通云存儲系統(tǒng)為用戶能夠提供7X24小時不間斷高效可持續(xù)的數(shù)據(jù)服務(wù)，充分保護(hù)數(shù)據(jù)安全和可靠性。1）集群化管理節(jié)點設(shè)計交通云存儲系統(tǒng)在管理層面通過部署集群化交通云存儲管理節(jié)點向用戶提供系統(tǒng)級的存儲性能和可靠性。通過交通云存儲管理集群將管理壓力、業(yè)務(wù)壓力、調(diào)度壓力、檢索壓力等同時分擔(dān)在不同的視頻云存儲管理節(jié)點上，不但能夠使系統(tǒng)整體性能提升，還可以使得單臺節(jié)點的壓力下降。通過這種方式單臺視頻云存儲管理節(jié)點的系統(tǒng)消耗更小，也就使得使用壽命更長，可能出現(xiàn)故障的概率降低。即使交通云存儲管理集群中部分（一臺或多臺）節(jié)點出現(xiàn)故障，也不會影響到交通云存儲系統(tǒng)的服務(wù)，因為在交通云存儲管理集群中的其他節(jié)點會主動接過故障節(jié)點的工作，繼續(xù)為交通云存儲系統(tǒng)提供管理服務(wù)。2）持續(xù)并發(fā)業(yè)務(wù)存取在數(shù)據(jù)存儲層面同樣由于交通云存儲節(jié)點也采用的集群化部署，所有的存儲資源是采用虛擬化的方式由系統(tǒng)統(tǒng)一進(jìn)行管理的。在數(shù)據(jù)存儲時交通云存儲系統(tǒng)采用離散存儲算法，可以為用戶提供系統(tǒng)級分散存儲服務(wù)。支持將同一IPC提供的數(shù)據(jù)流按照分片的方式分布式存儲在不同交通云存儲節(jié)點上。這樣即使單臺或多臺存儲節(jié)點出現(xiàn)故障該IPC的錄像數(shù)據(jù)仍然可用。在存儲節(jié)點內(nèi)運行管理和業(yè)務(wù)軟件也可用對數(shù)據(jù)進(jìn)行合理分配，同時高效的 Raid技術(shù)在設(shè)備層面也能保證數(shù)據(jù)的高安全和可靠性。3）高可靠的錄像功能交通云存儲系統(tǒng)在存儲節(jié)點上內(nèi)置視頻云接入軟件，所提供的錄像服務(wù)和流媒體服務(wù)也是由交通云存儲管理節(jié)點統(tǒng)一進(jìn)行調(diào)度的，每套視頻云接入軟