【文章內(nèi)容簡介】 MC為輔的冗余方案，其中每臺前端自帶的eMMC內(nèi)嵌存儲可以存儲圖片超過8萬張。后端磁盤陣列支持RAID 0，1，5，6, 10，支持RAID容量在線動態(tài)擴展功能；支持硬盤在線熱插拔，支持硬盤電源短路保護（5V，12V），支持系統(tǒng)啟動時硬盤順序加電，提供更全面的硬件保護手段；可選冗余熱插拔電源，支持電源自動故障切換，并支持外接UPS，避免電源故障帶來的系統(tǒng)異常。 集中管理模式選擇系統(tǒng)根據(jù)用戶業(yè)務(wù)管理模式的特點，采用集中式的管理方式。系統(tǒng)通過集中管理模式可對每個可獨立運行的前端單元進行管理，平臺既要能實現(xiàn)項目需求的功能，而且充分考慮標(biāo)準(zhǔn)化和拓展化，能順利與上下級平臺完成對接。針對不同的用戶采用多種權(quán)限管理模式，不同的用戶可以根據(jù)指定的權(quán)限對系統(tǒng)進行操作。 系統(tǒng)架構(gòu)1) 視頻大數(shù)據(jù)技術(shù)平臺視頻大數(shù)據(jù)技術(shù)平臺負責(zé)存儲和提取處理視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)，通過視頻結(jié)構(gòu)化技術(shù)，可挖掘出視頻圖像中的人、車、物、事件等結(jié)構(gòu)化信息，進一步用于大數(shù)據(jù)的分析挖掘。同時，視頻大數(shù)據(jù)技術(shù)平臺可提供視頻摘要、視頻濃縮、視頻質(zhì)量診斷等智能分析服務(wù)，使上層應(yīng)用提高視頻處理的效率。2) 通用大數(shù)據(jù)技術(shù)平臺通用大數(shù)據(jù)技術(shù)平臺提供基于Hadoop和Spark的分布式存儲、分布式計算等能力，負責(zé)整合并管理海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，具備高度的可擴展性，可將數(shù)千臺的廉價服務(wù)器組建成一套龐大的云存儲系統(tǒng)、一臺超級計算機?；赟park架構(gòu)的內(nèi)存運算，速度比傳統(tǒng)的Hadoop快10~100倍，適合交通行業(yè)對時間要求的流式計算需求。3) 行業(yè)大數(shù)據(jù)能力平臺能夠針對海量數(shù)據(jù)進行快速檢索、快速統(tǒng)計分析，同時能夠進行深度的關(guān)聯(lián)分析，挖掘出其中有價值的信息。行業(yè)大數(shù)據(jù)能力平臺以接口的方式為上層應(yīng)用提供服務(wù)。4) 大數(shù)據(jù)運維平臺負責(zé)對整個大數(shù)據(jù)平臺進行部署、配置、管理、監(jiān)控，通過自動化安裝的方式，方便用戶架設(shè)大數(shù)據(jù)平臺。同時，通過可視化界面，可以形象地獲知整個平臺的運行狀況。隨著業(yè)務(wù)的發(fā)展，當(dāng)平臺需要升級或擴容時，可方便的通過該工具進行調(diào)整。 系統(tǒng)組成 視頻大數(shù)據(jù)技術(shù)平臺 視頻云存儲視頻云存儲系統(tǒng)解決百PB級視頻基礎(chǔ)數(shù)據(jù)視頻數(shù)據(jù)的低成本、高可靠存儲，支持視頻流數(shù)據(jù)的高并發(fā)I/O。視頻云存儲系統(tǒng)架構(gòu)圖 視頻云分析視頻云分析平臺則是通過整合現(xiàn)有的數(shù)據(jù)中心分析設(shè)備，對過車視頻、過車圖片等數(shù)據(jù)進行進一步分析，其中中心分析設(shè)備采用分布式計算節(jié)點集群的方式，能夠提供基于任務(wù)自動負載均衡的數(shù)據(jù)處理方式，解決從海里視頻圖像數(shù)據(jù)中解析出來的視頻結(jié)構(gòu)化數(shù)據(jù)的需求。視頻云分析方案架構(gòu)圖具體包括以下模塊：l 特征提取模塊特征提取模塊負責(zé)對實時或歷史視頻圖像中的結(jié)構(gòu)化信息進行提取，包括人、車、物等特征信息。提取出的信息存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進一步分析的數(shù)據(jù)基礎(chǔ)。l 行為分析模塊行為分析模塊負責(zé)對實時或歷史視頻圖像中的行為信息進行分析，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)，同時行為信息作為結(jié)構(gòu)化數(shù)據(jù)，可存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進一步分析的數(shù)據(jù)基礎(chǔ)。l 音頻分析模塊音頻分析模塊負責(zé)對音頻進行分析，識別異常音源，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)。l 以圖搜圖模塊以圖搜圖模塊負責(zé)對大數(shù)據(jù)系統(tǒng)中的圖片數(shù)據(jù)進行分析比對，并按相似度返回圖片列表。以圖搜圖模塊支持對人臉圖片的搜索，支持對車輛圖片的搜索。l 隱私保護模塊隱私保護模塊負責(zé)對實時或歷史視頻圖像中的人體影像進行模糊處理，保護個人隱私。l 視頻摘要模塊視頻摘要模塊負責(zé)對實時或歷史視頻進行摘要處理，提取出視頻中有用的信息，合并到同一個背景中，以此縮短視頻播放時間。視頻摘要可有效縮短用戶觀看視頻的時間，提高工作效率。l 視頻濃縮模塊視頻濃縮模塊負責(zé)對實時或歷史視頻進行濃縮處理，視頻中有事件出現(xiàn)時進行慢放，無事件時進行快放，以此縮短視頻播放時間。視頻濃縮可有效縮短用戶觀看視頻的時間，提高工作效率。l 視頻質(zhì)量診斷模塊視頻質(zhì)量診斷模塊負責(zé)對實時視頻流進行質(zhì)量診斷，以巡檢的方式對前端接入視頻流進行分析，實時發(fā)現(xiàn)攝像機是否在線、畫面是否正常等問題。l 視頻圖像增強復(fù)原模塊視頻圖像增強復(fù)原模塊負責(zé)對實時或歷史視頻圖像進行增強復(fù)原，對效果較差的視頻、圖像進行智能修復(fù)并增強處理。 通用大數(shù)據(jù)技術(shù)平臺通用大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心，具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴容的特點，用于匯集視頻、圖像、報警、卡口信息、位置信息、案事件等大數(shù)據(jù)，為數(shù)據(jù)的綜合利用提供支撐。系統(tǒng)技術(shù)架構(gòu)圖分布式文件系統(tǒng)HDFS ：運行在通用硬件上的可擴展高容錯的分布式文件系統(tǒng)，已經(jīng)成為海量數(shù)據(jù)存儲的事實標(biāo)準(zhǔn)。負責(zé)海量數(shù)據(jù)存儲，將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上，系統(tǒng)采用可擴展的體系結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負荷，利用元數(shù)據(jù)服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。分布式資源管理YARN：分布式資源管理框架，負責(zé)計算、存儲資源的管理，用以提高分布式集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。分布式計算Map/Reduce：分布式計算框架，負責(zé)將一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。分布式數(shù)據(jù)庫HBase：一個分布式的、按列存儲的、多維表結(jié)構(gòu)的實時分布式數(shù)據(jù)庫，用于存儲粗粒度的結(jié)構(gòu)化數(shù)據(jù)，適合構(gòu)建高并發(fā)低延時的在線數(shù)據(jù)服務(wù)系統(tǒng)。全文檢索引擎Solr：一個基于Lucene構(gòu)建的開源，分布式，RESTful搜索引擎，設(shè)計用于云計算中，能夠達到穩(wěn)定、可靠、快速實時搜索。內(nèi)存計算Spark：下一代基于內(nèi)存的 Map/Reduce 計算引擎，處理大數(shù)據(jù)像“光速”一樣快，比Hadoop Map/Reduce 快 10x 到 100x 倍。流計算Stream：流計算，負責(zé)對流媒體數(shù)據(jù)的分析計算。分布式協(xié)作Zookeeper：分布式協(xié)作系統(tǒng)，作為一個分布式鎖及共享數(shù)據(jù)管理者，提供集群節(jié)點間的事物協(xié)調(diào)服務(wù)，保證HDFS、HBase、Spark、Map/Reduce等分布式系統(tǒng)的安全可靠運行。Kafka：分布式數(shù)據(jù)總線，負責(zé)數(shù)據(jù)的采集、整合、交互。Sqoop：SQL to Hadoop， 一個數(shù)據(jù)抽取工具，用于從關(guān)系數(shù)據(jù)導(dǎo)入數(shù)據(jù)到Hadoop。 分布式文件系統(tǒng)HDFS是分布式計算中數(shù)據(jù)存儲管理的基礎(chǔ)，具有高容錯性、高可靠性、高可擴展性、高吞吐率等特點，可以設(shè)計部署在低廉的硬件上，為海量數(shù)據(jù)提供了不怕故障的存儲，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。 分布式數(shù)據(jù)庫HBase是一種構(gòu)建在HDFS之上的分布式、面向列的存儲系統(tǒng)，它具有高可靠、高性能、面向列和可伸縮的特性。HBase適合于存儲大表數(shù)據(jù)（表的規(guī)模可以達到數(shù)百億行以及數(shù)百萬列），并且對大表數(shù)據(jù)的讀、寫訪問可以達到實時級別。 分布式計算MapReduce是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集(通常大于1TB)的并行計算。MapReduce的名字源于該模型中的兩項核心操作：Map和Reduce。Map將一個任務(wù)分解成為多個任務(wù)，Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得出最終的分析結(jié)果。 分布式協(xié)作系統(tǒng)ZooKeeper是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，主要提供兩個功能：幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序；提供分布式協(xié)作服務(wù)和維護配置信息。 行業(yè)大數(shù)據(jù)平臺行業(yè)大數(shù)據(jù)平臺負責(zé)與通用大數(shù)據(jù)平臺進行對接，負責(zé)對結(jié)構(gòu)化數(shù)據(jù)（過車數(shù)據(jù)、測速數(shù)據(jù)）進行分析計算，提供快速檢索、分析、統(tǒng)計、挖掘等功能，并提供用戶最終的操作界面。面向交通行業(yè)的大數(shù)據(jù)業(yè)務(wù)展示平臺。 大數(shù)據(jù)管理平臺大數(shù)據(jù)管理平臺負責(zé)對整個大數(shù)據(jù)平臺進行部署和管理，結(jié)構(gòu)示意圖如下圖所示，包括集群部署、集群管理、任務(wù)管理、服務(wù)管理、狀態(tài)監(jiān)控、用戶管理、告警、日志等模塊。大數(shù)據(jù)管理平臺架構(gòu)圖 系統(tǒng)流程介紹平臺與智能交通綜合管控平臺業(yè)務(wù)流程圖如上圖所示，過車記錄和車輛違法記錄等交通數(shù)據(jù)信息通過交通接入服務(wù)器轉(zhuǎn)發(fā)到大數(shù)據(jù)平臺，并寫入到HDFS分布式文件存儲系統(tǒng)中；基于HDFS分布式文件系統(tǒng)部署分布式數(shù)據(jù)庫，用來承載數(shù)據(jù)的預(yù)統(tǒng)計表和二級索引表。在數(shù)據(jù)搜索層，部署基于Solr分詞的全文檢索搜索引擎，并通過MapReduce分布式計算框架提供高效數(shù)據(jù)分析速度。Zookeeper提供分布式文件系統(tǒng)之間的多進程協(xié)調(diào)服務(wù)。針對數(shù)據(jù)寫入、檢索、統(tǒng)計和研判應(yīng)用，大數(shù)據(jù)平臺提供統(tǒng)一的webservice接口，供交通視頻監(jiān)控平臺和智能交通管控平臺進行處理應(yīng)用。 系統(tǒng)特色 強大的大數(shù)據(jù)處理 海量數(shù)據(jù)存儲大數(shù)據(jù)平臺采用全分布式系統(tǒng)架構(gòu)，能夠提供海量數(shù)據(jù)的存儲能力。其中分布式文件系統(tǒng)用于存儲海量非結(jié)構(gòu)化數(shù)據(jù)，能夠提供最大50PB的存儲容量；分布式數(shù)據(jù)庫系統(tǒng)用于存儲海量半結(jié)構(gòu)化/結(jié)構(gòu)化數(shù)據(jù)，能夠供最大1000億條的數(shù)據(jù)存儲。 海量數(shù)據(jù)檢索大數(shù)據(jù)平臺支持全文檢索技術(shù)，可通過全文檢索引擎進行關(guān)鍵字檢索。通過對海量的視頻圖像建立結(jié)構(gòu)化信息索引，從而實現(xiàn)對視頻圖像數(shù)據(jù)的快速查詢。同時，大數(shù)據(jù)平臺支持智能匹配，結(jié)合智能分析技術(shù)，用戶可以通過以圖搜圖的方式搜索視頻和圖像。 海量數(shù)據(jù)處理利用分布式計算技術(shù)，大數(shù)據(jù)平臺能夠提供快速的數(shù)據(jù)分析、挖掘、統(tǒng)計能力。首先，平臺支持對非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理；其次，平臺支持對結(jié)構(gòu)化數(shù)據(jù)的分析挖掘，如過車信息的智能研判、道路路況狀態(tài)的分析等。對于常規(guī)分析，系統(tǒng)可以在3S以內(nèi)返回結(jié)果；對于復(fù)雜分析，系統(tǒng)可以在10S以內(nèi)返回結(jié)果。 視頻圖像智能分析大數(shù)據(jù)平臺支持視頻圖像的智能分析，利用分布式計算技術(shù)，能夠極大的提高智能分析的效率，同時通過智能分析集群，可以增大接入前端的數(shù)量。通過特征提取技術(shù)、行為分析技術(shù)，可以挖掘出視頻圖像中的有用信息，并作為進一步深度挖掘的數(shù)據(jù)基礎(chǔ)。 靈活的存儲策略數(shù)據(jù)以多副本的形式保存于分布式文件系統(tǒng)中，用戶可以靈活選擇保存的副本數(shù)量。對于重要的數(shù)據(jù)，可選擇保存3份甚至更多；對于不太重要的數(shù)據(jù)，可選擇Erasure技術(shù)，節(jié)省存儲空間。用戶可選擇將多副本保存于不同的服務(wù)器節(jié)點上，有多機柜時刻選擇將多副本保存于不同的機柜中。 負載均衡策略負載均衡策略用于協(xié)調(diào)大型分布式系統(tǒng)中各個服務(wù)器節(jié)點，保證將性能最優(yōu)的節(jié)點提供給請求，從而實現(xiàn)壓力的分擔(dān)，提高系統(tǒng)處理能力。Zookeeper作為可靠的協(xié)調(diào)系統(tǒng)，為負載均衡策略提供數(shù)據(jù)支持。通過定時任務(wù)在Zookeeper上更新服務(wù)器節(jié)點的性能指標(biāo)，獲取其它節(jié)點的性能指標(biāo)并通過排序處理獲得最優(yōu)節(jié)點列表。系統(tǒng)接收請求時，獲取排序列表并循環(huán)注冊節(jié)點，注冊成功的服務(wù)器即最優(yōu)節(jié)點，在最優(yōu)節(jié)點上處理請求并響應(yīng)。 先進成熟的技術(shù)框架軟件平臺基于J2EE技術(shù)框架，使用HDFS、HBase、ElasticSearch等先進的分布式系統(tǒng)框架，采用SOA面向服務(wù)的軟件架構(gòu)，結(jié)合XML、WebService等主流技術(shù)進行開發(fā)。成熟的技術(shù)架構(gòu)帶來良好的健壯性、擴展性和穩(wěn)定性，保障系統(tǒng)具備海量接入和大并發(fā)量訪問的能力。 高擴展能力分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、全文檢索引擎等都是以集群的方式進行部署，具備良好的擴展能力。當(dāng)系統(tǒng)能力不足以滿足當(dāng)前業(yè)務(wù)需求時，可以方便的通過增加集群節(jié)點來提高系統(tǒng)性能。集群計算、存儲能力隨著集群節(jié)點的增加而線性增長。集群擴展后，集群中數(shù)據(jù)會自動均衡到新加入的節(jié)點上。 高可靠性平臺作為支撐性平臺，需要具備較高的可靠和可用性，主要包括軟件、硬件、數(shù)據(jù)的可靠性。軟件上對平臺可能出現(xiàn)的各種異常進行捕獲并處理，保持軟件的可持續(xù)運行；硬件上則通過集群部署模式來提升硬件的高可靠和高可用能力；數(shù)據(jù)上采用多副本形式保證可靠性，多副本保存于不同的服務(wù)器節(jié)點，當(dāng)有多機柜時，多副本可保存于不同的機柜。 易用性平臺遵循易用原則，操作界面友好，具有易懂的提示信息與完善的安全驗證機制。平臺支持軟件模塊的自動安裝、升級，支持集群、服務(wù)、任務(wù)的配置和管理，支持可視化管理，方便用戶的使用。 強大的實戰(zhàn)應(yīng)用l 可視化圖上作戰(zhàn)：依托公安PGIS系統(tǒng)，實現(xiàn)人、車、物的軌跡刻畫和案件線索分析，提高案件偵破的效率，同時實現(xiàn)可視化指揮調(diào)度功能；l 實戰(zhàn)化視頻應(yīng)用：融合視頻標(biāo)注、視頻摘要、智能排查、濃縮播放、圖像增強、圖像編輯、萬能播放器等多樣化的智能工具，提高視頻偵查的工作效率，縮短反應(yīng)時間、減少人力耗費； 快速檢索針對過車記錄表及違法記錄表有針對車牌的精確查詢及模糊查詢需求，如下：1) 過車記錄精確查詢車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。2) 過車記錄模糊查詢車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。3) 違法記錄精確查詢車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。4) 違法記錄模糊查詢車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。5) 軌跡查詢查詢車輛在特定的時間段內(nèi)的行車軌跡：即在某個時間段內(nèi)（根據(jù)場景，還可以設(shè)置車輛類型、顏色深淺、車牌類型、車牌號碼、車速、車長、號牌段、車身顏色、車牌顏色等限制條件），同時經(jīng)過多個卡口（至少兩個以上才能確定一條軌跡）的過車信息。 快速統(tǒng)計針對過車記錄表及違法記錄表有如下統(tǒng)計需求：1) 過車記錄表車流量統(tǒng)計以卡口（或車輛類型、