【導讀】{ "error_code": 17, "error_msg": "Open api daily request limit reached" }

　　

【正文】 架構 平臺主要包括以下幾部分： 數(shù)據(jù) 接入層 ：負責從多個數(shù)據(jù)源采集數(shù)據(jù)，并對數(shù)據(jù)進行清洗和轉換，把外部系統(tǒng)的數(shù)據(jù)轉換成適合本系統(tǒng)存儲和分析的格式，并裝載到存儲層。 計算存儲層：作為數(shù)據(jù)的載體，提供穩(wěn)定高效的海量數(shù)據(jù)存儲 以及供上層訪問的數(shù)據(jù)接口，數(shù)據(jù)包括實時數(shù)據(jù)和非實時數(shù)據(jù)。 計算存儲層支持批量計算和流計算，批量計算采用業(yè)界通用 Hadoop26 平臺為基礎，在平臺之上集成安全加固、作業(yè)調度、能力開放等組件；流計算通過在平臺中集成 STORM 實現(xiàn)。 數(shù)據(jù)服務層：提供數(shù)據(jù)開放平臺及數(shù)據(jù)共享平臺，對上層提供服務。根據(jù)業(yè)務需求，對數(shù)據(jù)進行分析和處理， 包括數(shù)據(jù)標簽以及對外提供服務能力 應用開發(fā) 層：根據(jù) 用戶 需求， 實現(xiàn)業(yè)務流程，基于下層提供的服務和能力，解決用戶實際問題。 公共 管理：對平臺中的各組件進行統(tǒng)一管理，包括安全管理、日志管理、告警管理、性能管理、版本管理、監(jiān)控管理等 。 . 邏輯架構 系統(tǒng)邏輯架構分為：底層的硬件資源層，統(tǒng)一服務層，智能服務開發(fā)環(huán)境層，業(yè)務應用層以及操作維護子系統(tǒng)。 硬件資源層采用通用 X86 服務器，或者虛擬機（ Docker），來承載GoldenData 軟件，如 DAP 平臺自帶的各類組件： HDFS,HBase 及各類增強組件，分布式數(shù)據(jù)庫， MPP 數(shù)據(jù)倉庫等； 統(tǒng)一服務層提供多租戶，服務編排，數(shù)據(jù)治理，數(shù)據(jù)開放，數(shù)據(jù)安全等基礎和系統(tǒng)性服務功能； 智能服務開發(fā)環(huán)境層提供應用所需要的能力，如推薦引擎，超級 GIS引擎，搜索引擎，位置分析，圖像分析等。應用只要使用這些能力就可得到自己所需要的結果。 業(yè)務應用層，是各類具體的業(yè)務應用，基于下邊基礎平臺層提供的能27 力，實現(xiàn)具體的業(yè)務功能，最終體現(xiàn)出整個 GoldenData 產(chǎn)品的核心價值。 . 技術指標和規(guī)范 . 系統(tǒng)能力指標 指標項 指標值 備注 網(wǎng)絡爬蟲 抓取網(wǎng)頁速度 30 個網(wǎng)頁 /秒 /百兆網(wǎng)口 分析挖掘平臺 OLAP 處理速度 2 秒內(nèi)有響應，首次操作 5 分鐘內(nèi)產(chǎn)生數(shù)據(jù)結果，后續(xù)操作2 分鐘內(nèi)產(chǎn)生數(shù)據(jù)結果。 數(shù)據(jù)單元格總數(shù)上限是 60萬（行 *度量個數(shù)）； 定時報表任務執(zhí)行速率 定時任務數(shù)量乘以用戶數(shù)量最多支持 600 個。平均每個定時任務 2 分鐘內(nèi)產(chǎn)生數(shù)據(jù)文件 計算存儲 HDFS HDFS 寫性能 單個 Datanode 節(jié)點寫入數(shù)據(jù)量 162MB/S 網(wǎng)絡不是瓶頸的情況下。不低于2*6core， 2G 主頻，128G內(nèi)存，硬盤情況參考數(shù)據(jù)存儲需求。原則推薦12*2T。 HDFS 讀性能 單個 Datanode 節(jié)點讀取數(shù)據(jù)量 330MB/S MR Wordcount 性能 單節(jié)點 100MB/S Terasort 性能 單節(jié)點 80MB/S Kmeans 性能 單節(jié)點 14MB/S NaiveBayes 性能 單節(jié)點 272MB/S Hive Hive 導入性能 單節(jié)點導入吞吐量 40MB/S Hive 導出性能 單節(jié)點導出吞吐量 40MB/S HiveAggregation 處理性能 單節(jié)點 83MB/S HiveJoin 處理性能 單節(jié)點 63MB/S HBase NoSQL100%隨機讀性能 (NoSQLRead) 單節(jié)點吞吐量 58000 條 /S (每條記錄約 1KBytes) NoSQL100%隨機寫性能 (NoSQLWrite) 單節(jié)點吞吐量 141000 條 /S (每條記錄約 1KBytes) NoSQL 順序掃描性能 (NoSQLScan) 單節(jié)點吞吐量 480000 條 /S (每條記錄約 1KBytes) 28 系統(tǒng)性能 告警處理能力 告警正常處理能力平均為 30條 /秒； 告警峰值處理能力達到 200條 /秒，至少可以持續(xù) 15分鐘不丟失告警 系統(tǒng)服務器最大同時在線客戶端數(shù) 100 在保證用戶正常使用，系統(tǒng)性能不下降的前提下，系統(tǒng)能支撐的最多能登錄的在線客戶端數(shù)。（與具體的服務器配置有關聯(lián)） 系統(tǒng)服務器最大同時并發(fā)客戶端數(shù) 50 . 可靠性 指標 指標項 指標值 備注 可靠性指標 MTBF 6480小時 指在 HA環(huán)境下。 （ MTBF： MeanTimeBetweenFailure，平均無故障時間） MTTR 指在 HA環(huán)境下。 （ MTTR： MeanTimeToRestoration,平均恢復時間） 可用性指標 % 指在 HA環(huán)境下。 可用性指標 =MTBF/（ MTBF+MTTR） 停機時間 ≤ 42分鐘 /年 視集群規(guī)模，兩模塊兩節(jié)點模式下（ NamenodeHmaster）。公式：24*365**60=42 分鐘 配置數(shù)據(jù)恢復時間 ≤ 10分鐘 應用級配置數(shù)據(jù)恢復 RTO ≤ 5 小時 系統(tǒng)重裝下的災難恢復時間，基于產(chǎn)品提供的 backup 備份恢復方案；目前測試數(shù)據(jù)是千兆網(wǎng)，傳輸速率是 60MB/S。 （ RTO： RecoveryTimeObjective,復原時間目標） RPO ≤ 24小時 數(shù)據(jù)恢復到過去的那一個時間點，待恢復的數(shù)據(jù)包括基礎數(shù)據(jù)和歷史數(shù)據(jù)，基于產(chǎn)品提供的 backup 備份恢復方案；系統(tǒng)恢復到上一個備份點是和傳輸以及恢復容量相關，目前測試數(shù)據(jù)是千兆網(wǎng)，傳輸速率是 60MB/秒。 （ RPO： RecoveryPointObjective,恢復點目標） . 系統(tǒng)指標 指標項 指標值 備注 系統(tǒng) 系統(tǒng)軟件安裝時間 60分鐘 不包括操作系統(tǒng)安裝，僅大數(shù)據(jù)平臺安裝。 29 指標 系統(tǒng)軟件升級時間 60分鐘 不包括操作系統(tǒng)安裝，僅大數(shù)據(jù)平臺升級。 升級失敗回滾時間 4小時 補丁升級時間 30分鐘 . 啟動速度 指標項 指標值 備注 啟動速度 客戶端啟動時延 3秒 客戶端登錄時延 7秒 客戶端各視圖打開時延 3秒 服務器熱啟動時間 5分鐘 . 操作性能 指標項 指標值 備注 操作性能 監(jiān)控臺查詢時延 20秒 有進度條或者提示 告警監(jiān)控時延 10分鐘 日志查詢時延 2秒 7. 大 數(shù)據(jù) 智能 應用系統(tǒng) 行人結構化特征智能檢索 查找行人目標的時候，通過 WEB 客戶端，提交性別、年齡、衣服顏色、背包、拉桿箱、打傘、姿態(tài)、方向等及經(jīng)過時間段、地點信息對識別結果進行部分 /組合查詢。系統(tǒng)通過相關的特征信息能準確將目標定位到一定的范圍。 30 人騎車結構化特征智能檢索 查找人騎車目標的時候，通過 WEB 客戶端，提交騎車類型、性別、年齡段、上衣著顏色、眼鏡、背包、打傘、方向、速度等及經(jīng)過時間段、地點信息對識別結果進行部分 /組合查詢。系統(tǒng)通過相關的特征信息能準確將目標定位到一定的范圍。 31 車輛結構化特征智能檢索 查找車輛目標的時候，通 過 WEB 客戶端，提交車牌號碼、車身顏色、方向、速度等及經(jīng)過時間段、地點信息對識別結果進行部分 /組合查詢。系統(tǒng)通過相關的特征信息能準確將目標定位到一定的范圍。 以圖搜圖 針對破案過程中，搜集到的案件線索很有可能是嫌疑目標的一張或多張圖片，基于此種情況下，系統(tǒng)能夠借助嫌疑目標的全面特征或者局部特征從而對目標進行有效檢索，在最短時間內(nèi)鎖定其行蹤。支持通過瀏覽按32 鈕選擇需要上傳的目標 圖片。 8. 車輛 大數(shù)據(jù)偵查 以圖搜車 破案過程中，搜集到的案件線索很有可能是嫌疑車輛的一張或多張圖片，基于此種情況下，系統(tǒng)能夠借助車輛的全面車體特征和局部特征從而對目標車輛進行有效檢索，在最短時間內(nèi)鎖定其行蹤。支持通過瀏覽按鈕選擇需要上傳的目標車 輛圖片。 33 車輛實時布控 案件偵破過程中，需根據(jù)車輛類型、品牌型號、車身顏色、車牌號等部分信息的組合進行布控，從而能夠在第一時間發(fā)現(xiàn)目標車輛并進行處理。 組合的布控條件輸入后，千視通車輛 信息管理系統(tǒng)在分析過程中，根據(jù)布控條件，對每輛過往車輛進行匹配度評價，當匹配度大于一定數(shù)值（閾值）時，啟動報警，由人工進行確認后，通知現(xiàn)場警力進行攔截盤查。 添加車輛布控示例圖 涉案車輛往往會采用套牌、假牌、無牌或沿途更換不同號牌等方式來逃避追蹤和識別，因此，及時發(fā)現(xiàn)識別并處理這些可疑車輛，可有效防范這些犯罪行為的發(fā)生，將社會危害性降到最低。 車輛分析識別結果一方面寫入數(shù)據(jù)庫，另一方面，可交由比對模塊進行車輛比對。車輛比對模塊以車牌號為依據(jù)，從車輛管理系統(tǒng)查詢車輛類型、品牌型號、車身顏色等信息，并與識別 結果中相應信息進行比較和匹34 配度評價，對匹配度低于一定值（閾值）的車輛判定為可疑車輛，并啟動報警，經(jīng)人工確認后可通知現(xiàn)場警力進行攔截盤查等。 假套牌車輛報警界面圖 假套牌車分析 系統(tǒng)車管所的數(shù)據(jù)庫進行對接，對識別出的假套牌車輛進行實時記錄并支持自動報警。假套牌車輛根據(jù)車牌號碼、監(jiān)控點、車牌種類、車輛類型、車輛顏色、過車時間段、報警類型、人工審核狀態(tài)進行單個 /組合條件查詢。 假套牌車實時報警 無牌車分析 對識別出的無牌車輛進行實時記錄并支持對結果的查詢。 35 無牌識別結果對比 同行車 分析 在實際的涉車案件中，往往犯罪分子并不是單獨行動，而是伙同同伙共同作案，因此非常有必要通過同行車分析研判出犯罪分子是否存在同伙作案。 通過輸入嫌疑車輛的車牌號，設置同行路口數(shù)（≥）、時差（秒）、開始時間及結束時間組合查詢、篩選目標嫌疑車輛的同行車輛并生成原車詳細信息列表記錄和同行車列表。 36 查看同行車輛與原車同行詳細信息 首次入城分析 在涉車案件中，利用異地車輛作案或者是跨省 /地區(qū)作案的概率較大，因此，系統(tǒng)支持對外地車輛進行有效管理可以在一定程度上協(xié)助涉車案件的偵破。 系統(tǒng)支持通過設置常用的監(jiān)控點、過車時間段進行查詢，同時支持更多的品牌、車系、款型、車型、車道方向、地點、特征物、車身顏色等選項對首次進入該城市的車輛進行單個 /組合查詢。 首次入城分析功能界面 37 頻繁過車分析 在實際的涉車案件中，往往犯罪分子在作案前都會進行頻繁的踩點和準備，因此可通過頻繁過車分析研判出具有嫌疑的目標車輛。 系統(tǒng)支持通過輸入嫌疑目標車輛的過車時間段、監(jiān)控點及過車頻率（≥）進行組合查詢、篩選符合設置條件的目標嫌疑車輛并生成過車列表記錄。 查看頻繁過車車輛結果信息 頻繁夜出車輛分析 由于大部分的涉車案件均發(fā)生在夜晚或凌晨時段，因此通過對頻繁夜出的車輛進行分析研判能夠有效的篩查及鎖定嫌疑目標車輛。 系統(tǒng)支持根據(jù)綜合設置車輛出現(xiàn)的夜間時段、夜間出現(xiàn)次數(shù)（≥）及分析時間段分析、查詢出頻繁夜出的車輛并進行過車列表展示，展示的信息包括車牌和夜出次數(shù)。 38 查看過車詳細信息 晝伏夜出車輛分析 針對如盜竊、搶劫、走私等違法犯罪活動，大部分的涉車案件性質有著共通的地方：晝伏夜出，因此通過對晝伏夜出的車輛進行分析研判能夠有效的提高偵查破案的效率。 系統(tǒng)支持根據(jù)綜合設置白天時段、夜間時段、夜間出現(xiàn) 次數(shù)（≥）及分析時間段分析出晝伏夜出的車輛并進行過車列表展示車牌、夜出次數(shù)和晝出次數(shù)。 晝伏夜出車輛分析結果查看 39 9. 人臉比對系統(tǒng) . 建設內(nèi)容 對重點人員的管控、重點場所的防控、重點人群的服務、社會矛盾的化解等需要智能信息技術的支撐。對重點人員的動態(tài)管理離不開對重點人員動態(tài)活動軌跡、社會關系等的數(shù)據(jù)的及時采集和分析，對重點場所的防控離不開對場所的人流趨勢、風險因素等深度分析；對重點人群的服務離不開對重點人群的組成、行為習慣等的分析；對社會矛盾的化解離不開對幕后推手的深挖。 平臺針對公安業(yè)需求提出以下建設目標，為智慧公安提供強大武器。 完善以人臉識別比對為代表的非結構化數(shù)據(jù)智能分析手段。 通過對人的視頻人像采集及檢測、人像預處理、人像特征提取以及匹配與識別等步驟，建設高準確率、高適應性、高效率的人臉比對系統(tǒng)，并在此基礎上疊加地點、時間、視頻智能分析等能力，各系統(tǒng)應具備良好的數(shù)據(jù)交互、數(shù)據(jù)共享能力。 加強業(yè)務數(shù)據(jù)橫向關聯(lián)與比對碰撞的能力。 匯聚多種業(yè)務數(shù)據(jù)并借助大數(shù)據(jù)技術進行情報信息挖掘，以人臉業(yè)務為核心進行組織、采集、管理，平臺與人員偵查過程能夠緊密結合。通過采集，標注偵查過程 中獲取的視頻、卡口、電子警察、人臉、圖片等各種圖像資源，利用人臉比對、智能分析、視頻智能分析等手段提取有價值信息，結合公安資源庫進行大數(shù)據(jù)情報比對碰撞，通過云端素材庫將全部案件信息與提取到的情報整合成一個有機的整體與可視化呈現(xiàn)。 40 建立具備前瞻性的人像情報資源庫。 既能為當前需求服務，又能為突發(fā)多變的實戰(zhàn)需求快速提煉情報信息