【正文】 警閾值設(shè)置。告警管理：告警管理功能包括告警查看、閥值設(shè)置。為避免應(yīng)用之間在申請組件服務(wù)時相互干擾，提升應(yīng)用的健壯性和可靠性，應(yīng)支持相同組件的服務(wù)既共享物理資源，又相互獨立。服務(wù)管理：對大數(shù)據(jù)平臺包含的各個組件服務(wù)提供的管理界面，可對各組件運行狀態(tài)進行監(jiān)控，可執(zhí)行啟、停操作；除手動停止服務(wù)外，系統(tǒng)監(jiān)測到服務(wù)異常終止時可以自動拉起服務(wù)，并可以根據(jù)需要打開或關(guān)閉自動拉起開關(guān)。通過在已添加主機安裝代理，支持通過代理訪問計算集群提供相關(guān)組件服務(wù)和操作。⑦安全管理安全管理能夠提供以用戶為單位的身份認證和授權(quán)，能夠?qū)簲?shù)據(jù)資源和服務(wù)進行訪問控制，包括系統(tǒng)用戶、應(yīng)用用戶的身份和權(quán)限管理，日志管理等。幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序。它能為分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫、離線計算、資源管理與調(diào)度、數(shù)據(jù)倉庫等大數(shù)據(jù)組件提供重要的功能支撐。支持隊列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊列屬性。支持白名單功能，限制客戶端向集群的resourcemanager提交作業(yè)。支持作業(yè)定點調(diào)度，指定作業(yè)在哪些主機上運行，隔離重點任務(wù)和普通任務(wù)。具備高可擴展性，支持作業(yè)定點調(diào)度，支持優(yōu)先級高的作業(yè)優(yōu)先分配到資源。資源管理能夠面向海量數(shù)據(jù)處理和大規(guī)模計算類型的復(fù)雜應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。支持VIP隊列管理，支持根據(jù)業(yè)務(wù)需要指定作業(yè)在指定的計算節(jié)點上運行，隔離重點任務(wù)和普通任務(wù)，保障重點任務(wù)的物理資源。⑤資源管理（例如yarn）資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計算等資源給上層應(yīng)用和服務(wù)，能夠管理運行在集群節(jié)點上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動態(tài)資源池功能。支持搜索引擎服務(wù)自動拉起功能，提高可靠性。提供搜索引擎數(shù)據(jù)切換自動化工具，一鍵式操作實現(xiàn)搜索引擎數(shù)據(jù)從一個集群切換到另外一個集群，安全可靠?？梢詫崿F(xiàn)集中式的配置信息、自動容錯、查詢時自動負載均衡、自動分發(fā)的索引和索引分片和事務(wù)日志等多種特色功能。支持實時計算組件性能指標界面可視化，通過界面實時監(jiān)控實時計算組件性能指標。具備高可靠性，支持主控節(jié)點雙機，具備自動容錯能力，避免單點故障不可恢復(fù)。數(shù)據(jù)按業(yè)務(wù)分析，可支持不同的應(yīng)用接入，并對應(yīng)不同的應(yīng)用輸出計算結(jié)果。支持對流數(shù)據(jù)的處理，數(shù)據(jù)可以建立關(guān)聯(lián)處理。支持高并發(fā)低延時的數(shù)據(jù)處理。要求保證高可靠性的前提下讓數(shù)據(jù)處理更加實時，具備低延時、容錯和分布計算特性。支持內(nèi)存計算引擎的Master的HA等，可以對內(nèi)存計算引擎的master角色進行HA等部署，以保證該節(jié)點的高可用性。支持通過界面展示性能指標，能夠在界面上查看內(nèi)存計算引擎的性能指標數(shù)據(jù)。支持相關(guān)存儲目錄規(guī)整，對內(nèi)存計算引擎的數(shù)據(jù)目錄進行規(guī)整，修改默認配置，并提供界面上的修改配置的地方。支持作業(yè)查詢預(yù)處理調(diào)度算法，可以根據(jù)業(yè)務(wù)屬性對指定的多個隊列按照優(yōu)先級的配置進行任務(wù)的提交。內(nèi)存計算引擎（Spark）：基于內(nèi)存的迭代計算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。支持多租戶權(quán)限管理能力，支持不同用戶之間的資源隔離。 支持離線計算組件界面配置化，可以對配置進行查看和修改，并立刻生效。具備高可靠性，支持主控節(jié)點雙機，避免單點故障不可恢復(fù)。支持分布式內(nèi)存計算框架。離線計算引擎需要具有PB級的存儲處理能力和計算吞吐能力，支持多應(yīng)用多實例并發(fā)同時計算并隔離應(yīng)用數(shù)據(jù)和程序的能力。③大數(shù)據(jù)計算引擎要求離線計算引擎（Mapreduce）：離線分布式計算作為一個海量結(jié)構(gòu)化數(shù)據(jù)離線處理與分析服務(wù)，著力于實時性要求不高的海量數(shù)據(jù)（TB/PB級別）離線處理。支持多種數(shù)據(jù)采集方式，比如ETL、FTP、文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫數(shù)據(jù)等。數(shù)據(jù)采集系統(tǒng)要求提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集。主要包括：資源管理、安全管理、運維管理、集群部署及監(jiān)控、任務(wù)調(diào)度等功能，同時配備友好的管理界面。大數(shù)據(jù)基礎(chǔ)平臺要求提供海量數(shù)據(jù)的采集、存儲、計算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)據(jù)的存儲、共享、開放及分析挖掘方面的要求；需要采用主流的大數(shù)據(jù)的技術(shù)架構(gòu)，全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲、處理及計算要求；提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開發(fā)應(yīng)用等。 大數(shù)據(jù)處理平臺(1)大數(shù)據(jù)基礎(chǔ)平臺提供基礎(chǔ)管控、基礎(chǔ)服務(wù)的大數(shù)據(jù)基礎(chǔ)支撐功能。系統(tǒng)管理：權(quán)限管理、日志管理、備份恢復(fù)。查詢?yōu)g覽：地圖瀏覽、數(shù)據(jù)加載、SQL查詢、空間查詢、數(shù)據(jù)對比瀏覽、元數(shù)據(jù)查詢。入庫更新：矢量數(shù)據(jù)入庫、影像數(shù)據(jù)入庫、三維模型數(shù)據(jù)入庫、元數(shù)據(jù)入庫。(1)地理信息庫的內(nèi)容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1電子地圖數(shù)據(jù)三維電子地圖：已建設(shè)區(qū)域30平方公里國土資源部、中標單位測量航拍電子地圖：未建設(shè)區(qū)域60平方公里2地理實體數(shù)據(jù)建筑、道路、水系、綠地、農(nóng)田等國土資源部、中標單位測量3三維模型數(shù)據(jù)已建設(shè)區(qū)域30平方公里，分等級實現(xiàn)重點城區(qū)精細三維模型數(shù)據(jù)和其它地區(qū)簡易模型數(shù)據(jù)中標單位測量、建設(shè)4城市部件數(shù)據(jù)路燈、交通燈、屏顯、導(dǎo)示牌、標志性行道樹、線纜、地下管網(wǎng)等城管等部門5規(guī)劃數(shù)據(jù)規(guī)劃用地數(shù)據(jù)規(guī)劃局6POI數(shù)據(jù)企業(yè)(項目)數(shù)據(jù)規(guī)劃局、辦公室等(2)地理信息庫管理平臺功能需求數(shù)據(jù)處理：格式轉(zhuǎn)換、坐標轉(zhuǎn)換、屬性編輯、數(shù)據(jù)裁切。地理信息庫維護文件主要提供地圖基本操作、地圖測量、圖層控制、空間分析等信息服務(wù)功能。 地理信息庫以國土資源部空間地理數(shù)據(jù)框架作為基礎(chǔ)，采用分布式存儲并行計算的技術(shù)思路統(tǒng)一搭建地理信息庫，再與智慧園區(qū)建設(shè)涉及的各類專題圖層進行融合、關(guān)聯(lián)，實現(xiàn)統(tǒng)一共享，逐漸形成XX高新區(qū)權(quán)威、豐富的地理信息數(shù)據(jù)庫。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺的計算能力進行分析，對法人庫數(shù)據(jù)進行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價值的分析結(jié)果。(1)法人庫的內(nèi)容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1企業(yè)基本信息股東(投資者)信息工商質(zhì)監(jiān)局，企業(yè)2法人信息3地址與聯(lián)系信息4工商注冊信息工商登記信息工商質(zhì)監(jiān)局5工商變更信息6工商注銷信息7工商吊銷信息8稅務(wù)信息稅務(wù)登記信息稅務(wù)局9稅務(wù)注銷信息10稅務(wù)登記驗換證信息11企業(yè)發(fā)票信息12企業(yè)經(jīng)營信息組織架構(gòu)企業(yè)13發(fā)展戰(zhàn)略14品牌15產(chǎn)品與服務(wù)信息16人力資源信息17高端技術(shù)和設(shè)備18財務(wù)報表19資質(zhì)信息20信用信息21榮譽信息22文化23違規(guī)處罰等不良信息(2)法人信息服務(wù)平臺功能需求數(shù)據(jù)庫層：能夠安全存儲法人庫的內(nèi)容目錄中列出的信息內(nèi)容，對居民、企業(yè)、政府提供安全的法人信息服務(wù)，為法人大數(shù)據(jù)分析提供基本數(shù)據(jù)源。 法人庫法人庫以工商部門的企業(yè)信息為基礎(chǔ)，整合各參建部門系統(tǒng)中的法人信息，如機構(gòu)代碼、機構(gòu)名稱、機構(gòu)類型、經(jīng)濟行業(yè)、業(yè)務(wù)經(jīng)營范圍、機構(gòu)地址、法定代表人等字段信息，建成標識統(tǒng)一、結(jié)構(gòu)科學(xué)、查詢快捷、動態(tài)管理的法人信息庫。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺的計算能力進行分析，對人口庫數(shù)據(jù)進行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價值的分析結(jié)果。(1)人口庫的內(nèi)容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1人口基本信息人員信息（常駐）公安局2人員信息（暫住）3戶籍成員信息4死亡信息5人員車輛信息駕駛?cè)藛T信息公安局（交警系統(tǒng)）6機動車信息7電動車信息8社居民區(qū)服務(wù)信息房主信息房管局、村（居）委會9房屋變動信息10社區(qū)黨建信息黨員信息組織人社局、村（居）委會11培養(yǎng)黨員信息12黨員流入信息13黨員流出信息14社居民區(qū)服務(wù)信息準生證信息社會發(fā)展局15婚前檢查信息16孕前檢查信息17婚育證信息18節(jié)育手術(shù)信息19計生處罰信息20衛(wèi)生信息社區(qū)衛(wèi)生服務(wù)機構(gòu)信息社會發(fā)展局21醫(yī)療機構(gòu)信息22醫(yī)療資源信息23衛(wèi)生許可信息24民政信息社會組織信息社會發(fā)展局25區(qū)域地名信息26最低保障收入人員信息27精準扶貧對象信息村居管理委員會28社保基本信息單位信息組織人社局29參保人員信息30養(yǎng)老保險信息退休待遇信息31轉(zhuǎn)移人員信息32失業(yè)信息失業(yè)登記和失業(yè)保險信息33醫(yī)療信息城鎮(zhèn)職工基本醫(yī)療保險賬戶信息34門慢信息35定點醫(yī)療機構(gòu)和定點零售藥店信息36工傷信息傷殘認定信息37勞動能力鑒定信息38工傷待遇信息(2)人口信息服務(wù)平臺功能需求數(shù)據(jù)庫層：能夠安全存儲人口庫的內(nèi)容目錄中列出的信息內(nèi)容，對居民、企業(yè)、政府提供安全的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。項目技術(shù)方案大數(shù)據(jù)平臺方案設(shè)計 需求分析 采購范圍與基本要求建設(shè)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)的人口庫（12萬居民）、法人庫(1200家企業(yè))、地理信息庫(已建設(shè)區(qū)域35平方公里的3維電子地圖、未建設(shè)區(qū)域80平方公里的航拍電子地圖)、視頻庫(1000個攝像點)、大數(shù)據(jù)處理平臺、數(shù)據(jù)管理服務(wù)平臺。 建設(shè)內(nèi)容要求 人口庫人口庫的基本信息以公安部門戶籍和暫住人口信息為基礎(chǔ)，整合人社、計生、民政、教育等多個部門信息資源，建設(shè)統(tǒng)一規(guī)范的人口庫和人口信息服務(wù)平臺。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護、報表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。制定與交換平臺對應(yīng)的相關(guān)標準、制度和規(guī)范管理體系，實現(xiàn)工商局、地稅局、國稅局、質(zhì)量技術(shù)監(jiān)督局等法人數(shù)據(jù)相關(guān)業(yè)務(wù)部門之間的網(wǎng)絡(luò)互聯(lián)和業(yè)務(wù)數(shù)據(jù)的實時交換與應(yīng)用。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護、統(tǒng)計與報表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。應(yīng)用層：包括法人信息服務(wù)、法人專題分析、公共服務(wù)等。要求根據(jù)不同信息資源類別，提供數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計。地理信息庫配置一套高性能GIS工具軟件，基于高性能云GIS平臺搭建，實現(xiàn)空間數(shù)據(jù)的統(tǒng)一管理，完成空間數(shù)據(jù)檢查、轉(zhuǎn)換、入庫、管理、制圖顯示、服務(wù)發(fā)布等一系列空間數(shù)據(jù)分析處理功能。數(shù)據(jù)質(zhì)檢：矢量數(shù)據(jù)檢查、柵格數(shù)據(jù)檢查、三維模型數(shù)據(jù)檢查、元數(shù)據(jù)檢查。數(shù)據(jù)輸出：矢量數(shù)據(jù)提取、柵格數(shù)據(jù)提取。歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。 視頻庫(1)視頻庫的內(nèi)容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1視頻視頻目錄視頻監(jiān)控系統(tǒng)數(shù)字攝像裝置視頻文件2視頻特征視頻特征文件(2)視頻庫管理平臺功能需求與視頻監(jiān)控系統(tǒng)的接口、視頻入庫、視頻目錄管理、視頻文件管理、視頻特征文件生成、視頻檢索、視頻異常發(fā)現(xiàn)等。大數(shù)據(jù)基礎(chǔ)平臺要充分利用目前先進的大數(shù)據(jù)處理技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進性。大數(shù)據(jù)基礎(chǔ)平臺要求能夠管理大數(shù)據(jù)中心集群的物理服務(wù)器資源，控制分布式程序運行，隱藏下層故障恢復(fù)和數(shù)據(jù)冗余等細節(jié)，為大數(shù)據(jù)處理平臺提供統(tǒng)一的管理、監(jiān)控、維護等日常管理功能。①數(shù)據(jù)采集要求大數(shù)據(jù)處理平臺數(shù)據(jù)主要來自數(shù)據(jù)資源中心，包括基礎(chǔ)庫(人口庫、法人庫、地理信息庫、視頻庫)數(shù)據(jù)、主題庫(業(yè)務(wù)數(shù)據(jù)庫)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時也支持其他外部系統(tǒng)數(shù)據(jù)來源。對于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及網(wǎng)絡(luò)數(shù)據(jù)采用不同的采集工具進行數(shù)據(jù)導(dǎo)入。②分布式存儲要求平臺能夠根據(jù)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的不同特點，分別提供數(shù)據(jù)倉庫和分布式列式數(shù)據(jù)庫存儲服務(wù)，底層支撐技術(shù)支持分布式文件系統(tǒng)，所有的數(shù)據(jù)可以形成多份副本均勻分布存儲在各個服務(wù)節(jié)點的存儲上，保證數(shù)據(jù)可靠性和提高讀寫效率。支持并行化、容錯、數(shù)據(jù)分布、負載均衡。支持Mapreduce等批量數(shù)據(jù)分布式計算框架。支持作業(yè)查詢預(yù)處理調(diào)度算法，可根據(jù)業(yè)務(wù)屬性對指定的多個隊列按照優(yōu)先級的配置進行任務(wù)的提交。具備高度可擴展，可動態(tài)增加/削減計算節(jié)點，真正實現(xiàn)彈性計算。支持離線計算組件性能指標界面可視化，通過界面實時監(jiān)控組件性能指標。支持多應(yīng)用多實例并發(fā)同時計算并隔離應(yīng)用數(shù)據(jù)和程序的能力。由于中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫分布式文件系統(tǒng)，能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的算法。支持審計日志可查詢，在管理運維的界面中可以進行內(nèi)存計算引擎日志的查詢。支持配置界面化，能夠在管理運維界面上對內(nèi)存計算引擎的配置進行查看和修改，并能夠同步到前臺立刻生效。支持on Yarn 等方式，在管理運維界面上安裝服務(wù)，可以在安裝的時候，選擇On Yarn等的方式安裝。實時計算引擎（例如spark streaming、Storm）：實時分布式計算需要提供大吞吐量的實時流式數(shù)據(jù)處理。采用分布式計算框架提供實時計算服務(wù)，可按需擴容。計算引擎：支持SPARK STREAMING等實時計算框架、STORM分布式流式計算框架兩種計算框架功能。高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。事件監(jiān)測：對數(shù)據(jù)處理低延時，滿足事件監(jiān)控等實時性要求很高的場景。支持實時計算組件界面配置化，可以對配置進行查看和修改，配置修改立刻生效。④全文搜索引擎（例如solr）提供豐富的查詢語言，同時實現(xiàn)可配置、可擴展并對查詢性能進行優(yōu)化，提供一個完善的功能管理界面?？梢詫λ阉饕婕线M行快照，可以周期、定時創(chuàng)建集合快照，對索引數(shù)據(jù)進行備份。提供搜索引擎節(jié)點擴容數(shù)據(jù)重分布自動化工具，搜索引擎節(jié)點擴容后數(shù)據(jù)均勻的重分布到新增節(jié)點上，負載均勻的分擔到各節(jié)點上。除管理平臺界面手工停止服務(wù)之外的異常服務(wù)停止后都會自動拉起，保證服務(wù)連續(xù)可用。在多用戶運行環(huán)境中，能夠支持計算額度和訪問控制，作業(yè)優(yōu)先級