【正文】 測到服務(wù)異常終止時(shí)可以自動(dòng)拉起服務(wù)，并可以根據(jù)需要打開或關(guān)閉自動(dòng)拉起開關(guān)。通過在已添加主機(jī)安裝代理，支持通過代理訪問計(jì)算集群提供相關(guān)組件服務(wù)和操作。⑦安全管理安全管理能夠提供以用戶為單位的身份認(rèn)證和授權(quán)，能夠?qū)簲?shù)據(jù)資源和服務(wù)進(jìn)行訪問控制，包括系統(tǒng)用戶、應(yīng)用用戶的身份和權(quán)限管理，日志管理等。幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序。它能為分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫、離線計(jì)算、資源管理與調(diào)度、數(shù)據(jù)倉庫等大數(shù)據(jù)組件提供重要的功能支撐。支持隊(duì)列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊(duì)列屬性。支持白名單功能，限制客戶端向集群的resourcemanager提交作業(yè)。支持作業(yè)定點(diǎn)調(diào)度，指定作業(yè)在哪些主機(jī)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)。具備高可擴(kuò)展性，支持作業(yè)定點(diǎn)調(diào)度，支持優(yōu)先級(jí)高的作業(yè)優(yōu)先分配到資源。資源管理能夠面向海量數(shù)據(jù)處理和大規(guī)模計(jì)算類型的復(fù)雜應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。支持VIP隊(duì)列管理，支持根據(jù)業(yè)務(wù)需要指定作業(yè)在指定的計(jì)算節(jié)點(diǎn)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)，保障重點(diǎn)任務(wù)的物理資源。⑤資源管理（例如yarn）資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計(jì)算等資源給上層應(yīng)用和服務(wù)，能夠管理運(yùn)行在集群節(jié)點(diǎn)上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動(dòng)態(tài)資源池功能。支持搜索引擎服務(wù)自動(dòng)拉起功能，提高可靠性。提供搜索引擎數(shù)據(jù)切換自動(dòng)化工具，一鍵式操作實(shí)現(xiàn)搜索引擎數(shù)據(jù)從一個(gè)集群切換到另外一個(gè)集群，安全可靠。可以實(shí)現(xiàn)集中式的配置信息、自動(dòng)容錯(cuò)、查詢時(shí)自動(dòng)負(fù)載均衡、自動(dòng)分發(fā)的索引和索引分片和事務(wù)日志等多種特色功能。支持實(shí)時(shí)計(jì)算組件性能指標(biāo)界面可視化，通過界面實(shí)時(shí)監(jiān)控實(shí)時(shí)計(jì)算組件性能指標(biāo)。具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，具備自動(dòng)容錯(cuò)能力，避免單點(diǎn)故障不可恢復(fù)。數(shù)據(jù)按業(yè)務(wù)分析，可支持不同的應(yīng)用接入，并對(duì)應(yīng)不同的應(yīng)用輸出計(jì)算結(jié)果。支持對(duì)流數(shù)據(jù)的處理，數(shù)據(jù)可以建立關(guān)聯(lián)處理。支持高并發(fā)低延時(shí)的數(shù)據(jù)處理。要求保證高可靠性的前提下讓數(shù)據(jù)處理更加實(shí)時(shí)，具備低延時(shí)、容錯(cuò)和分布計(jì)算特性。支持內(nèi)存計(jì)算引擎的Master的HA等，可以對(duì)內(nèi)存計(jì)算引擎的master角色進(jìn)行HA等部署，以保證該節(jié)點(diǎn)的高可用性。支持通過界面展示性能指標(biāo)，能夠在界面上查看內(nèi)存計(jì)算引擎的性能指標(biāo)數(shù)據(jù)。支持相關(guān)存儲(chǔ)目錄規(guī)整，對(duì)內(nèi)存計(jì)算引擎的數(shù)據(jù)目錄進(jìn)行規(guī)整，修改默認(rèn)配置，并提供界面上的修改配置的地方。支持作業(yè)查詢預(yù)處理調(diào)度算法，可以根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先級(jí)的配置進(jìn)行任務(wù)的提交。內(nèi)存計(jì)算引擎（Spark）：基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。支持多租戶權(quán)限管理能力，支持不同用戶之間的資源隔離。 支持離線計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，并立刻生效。具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，避免單點(diǎn)故障不可恢復(fù)。支持分布式內(nèi)存計(jì)算框架。離線計(jì)算引擎需要具有PB級(jí)的存儲(chǔ)處理能力和計(jì)算吞吐能力，支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)和程序的能力。③大數(shù)據(jù)計(jì)算引擎要求離線計(jì)算引擎（Mapreduce）：離線分布式計(jì)算作為一個(gè)海量結(jié)構(gòu)化數(shù)據(jù)離線處理與分析服務(wù)，著力于實(shí)時(shí)性要求不高的海量數(shù)據(jù)（TB/PB級(jí)別）離線處理。支持多種數(shù)據(jù)采集方式，比如ETL、FTP、文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫數(shù)據(jù)等。數(shù)據(jù)采集系統(tǒng)要求提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集。主要包括：資源管理、安全管理、運(yùn)維管理、集群部署及監(jiān)控、任務(wù)調(diào)度等功能，同時(shí)配備友好的管理界面。大數(shù)據(jù)基礎(chǔ)平臺(tái)要求提供海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)據(jù)的存儲(chǔ)、共享、開放及分析挖掘方面的要求；需要采用主流的大數(shù)據(jù)的技術(shù)架構(gòu)，全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、處理及計(jì)算要求；提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開發(fā)應(yīng)用等。 大數(shù)據(jù)處理平臺(tái)(1)大數(shù)據(jù)基礎(chǔ)平臺(tái)提供基礎(chǔ)管控、基礎(chǔ)服務(wù)的大數(shù)據(jù)基礎(chǔ)支撐功能。系統(tǒng)管理：權(quán)限管理、日志管理、備份恢復(fù)。查詢?yōu)g覽：地圖瀏覽、數(shù)據(jù)加載、SQL查詢、空間查詢、數(shù)據(jù)對(duì)比瀏覽、元數(shù)據(jù)查詢。入庫更新：矢量數(shù)據(jù)入庫、影像數(shù)據(jù)入庫、三維模型數(shù)據(jù)入庫、元數(shù)據(jù)入庫。(1)地理信息庫的內(nèi)容目錄序號(hào)信息目錄(一級(jí))信息目錄（二級(jí)）可能的信息源單位1電子地圖數(shù)據(jù)三維電子地圖：已建設(shè)區(qū)域30平方公里國土資源部、中標(biāo)單位測量航拍電子地圖：未建設(shè)區(qū)域60平方公里2地理實(shí)體數(shù)據(jù)建筑、道路、水系、綠地、農(nóng)田等國土資源部、中標(biāo)單位測量3三維模型數(shù)據(jù)已建設(shè)區(qū)域30平方公里，分等級(jí)實(shí)現(xiàn)重點(diǎn)城區(qū)精細(xì)三維模型數(shù)據(jù)和其它地區(qū)簡易模型數(shù)據(jù)中標(biāo)單位測量、建設(shè)4城市部件數(shù)據(jù)路燈、交通燈、屏顯、導(dǎo)示牌、標(biāo)志性行道樹、線纜、地下管網(wǎng)等城管等部門5規(guī)劃數(shù)據(jù)規(guī)劃用地?cái)?shù)據(jù)規(guī)劃局6POI數(shù)據(jù)企業(yè)(項(xiàng)目)數(shù)據(jù)規(guī)劃局、辦公室等(2)地理信息庫管理平臺(tái)功能需求數(shù)據(jù)處理：格式轉(zhuǎn)換、坐標(biāo)轉(zhuǎn)換、屬性編輯、數(shù)據(jù)裁切。地理信息庫維護(hù)文件主要提供地圖基本操作、地圖測量、圖層控制、空間分析等信息服務(wù)功能。 地理信息庫以國土資源部空間地理數(shù)據(jù)框架作為基礎(chǔ)，采用分布式存儲(chǔ)并行計(jì)算的技術(shù)思路統(tǒng)一搭建地理信息庫，再與智慧園區(qū)建設(shè)涉及的各類專題圖層進(jìn)行融合、關(guān)聯(lián)，實(shí)現(xiàn)統(tǒng)一共享，逐漸形成XX高新區(qū)權(quán)威、豐富的地理信息數(shù)據(jù)庫。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺(tái)的計(jì)算能力進(jìn)行分析，對(duì)法人庫數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)值的分析結(jié)果。(1)法人庫的內(nèi)容目錄序號(hào)信息目錄(一級(jí))信息目錄（二級(jí)）可能的信息源單位1企業(yè)基本信息股東(投資者)信息工商質(zhì)監(jiān)局，企業(yè)2法人信息3地址與聯(lián)系信息4工商注冊(cè)信息工商登記信息工商質(zhì)監(jiān)局5工商變更信息6工商注銷信息7工商吊銷信息8稅務(wù)信息稅務(wù)登記信息稅務(wù)局9稅務(wù)注銷信息10稅務(wù)登記驗(yàn)換證信息11企業(yè)發(fā)票信息12企業(yè)經(jīng)營信息組織架構(gòu)企業(yè)13發(fā)展戰(zhàn)略14品牌15產(chǎn)品與服務(wù)信息16人力資源信息17高端技術(shù)和設(shè)備18財(cái)務(wù)報(bào)表19資質(zhì)信息20信用信息21榮譽(yù)信息22文化23違規(guī)處罰等不良信息(2)法人信息服務(wù)平臺(tái)功能需求數(shù)據(jù)庫層：能夠安全存儲(chǔ)法人庫的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、政府提供安全的法人信息服務(wù)，為法人大數(shù)據(jù)分析提供基本數(shù)據(jù)源。 法人庫法人庫以工商部門的企業(yè)信息為基礎(chǔ)，整合各參建部門系統(tǒng)中的法人信息，如機(jī)構(gòu)代碼、機(jī)構(gòu)名稱、機(jī)構(gòu)類型、經(jīng)濟(jì)行業(yè)、業(yè)務(wù)經(jīng)營范圍、機(jī)構(gòu)地址、法定代表人等字段信息，建成標(biāo)識(shí)統(tǒng)一、結(jié)構(gòu)科學(xué)、查詢快捷、動(dòng)態(tài)管理的法人信息庫。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺(tái)的計(jì)算能力進(jìn)行分析，對(duì)人口庫數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)值的分析結(jié)果。(1)人口庫的內(nèi)容目錄序號(hào)信息目錄(一級(jí))信息目錄（二級(jí)）可能的信息源單位1人口基本信息人員信息（常駐）公安局2人員信息（暫?。?戶籍成員信息4死亡信息5人員車輛信息駕駛?cè)藛T信息公安局（交警系統(tǒng)）6機(jī)動(dòng)車信息7電動(dòng)車信息8社居民區(qū)服務(wù)信息房主信息房管局、村（居）委會(huì)9房屋變動(dòng)信息10社區(qū)黨建信息黨員信息組織人社局、村（居）委會(huì)11培養(yǎng)黨員信息12黨員流入信息13黨員流出信息14社居民區(qū)服務(wù)信息準(zhǔn)生證信息社會(huì)發(fā)展局15婚前檢查信息16孕前檢查信息17婚育證信息18節(jié)育手術(shù)信息19計(jì)生處罰信息20衛(wèi)生信息社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)信息社會(huì)發(fā)展局21醫(yī)療機(jī)構(gòu)信息22醫(yī)療資源信息23衛(wèi)生許可信息24民政信息社會(huì)組織信息社會(huì)發(fā)展局25區(qū)域地名信息26最低保障收入人員信息27精準(zhǔn)扶貧對(duì)象信息村居管理委員會(huì)28社?；拘畔挝恍畔⒔M織人社局29參保人員信息30養(yǎng)老保險(xiǎn)信息退休待遇信息31轉(zhuǎn)移人員信息32失業(yè)信息失業(yè)登記和失業(yè)保險(xiǎn)信息33醫(yī)療信息城鎮(zhèn)職工基本醫(yī)療保險(xiǎn)賬戶信息34門慢信息35定點(diǎn)醫(yī)療機(jī)構(gòu)和定點(diǎn)零售藥店信息36工傷信息傷殘認(rèn)定信息37勞動(dòng)能力鑒定信息38工傷待遇信息(2)人口信息服務(wù)平臺(tái)功能需求數(shù)據(jù)庫層：能夠安全存儲(chǔ)人口庫的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、政府提供安全的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。.. . . ..項(xiàng)目技術(shù)方案大數(shù)據(jù)平臺(tái)方案設(shè)計(jì) 需求分析 采購范圍與基本要求建設(shè)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)的人口庫（12萬居民）、法人庫(1200家企業(yè))、地理信息庫(已建設(shè)區(qū)域35平方公里的3維電子地圖、未建設(shè)區(qū)域80平方公里的航拍電子地圖)、視頻庫(1000個(gè)攝像點(diǎn))、大數(shù)據(jù)處理平臺(tái)、數(shù)據(jù)管理服務(wù)平臺(tái)。 建設(shè)內(nèi)容要求 人口庫人口庫的基本信息以公安部門戶籍和暫住人口信息為基礎(chǔ)，整合人社、計(jì)生、民政、教育等多個(gè)部門信息資源，建設(shè)統(tǒng)一規(guī)范的人口庫和人口信息服務(wù)平臺(tái)。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護(hù)、報(bào)表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。制定與交換平臺(tái)對(duì)應(yīng)的相關(guān)標(biāo)準(zhǔn)、制度和規(guī)范管理體系，實(shí)現(xiàn)工商局、地稅局、國稅局、質(zhì)量技術(shù)監(jiān)督局等法人數(shù)據(jù)相關(guān)業(yè)務(wù)部門之間的網(wǎng)絡(luò)互聯(lián)和業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)交換與應(yīng)用。應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫維護(hù)、統(tǒng)計(jì)與報(bào)表組件、數(shù)據(jù)挖掘等，用于為應(yīng)用層提供應(yīng)用支撐。應(yīng)用層：包括法人信息服務(wù)、法人專題分析、公共服務(wù)等。要求根據(jù)不同信息資源類別，提供數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)。地理信息庫配置一套高性能GIS工具軟件，基于高性能云GIS平臺(tái)搭建，實(shí)現(xiàn)空間數(shù)據(jù)的統(tǒng)一管理，完成空間數(shù)據(jù)檢查、轉(zhuǎn)換、入庫、管理、制圖顯示、服務(wù)發(fā)布等一系列空間數(shù)據(jù)分析處理功能。數(shù)據(jù)質(zhì)檢：矢量數(shù)據(jù)檢查、柵格數(shù)據(jù)檢查、三維模型數(shù)據(jù)檢查、元數(shù)據(jù)檢查。數(shù)據(jù)輸出：矢量數(shù)據(jù)提取、柵格數(shù)據(jù)提取。歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。 視頻庫(1)視頻庫的內(nèi)容目錄序號(hào)信息目錄(一級(jí))信息目錄（二級(jí)）可能的信息源單位1視頻視頻目錄視頻監(jiān)控系統(tǒng)數(shù)字?jǐn)z像裝置視頻文件2視頻特征視頻特征文件(2)視頻庫管理平臺(tái)功能需求與視頻監(jiān)控系統(tǒng)的接口、視頻入庫、視頻目錄管理、視頻文件管理、視頻特征文件生成、視頻檢索、視頻異常發(fā)現(xiàn)等。大數(shù)據(jù)基礎(chǔ)平臺(tái)要充分利用目前先進(jìn)的大數(shù)據(jù)處理技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進(jìn)性。大數(shù)據(jù)基礎(chǔ)平臺(tái)要求能夠管理大數(shù)據(jù)中心集群的物理服務(wù)器資源，控制分布式程序運(yùn)行，隱藏下層故障恢復(fù)和數(shù)據(jù)冗余等細(xì)節(jié)，為大數(shù)據(jù)處理平臺(tái)提供統(tǒng)一的管理、監(jiān)控、維護(hù)等日常管理功能。①數(shù)據(jù)采集要求大數(shù)據(jù)處理平臺(tái)數(shù)據(jù)主要來自數(shù)據(jù)資源中心，包括基礎(chǔ)庫(人口庫、法人庫、地理信息庫、視頻庫)數(shù)據(jù)、主題庫(業(yè)務(wù)數(shù)據(jù)庫)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時(shí)也支持其他外部系統(tǒng)數(shù)據(jù)來源。對(duì)于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及網(wǎng)絡(luò)數(shù)據(jù)采用不同的采集工具進(jìn)行數(shù)據(jù)導(dǎo)入。②分布式存儲(chǔ)要求平臺(tái)能夠根據(jù)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的不同特點(diǎn)，分別提供數(shù)據(jù)倉庫和分布式列式數(shù)據(jù)庫存儲(chǔ)服務(wù)，底層支撐技術(shù)支持分布式文件系統(tǒng)，所有的數(shù)據(jù)可以形成多份副本均勻分布存儲(chǔ)在各個(gè)服務(wù)節(jié)點(diǎn)的存儲(chǔ)上，保證數(shù)據(jù)可靠性和提高讀寫效率。支持并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡。支持Mapreduce等批量數(shù)據(jù)分布式計(jì)算框架。支持作業(yè)查詢預(yù)處理調(diào)度算法，可根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先級(jí)的配置進(jìn)行任務(wù)的提交。具備高度可擴(kuò)展，可動(dòng)態(tài)增加/削減計(jì)算節(jié)點(diǎn)，真正實(shí)現(xiàn)彈性計(jì)算。支持離線計(jì)算組件性能指標(biāo)界面可視化，通過界面實(shí)時(shí)監(jiān)控組件性能指標(biāo)。支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)和程序的能力。由于中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫分布式文件系統(tǒng)，能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的算法。支持審計(jì)日志可查詢，在管理運(yùn)維的界面中可以進(jìn)行內(nèi)存計(jì)算引擎日志的查詢。支持配置界面化，能夠在管理運(yùn)維界面上對(duì)內(nèi)存計(jì)算引擎的配置進(jìn)行查看和修改，并能夠同步到前臺(tái)立刻生效。支持on Yarn 等方式，在管理運(yùn)維界面上安裝服務(wù)，可以在安裝的時(shí)候，選擇On Yarn等的方式安裝。實(shí)時(shí)計(jì)算引擎（例如spark streaming、Storm）：實(shí)時(shí)分布式計(jì)算需要提供大吞吐量的實(shí)時(shí)流式數(shù)據(jù)處理。采用分布式計(jì)算框架提供實(shí)時(shí)計(jì)算服務(wù)，可按需擴(kuò)容。計(jì)算引擎：支持SPARK STREAMING等實(shí)時(shí)計(jì)算框架、STORM分布式流式計(jì)算框架兩種計(jì)算框架功能。高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。事件監(jiān)測：對(duì)數(shù)據(jù)處理低延時(shí)，滿足事件監(jiān)控等實(shí)時(shí)性要求很高的場景。支持實(shí)時(shí)計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，配置修改立刻生效。④全文搜索引擎（例如solr）提供豐富的查詢語言，同時(shí)實(shí)現(xiàn)可配置、可擴(kuò)展并對(duì)查詢性能進(jìn)行優(yōu)化，提供一個(gè)完善的功能管理界面?？梢詫?duì)搜索引擎集合進(jìn)行快照，可以周期、定時(shí)創(chuàng)建集合快照，對(duì)索引數(shù)據(jù)進(jìn)行備份。提供搜索引擎節(jié)點(diǎn)擴(kuò)容數(shù)據(jù)重分布自動(dòng)化工具，搜索引擎節(jié)點(diǎn)擴(kuò)容后數(shù)據(jù)均勻的重分布到新增節(jié)點(diǎn)上，負(fù)載均勻的分擔(dān)到各節(jié)點(diǎn)上。除管理平臺(tái)界面手工停止服務(wù)之外的異常服務(wù)停止后都會(huì)自動(dòng)拉起，保證服務(wù)連續(xù)可用。在多用戶運(yùn)行環(huán)境中，能夠支持計(jì)算額度和訪問控制，作業(yè)優(yōu)先級(jí)和資源搶占，達(dá)到在保障公平的前提下，有效地共享集群資源。要求給出詳細(xì)的設(shè)計(jì)方案。提供通用的并行計(jì)算框架，要求兼容批量分布式計(jì)算、內(nèi)存分布式計(jì)算