【正文】 測故障和系統熱點，重試失敗任務，保證作業(yè)穩(wěn)定可靠運行完成。要求給出詳細的設計方案。除管理平臺界面手工停止服務之外的異常服務停止后都會自動拉起，保證服務連續(xù)可用。可以對搜索引擎集合進行快照，可以周期、定時創(chuàng)建集合快照，對索引數據進行備份。支持實時計算組件界面配置化，可以對配置進行查看和修改，配置修改立刻生效。高效處理數據：支持消息的分流、合流、聚合的消息處理。采用分布式計算框架提供實時計算服務，可按需擴容。支持on Yarn 等方式，在管理運維界面上安裝服務，可以在安裝的時候，選擇On Yarn等的方式安裝。支持審計日志可查詢，在管理運維的界面中可以進行內存計算引擎日志的查詢。支持多應用多實例并發(fā)同時計算并隔離應用數據和程序的能力。具備高度可擴展，可動態(tài)增加/削減計算節(jié)點，真正實現彈性計算。支持Mapreduce等批量數據分布式計算框架。②分布式存儲要求平臺能夠根據結構化數據和非結構數據的不同特點，分別提供數據倉庫和分布式列式數據庫存儲服務，底層支撐技術支持分布式文件系統，所有的數據可以形成多份副本均勻分布存儲在各個服務節(jié)點的存儲上，保證數據可靠性和提高讀寫效率。①數據采集要求大數據處理平臺數據主要來自數據資源中心，包括基礎庫(人口庫、法人庫、地理信息庫、視頻庫)數據、主題庫(業(yè)務數據庫)數據和互聯網數據，同時也支持其他外部系統數據來源。大數據基礎平臺要充分利用目前先進的大數據處理技術，保證系統技術的前瞻性和先進性。歷史數據管理：歷史版本數據比較、版本數據提取。數據質檢：矢量數據檢查、柵格數據檢查、三維模型數據檢查、元數據檢查。要求根據不同信息資源類別，提供數據庫表結構設計。應用支撐層：包括門戶框架、數據庫維護、統計與報表組件、數據挖掘等，用于為應用層提供應用支撐。應用層：包括人口信息服務、人口專題分析、公共服務等。 建設內容要求 人口庫人口庫的基本信息以公安部門戶籍和暫住人口信息為基礎，整合人社、計生、民政、教育等多個部門信息資源，建設統一規(guī)范的人口庫和人口信息服務平臺。(1)人口庫的內容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1人口基本信息人員信息（常駐）公安局2人員信息（暫?。?戶籍成員信息4死亡信息5人員車輛信息駕駛人員信息公安局（交警系統）6機動車信息7電動車信息8社居民區(qū)服務信息房主信息房管局、村（居）委會9房屋變動信息10社區(qū)黨建信息黨員信息組織人社局、村（居）委會11培養(yǎng)黨員信息12黨員流入信息13黨員流出信息14社居民區(qū)服務信息準生證信息社會發(fā)展局15婚前檢查信息16孕前檢查信息17婚育證信息18節(jié)育手術信息19計生處罰信息20衛(wèi)生信息社區(qū)衛(wèi)生服務機構信息社會發(fā)展局21醫(yī)療機構信息22醫(yī)療資源信息23衛(wèi)生許可信息24民政信息社會組織信息社會發(fā)展局25區(qū)域地名信息26最低保障收入人員信息27精準扶貧對象信息村居管理委員會28社保基本信息單位信息組織人社局29參保人員信息30養(yǎng)老保險信息退休待遇信息31轉移人員信息32失業(yè)信息失業(yè)登記和失業(yè)保險信息33醫(yī)療信息城鎮(zhèn)職工基本醫(yī)療保險賬戶信息34門慢信息35定點醫(yī)療機構和定點零售藥店信息36工傷信息傷殘認定信息37勞動能力鑒定信息38工傷待遇信息(2)人口信息服務平臺功能需求數據庫層：能夠安全存儲人口庫的內容目錄中列出的信息內容，對居民、企業(yè)、政府提供安全的人口信息服務，為人口大數據分析提供基本數據源。 法人庫法人庫以工商部門的企業(yè)信息為基礎，整合各參建部門系統中的法人信息，如機構代碼、機構名稱、機構類型、經濟行業(yè)、業(yè)務經營范圍、機構地址、法定代表人等字段信息，建成標識統一、結構科學、查詢快捷、動態(tài)管理的法人信息庫。數據挖掘提供常見的數據分析/挖掘工具、通用算法，利用大數據平臺的計算能力進行分析，對法人庫數據進行數據挖掘與發(fā)現，提供有價值的分析結果。地理信息庫維護文件主要提供地圖基本操作、地圖測量、圖層控制、空間分析等信息服務功能。入庫更新：矢量數據入庫、影像數據入庫、三維模型數據入庫、元數據入庫。系統管理：權限管理、日志管理、備份恢復。大數據基礎平臺要求提供海量數據的采集、存儲、計算、接口服務能力；需要滿足海量、異構的大數據的存儲、共享、開放及分析挖掘方面的要求；需要采用主流的大數據的技術架構，全面滿足結構化數據、半構化數據及非結構化數據的存儲、處理及計算要求；提供多種數據采集工具，支持多種格式數據采集；提供接口服務，供二次開發(fā)應用等。數據采集系統要求提供多種數據采集工具，支持多種格式數據采集。③大數據計算引擎要求離線計算引擎（Mapreduce）：離線分布式計算作為一個海量結構化數據離線處理與分析服務，著力于實時性要求不高的海量數據（TB/PB級別）離線處理。支持分布式內存計算框架。 支持離線計算組件界面配置化，可以對配置進行查看和修改，并立刻生效。內存計算引擎（Spark）：基于內存的迭代計算框架，適用于需要多次操作特定數據集的應用場合。支持相關存儲目錄規(guī)整，對內存計算引擎的數據目錄進行規(guī)整，修改默認配置，并提供界面上的修改配置的地方。支持內存計算引擎的Master的HA等，可以對內存計算引擎的master角色進行HA等部署，以保證該節(jié)點的高可用性。支持高并發(fā)低延時的數據處理。數據按業(yè)務分析，可支持不同的應用接入，并對應不同的應用輸出計算結果。支持實時計算組件性能指標界面可視化，通過界面實時監(jiān)控實時計算組件性能指標。提供搜索引擎數據切換自動化工具，一鍵式操作實現搜索引擎數據從一個集群切換到另外一個集群，安全可靠。⑤資源管理（例如yarn）資源管理要求能夠實現調度和分配集群的內存和計算等資源給上層應用和服務，能夠管理運行在集群節(jié)點上的任務的生命周期和資源使用，提供靜態(tài)資源池和動態(tài)資源池功能。資源管理能夠面向海量數據處理和大規(guī)模計算類型的復雜應用提供統一的資源管理和調度。支持作業(yè)定點調度，指定作業(yè)在哪些主機上運行，隔離重點任務和普通任務。支持隊列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊列屬性。幫助系統避免單點故障，建立可靠的應用程序。通過在已添加主機安裝代理，支持通過代理訪問計算集群提供相關組件服務和操作。為避免應用之間在申請組件服務時相互干擾，提升應用的健壯性和可靠性，應支持相同組件的服務既共享物理資源，又相互獨立。支持集群內不同節(jié)點差異化告警閾值設置。提供備份功能，包含快照和集群間備份。主頁界面：可以整體查看集群的整體運行狀況，包括主機、服務等資源的數量、在線情況；運行負載情況；以及告警信息。安裝界面：包括安裝集群、安裝主機、安裝服務、機架管理、升級服務、升級主機。安全界面：包含部門管理、用戶管理、角色管理等。運行監(jiān)控：可以整體查看大數據集群的整體運行狀況。針對海量數據可以進行任意維度的密集計算與檢索, 支持建立OLAP Cube,提供MOLAP能力。支持層級維度、聯合維度、可推導維度等維度降維優(yōu)化技術。支持web頁面向導式模型構建及任務監(jiān)控。②算法庫大數據智能分析平臺，需集成豐富的機器學習、數據挖掘算法，包括但不限于分類、預測與回歸、聚類、降維、推薦/協同過濾、相似度等算法，支持對海量數據進行高效的分析和計算，支持圖計算和圖挖掘，支持用戶擴展算法庫?；貧w分析：集成常用回歸分析算法。數據預處理可以加快分析過程，提高分析結果的精度，針對不同的數據類型缺失值的處理各不相同，需要結合業(yè)務場景。數據模型的設計包括設計和準備數據源，數據的處理，選取和設計數據算法?？梢暬悄芊治龉ぞ撸阂筇峁┛梢暬悄芊治龉ぞ撸铀贁祿治瞿Ｐ驮O計。(1)數據治理與監(jiān)控系統數據治理與監(jiān)控系統是一個數據治理和數據監(jiān)控的綜合管理系統，對數據資源中心和大數據處理平臺兩大部分數據進行治理和管控。數據源管理：數據源管理包括：基礎環(huán)境的管理、標準編碼管理等。④數據規(guī)則與質量管理數據質量監(jiān)控是根據預設的規(guī)則來檢測數據中的質量問題，檢測規(guī)則可自主配置，也可以自主編寫規(guī)則表達式。并且可以區(qū)分不同部門進行統計。數據血緣就是通過對數據處理的全過程追蹤，找到以某個數據對象為起點的所有與該對象相關的元數據和它們之間關系的一種技術手段。政務數據資源門戶作為大數據管理部門信息發(fā)布和資源服務的總管理入口，為各級政府部門提供信息資源展示、在線信息服務、信息檢索、系統集成訪問等功能。提供單點登錄、訪問權限管理，后臺內容管理等功能。用戶交流模塊：為用戶提供交流的手段，每個授權用戶都可以在交流板塊上提出問題、見解或者是進行討論，針對交流的問題可以選擇是否公開。公眾數據門戶的主要功能有：資源目錄、數據開放接口、APP應用、互動交流等?；咏涣鳎夯咏涣鞴δ苁蔷W站用戶與網站管理人員進行互動交流的模塊，在這里網站管理人員可以將網站的使用說明和一些常遇到的問題及解決方法公布出來，網站管理人員也可以在此公布調查問卷，征求普通用戶的意見。圖 大數據平臺總體架構圖信息共享平臺通過網絡收集統計系統和各共建部門的信息資源，并有效地將這些信息資源進行分類整理，實現跨部門、跨行業(yè)的宏觀經濟管理信息共享，并向用戶提供數據服務；數據庫體系：由元數據控制，實現數據的交換、存儲和發(fā)布，整合共建單位現有信息資源，構建主題庫和發(fā)布庫，為數據服務提供支持。中心交換數據庫存儲各共建部門交換來的原貌數據，基礎數據庫是對原貌數據進行審核轉換和加工而成，是主題數據庫和發(fā)布庫構成的基礎。如：婚姻狀態(tài)字段可以從計生部門和公安部門采集。當數據達到一致性、完整性要求時，數據將由公共數據緩存庫轉存到人口基礎數據發(fā)布庫中，并通過數據交換系統以訂閱/發(fā)布的方式提供給各業(yè)務部門使用。綜合查詢系統的操作頁面要求易于使用，使用戶能夠方便快捷的對網頁提供的各項功能進行操作。人口基礎數據庫管理應用系統功能模塊列表：編號一級模塊二級模塊三模塊1系統管理用戶角色管理系統帳戶管理2角色信息管理3部門帳戶管理公安帳戶管理4社保帳戶管理5衛(wèi)生帳戶管理6計生帳戶管理7民政帳戶管理8系統監(jiān)控管理系統日志管理9系統網絡布局10部門交換頻率11接收處理接收數據查看接收公安數據12接收社保數據13接收衛(wèi)生數據14接收計生數據15接收民政信息16清洗比對管理清洗規(guī)則管理17比對規(guī)則管理18清洗比對結果清洗結果查看19比對結果查看20手工比對歷史21手工比對管理手工比對信息22手工比對歷史23反饋信息查看反饋信息列表24授權管理數據授權管理申請查看授權25查看授權申請26數據交換申請數據交換申請27交換申請列表28交換審批列表29信息服務人口信息服務人口信息查詢30人口碼表信息人口碼表信息31人口共享指標可共享指標32統計分析基礎信息統計人口性別統計33人口年齡統計34人口文化程度35人口民族統計36地區(qū)分布統計地區(qū)人口統計37人員參保分析社保人員情況38參合人員情況39計劃生育分析地區(qū)育齡分布40育齡婦女比例 數據接收服務接收數據的查詢是針對各部門交換匯總的信息，進行以部門為單位的信息查詢。針對人口信息量大，涵蓋范圍廣、內容繁雜的特點，在人口基礎信息中心數據庫設計中，采用信息擴展和關聯的方法，逐級分領域和部門展示人口基礎信息和擴展信息。其他部門檢索與查詢操作類似。申請部門選擇對應的信息表，向信源部門提出申請；信源部門根據業(yè)務規(guī)則，對申請部門提供授權或不授權，此外，授權功能提供時限控制和授權使用次數控制。數據過濾查詢是針對部門提交的數據，進行梳理過濾與清洗，得出的清洗出的問題數據進行查詢操作。 系統管理系統管理功能是實現對使用人口基礎信息查詢系統的用戶進行管理。系統管理員可制定新增用戶指定角色以及分配權限。 法人基礎數據庫設計法人基礎數據庫系統實現法人基礎數據查詢、統計和管理等功能的應用系統。可以設置授權的查看次數和有效期限，也可以永久授權。 接收服務提供中心接收到各部門原始數據的查詢功能，以及數據的清洗比對功能，具體功能包括：n 接收數據查看：查詢中心接收到各部門發(fā)送的原始數據。清洗比對結果：可以根據清洗和比對批次、時間段等條件查詢清洗和比對結果，如比對成功和不成功的數據量及所占比例，以及未匹配數據的詳細數據和未匹配成功的原因（如企業(yè)注冊號相同，企業(yè)名稱不同等）。 信息服務根據查詢條件或者組合條件查詢法人信息，返回的結果為清洗比對后的準確數據，對于需要授權的數據，需要先通過授權服務進行授權申請。 統計分析提供報表統計功能，結合各類基礎信息，形成各類報表，提供多種統計功能，輔助領導決策。 幾何校正，正射校正遙感影像在獲取過程中，受到如大氣吸收與散射、傳感器定標、地形等因素的影響，且它們會隨時間的不同而有所差異。 數據融合數據融合實質上是將高分辨率影像空間特征與低分辨率影像多光譜特征組合到一副影像,使得融合后影像即具有高分辨率影像空間特征,又具有低分辨率影像多光譜特征。鑲嵌得兩幅或多幅影像選擇相同或相近的成像時間，使得影像的色調保持一致。 圖像增強圖像增強是指按特定的需要突出一幅圖像中的某些信息，同時削弱或去除某些不需要信息的處理方法，其目的是使得處理后的圖像對某種特定的應用，比原始圖像更合適。 勻光勻色處理由于光學遙感影像獲取的時間、外部光照以及其他因素的影響,導致獲取的影像在色彩