【正文】 大數(shù)據(jù)中心數(shù)據(jù)成果的展示和應(yīng)用訪問入口的應(yīng)用集成。數(shù)據(jù)血緣：數(shù)據(jù)血緣以歷史事實的方式記錄每項數(shù)據(jù)的來源，處理過程，應(yīng)用對接情況等，記錄了數(shù)據(jù)表在治理過程中的全鏈血緣關(guān)系。③數(shù)據(jù)處理管理提供完善的數(shù)據(jù)處理功能，如數(shù)據(jù)清洗、數(shù)據(jù)比對、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)共享等功能。 數(shù)據(jù)管理服務(wù)平臺數(shù)據(jù)管理服務(wù)平臺是一個管理、展現(xiàn)平臺，主要包括：數(shù)據(jù)治理與監(jiān)控系統(tǒng)、數(shù)據(jù)服務(wù)集成管理系統(tǒng)和大數(shù)據(jù)展現(xiàn)門戶等。通過分類、聚類、關(guān)聯(lián)、回歸、特征分析等機器學(xué)習(xí)算法和分析方法，對海量多樣化數(shù)據(jù)進(jìn)行進(jìn)行模型構(gòu)建和數(shù)據(jù)分析挖掘。關(guān)聯(lián)分析：集成常用關(guān)聯(lián)分析算法，對數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行分析，得出不同數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。③分析查詢處理系統(tǒng)能夠根據(jù)維度指標(biāo)定義及關(guān)聯(lián)關(guān)系，提供多維數(shù)據(jù)的分析查詢處理，在查詢過程中能夠分別根據(jù)上鉆、下鉆、切片、切塊、旋轉(zhuǎn)、TOPN等操作進(jìn)行相應(yīng)的處理。(2)大數(shù)據(jù)多維分析查詢系統(tǒng)①總體要求大數(shù)據(jù)多維查詢系統(tǒng)要求提供超大數(shù)據(jù)規(guī)模數(shù)據(jù)查詢，支持PB級數(shù)據(jù)量?？梢园凑詹樵儣l件對日志進(jìn)行查詢操作，并可對日志可以進(jìn)行分類、刪除、過濾、導(dǎo)出。界面展示內(nèi)容包括主頁界面、集群界面、主機管理界面、告警管理界面、安裝界面、系統(tǒng)管理界面、日志界面、安全界面等。監(jiān)控系統(tǒng)各類異常，在管理界面上實時呈現(xiàn)。⑧運維管理主機管理：可以對已經(jīng)添加的主機及其運行狀態(tài)進(jìn)行查詢，可以對單臺主機進(jìn)行全面監(jiān)控。支持提交權(quán)限，限制無權(quán)用戶提交作業(yè)并運行。要求給出詳細(xì)的設(shè)計方案?？梢詫λ阉饕婕线M(jìn)行快照，可以周期、定時創(chuàng)建集合快照，對索引數(shù)據(jù)進(jìn)行備份。高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。支持on Yarn 等方式，在管理運維界面上安裝服務(wù)，可以在安裝的時候，選擇On Yarn等的方式安裝。支持多應(yīng)用多實例并發(fā)同時計算并隔離應(yīng)用數(shù)據(jù)和程序的能力。支持Mapreduce等批量數(shù)據(jù)分布式計算框架。①數(shù)據(jù)采集要求大數(shù)據(jù)處理平臺數(shù)據(jù)主要來自數(shù)據(jù)資源中心，包括基礎(chǔ)庫(人口庫、法人庫、地理信息庫、視頻庫)數(shù)據(jù)、主題庫(業(yè)務(wù)數(shù)據(jù)庫)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時也支持其他外部系統(tǒng)數(shù)據(jù)來源。歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。要求根據(jù)不同信息資源類別，提供數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計。應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。(1)人口庫的內(nèi)容目錄序號信息目錄(一級)信息目錄（二級）可能的信息源單位1人口基本信息人員信息（常駐）公安局2人員信息（暫住）3戶籍成員信息4死亡信息5人員車輛信息駕駛?cè)藛T信息公安局（交警系統(tǒng)）6機動車信息7電動車信息8社居民區(qū)服務(wù)信息房主信息房管局、村（居）委會9房屋變動信息10社區(qū)黨建信息黨員信息組織人社局、村（居）委會11培養(yǎng)黨員信息12黨員流入信息13黨員流出信息14社居民區(qū)服務(wù)信息準(zhǔn)生證信息社會發(fā)展局15婚前檢查信息16孕前檢查信息17婚育證信息18節(jié)育手術(shù)信息19計生處罰信息20衛(wèi)生信息社區(qū)衛(wèi)生服務(wù)機構(gòu)信息社會發(fā)展局21醫(yī)療機構(gòu)信息22醫(yī)療資源信息23衛(wèi)生許可信息24民政信息社會組織信息社會發(fā)展局25區(qū)域地名信息26最低保障收入人員信息27精準(zhǔn)扶貧對象信息村居管理委員會28社?；拘畔挝恍畔⒔M織人社局29參保人員信息30養(yǎng)老保險信息退休待遇信息31轉(zhuǎn)移人員信息32失業(yè)信息失業(yè)登記和失業(yè)保險信息33醫(yī)療信息城鎮(zhèn)職工基本醫(yī)療保險賬戶信息34門慢信息35定點醫(yī)療機構(gòu)和定點零售藥店信息36工傷信息傷殘認(rèn)定信息37勞動能力鑒定信息38工傷待遇信息(2)人口信息服務(wù)平臺功能需求數(shù)據(jù)庫層：能夠安全存儲人口庫的內(nèi)容目錄中列出的信息內(nèi)容，對居民、企業(yè)、政府提供安全的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)據(jù)平臺的計算能力進(jìn)行分析，對法人庫數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價值的分析結(jié)果。入庫更新：矢量數(shù)據(jù)入庫、影像數(shù)據(jù)入庫、三維模型數(shù)據(jù)入庫、元數(shù)據(jù)入庫。大數(shù)據(jù)基礎(chǔ)平臺要求提供海量數(shù)據(jù)的采集、存儲、計算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)據(jù)的存儲、共享、開放及分析挖掘方面的要求；需要采用主流的大數(shù)據(jù)的技術(shù)架構(gòu)，全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲、處理及計算要求；提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開發(fā)應(yīng)用等。③大數(shù)據(jù)計算引擎要求離線計算引擎（Mapreduce）：離線分布式計算作為一個海量結(jié)構(gòu)化數(shù)據(jù)離線處理與分析服務(wù)，著力于實時性要求不高的海量數(shù)據(jù)（TB/PB級別）離線處理。 支持離線計算組件界面配置化，可以對配置進(jìn)行查看和修改，并立刻生效。支持相關(guān)存儲目錄規(guī)整，對內(nèi)存計算引擎的數(shù)據(jù)目錄進(jìn)行規(guī)整，修改默認(rèn)配置，并提供界面上的修改配置的地方。支持高并發(fā)低延時的數(shù)據(jù)處理。支持實時計算組件性能指標(biāo)界面可視化，通過界面實時監(jiān)控實時計算組件性能指標(biāo)。⑤資源管理（例如yarn）資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計算等資源給上層應(yīng)用和服務(wù)，能夠管理運行在集群節(jié)點上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動態(tài)資源池功能。支持作業(yè)定點調(diào)度，指定作業(yè)在哪些主機上運行，隔離重點任務(wù)和普通任務(wù)。幫助系統(tǒng)避免單點故障，建立可靠的應(yīng)用程序。為避免應(yīng)用之間在申請組件服務(wù)時相互干擾，提升應(yīng)用的健壯性和可靠性，應(yīng)支持相同組件的服務(wù)既共享物理資源，又相互獨立。提供備份功能，包含快照和集群間備份。安裝界面：包括安裝集群、安裝主機、安裝服務(wù)、機架管理、升級服務(wù)、升級主機。運行監(jiān)控：可以整體查看大數(shù)據(jù)集群的整體運行狀況。支持層級維度、聯(lián)合維度、可推導(dǎo)維度等維度降維優(yōu)化技術(shù)。②算法庫大數(shù)據(jù)智能分析平臺，需集成豐富的機器學(xué)習(xí)、數(shù)據(jù)挖掘算法，包括但不限于分類、預(yù)測與回歸、聚類、降維、推薦/協(xié)同過濾、相似度等算法，支持對海量數(shù)據(jù)進(jìn)行高效的分析和計算，支持圖計算和圖挖掘，支持用戶擴展算法庫。數(shù)據(jù)預(yù)處理可以加快分析過程，提高分析結(jié)果的精度，針對不同的數(shù)據(jù)類型缺失值的處理各不相同，需要結(jié)合業(yè)務(wù)場景?？梢暬悄芊治龉ぞ撸阂筇峁┛梢暬悄芊治龉ぞ?，加速數(shù)據(jù)分析模型設(shè)計。數(shù)據(jù)源管理：數(shù)據(jù)源管理包括：基礎(chǔ)環(huán)境的管理、標(biāo)準(zhǔn)編碼管理等。并且可以區(qū)分不同部門進(jìn)行統(tǒng)計。政務(wù)數(shù)據(jù)資源門戶作為大數(shù)據(jù)管理部門信息發(fā)布和資源服務(wù)的總管理入口，為各級政府部門提供信息資源展示、在線信息服務(wù)、信息檢索、系統(tǒng)集成訪問等功能。用戶交流模塊：為用戶提供交流的手段，每個授權(quán)用戶都可以在交流板塊上提出問題、見解或者是進(jìn)行討論，針對交流的問題可以選擇是否公開?；咏涣鳎夯咏涣鞴δ苁蔷W(wǎng)站用戶與網(wǎng)站管理人員進(jìn)行互動交流的模塊，在這里網(wǎng)站管理人員可以將網(wǎng)站的使用說明和一些常遇到的問題及解決方法公布出來，網(wǎng)站管理人員也可以在此公布調(diào)查問卷，征求普通用戶的意見。中心交換數(shù)據(jù)庫存儲各共建部門交換來的原貌數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)庫是對原貌數(shù)據(jù)進(jìn)行審核轉(zhuǎn)換和加工而成，是主題數(shù)據(jù)庫和發(fā)布庫構(gòu)成的基礎(chǔ)。當(dāng)數(shù)據(jù)達(dá)到一致性、完整性要求時，數(shù)據(jù)將由公共數(shù)據(jù)緩存庫轉(zhuǎn)存到人口基礎(chǔ)數(shù)據(jù)發(fā)布庫中，并通過數(shù)據(jù)交換系統(tǒng)以訂閱/發(fā)布的方式提供給各業(yè)務(wù)部門使用。人口基礎(chǔ)數(shù)據(jù)庫管理應(yīng)用系統(tǒng)功能模塊列表：編號一級模塊二級模塊三模塊1系統(tǒng)管理用戶角色管理系統(tǒng)帳戶管理2角色信息管理3部門帳戶管理公安帳戶管理4社保帳戶管理5衛(wèi)生帳戶管理6計生帳戶管理7民政帳戶管理8系統(tǒng)監(jiān)控管理系統(tǒng)日志管理9系統(tǒng)網(wǎng)絡(luò)布局10部門交換頻率11接收處理接收數(shù)據(jù)查看接收公安數(shù)據(jù)12接收社保數(shù)據(jù)13接收衛(wèi)生數(shù)據(jù)14接收計生數(shù)據(jù)15接收民政信息16清洗比對管理清洗規(guī)則管理17比對規(guī)則管理18清洗比對結(jié)果清洗結(jié)果查看19比對結(jié)果查看20手工比對歷史21手工比對管理手工比對信息22手工比對歷史23反饋信息查看反饋信息列表24授權(quán)管理數(shù)據(jù)授權(quán)管理申請查看授權(quán)25查看授權(quán)申請26數(shù)據(jù)交換申請數(shù)據(jù)交換申請27交換申請列表28交換審批列表29信息服務(wù)人口信息服務(wù)人口信息查詢30人口碼表信息人口碼表信息31人口共享指標(biāo)可共享指標(biāo)32統(tǒng)計分析基礎(chǔ)信息統(tǒng)計人口性別統(tǒng)計33人口年齡統(tǒng)計34人口文化程度35人口民族統(tǒng)計36地區(qū)分布統(tǒng)計地區(qū)人口統(tǒng)計37人員參保分析社保人員情況38參合人員情況39計劃生育分析地區(qū)育齡分布40育齡婦女比例 數(shù)據(jù)接收服務(wù)接收數(shù)據(jù)的查詢是針對各部門交換匯總的信息，進(jìn)行以部門為單位的信息查詢。其他部門檢索與查詢操作類似。數(shù)據(jù)過濾查詢是針對部門提交的數(shù)據(jù)，進(jìn)行梳理過濾與清洗，得出的清洗出的問題數(shù)據(jù)進(jìn)行查詢操作。系統(tǒng)管理員可制定新增用戶指定角色以及分配權(quán)限。可以設(shè)置授權(quán)的查看次數(shù)和有效期限，也可以永久授權(quán)。清洗比對結(jié)果：可以根據(jù)清洗和比對批次、時間段等條件查詢清洗和比對結(jié)果，如比對成功和不成功的數(shù)據(jù)量及所占比例，以及未匹配數(shù)據(jù)的詳細(xì)數(shù)據(jù)和未匹配成功的原因（如企業(yè)注冊號相同，企業(yè)名稱不同等）。 統(tǒng)計分析提供報表統(tǒng)計功能，結(jié)合各類基礎(chǔ)信息，形成各類報表，提供多種統(tǒng)計功能，輔助領(lǐng)導(dǎo)決策。 數(shù)據(jù)融合數(shù)據(jù)融合實質(zhì)上是將高分辨率影像空間特征與低分辨率影像多光譜特征組合到一副影像,使得融合后影像即具有高分辨率影像空間特征,又具有低分辨率影像多光譜特征。 圖像增強圖像增強是指按特定的需要突出一幅圖像中的某些信息，同時削弱或去除某些不需要信息的處理方法，其目的是使得處理后的圖像對某種特定的應(yīng)用，比原始圖像更合適。由于傳統(tǒng)的關(guān)系數(shù)據(jù)庫在空間數(shù)據(jù)的表示、存儲、管理、檢索上存在許多缺陷，從而形成了空間數(shù)據(jù)庫這一數(shù)據(jù)庫研究領(lǐng)域。此系統(tǒng)中圖層主要分為底圖層、道路層、單位層，合理的分層便于進(jìn)行疊加分析、圖形的無逢拼接以實現(xiàn)系統(tǒng)圖形的大范圍漫游。 主城區(qū)精細(xì)化三維建模本項目主城區(qū)精細(xì)化三維建模和普通三維建模面積為30平方公里。系統(tǒng)提供基礎(chǔ)底圖圖層和專題圖層，基礎(chǔ)底圖可以是矢量二位電子地圖，也可以是遙感影線數(shù)據(jù)，一般作為地圖背景數(shù)據(jù)?？臻g檢索：提供矩形、圓形、多邊形、手繪自由面等多種方式進(jìn)行空間檢索。 量算功能長度量算：提供空間距離量算功能，可以通過多點折線和手繪自由線進(jìn)行距離長度量算功能。它是地理信息系統(tǒng)基本的空間操作功能之一。窗口分析是指對于柵格數(shù)據(jù)系統(tǒng)中的一個、多個柵格點或全部數(shù)據(jù)，開辟一個有固定分析半徑的分析窗口，并在該窗口內(nèi)進(jìn)行諸如極值、均值等一系列統(tǒng)計計算，或與其它層面的信息進(jìn)行必要的復(fù)合分析，從而實現(xiàn)柵格數(shù)據(jù)有效的水平方向擴展分析。 動態(tài)分段是對現(xiàn)實世界中的線性特征及其相關(guān)屬性進(jìn)行抽象描述的數(shù)據(jù)模型和計算手段，它可以根據(jù)不同的屬性按照某種度量標(biāo)準(zhǔn)對線性要素進(jìn)行相對位置的劃分，而對同一個線要素，可以根據(jù)不同的度量標(biāo)準(zhǔn)得到不同的相對位置劃分方案。3） 拓?fù)涔δ芡負(fù)潢P(guān)系是指空間數(shù)據(jù)的位置關(guān)系。 連通: 連通關(guān)系可以確認(rèn)通達(dá)度、獲得路徑等。一旦建立起網(wǎng)絡(luò)數(shù)據(jù)，全部數(shù)據(jù)被存放在地理數(shù)據(jù)庫中，由數(shù)據(jù)庫的生命循環(huán)周期來維持其運作。資源分配網(wǎng)絡(luò)模型由中心點(分配中心)及其狀態(tài)屬性和網(wǎng)絡(luò)組成。5） 海圖數(shù)據(jù)電子海圖(Electronic Chart，EC)是用數(shù)字形式表示的以描寫海域地理信息和航海信息為主的海圖，它與國際海上人命安全條約(SOLAS)所需要的紙質(zhì)海圖等效，電子海圖亦稱為數(shù)字海圖(Digital Chart)。某些特定的分析功能，如地質(zhì)分析、日照分析、空間擴散分析、通視性分析等高級空間分析功能僅能在三維GIS中實現(xiàn)。 GIS平臺（1） 海量數(shù)據(jù)管理支持元數(shù)據(jù)的定義，可以創(chuàng)建、編輯和管理元數(shù)據(jù)。 系統(tǒng)保證在DBMS中存儲矢量數(shù)據(jù)的空間幾何完整性，支持屬性域、子類，支持定義空間數(shù)據(jù)之間的規(guī)則，包括關(guān)系規(guī)則、連接規(guī)則、拓?fù)湟?guī)則等。系統(tǒng)支持基于Web在服務(wù)器端實現(xiàn)高級GIS分析功能，除了二維地圖顯示外，還包括三維地圖顯示、高級GIS空間分析（疊加分析、鄰近分析、數(shù)據(jù)管理）等。系統(tǒng)支持時態(tài)感知圖層，存儲數(shù)據(jù)集某時間段的狀態(tài)信息。支持將多類型、多精度影像、地形疊加分組分層顯示例如：可支持影像數(shù)據(jù)集、SIT、GeoTif、WMS、web地圖緩存、文件緩存等多種數(shù)據(jù)存在形式，支持不同范圍、不同投影、不同分辨率的影像疊加顯示，支持圖層的疊加、半透明顯示，圖層順序控制、可見性控制等。系統(tǒng)能調(diào)用Virtual earth地圖和Google Map地圖，提供全球免費底圖地圖服務(wù)。 視頻基礎(chǔ)數(shù)據(jù)庫設(shè)計 建設(shè)規(guī)劃視頻圖像信息數(shù)據(jù)庫是一個提供除傳統(tǒng)連續(xù)視頻流以外的視頻圖像內(nèi)容信息流的存儲和相應(yīng)服務(wù)的基礎(chǔ)視頻資源庫，是一個提供除傳統(tǒng)視頻監(jiān)控實時瀏覽、云鏡控制、錄像下載回放等基本功能以外的、與公安實戰(zhàn)應(yīng)用能深度結(jié)合的視頻圖像信息資源系統(tǒng)。由于傳統(tǒng)的SQL數(shù)據(jù)庫技術(shù)已經(jīng)難以滿足大數(shù)據(jù)、結(jié)構(gòu)化非結(jié)構(gòu)化混合數(shù)據(jù)等應(yīng)用的需求，當(dāng)前各類NoSQL數(shù)據(jù)庫和云數(shù)據(jù)庫等技術(shù)發(fā)展非常迅速，所以本技術(shù)不具體規(guī)定數(shù)據(jù)庫內(nèi)部的具體表結(jié)構(gòu)的實現(xiàn)，而是從數(shù)據(jù)庫訪問接口操作以及操作對象角度去制定相應(yīng)的協(xié)議。從系統(tǒng)總體架構(gòu)中抽取視頻圖像信息數(shù)據(jù)庫系統(tǒng)模型包含了視頻圖像信息數(shù)據(jù)庫系統(tǒng)的內(nèi)置服務(wù)功能。l 管理模塊主要包括管理用戶、權(quán)限等信息表。視頻圖像信息數(shù)據(jù)庫有廣義和狹義之分，廣義上的視頻圖像信息數(shù)據(jù)庫涵蓋所有用于存儲視頻、圖像及其結(jié)構(gòu)化描述信息等內(nèi)容的存儲系統(tǒng)，包括目前用于存儲連續(xù)視頻流的存儲系統(tǒng)。