【正文】 共服務終端 ? 實現(xiàn)一站辦理、一網(wǎng)連通、一號服務 、 一卡通行FP30F 加強政府服務資源梳理，不斷提升信息公開的規(guī)范性加強政府服務資源梳理，不斷提升信息公開的規(guī)范性F 加強公共事業(yè)單位服務資源整合，拓展服務覆蓋范圍加強公共事業(yè)單位服務資源整合，拓展服務覆蓋范圍F 加強公眾需求分析，提升網(wǎng)上服務的人性化水平加強公眾需求分析，提升網(wǎng)上服務的人性化水平F 加強公眾參與，促進網(wǎng)上互動規(guī)范化、日?；訌姽妳⑴c，促進網(wǎng)上互動規(guī)范化、日?；疐 加強推廣宣傳，大力提升政府網(wǎng)站的社會認知度加強推廣宣傳，大力提升政府網(wǎng)站的社會認知度信息共享促進政府服務水平提升信息共享促進政府服務水平提升大數(shù)據(jù)產(chǎn)生的背景數(shù)據(jù)的爆發(fā)式增長和社會化趨勢，新摩爾定律大數(shù)據(jù)已經(jīng)成為一種自然資源機器數(shù)據(jù)日益重要大數(shù)據(jù)不被利用就是成本浪費大數(shù)據(jù)產(chǎn)生的背景現(xiàn)有的信息系統(tǒng)和電子政務建設模式難以處理大數(shù)據(jù)的規(guī)模和復雜性– 獲取 (capture)– 存貯 (storage)– 搜索 (search)– 分享 (sharing)– 分析 (analysis)– 可視化(visualization)奧巴馬大數(shù)據(jù)戰(zhàn)略2023年 3月 29日，白宮發(fā)布美國政府的大數(shù)據(jù)計劃通過提高從大型復雜的數(shù)字數(shù)據(jù)集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全，并改變教學研究大數(shù)據(jù)時代的背景facebook 社交網(wǎng)絡…淘寶、ebuyF電子商務 …微博、Apps 移動互聯(lián)…F21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。F互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、 GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。F“大數(shù)據(jù) ”的誕生：F 半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因?qū)W，創(chuàng)造出了 “大數(shù)據(jù) ”這個概念 *。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。大數(shù)據(jù)的 4V特征“大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價值密度低（ Value） ”就是 “大數(shù)據(jù) ”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。FVolumeFVelocityFValueFVariety大數(shù)據(jù)不僅僅是 “大 ”F一般超過 PB級 F比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值大數(shù)據(jù)的 4V特性F體量 VolumeF多樣性 VarietyF價值密度 ValueF速度 Velocity非結構化數(shù)據(jù) 的超大規(guī)模和增長總數(shù)據(jù)量的 80~90%比結構化數(shù)據(jù)增長快 10倍到 50倍是傳統(tǒng)數(shù)據(jù)倉庫的 10倍到 50倍大數(shù)據(jù)的異構和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能 Vs傳統(tǒng)商務智能 (咨詢、報告等）實時分析 而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的構成大數(shù)據(jù) = 海量數(shù)據(jù) + 復雜類型的數(shù)據(jù)F海量交易數(shù)據(jù)：F企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結構化的、通過關系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。F大數(shù)據(jù)包括：F交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集F海量交互數(shù)據(jù)：F源于 Facebook、 Twitter、 LinkedIn及其他來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄 CDR、設備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸 Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。F海量數(shù)據(jù)處理：F大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構。例如具有開放源碼、在商品硬件群中運行的Apache Hadoop。F 分析技術：F 數(shù)據(jù)處理：自然語言處理技術F 統(tǒng)計和分析： A/B test。 top N排行榜；地域占比；文本情感分析F 數(shù)據(jù)挖掘：關聯(lián)規(guī)則分析；分類；聚類F 模型預測：預測模型；機器學習；建模仿真F 大數(shù)據(jù)技術：F 數(shù)據(jù)采集： ETL工具F 數(shù)據(jù)存?。宏P系數(shù)據(jù)庫； NoSQL； SQL等F 基礎架構支持：云存儲；分布式文件系統(tǒng)等F 計算結果展現(xiàn)：云計算；標簽云；關系圖等處理大數(shù)據(jù)的一些相關技術F 存儲F 結構化數(shù)據(jù)：F 海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低F 非結構化數(shù)據(jù)F 圖片、視頻、 word、 pdf、 ppt等文件存儲F 不利于檢索、查詢和存儲F 半結構化數(shù)據(jù)F 轉(zhuǎn)換為結構化存儲F 按照非結構化存儲F 解決方案：F Hadoop（ MapReduce技術）F 流計算（ twitter的 storm和 yahoo！的 S4）處理大數(shù)據(jù)在技術上面臨的挑戰(zhàn)F對現(xiàn)有數(shù)據(jù)庫管理技術的挑戰(zhàn)F傳統(tǒng)的數(shù)據(jù)庫部署不能處理數(shù) TB 級別的數(shù)據(jù)，也不能很好的支持高級別的數(shù)據(jù)分析。急速膨脹的數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫的管理能力。F如何構建全球級的分布式數(shù)據(jù)庫 (GloballyDistributed Database) ，可以擴展到數(shù)百萬的機器，數(shù)已百計的數(shù)據(jù)中心，上萬億的行數(shù)據(jù)。F經(jīng)典數(shù)據(jù)庫技術并沒有考慮數(shù)據(jù)的多類別（ variety）FSQL（結構化數(shù)據(jù)查詢語言），在設計的一開始是沒有考慮非結構化數(shù)據(jù)的。F實時性的技術挑戰(zhàn)：F一般而言，像數(shù)據(jù)倉庫系統(tǒng)、 BI應用，對處理時間的要求并不高。因此這類應用往往運行 2天獲得結果依然可行的。但實時處理的要求，是區(qū)別大數(shù)據(jù)應用和傳統(tǒng)數(shù)據(jù)倉庫技術、 BI技術的關鍵差別之一。網(wǎng)絡架構、數(shù)據(jù)中心、運維的挑戰(zhàn)：技術架構的挑戰(zhàn)：F人們每天創(chuàng)建的數(shù)據(jù)量正呈爆炸式增長，但就數(shù)據(jù)保存來說，我們的技術改進不大，而數(shù)據(jù)丟失的可能性卻不斷增加。F如此龐大的數(shù)據(jù)量首先在存儲上就會是一個非常嚴重的問題，硬件的更新速度將是大數(shù)據(jù)發(fā)展的基石。大數(shù)據(jù)與云計算的關系F 云計算的模式是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術。F 數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。F 當前云計算更偏重海量存儲和計算，以及提供的云服務，運行云應用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人提供決策和服務，是大數(shù)據(jù)核心議題，也是云計算的最終方向。大數(shù)據(jù)比云計算更為落地F商業(yè)模式驅(qū)動 F應用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務模式F 政府職能變革F 重視應用大數(shù)據(jù)技術，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；F 在安防領域，應用大數(shù)據(jù)技術，提高應急處置能力和安全防范能力；F 在民生領域，應用大數(shù)據(jù)技術，提升服務能力和運作效率，以及個性化的服務，比如醫(yī)療、衛(wèi)生、教育等部門；F 解決在宏觀經(jīng)濟管理和信息惠民服務等領域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在有限數(shù)據(jù)的統(tǒng)計分析；F 政府投入將形成示范效應，大大推動大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)在電子政務中的應用大數(shù)據(jù)在智慧城市中的應用F 美國奧巴馬政府在白宮網(wǎng)站發(fā)布 《 大數(shù)據(jù)研究和發(fā)展倡議 》 ，提出 “通過收集、處理龐大而復雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學習模式 ” ； F 中國工程院院士鄔賀銓說道， “智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯(lián)和有效，隨著智慧城市的建設，社會將步入 “大數(shù)據(jù) ”時代。 ”F 難點：F 在最初就合理規(guī)劃智慧城市（深度思考哪些領域能夠運用）；F 在城市發(fā)展基礎設施和 “云產(chǎn)業(yè) ”的同時，更多重視 “數(shù)據(jù) ”的價值；F 在大數(shù)據(jù)處理領域的核心技術不足，需要政府更大的投入。對大數(shù)據(jù)的理解1. 大數(shù)據(jù)比云計算更為落地2. 大數(shù)據(jù)不僅僅是 “大 ”3. 軟件是大數(shù)據(jù)的引擎4. 大數(shù)據(jù)的應用不僅僅是商業(yè)化服務5. 管理大數(shù)據(jù) “易 ”，理解大數(shù)據(jù) “難 ”軟件是大數(shù)據(jù)的引擎F和數(shù)據(jù)中心（ Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動力，軟件改變世界大數(shù)據(jù)生態(tài)：軟件是引擎大數(shù)據(jù)的