【正文】 大數(shù)據(jù)不被利用就是成本浪費(fèi) 大數(shù)據(jù)產(chǎn)生的背景 現(xiàn)有的信息系統(tǒng)和電子政務(wù)建設(shè)模式難以處理大數(shù)據(jù)的規(guī)模和復(fù) 雜性 ? 獲取 (capture) ?存貯 (storage) ?搜索 (search) ?分享 (sharing) ?分析 (analysis) ?可視化(visualization) 奧巴馬大數(shù)據(jù)戰(zhàn)略 2023年 3月 29日，白宮發(fā)布美國(guó)政府的大數(shù)據(jù)計(jì)劃 通過(guò)提高從大型復(fù)雜的數(shù)字?jǐn)?shù)據(jù)集中提取知識(shí)和觀點(diǎn)的能力，承諾幫助加快在科學(xué)與工程中的步伐，加強(qiáng)國(guó)家安全，并改變教學(xué)研究 大數(shù)據(jù)時(shí)代的背景 facebook 社交網(wǎng)絡(luò) … 淘寶、ebuy ?電子商務(wù) … 微博、Apps 移勱互聯(lián) … ?21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移勱互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。 ?“ 大數(shù)據(jù) ” 的誕生： ? 半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革癿程度。信息爆炸癿學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了 “ 大數(shù)據(jù) ” 這個(gè)概念 *。 大數(shù)據(jù)的 4V特征 “ 大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價(jià)值密度低（ Value） ” 就是“ 大數(shù)據(jù) ” 的顯著特征，或者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。它包括了呼叫詳細(xì)記錄 CDR、設(shè)備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸 Manage File Transfer協(xié)議傳送癿海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等。 ?海量數(shù)據(jù)處理： ?大數(shù)據(jù)癿涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理癿架構(gòu)。 ? 分析技術(shù)： ? 數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù) ? 統(tǒng)計(jì)和分析： A/B test。急速膨脹癿數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫(kù)癿管理能力。 ?經(jīng)典數(shù)據(jù)庫(kù)技術(shù)并沒(méi)有考慮數(shù)據(jù)癿多類(lèi)別（ variety） ?SQL（結(jié)構(gòu)化數(shù)據(jù)查詢(xún)語(yǔ)言），在設(shè)計(jì)癿一開(kāi)始是沒(méi)有考慮非結(jié)構(gòu)化數(shù)據(jù)癿。因此這類(lèi)應(yīng)用往往運(yùn)行 2天獲得結(jié)果依然可行癿。 網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中心、運(yùn)維癿挑戰(zhàn)： 技術(shù)架構(gòu)癿挑戰(zhàn)： ?人們每天創(chuàng)建癿數(shù)據(jù)量正呈爆炸式增長(zhǎng)，但就數(shù)據(jù)保存來(lái)說(shuō)，我們癿技術(shù)改進(jìn)不大，而數(shù)據(jù)丟失癿可能性卻不斷增加。 大數(shù)據(jù)與云計(jì)算的關(guān)系 ? 云計(jì)算癿模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。 ? 當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供癿云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤(pán)活數(shù)據(jù)資產(chǎn)癿能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算癿最終方向。 大數(shù)據(jù)在電子政務(wù)中的應(yīng)用 大數(shù)據(jù)在智慧城市中的應(yīng)用 ? 美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布 《 大數(shù)據(jù)研究和發(fā)展倡議 》 ，提出 “ 通過(guò)收集、處理龐大而復(fù)雜癿數(shù)據(jù)信息，從中獲得知識(shí)和洞見(jiàn)，提升能力，加快科學(xué)、工程領(lǐng)域癿創(chuàng)新步伐，強(qiáng)化美國(guó)國(guó)土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式 ” ； ? 中國(guó)工程院院士鄔賀銓說(shuō)道， “ 智慧城市是使用智能計(jì)算技術(shù)使得城市癿關(guān)鍵基礎(chǔ)設(shè)施癿組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市癿建設(shè)，社會(huì)將步入 “ 大數(shù)據(jù) ” 時(shí)代。 對(duì)大數(shù)據(jù)的理解 1. 大數(shù)據(jù)比云計(jì)算更為落地 2. 大數(shù)據(jù)不僅僅是 “ 大 ” 3. 軟件是大數(shù)據(jù)的引擎 4. 大數(shù)據(jù)的應(yīng)用不僅僅是商業(yè)化服務(wù) 5. 管理大數(shù)據(jù) “ 易 ” ，理解大數(shù)據(jù) “ 難 ” 軟件是大數(shù)據(jù)的引擎 ?和數(shù)據(jù)中心（ Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力，軟件改變世界 大數(shù)據(jù)生態(tài)：軟件是引擎 大數(shù)據(jù)的應(yīng)用不僅僅是商務(wù) 通過(guò)用戶(hù)行為分析實(shí)現(xiàn)精準(zhǔn)管理、科學(xué)決策和人性化服務(wù)是大數(shù)據(jù)的典型應(yīng)用，大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景 ?消費(fèi)行業(yè) ?金融服務(wù) ?食品安全 ?醫(yī)療衛(wèi)生 ?軍事 ?交通環(huán)保 ?電子商務(wù) ?氣象 管理大數(shù)據(jù)“易”理解大數(shù)據(jù)“難” 雖然大數(shù)據(jù)是一個(gè)重大問(wèn)題，真正的問(wèn)題是讓大數(shù)據(jù)更有意義 目前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲(chǔ)的橫向擴(kuò)展，但對(duì)非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解仍缺乏實(shí)質(zhì)性的突破和進(jìn)展，這是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化的核心 非結(jié)構(gòu)化海量信息的智能化處理：自然語(yǔ)言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等 重視大數(shù)據(jù)帶來(lái)的危險(xiǎn) 然而，大數(shù)據(jù)也隱含著某種危險(xiǎn)，即對(duì)于數(shù)量方面的片面強(qiáng)調(diào)，而忽視對(duì)于質(zhì)的變化的研究，忽視基本理念的轉(zhuǎn)變和更新。這種形式的形而上學(xué)是需要警惕的。因此，要想用精確的方法處理經(jīng)濟(jì)問(wèn)題，第一步是通過(guò)更細(xì)致的描述工作澄清人們對(duì)事物的認(rèn)識(shí)。 關(guān)于統(tǒng)計(jì)的局限性 這里需要特別注意防止統(tǒng)計(jì)方法的濫用。 在中國(guó)特定的條件下，我們還要特別注意數(shù)據(jù)的質(zhì)量的影響，避免列寧早就指出過(guò)的用統(tǒng)計(jì)數(shù)據(jù)欺騙群眾的把戲。 大數(shù)據(jù)帶來(lái)的機(jī)遇 回顧歷史，我們能夠看到，大數(shù)據(jù)和云計(jì)算的出現(xiàn)為電子政務(wù)中信息資源開(kāi)發(fā)利用帶來(lái)了新的機(jī)遇。 鑒于經(jīng)濟(jì)學(xué)家們對(duì)其所處理的問(wèn)題的認(rèn)識(shí)非常有限，而且對(duì)有關(guān)事實(shí)的描述又很不全面，所以經(jīng)濟(jì)學(xué)是一門(mén)太過(guò)困難的科學(xué)，絕不可能很快就建立起來(lái)。即使是遠(yuǎn)比經(jīng)濟(jì)學(xué)先進(jìn)的科學(xué)，比如物理學(xué)，目前也沒(méi)能得到什么統(tǒng)一體系。 《 數(shù)學(xué)在科學(xué)和社會(huì)中的作用 》 P55 在經(jīng)濟(jì)學(xué)的某些分支里，最有成效的工作也許是耐心的解釋描述；事實(shí)上，在目前和今后一段時(shí)間內(nèi)，這種工作將占經(jīng)濟(jì)學(xué)研究的絕大部分。 實(shí)時(shí)有效信息的需求 政府部門(mén)要充分發(fā)揮政府的職能 ， 進(jìn)行有效地監(jiān)控和管理 ， 同時(shí)為了增強(qiáng)民眾和政府之間溝通的時(shí)效性 ， 及時(shí)掌握有效的信息 。 分析和決策的需求 現(xiàn)有的數(shù)據(jù)庫(kù)系統(tǒng)雖然可以高效地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢(xún)和部分統(tǒng)計(jì)等功能，但是無(wú)法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無(wú)法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)。 返 回 下一頁(yè) （二）數(shù)據(jù)挖掘離不開(kāi)專(zhuān)業(yè)化服務(wù) 電子政務(wù)數(shù)據(jù)挖掘的若干工作需要人工完成 ， 并且數(shù)據(jù)挖掘過(guò)程是分步實(shí)現(xiàn)的 ,因此不同步驟的工作需要具有不同專(zhuān)長(zhǎng)的人員 ,離不開(kāi)政務(wù)人員的直接參與 業(yè)務(wù)分析人員 精通業(yè)務(wù) ,能夠解釋業(yè)務(wù)對(duì)象 ,并根據(jù)各業(yè)務(wù)對(duì)象確定出用于數(shù)據(jù)定義和挖掘算法的業(yè)務(wù)需求 。 數(shù)據(jù)管理人員 精通數(shù)據(jù)管理技術(shù) ,能從數(shù)據(jù)庫(kù) 、 數(shù)據(jù)倉(cāng)庫(kù)和各種網(wǎng)絡(luò)資源中檢索 、 收集適于挖掘的數(shù)據(jù) 。 ?上一頁(yè) 下一頁(yè) （三）數(shù)據(jù)挖掘形式 內(nèi)容挖掘 內(nèi)容挖掘就是一個(gè)從網(wǎng)絡(luò)信息內(nèi)容中發(fā)現(xiàn)有用信息的過(guò)程 。 結(jié)構(gòu)挖掘 結(jié)構(gòu)挖掘就是挖掘 Web潛在的鏈接結(jié)構(gòu)模式 。 網(wǎng)絡(luò)結(jié)構(gòu)挖掘有助于用戶(hù)找到相關(guān)主題的權(quán)威站點(diǎn) 。通過(guò)用法挖掘，可以了解用戶(hù)的網(wǎng)絡(luò)行為數(shù)據(jù)所具有的意義。電子政務(wù)包括政府的信息服務(wù)、電子貿(mào)易、電子化政府、政府部門(mén)重構(gòu)、群眾參與政府五個(gè)方面的內(nèi)容。具體體現(xiàn)在以下幾個(gè)方面： 政府的電子貿(mào)易 在服務(wù)器以及瀏覽器端日志記錄的數(shù)據(jù)中隱藏著模式信息，運(yùn)用網(wǎng)絡(luò)用法挖掘技術(shù)可以自動(dòng)發(fā)現(xiàn)系統(tǒng)的訪問(wèn)模式和用戶(hù)的行為模式，從而進(jìn)行預(yù)測(cè)分析。這項(xiàng)技術(shù)已經(jīng)有效地運(yùn)用在政府電子貿(mào)易中。同時(shí)可以結(jié)合對(duì)用戶(hù)訪問(wèn)日志記錄信息的挖掘，把握用戶(hù)的興趣，從而有助于開(kāi)展網(wǎng)站信息推送服務(wù)以及個(gè)人信息的定制服務(wù)，吸引更多的用戶(hù)。如通過(guò)對(duì)網(wǎng)頁(yè)內(nèi)容挖掘，可以實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)的聚類(lèi)、分類(lèi)，實(shí)現(xiàn)網(wǎng)絡(luò)信息的分類(lèi)瀏覽與檢索；通過(guò)對(duì)用戶(hù)所使用的提問(wèn)式的歷史記錄的分析，可以有效地進(jìn)行提問(wèn)擴(kuò)展，提高用戶(hù)的檢索效果；另外，運(yùn)用網(wǎng)絡(luò)內(nèi)容挖掘技術(shù)改進(jìn)關(guān)鍵詞加權(quán)算法，提高網(wǎng)絡(luò)信息的標(biāo)引準(zhǔn)確度，從而改善檢索效果。如，通過(guò)對(duì)網(wǎng)絡(luò)各種經(jīng)濟(jì)資源的挖掘，確定未來(lái)經(jīng)濟(jì)的走勢(shì)，從而制定出相應(yīng)的宏觀經(jīng)濟(jì)調(diào)控政策。英國(guó)雖然在這一方面全球領(lǐng)先，但也僅有 60%的政府機(jī)構(gòu)的互連網(wǎng)服務(wù)網(wǎng)站已開(kāi)通或正在建設(shè)。 ?上一頁(yè) 返 回 密不可分的大數(shù)據(jù)與云計(jì)算 云 徹底改變 IT 大數(shù)據(jù) 徹底改變業(yè)務(wù) 密不可分的大數(shù)據(jù)與云計(jì)算 電子政務(wù)促進(jìn)業(yè)務(wù)模式變革 電子政務(wù)核心：應(yīng)用需求驅(qū)動(dòng) 云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式 大數(shù)據(jù)是落地的云 新時(shí)期智慧政務(wù)發(fā)展思路的主線 從以項(xiàng)目為主線轉(zhuǎn)向以體系結(jié)構(gòu)總體規(guī)劃為主線的全局推進(jìn)（楊學(xué)山） 電子政務(wù)能否取得成功和實(shí)效的關(guān)鍵仍然在于是否堅(jiān)持以政府核心業(yè)務(wù)流的信息化為主線。 ? 二是電子政務(wù)應(yīng)用的創(chuàng)新模式尚不成熟，服務(wù)能力尚待增強(qiáng)，服務(wù)水平尚待提高，服務(wù)范圍尚待拓展。 ? 四是推進(jìn)電子政務(wù)應(yīng)用發(fā)展的體制機(jī)制有待健全，統(tǒng)計(jì)與監(jiān)測(cè)評(píng)價(jià)工作亟待加強(qiáng)，全社會(huì)對(duì)電子政務(wù)應(yīng)