【正文】 在移動互聯(lián)網(wǎng)的數(shù)據(jù)中，文字以外的其他信息占到更加重要的比例。移動大數(shù)據(jù)的三個特點：一、數(shù)據(jù)的核心節(jié)點是人。移動互聯(lián)網(wǎng)最大的特點是以用戶為中心。影響力分析一個自然而言的擴展應(yīng)用就是用戶搜索。社交網(wǎng)絡(luò)中一個典型的大數(shù)據(jù)應(yīng)用場景是輿情分析，是指對熱點事件在網(wǎng)絡(luò)上的傳播過程加以監(jiān)測，了解人們對此的態(tài)度，從而在必要的時候加以干預(yù)和引導(dǎo)。單就我國互聯(lián)網(wǎng)應(yīng)用現(xiàn)狀來看，截至2014年6月，使用率仍高居互聯(lián)網(wǎng)交流溝通類應(yīng)用第一位。如今，百度、必應(yīng)、谷歌等主流的搜索引擎都要抓取數(shù)以千億計的網(wǎng)頁，同時索引數(shù)百億的網(wǎng)頁，以提供良好的搜索服務(wù)。同時，利用大數(shù)據(jù)理論和技術(shù)，通過對網(wǎng)民搜索內(nèi)容、習(xí)慣、愛好、行為、關(guān)鍵詞等的深入分析，可為網(wǎng)站的建設(shè)、搜索引擎技術(shù)的改進等提供依據(jù)。對于大數(shù)據(jù)存儲、處理和計算是很大的挑戰(zhàn)。一、基于內(nèi)容的方法處理對象包括用戶的內(nèi)容和物品的內(nèi)容，通過對于數(shù)據(jù)的特征化表述以及歷史上用戶是否選擇了某個物品的數(shù)據(jù)收集，把推薦問題轉(zhuǎn)化為分類問題。從用戶需求來說，這部分具有特異性的商品往往對應(yīng)他們的個性化需求。在互聯(lián)網(wǎng)時代，由于用戶群體龐大，當(dāng)前電子商務(wù)平臺必須面對海量的應(yīng)用大數(shù)據(jù)。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心2014年7月發(fā)布的最新一期《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》，互聯(lián)網(wǎng)應(yīng)用主要分為四類：商務(wù)交易類應(yīng)用；信息獲取類應(yīng)用；交流溝通類應(yīng)用；網(wǎng)絡(luò)娛樂類應(yīng)用。該協(xié)會旨在交流國際、國內(nèi)在數(shù)據(jù)和信息管理領(lǐng)域中的最新進展，共享業(yè)界的實踐、經(jīng)驗和成果。其中全權(quán)會員單位30家，高級會員單位4家，普通會員單位37家。聯(lián)盟成立宗旨是把握云計算、大數(shù)據(jù)與產(chǎn)業(yè)革新浪潮帶來的戰(zhàn)略機遇，聚合廠商、用戶、投資機構(gòu)、院校與研究機構(gòu)、政府部門的力量，通過研討交流、數(shù)據(jù)共享、聯(lián)合開發(fā)、推廣應(yīng)用、產(chǎn)業(yè)標(biāo)準(zhǔn)制定與推行、聯(lián)合人才培養(yǎng)、業(yè)務(wù)與投資合作、促進政策支持等工作，推進實現(xiàn)數(shù)據(jù)開發(fā)共享，并形成相關(guān)技術(shù)與產(chǎn)業(yè)的突破性創(chuàng)新，產(chǎn)業(yè)的跨越式發(fā)展，推動培育世界領(lǐng)先的大數(shù)據(jù)技術(shù)、產(chǎn)品、產(chǎn)業(yè)和市場。為了有效應(yīng)對大數(shù)據(jù)引起的挑戰(zhàn)，同時充分利用大數(shù)據(jù)帶來的機遇，2012年5月，以“網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與工程 ─ 一門新興的交叉學(xué)科？”為主題的第424次香山科學(xué)會議在北京香山飯店成功召開，會議建議在中國計算機學(xué)會下成立大數(shù)據(jù)專家委員會，并于2012年10月正式成立。開放爬蟲系統(tǒng)主要面向高校和科研單位的大數(shù)據(jù)研究團隊，提供個性化、定制的互聯(lián)網(wǎng)數(shù)據(jù)獲取服務(wù)。 中國社會團體也紛紛自發(fā)成立數(shù)據(jù)共享中心，以期借助大數(shù)據(jù)技術(shù)尋求新的商機。216。新加坡的數(shù)據(jù)開放網(wǎng)站（）實現(xiàn)了全國范圍內(nèi)的數(shù)據(jù)整合，是世界上發(fā)展最為完善的公共信息資源開放共享網(wǎng)站之一，目前已經(jīng)匯集了來自68個政府部門和機構(gòu)的8600多個數(shù)據(jù)集。因此數(shù)據(jù)開放和共享成為大數(shù)據(jù)的核心和關(guān)鍵。216。大數(shù)據(jù)產(chǎn)業(yè)園區(qū)可以通過自身的規(guī)模、品牌、資源等價值為區(qū)域經(jīng)濟發(fā)展和企業(yè)資本擴張起到巨大的推動作用。216。將全面分享阿里無線資源，為移動開發(fā)者提供技術(shù)、數(shù)據(jù)、商業(yè)等全鏈條基礎(chǔ)設(shè)施服務(wù)。中國移動在2014年成立了蘇州研發(fā)中心，計劃構(gòu)建30004000人的研發(fā)團隊和運營團隊，宗旨就是要進一步完善云計算和大數(shù)據(jù)產(chǎn)品體系，盡快形成國際一流的云計算和大數(shù)據(jù)服務(wù)能力。根據(jù)上海市經(jīng)信委印發(fā)的《2014年度上海市政府?dāng)?shù)據(jù)資源向社會開放工作計劃》，目前已確定190項數(shù)據(jù)內(nèi)容作為2014年重點開放領(lǐng)域，涵蓋28個市級部門，涉及公共安全、公共服務(wù)、交通服務(wù)、教育科技、產(chǎn)業(yè)發(fā)展、金融服務(wù)、能源環(huán)境、健康衛(wèi)生、文化娛樂等11個領(lǐng)域。廣東率先啟動大數(shù)據(jù)戰(zhàn)略推動政府轉(zhuǎn)型，北京正積極探索政府公布大數(shù)據(jù)供社會開發(fā)，上海也啟動大數(shù)據(jù)研發(fā)三年行動計劃。在外包領(lǐng)域，大數(shù)據(jù)技術(shù)也已成為信息技術(shù)行業(yè)的“下一個大事件”。在連鎖零售業(yè)中，英國最大的連鎖超市特易購（TESCO）已經(jīng)開始運用大數(shù)據(jù)技術(shù)采集并分析其客戶行為信息數(shù)據(jù)集。包括直接出售數(shù)據(jù)獲取收益和與第三方公司合作項目給運營商創(chuàng)造盈利，代表企業(yè)有ATamp。而大多數(shù)領(lǐng)域的大數(shù)據(jù)發(fā)展應(yīng)用仍處在初級階段，在大數(shù)據(jù)應(yīng)用的實踐過程中也遇到了數(shù)據(jù)資產(chǎn)不明、應(yīng)用需求不定、平臺建設(shè)、技術(shù)路線、安全隱私問題等方面的挑戰(zhàn)，但是，各領(lǐng)域在大數(shù)據(jù)應(yīng)用方面還是做出了一些有益的探索，并取得了一定的成績。” 2007年，加拿大開始實施數(shù)字信息戰(zhàn)略 。2013年英國首個綜合運用大數(shù)據(jù)技術(shù)的醫(yī)藥衛(wèi)生科研中心在牛津大學(xué)成立，這個研究中心總投資達(dá)9000萬英鎊，可容納600名科研人員。目前，已有美國大學(xué)專門開設(shè)了研究大數(shù)據(jù)技術(shù)的課程，培養(yǎng)下一代的“數(shù)據(jù)科學(xué)家”，一些美國公司也在向大學(xué)提供教育研究資助，并贊助與大數(shù)據(jù)有關(guān)的比賽，擴大大數(shù)據(jù)技術(shù)開發(fā)和應(yīng)用所需人才的供給，提高美國的科學(xué)發(fā)展、環(huán)境與生物醫(yī)藥研究、教育和國家安全的能力；美國國家衛(wèi)生研究院開展的免費開放國際千人基因組計劃，它將創(chuàng)建的人類遺傳變異研究數(shù)據(jù)集，供研究人員自由訪問和使用；美國國家科學(xué)基金會和美國國家衛(wèi)生研究院對大數(shù)據(jù)進行聯(lián)合招標(biāo)，改進核心科學(xué)與技術(shù)手段，提高從各種大型數(shù)據(jù)集中提取重要信息并對其進行有效管理、分析和可視化的能力；，在各個軍事部門開展一系列研究計劃，以創(chuàng)新方式使用海量數(shù)據(jù)，通過感知、認(rèn)知和決策支持的結(jié)合，加強大數(shù)據(jù)決策能力；美國能源部則將斥資2500萬美元建立可擴展數(shù)據(jù)管理與可視化研究所（SDAV），幫助科學(xué)家對數(shù)據(jù)進行有效管理，促進其生物和環(huán)境研究計劃、美國核數(shù)據(jù)計劃等的研究成果。綜上所述，不能狹隘的看待大數(shù)據(jù)，不能把它當(dāng)數(shù)據(jù)挖掘的工具，不能唯技術(shù)論，更不能一概斥之為炒作。所謂公司的價值與其擁有的數(shù)據(jù)資產(chǎn)的規(guī)模和活性成正比，與其解釋、運用數(shù)據(jù)的能力成正比。長期研究分析發(fā)現(xiàn)，以TMT（電信、媒體、科技）為代表的高技術(shù)含量企業(yè)，雖然發(fā)展迅速，機會眾多，但也隨時可能出現(xiàn)潛在的風(fēng)險，基于此，許多基金經(jīng)理因看不懂看不準(zhǔn)而從不涉足。否則，勝利的天平總是向這些類似泛互聯(lián)網(wǎng)范式的公司傾斜。就好比美軍前線的一個小分隊，甚至單兵，可以直接指揮后方的導(dǎo)彈、飛機一樣。當(dāng)然，與此對應(yīng)的是，如果不能跟上這個時代步伐的企業(yè)和行業(yè)，命運可能就將永久地走進過去，退出未來的舞臺。下一步將是線上渠道向智慧方向演進，這個階段大數(shù)據(jù)才真正派上用場。所謂“大數(shù)據(jù)+”，就是將大數(shù)據(jù)思維嫁接到不同的產(chǎn)業(yè)中，推動大數(shù)據(jù)在各行各業(yè)落地?？梢圆捎孟嗨频乃枷雭磉M行的統(tǒng)一的研究。再如用于圖像處理的算法和用于壓縮感知的算法也有著許多共同之處。 學(xué)術(shù)——科學(xué)的研究數(shù)據(jù)，用數(shù)據(jù)來研究科學(xué)學(xué)術(shù)界在大數(shù)據(jù)時代有了更為廣闊的舞臺。利用大數(shù)據(jù)，可以使政府治理所依據(jù)的數(shù)據(jù)資料更加全面，不同部門和機構(gòu)之間的協(xié)調(diào)更加順暢，進而有效提高工作效率，節(jié)約治理成本。我國也已開始推動大數(shù)據(jù)發(fā)展，政府、企業(yè)和科研院所正在進行多方位布局。多年以后，回顧中國這段歷史，也許今天的一些舉措，將會是社會“數(shù)字文明”的起點。譬如氣象觀測數(shù)據(jù)，這類數(shù)據(jù)對于研究大氣變化、氣候演變、農(nóng)業(yè)指導(dǎo)等具備非常重要的科學(xué)意義。參與棱鏡計劃的公司包括谷歌、雅虎、Facebook、微軟、蘋果、思科、Oracle、IBM等科技巨頭。國家數(shù)字主權(quán)體現(xiàn)為對數(shù)據(jù)的占有和控制。烏龜殼、樹皮、綢緞都曾經(jīng)是記錄數(shù)據(jù)的媒介，現(xiàn)在都已經(jīng)退出了舞臺；留聲機、磁帶機也曾經(jīng)風(fēng)靡一時，也已難覓蹤影；現(xiàn)在當(dāng)紅的信息技術(shù)，像個人電腦、智能手機、IPad在不遠(yuǎn)的將來也將被陳列在博物館。李國杰2014年12月1日致謝眾多大數(shù)據(jù)專家委委員和中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟單位參與了本書的撰寫工作，其中，第1章大數(shù)據(jù)背景與動態(tài)主要由趙國棟、程學(xué)旗、楊東日等撰寫，第2章大數(shù)據(jù)典型應(yīng)用由陳新河、施水才、王維負(fù)責(zé)整理，其中互聯(lián)網(wǎng)大數(shù)據(jù)由沈爍、田野、袁博等撰寫；金融大數(shù)據(jù)由聞學(xué)臣、陳繼東、林述民等撰寫，電信大數(shù)據(jù)由何鴻凌、孫少陵、徐萌等撰寫；電網(wǎng)大數(shù)據(jù)由鄧春宇、張宇航等撰寫；交通大數(shù)據(jù)由楊東日、劉姝祎、劉超等撰寫；健康大數(shù)據(jù)由張彥春、徐紅燕、熊錦華、馬建剛等撰寫；政府大數(shù)據(jù)由施水才、賀兆輝、晉家驤等撰寫；農(nóng)業(yè)大數(shù)據(jù)由姜春鈴、謝潤梅等撰寫；地理信息大數(shù)據(jù)由張林、張平、李先怡、陳艷武等撰寫；新媒體大數(shù)據(jù)由王永濱、趙子忠、馮爽等撰寫。本書的主要價值可能體現(xiàn)在對大數(shù)據(jù)技術(shù)的分析方面。介于這兩者之間的第三件事是，推廣近幾年開始應(yīng)用的不同于傳統(tǒng)事務(wù)處理、傳統(tǒng)數(shù)據(jù)庫和小樣本建模分析技術(shù)的大數(shù)據(jù)處理新方法，如深度學(xué)習(xí)、MapReduce、Hadoop軟件和數(shù)據(jù)中心的分布式服務(wù)器集群等技術(shù)。本書包括5章內(nèi)容：第1章介紹大數(shù)據(jù)背景與動態(tài)，第2章闡述大數(shù)據(jù)典型應(yīng)用領(lǐng)域的行業(yè)現(xiàn)狀和發(fā)展趨勢，第3章闡述大數(shù)據(jù)技術(shù)體系的發(fā)展現(xiàn)狀，第4章討論大數(shù)據(jù)IT產(chǎn)業(yè)鏈與生態(tài)環(huán)境，第5章分析了大數(shù)據(jù)發(fā)展趨勢并提出相關(guān)建議。在中國計算機學(xué)會大數(shù)據(jù)專家委員會和中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟得精心組織下，花了大半年時間撰寫這本書。對于數(shù)據(jù)意識薄弱的發(fā)展中國家，經(jīng)過大數(shù)據(jù)浪潮的洗禮，提高對數(shù)據(jù)資源的掌控能力，無疑是一件好事。發(fā)現(xiàn)典型的大數(shù)據(jù)應(yīng)用案例，宣傳推廣應(yīng)用大數(shù)據(jù)技術(shù)的經(jīng)驗是本書的主要動機，今后我們會更加關(guān)注應(yīng)用案例的分析介紹。由于時間和篇幅有限，本書只選擇了部分發(fā)展較好的典型應(yīng)用領(lǐng)域進行介紹，還有很多領(lǐng)域的大數(shù)據(jù)應(yīng)用情況沒有納入本書。對所有參與本書編寫的專家表示感謝。而大數(shù)據(jù)可以看成是數(shù)據(jù)積累到一定規(guī)模后，引發(fā)的質(zhì)變。連其多年的盟友，德國總理默克爾的手機，都在NSA（美國國家安全局）的監(jiān)控之下?，F(xiàn)在，電子商務(wù)、社交網(wǎng)絡(luò)、基礎(chǔ)通信、國家各部委的數(shù)據(jù)，具備聚合的效應(yīng)和產(chǎn)生核聚變價值的基礎(chǔ)。很難想象，如果沒有谷歌、微軟、Facebook這樣的公司，單憑美國政府一己之力，難以實施如此龐大的“棱鏡”計劃。在此背景下，我國政府也應(yīng)順應(yīng)時代發(fā)展趨勢，契合推進國家治理能力現(xiàn)代化的時代要求，充分利用大數(shù)據(jù)提升國家治理能力。其次是為推動政府治理決策精細(xì)化和科學(xué)化帶來機遇。隨著我國信息化技術(shù)應(yīng)用不斷擴展，國家及企業(yè)層面產(chǎn)生了巨量大數(shù)據(jù)，但總體集成、掌握、整合、分析這些數(shù)據(jù)需要成熟的技術(shù)投入，目前如何利用大數(shù)據(jù)進行精細(xì)分析仍處于摸索階段。在大數(shù)據(jù)時代，許多學(xué)科表面上研究的方向大不相同，但從數(shù)據(jù)的視角看，其實是相通的。而當(dāng)科學(xué)家們改弦易張，計算每一個詞，每一句話的“合理概率”時，復(fù)雜的機器翻譯就簡化成了文字的概率計算。通過建立大數(shù)據(jù)實驗室，搭建產(chǎn)業(yè)界和學(xué)術(shù)界的橋梁，為學(xué)術(shù)界優(yōu)秀的算法提供演練的舞臺，為產(chǎn)業(yè)界困擾的難題提供破解的機會。譬如樂視網(wǎng)，已經(jīng)涉及電視銷售，電影拍攝；小米公司除手機銷售外，也開始涉及電視銷售；百度、360等企業(yè)也都開始做各種硬件，如百度影棒，360隨身WiFi等。所以，以大數(shù)據(jù)的視角來看，任何產(chǎn)業(yè)中，數(shù)據(jù)資產(chǎn)都將成為最核心的競爭力！傳統(tǒng)產(chǎn)業(yè)、各行各業(yè)，都面臨在大數(shù)據(jù)和移動互聯(lián)網(wǎng)時代如何徹底轉(zhuǎn)型和再造的問題。這種“星空格局”將呈現(xiàn)眾星拱月的景象。而另外有些公司,直接向公司最高管理層匯報的團隊有多達(dá)數(shù)十個。但是一旦發(fā)現(xiàn)機會，就驚世核俗，成為產(chǎn)業(yè)的新標(biāo)桿。一是因為幾乎所有傳統(tǒng)產(chǎn)業(yè)都在互聯(lián)網(wǎng)化，二是因為傳統(tǒng)產(chǎn)業(yè)仍然占據(jù)了國家 GDP 的絕大部分份額。大數(shù)據(jù)已經(jīng)成為基金經(jīng)理切入企業(yè)發(fā)展前景與價值評估的絕好視角和新型工具。（美國政府?dāng)?shù)據(jù)庫）宣布采用新“開源政府平臺”管理數(shù)據(jù)，代碼將向各國開發(fā)者開放。2013年1月，英國商業(yè)、創(chuàng)新和技能部宣布，將注資6億英鎊發(fā)展8類高新技術(shù)，將近三成。為了扭轉(zhuǎn)這一現(xiàn)狀，日本政府決定通過大力發(fā)展IT產(chǎn)業(yè)，特別是大數(shù)據(jù)及開發(fā)數(shù)據(jù)和云計算，以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT國家戰(zhàn)略，要把日本建設(shè)成為一個具有“世界最高水準(zhǔn)的廣泛運用信息產(chǎn)業(yè)技術(shù)的社會”，并且將其發(fā)展成就擴展到國際范圍內(nèi)。 2013年2月，法國政府發(fā)布《數(shù)字化路線圖》，列出5項將會大力支持的戰(zhàn)略性高新技術(shù)，其中一項就是大數(shù)據(jù)。在數(shù)據(jù)開放方面，印度效仿美國政府的做法，把政府收集的所有非涉密數(shù)據(jù)集中起來，包括全國的人口、經(jīng)濟和社會信息。NTTDoCoMo通過制作精細(xì)化表格，收集用戶詳細(xì)信息，大大加強了CRM系統(tǒng)和知識庫，準(zhǔn)確定位目標(biāo)客戶，提高了業(yè)務(wù)辦理的成功性。DynamicInsights與市場研究機構(gòu)Gfk進行合作，在英國、巴西推出了首款產(chǎn)品名為智慧足跡(SmartSteps)。在農(nóng)業(yè)方面，美國氣候公司(The Climate Corporation)是一家天氣保險公司，他們制作保單來彌補聯(lián)邦農(nóng)作物保險和因氣候造成的農(nóng)民損失之間的差額。 我國大數(shù)據(jù)發(fā)展動態(tài)216。這是工信部對大數(shù)據(jù)所做的一些安排。216。最新動態(tài)是，百度網(wǎng)盟利用基于大數(shù)據(jù)的CTR（廣告內(nèi)容匹配）數(shù)據(jù)，站長的平均收入提升70％。京東在無線領(lǐng)域也正進行著深層次的探索。產(chǎn)業(yè)園區(qū)作為產(chǎn)業(yè)集群的重要載體和組成部分，其經(jīng)濟效應(yīng)已引起越來越多人關(guān)注。除此之外，園區(qū)的生產(chǎn)生活配套設(shè)施，如住宿、餐飲、商業(yè)區(qū)等，不僅可以滿足園區(qū)內(nèi)工作人員的個人需求問題，還可以為地區(qū)和其他服務(wù)型企業(yè)帶來巨大的經(jīng)濟利益。 大數(shù)據(jù)相關(guān)社區(qū)2014年已經(jīng)迎來了大數(shù)據(jù)發(fā)展的黃金成長期，大數(shù)據(jù)以“降低信息不對稱和提高決策有效性”為目標(biāo)，幾乎能應(yīng)用于包括金融、互聯(lián)網(wǎng)、醫(yī)學(xué)、生物、教育在內(nèi)的所有行業(yè)。英國在2010年開設(shè)的數(shù)據(jù)開放門戶網(wǎng)站（）上，政府規(guī)定各部委需公開重要公共數(shù)據(jù)，政府財政支出、犯罪高發(fā)區(qū)域、市政工程施工等與市民生活密切相關(guān)的信息需優(yōu)先公開共開放了13670個公開的數(shù)據(jù)集以及4170個非公開的數(shù)據(jù)集。截至2014年2月10日，全球已有63個國家加入開放政府合作伙伴。該網(wǎng)站已經(jīng)整合了北京市35個政府部門的信息，為社會提供了土地使用、教育、旅游、交通、文化、醫(yī)療等269類、多達(dá)36萬條的原始數(shù)據(jù)資源。該平臺收錄對象先由網(wǎng)站自行申請或公眾推薦（含合作伙伴等），然后由中網(wǎng)按照“可信網(wǎng)站”驗證審核規(guī)則或流程對商家或網(wǎng)站的身份信息完成交互審核后予以收錄。通過該社區(qū)將大數(shù)據(jù)各應(yīng)用領(lǐng)域的業(yè)務(wù)專家、數(shù)據(jù)分析專家、IT專家以及這些領(lǐng)域的從業(yè)人員匯聚起來，為大家提供大數(shù)據(jù)技術(shù)及應(yīng)用討論、培訓(xùn)的平臺。其主要任務(wù)是組織大數(shù)據(jù)發(fā)展重點問題研討會并提出有關(guān)建議；開展大數(shù)據(jù)相關(guān)理論、方法、實踐課題的研究；為企業(yè)的大數(shù)據(jù)研發(fā)提供咨詢服務(wù)；促進產(chǎn)業(yè)間的資源共享與合作?！皵?shù)據(jù)中心聯(lián)盟”（Data Center Alliance）是由工信部通信發(fā)展司的指導(dǎo)，部電信研究院聯(lián)合國內(nèi)三家基礎(chǔ)電信運營商、十余家主要互聯(lián)網(wǎng)企業(yè)、國內(nèi)主要硬件制造企業(yè)以及若干科研單位和組織