【正文】 移動應(yīng)用是搶占用戶移動終端桌面的主力軍，是用戶獲取信息、休閑娛樂的。從數(shù)據(jù)的屬性上來講，移動互聯(lián)網(wǎng)上的數(shù)據(jù)比傳統(tǒng)互聯(lián)網(wǎng)更加復(fù)雜，其中一個原因就是這些數(shù)據(jù)包含了大量時間和空間的信息，需要把數(shù)據(jù)挖掘延伸到時空數(shù)據(jù)挖掘的領(lǐng)域。移動互聯(lián)網(wǎng)需要統(tǒng)計很多互聯(lián)網(wǎng)網(wǎng)頁分析所沒有的數(shù)據(jù)，例如設(shè)備型號、應(yīng)用版本、推廣渠道、甚至位置信息，同時還有很多開發(fā)者自定義的事件。移動互聯(lián)網(wǎng)上能獲取的最重要的信息就是用戶的地理位置，通過地理位置信息與服務(wù)數(shù)據(jù)的結(jié)合，能夠更加精確的分析用戶行為，實現(xiàn)用戶描述精準化。用戶在移動終端上的所有行為是具有一定延續(xù)性的，這使得用戶檔案（Profile）的建立成為可能。隨著各種移動設(shè)備、物聯(lián)網(wǎng)和云存儲等技術(shù)的發(fā)展，人和物的所有軌跡都可以被記錄。而因為這三點，導(dǎo)致移動互聯(lián)網(wǎng)上的數(shù)據(jù)數(shù)量會比傳統(tǒng)互聯(lián)網(wǎng)更大，形式也比傳統(tǒng)互聯(lián)網(wǎng)更加豐富，從而也有更高的價值。以用戶為中心，就能夠方便地把屬于一個用戶的散亂在不同應(yīng)用里的信息整合起來進行分析?；ヂ?lián)網(wǎng)時代，內(nèi)容的組織不以用戶為中心，所以主要商業(yè)模式是廣告，跟內(nèi)容相關(guān)而不是跟用戶相關(guān)。一個移動設(shè)備對應(yīng)一個用戶，包含位置、聯(lián)系人、瀏覽內(nèi)容等等所有信息。移動互聯(lián)網(wǎng)具有互聯(lián)網(wǎng)的傳統(tǒng)特征，但也有其自身的固有特征，特別是和時間信息想對應(yīng)的地理位置信息是其獨有的數(shù)據(jù)特征。截至2014年 6月， 億，網(wǎng)民中使用手機上網(wǎng)的人群占比進一步提升，%%，首次超越傳統(tǒng)PC網(wǎng)民規(guī)模。對社交網(wǎng)絡(luò)大數(shù)據(jù)的分析和挖掘仍需要解決以下重要問題：（1）由于微博、博客等數(shù)據(jù)源自多個服務(wù)提供商，具有不同的屬性和不同的表達方式，是典型的多源異構(gòu)數(shù)據(jù)，需要使用基于語義模型的表示方法，實現(xiàn)對社交網(wǎng)絡(luò)數(shù)據(jù)的有效表示和理解；（2）對社會事件、流行病等相關(guān)內(nèi)容、信息和數(shù)據(jù)，實時性要求非常強，需要強有力的流式處理、增量處理等技術(shù)手段提供支撐，并且需要建立快速反饋機制。社交網(wǎng)絡(luò)將人們的互聯(lián)網(wǎng)生活和虛擬生活融合在一起，人們在社交網(wǎng)絡(luò)上形成了各種社區(qū)，產(chǎn)生了大量各種領(lǐng)域相關(guān)的內(nèi)容。在進行大數(shù)據(jù)分析計算影響力的時候，需要將相應(yīng)的數(shù)據(jù)考慮進來，對社交網(wǎng)絡(luò)節(jié)點的影響力進行量化就是影響力分析要解決的問題。利用大數(shù)據(jù)技術(shù)收集和分析社交網(wǎng)絡(luò)上傳播數(shù)據(jù)內(nèi)容，分析其背后隱含的意義，能夠?qū)μ囟ǖ氖录M行預(yù)測。另一方面，社交網(wǎng)絡(luò)上的用戶產(chǎn)生的大量內(nèi)容往往隱含著大量隱含的信息，對這些信息進行綜合處理以后往往會得到非常有價值的信息，比如對熱點事件的預(yù)測/預(yù)警。在當前這個社交網(wǎng)絡(luò)高度發(fā)達的時代，公眾對于很多問題都有發(fā)言的欲望，加之社交網(wǎng)絡(luò)傳上信息傳播的快速性和不可控性，輿情分析對于政府，商業(yè)實體和公眾人物都有著重要的意義。對微博等社交網(wǎng)絡(luò)信息空間大數(shù)據(jù)的挖掘能夠及時反映經(jīng)濟社會動態(tài)與情緒，預(yù)警重大、突發(fā)和敏感事件（如流行疾病爆發(fā)、群體異常行為等），協(xié)助提高社會公共服務(wù)的應(yīng)對能力，對維護國家安全和社會穩(wěn)定具有重大意義。無論是即時通信、社交網(wǎng)站、微博還是博客，都是網(wǎng)民交流的平臺，每天產(chǎn)生大量的數(shù)據(jù)。社交網(wǎng)絡(luò)之所以吸引人，是因為其用戶產(chǎn)生了大量有價值的用戶數(shù)據(jù)（UGC,User Generated Content），而且這些數(shù)據(jù)能和一個個活生生的人對應(yīng)起來。與此同時，社交網(wǎng)站使用率則持續(xù)下滑，前景不容樂觀。 大數(shù)據(jù)應(yīng)用于互聯(lián)網(wǎng)交流溝通隨著國外社交網(wǎng)站Facebook，Twitter，LinkedIn等的發(fā)展以及國內(nèi)的微博、微信等社交工具的不斷壯大，基于社交網(wǎng)絡(luò)的各種互聯(lián)網(wǎng)交流溝通類應(yīng)用不斷演進和發(fā)展。改造大數(shù)據(jù)系統(tǒng)的途徑有很多，例如，進一步增加系統(tǒng)中節(jié)點的數(shù)量、充分利用CPU的多核能力、利用顯卡的運算能力，甚至直接使用FPGA執(zhí)行定制化的處理算法等。為了進一步提高搜索效果，搜索引擎越來越多地引入自然語言處理和知識庫技術(shù)。為了處理如此巨量的數(shù)據(jù)，MapReduce、Hadoop等大規(guī)模數(shù)據(jù)處理系統(tǒng)應(yīng)運而生，利用這些系統(tǒng)，搜索引擎公司就能高效地計算網(wǎng)頁的各項特征，為索引數(shù)十億計的網(wǎng)頁打下基礎(chǔ)。抓取并索引的網(wǎng)頁數(shù)量就是衡量搜索引擎質(zhì)量的重要因素之一。為了達到這一目的，首先需要理解這些查詢問題，同時要了解問題所對應(yīng)的答案，答案需要從海量垂直網(wǎng)站或者用戶搜索詞中挖掘。為了克服傳統(tǒng)搜索引擎的弊端，人們正嘗試探索更高效、更人性化的搜索引擎技術(shù)，如直接搜索或知識圖譜搜索、直接提問或輸入關(guān)鍵詞，然后系統(tǒng)直接提供答案，而不是包含答案信息的鏈接或相關(guān)文檔；系統(tǒng)自動完成答案抽取，幫助用戶快速定位所需信息，直接給出答案，從而可節(jié)省用戶閱讀大量網(wǎng)頁或文檔的時間。搜索引擎的誕生，從一定程度上滿足了用戶在海量互聯(lián)網(wǎng)數(shù)據(jù)中查找信息的需求，但還存在很大的可優(yōu)化空間。搜索引擎天生就是一個大數(shù)據(jù)系統(tǒng)，互聯(lián)網(wǎng)產(chǎn)生了海量數(shù)據(jù)，如何從中找到需要的信息就是一個大數(shù)據(jù)的命題。2014年上半年，搜索引擎創(chuàng)新技術(shù)的實際應(yīng)用取得了一定進展，企業(yè)基于“語義搜索”與“知識圖譜”技術(shù)，整合社交、視頻、旅游、軟件應(yīng)用下載等多類信息，開發(fā)上線新的搜索產(chǎn)品。需要根據(jù)應(yīng)用場景制定大數(shù)據(jù)處理原則，通過合適地技術(shù)選型，構(gòu)建系統(tǒng)并且完成評估。（3）冷啟動問題：這一類問題沒有一個固定的解決方案，需要針對不同的應(yīng)用場景提出不同思路。（2）數(shù)據(jù)規(guī)模問題：在很多應(yīng)用場景中，有千萬級的用戶和百萬級別的物品，用戶/物品關(guān)聯(lián)矩陣達到百億甚至十萬億的規(guī)模。大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)商務(wù)交易領(lǐng)域應(yīng)用十分廣泛，在智能推薦系統(tǒng)等重要應(yīng)用中起著至關(guān)重要的作用。協(xié)同過濾類推薦方法的適用性較廣，更傾向于推薦比較流行的物品，較難實現(xiàn)推薦的多樣性?；趦?nèi)容的方法，實現(xiàn)簡單直接，適合處理冷啟動問題。大數(shù)據(jù)技術(shù)在智能推薦系統(tǒng)等相關(guān)商務(wù)交易類互聯(lián)網(wǎng)應(yīng)用中以不同的形式發(fā)揮作用，按照其所基于的數(shù)據(jù)類型可以分為三大類，分別是基于內(nèi)容的方法，基于協(xié)同過濾的方法，和組合方法。跟廣告系統(tǒng)相比，計算廣告目標是直接提高收益，而推薦系統(tǒng)在滿足用戶體驗的基礎(chǔ)上，間接創(chuàng)造價值。對比搜索系統(tǒng)，當用戶需求明確的時候，則進行搜索。智能推薦系統(tǒng)是商務(wù)交易類互聯(lián)網(wǎng)應(yīng)用中典型的大數(shù)據(jù)應(yīng)用實例，其目標是通過發(fā)掘用戶行為，找到用戶的個性化需求，幫助用戶發(fā)現(xiàn)那些感興趣但很難發(fā)現(xiàn)的信息。雖然絕大部分的商品不熱門，甚至都得不到曝光的機會，但他們的數(shù)量極其龐大，因此這些長尾商品的總銷售額將是一個不容忽視的數(shù)字。比如在淘寶網(wǎng)上，每天在線的貨品超過了8億件。大數(shù)據(jù)時代，隨著人們的生活全面向互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)轉(zhuǎn)移，隨之而來的是信息過載（information overload）的問題，大量信息位于所謂的長尾區(qū)域。與此同時，用戶提出了越來越強的信息過濾和個性化的需求。網(wǎng)絡(luò)購物用戶規(guī)模增長除了得益于商務(wù)部政策、新《消費者權(quán)益保護法》等對于電子商務(wù)市場的規(guī)范活動之外，很大程度上得益于電商平臺服務(wù)提升，其中重點包括企業(yè)基于大數(shù)據(jù)應(yīng)用推出 C2B定制化創(chuàng)新模式，更好的匹配了用戶個性化需求，實現(xiàn)精準銷售。以下就大數(shù)據(jù)技術(shù)與互聯(lián)網(wǎng)應(yīng)用相結(jié)合的典型場景進行深入介紹。又如，移動互聯(lián)網(wǎng)的快速發(fā)展使數(shù)據(jù)本身發(fā)生了變化，也使大數(shù)據(jù)技術(shù)的應(yīng)用面臨新的機遇和挑戰(zhàn)。各應(yīng)用領(lǐng)域分別包括不同的應(yīng)用場景，其中絕大多數(shù)互聯(lián)網(wǎng)應(yīng)用涉及大數(shù)據(jù)相關(guān)技術(shù)?；ヂ?lián)網(wǎng)應(yīng)用的多樣性導(dǎo)致其涉及的大數(shù)據(jù)內(nèi)容呈現(xiàn)不同的特點，針對不同需求研究和采用適宜的大數(shù)據(jù)技術(shù)能夠獲得更好的互聯(lián)網(wǎng)應(yīng)用和服務(wù)，提升用戶體驗，從而帶動互聯(lián)網(wǎng)整體發(fā)展。第二章 大數(shù)據(jù)典型應(yīng)用 互聯(lián)網(wǎng)大數(shù)據(jù) 互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用現(xiàn)狀隨著互聯(lián)網(wǎng)普及率的不斷提升以及移動互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)應(yīng)用的發(fā)展趨勢也在不斷發(fā)生轉(zhuǎn)變，互聯(lián)網(wǎng)發(fā)展重心從“廣泛” 轉(zhuǎn)向“深入”，網(wǎng)絡(luò)應(yīng)用對大眾生活的改變從點到面，互聯(lián)網(wǎng)對網(wǎng)民生活全方位滲透程度進一步增加。開放數(shù)據(jù)流通促進聯(lián)盟于2012年7月成立，聯(lián)盟由51個企業(yè)、團體和6個地方政府共同組建，旨在通過產(chǎn)學(xué)官合作推進公共數(shù)據(jù)的有效利用。促進我國信息化水平的不斷創(chuàng)新和提高。中國數(shù)據(jù)管理協(xié)會（DAMA China）是國際數(shù)據(jù)管理協(xié)會（DAMA International，成立于1988年）的中國分會，DAMA是非盈利、廠商中立的行業(yè)協(xié)會。 中國法律大數(shù)據(jù)聯(lián)盟于2014年11月18日在北京成立，法律大數(shù)據(jù)聯(lián)盟將聯(lián)合包括大數(shù)據(jù)、云計算、移動互聯(lián)網(wǎng)等各領(lǐng)域的專家資源和學(xué)術(shù)優(yōu)勢，為法律大數(shù)據(jù)的深入研究和應(yīng)用提供前沿的理論支撐，更好地發(fā)揮法律大數(shù)據(jù)和法律云在國家治理、國土安全和網(wǎng)絡(luò)空間安全以及在經(jīng)濟和社會發(fā)展中的重要作用。這樣的交流平臺和機制為業(yè)界提供了技術(shù)支持，有力地推動了國內(nèi)大數(shù)據(jù)的發(fā)展，為我國信息產(chǎn)業(yè)和服務(wù)的發(fā)展提供了強大的動力。聯(lián)盟的主要工作是為了推動數(shù)據(jù)中心、云計算和大數(shù)據(jù)的技術(shù)和業(yè)務(wù)研究，掌握國內(nèi)國際數(shù)據(jù)中心行業(yè)動態(tài)，為政府和企業(yè)制定發(fā)展戰(zhàn)略提供依據(jù)；建設(shè)數(shù)據(jù)中心和云計算的信息服務(wù)平臺，提供行業(yè)、市場等公共信息服務(wù)等。 目前聯(lián)盟共有會員單位71家?！皵?shù)據(jù)中心聯(lián)盟”（Data Center Alliance）是由工信部通信發(fā)展司的指導(dǎo)，部電信研究院聯(lián)合國內(nèi)三家基礎(chǔ)電信運營商、十余家主要互聯(lián)網(wǎng)企業(yè)、國內(nèi)主要硬件制造企業(yè)以及若干科研單位和組織等單位共同發(fā)起組建的。中國大數(shù)據(jù)和智慧城市研究院隸屬于國家工業(yè)和信息化部中國電子商務(wù)協(xié)會，是國家工商總局和國家發(fā)改委信息中心共建共管單位。中國國際經(jīng)貿(mào)大數(shù)據(jù)研究中心于2012年12月8日成立。中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟是在中關(guān)村管委會的直接領(lǐng)導(dǎo)和支持下，成立于2012年12月13日。其主要任務(wù)是組織大數(shù)據(jù)發(fā)展重點問題研討會并提出有關(guān)建議；開展大數(shù)據(jù)相關(guān)理論、方法、實踐課題的研究；為企業(yè)的大數(shù)據(jù)研發(fā)提供咨詢服務(wù)；促進產(chǎn)業(yè)間的資源共享與合作。大數(shù)據(jù)專家委員會下設(shè)有五個工作組，分別負責(zé)專家委員會的會議組織（學(xué)術(shù)會議、技術(shù)會議）、學(xué)術(shù)交流、產(chǎn)學(xué)研用合作、開源社區(qū)與大數(shù)據(jù)共享聯(lián)盟以及戰(zhàn)略材料的編寫工作。此后，業(yè)界對大數(shù)據(jù)日趨關(guān)注，中國大數(shù)據(jù)行業(yè)協(xié)會紛紛成立，中國通信協(xié)會、中國電子協(xié)會等也成立了大數(shù)據(jù)專家委員會，各界人士共同推動我國大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)的發(fā)展。 我國大數(shù)據(jù)行業(yè)協(xié)會IT技術(shù)的迅速發(fā)展使爆炸增長的數(shù)據(jù)成了各行各業(yè)共同面對的問題。通過該社區(qū)將大數(shù)據(jù)各應(yīng)用領(lǐng)域的業(yè)務(wù)專家、數(shù)據(jù)分析專家、IT專家以及這些領(lǐng)域的從業(yè)人員匯聚起來，為大家提供大數(shù)據(jù)技術(shù)及應(yīng)用討論、培訓(xùn)的平臺。（2）大數(shù)據(jù)商業(yè)平臺2014年1月22日，“老板加油站 ”—匯聚大數(shù)據(jù)共享中心成立，該組織將從傳統(tǒng)行業(yè)到新興產(chǎn)業(yè)，從工業(yè)、商業(yè)到多元化產(chǎn)業(yè)，涵蓋地產(chǎn)、商貿(mào)、金融、物流、生產(chǎn)制造、餐飲旅游等行業(yè)領(lǐng)域龐大的客戶群體匯聚一堂，尋找大商機，將海量數(shù)據(jù)資源進行整合，共謀發(fā)展大事，構(gòu)建社會正能量。該系統(tǒng)底層采用眾包模式進行數(shù)據(jù)獲取，數(shù)據(jù)采集具有廣泛性、時效性和精準性的特點。百度開放研究社區(qū) 提供了100G的百度真實的數(shù)據(jù)集以及由250臺服務(wù)器組成的開放研究云平臺，并利用網(wǎng)絡(luò)社區(qū)沒有地域限制、自由、靈活、快捷等特點，為科研人員提供一個互動交流的平臺，讓技術(shù)溝通和海量的數(shù)據(jù)分析變得簡潔而高效。該平臺收錄對象先由網(wǎng)站自行申請或公眾推薦（含合作伙伴等），然后由中網(wǎng)按照“可信網(wǎng)站”驗證審核規(guī)則或流程對商家或網(wǎng)站的身份信息完成交互審核后予以收錄。站長通過結(jié)構(gòu)化優(yōu)質(zhì)數(shù)據(jù)，獲得百度搜索結(jié)果頁“即搜即得”的搜索展現(xiàn)。其中有以推動數(shù)據(jù)開放為目的的數(shù)據(jù)開放平臺；也有為推動大數(shù)據(jù)技術(shù)進步而成立的大數(shù)據(jù)技術(shù)社區(qū)；也有為推動大數(shù)據(jù)的商業(yè)化應(yīng)用而成立的大數(shù)據(jù)平臺。中國香港均依托原有網(wǎng)站，通過進一步增強網(wǎng)站服務(wù)功能或者增設(shè)網(wǎng)站欄目的辦法，實現(xiàn)政府數(shù)據(jù)的開放。該網(wǎng)站已經(jīng)整合了北京市35個政府部門的信息，為社會提供了土地使用、教育、旅游、交通、文化、醫(yī)療等269類、多達36萬條的原始數(shù)據(jù)資源。北京市政務(wù)數(shù)據(jù)資源網(wǎng)通過原始數(shù)據(jù)（WPS、CSV）下載、帶有地理坐標信息的空間數(shù)據(jù)（SHAPE）下載和在線調(diào)用API三種形式提供數(shù)據(jù)開放共享服務(wù)。 中國大數(shù)據(jù)相關(guān)社區(qū)中國政府同樣也在做著開放、共享數(shù)據(jù)的努力，建立了類似英美政府的國家數(shù)據(jù)公開網(wǎng)站——國家數(shù)據(jù)網(wǎng)（）。2012年7月日本非盈利性機構(gòu)Open Knowledge Foundation（OKF）誕生，旨在促進公共數(shù)據(jù)的有效利用，其開發(fā)的開源軟件CKAN對于構(gòu)筑地方政府的公共數(shù)據(jù)門戶網(wǎng)站起到重要支撐作用。截至2014年2月10日，全球已有63個國家加入開放政府合作伙伴。該網(wǎng)站可以把政府收集的所有非涉密數(shù)據(jù)集中在一起，包括全國的人口、經(jīng)濟和社會信息。這些數(shù)據(jù)可以為企業(yè)和個人訪問，發(fā)現(xiàn)機遇為這些人提供服務(wù)。2011年歐盟設(shè)立公共數(shù)據(jù)網(wǎng)站，提出了《歐盟開放數(shù)據(jù)戰(zhàn)略》。英國在2010年開設(shè)的數(shù)據(jù)開放門戶網(wǎng)站（）上，政府規(guī)定各部委需公開重要公共數(shù)據(jù)，政府財政支出、犯罪高發(fā)區(qū)域、市政工程施工等與市民生活密切相關(guān)的信息需優(yōu)先公開共開放了13670個公開的數(shù)據(jù)集以及4170個非公開的數(shù)據(jù)集。 世界大數(shù)據(jù)相關(guān)社區(qū)美國在2009年設(shè)立“”門戶網(wǎng)站，將政府和主要州、城市等持有的公共數(shù)據(jù)對外公開。為了推動數(shù)據(jù)開放和共享，世界各國都在不斷尋找新的突破口以推動大數(shù)據(jù)開放和共享。但是，數(shù)據(jù)孤島現(xiàn)象卻制約著大數(shù)據(jù)的發(fā)展，各個組織之間的數(shù)據(jù)封閉，甚至同一個組織之間各個部門之間的數(shù)據(jù)也不開放，這些嚴重制約著大數(shù)據(jù)的發(fā)展。 大數(shù)據(jù)相關(guān)社區(qū)2014年已經(jīng)迎來了大數(shù)據(jù)發(fā)展的黃金成長期，大數(shù)據(jù)以“降低信息不對稱和提高決策有效性”為目標，幾乎能應(yīng)用于包括金融、互聯(lián)網(wǎng)、醫(yī)學(xué)、生物、教育在內(nèi)的所有行業(yè)。從政策環(huán)境上看，我國尚未出臺完善的信息數(shù)據(jù)相關(guān)的法律法規(guī)，對隱私的方面的問題沒有明確可執(zhí)行的規(guī)章制度。 國內(nèi)外大數(shù)據(jù)發(fā)展對比分析我國大數(shù)據(jù)產(chǎn)業(yè)起步較晚，同時由于互聯(lián)網(wǎng)技術(shù)也有所滯后，使得我國的大數(shù)據(jù)發(fā)展較領(lǐng)先國家還尚有一段距離?？傊?，通過建立大數(shù)據(jù)產(chǎn)業(yè)園，能夠更有效地組織和使用大數(shù)據(jù)，人類也將得到更多的機會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。除此之外，園區(qū)的生產(chǎn)生活配套設(shè)施，如住宿、餐飲、商業(yè)區(qū)等，不僅可以滿足園區(qū)內(nèi)工作人員的個人需求問題，還可以為地區(qū)和其他服務(wù)型企業(yè)帶來巨大的經(jīng)濟利益。另外，隨著國家對大數(shù)據(jù)等新興技術(shù)產(chǎn)業(yè)的重視，建立大數(shù)據(jù)產(chǎn)業(yè)園的地區(qū)將領(lǐng)先于國家的發(fā)展規(guī)劃之前，提升本地區(qū)的知名度，并且可以借此吸引更多高新技術(shù)企業(yè)的投資。主要體現(xiàn)在：（1） 提升企業(yè)效益:大數(shù)據(jù)產(chǎn)業(yè)園的建立會迅速聚集大數(shù)據(jù)企業(yè)發(fā)展所需要的多種資源，可以吸引眾多互補型企業(yè)、產(chǎn)業(yè)鏈上下游企業(yè)等，為企業(yè)