【正文】 經(jīng)公開的公共數(shù)據(jù)，需建立可二次利用的機制和許可體系，盡快建立可自由使用的公共數(shù)據(jù)環(huán)境。第二章 大數(shù)據(jù)典型應用 互聯(lián)網(wǎng)大數(shù)據(jù) 互聯(lián)網(wǎng)大數(shù)據(jù)應用現(xiàn)狀隨著互聯(lián)網(wǎng)普及率的不斷提升以及移動互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)應用的發(fā)展趨勢也在不斷發(fā)生轉變，互聯(lián)網(wǎng)發(fā)展重心從“廣泛” 轉向“深入”，網(wǎng)絡應用對大眾生活的改變從點到面，互聯(lián)網(wǎng)對網(wǎng)民生活全方位滲透程度進一步增加?；ヂ?lián)網(wǎng)應用的深入產(chǎn)生了海量的應用大數(shù)據(jù)，大數(shù)據(jù)是互聯(lián)網(wǎng)的重要資源，也是互聯(lián)網(wǎng)商業(yè)模式中核心價值點所在，因此，大數(shù)據(jù)理論和技術在互聯(lián)網(wǎng)應用中起到至關重要的作用?；ヂ?lián)網(wǎng)應用的多樣性導致其涉及的大數(shù)據(jù)內容呈現(xiàn)不同的特點，針對不同需求研究和采用適宜的大數(shù)據(jù)技術能夠獲得更好的互聯(lián)網(wǎng)應用和服務，提升用戶體驗，從而帶動互聯(lián)網(wǎng)整體發(fā)展。根據(jù)中國互聯(lián)網(wǎng)絡信息中心2014年7月發(fā)布的最新一期《中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》，互聯(lián)網(wǎng)應用主要分為四類：商務交易類應用；信息獲取類應用；交流溝通類應用；網(wǎng)絡娛樂類應用。各應用領域分別包括不同的應用場景，其中絕大多數(shù)互聯(lián)網(wǎng)應用涉及大數(shù)據(jù)相關技術。特定互聯(lián)網(wǎng)應用具有其固有特點，例如增長率較高的支付相關商務交易類應用，要求大數(shù)據(jù)技術在其中有針對性的發(fā)展。又如，移動互聯(lián)網(wǎng)的快速發(fā)展使數(shù)據(jù)本身發(fā)生了變化，也使大數(shù)據(jù)技術的應用面臨新的機遇和挑戰(zhàn)。通過深入分析互聯(lián)網(wǎng)應用的特點，不斷改進和完善大數(shù)據(jù)技術，使其與互聯(lián)網(wǎng)應用更加緊密的結合，能夠讓數(shù)據(jù)本身為互聯(lián)網(wǎng)應用帶來更高的附加價值。以下就大數(shù)據(jù)技術與互聯(lián)網(wǎng)應用相結合的典型場景進行深入介紹。 大數(shù)據(jù)應用于互聯(lián)網(wǎng)商務交易截至2014年6月，網(wǎng)上支付是用戶規(guī)模增長速度最快的商務類應用。網(wǎng)絡購物用戶規(guī)模增長除了得益于商務部政策、新《消費者權益保護法》等對于電子商務市場的規(guī)范活動之外，很大程度上得益于電商平臺服務提升，其中重點包括企業(yè)基于大數(shù)據(jù)應用推出 C2B定制化創(chuàng)新模式，更好的匹配了用戶個性化需求，實現(xiàn)精準銷售。在互聯(lián)網(wǎng)時代，由于用戶群體龐大，當前電子商務平臺必須面對海量的應用大數(shù)據(jù)。與此同時，用戶提出了越來越強的信息過濾和個性化的需求。匹配用戶個性化需求，實現(xiàn)精準銷售，需要借助大數(shù)據(jù)技術在海量數(shù)據(jù)中抽取精準信息，其中首要的是充分分析數(shù)據(jù)特征。大數(shù)據(jù)時代，隨著人們的生活全面向互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)轉移，隨之而來的是信息過載（information overload）的問題，大量信息位于所謂的長尾區(qū)域。從電子商務的角度來看，由于貨架成本及其低廉，因而商品總數(shù)很大。比如在淘寶網(wǎng)上，每天在線的貨品超過了8億件。傳統(tǒng)上的2/8原則（即80%的銷售來自于20%的熱門商品）收到了挑戰(zhàn)。雖然絕大部分的商品不熱門，甚至都得不到曝光的機會，但他們的數(shù)量極其龐大，因此這些長尾商品的總銷售額將是一個不容忽視的數(shù)字。從用戶需求來說，這部分具有特異性的商品往往對應他們的個性化需求。智能推薦系統(tǒng)是商務交易類互聯(lián)網(wǎng)應用中典型的大數(shù)據(jù)應用實例，其目標是通過發(fā)掘用戶行為，找到用戶的個性化需求，幫助用戶發(fā)現(xiàn)那些感興趣但很難發(fā)現(xiàn)的信息。它以大數(shù)據(jù)為基礎，應用個性化技術，幫助用戶從海量信息中曬取所需的信息。對比搜索系統(tǒng)，當用戶需求明確的時候，則進行搜索。當用戶需求不明確的時候，則需要推薦。跟廣告系統(tǒng)相比，計算廣告目標是直接提高收益，而推薦系統(tǒng)在滿足用戶體驗的基礎上，間接創(chuàng)造價值。推薦系統(tǒng)能夠應用到的場景主要有三個：第一個是根據(jù)物品推薦物品，典型的例子是在電商網(wǎng)站上推薦已購買過的商品；第二個場景是為用戶推薦物品，最典型的是個性化郵件過濾和基于瀏覽歷史的推薦；第三個場景是為用戶推薦用戶，像社交網(wǎng)站上的好友推薦和電商網(wǎng)站上的跟您相似的顧客等都屬于此類。大數(shù)據(jù)技術在智能推薦系統(tǒng)等相關商務交易類互聯(lián)網(wǎng)應用中以不同的形式發(fā)揮作用，按照其所基于的數(shù)據(jù)類型可以分為三大類，分別是基于內容的方法，基于協(xié)同過濾的方法，和組合方法。一、基于內容的方法處理對象包括用戶的內容和物品的內容，通過對于數(shù)據(jù)的特征化表述以及歷史上用戶是否選擇了某個物品的數(shù)據(jù)收集，把推薦問題轉化為分類問題。基于內容的方法，實現(xiàn)簡單直接，適合處理冷啟動問題。二、基于協(xié)同過濾的方法是基于用戶行為分析的推薦算法，指用戶可以協(xié)作，通過不斷地和網(wǎng)站互動，使自己的推薦列表能夠不斷過濾掉自己不感興趣的物品，從而越來越滿足自己的需求。協(xié)同過濾類推薦方法的適用性較廣，更傾向于推薦比較流行的物品，較難實現(xiàn)推薦的多樣性。三、組合方法是指同時實現(xiàn)兩個或者多個不同的方法并組合最終結果。大數(shù)據(jù)技術在互聯(lián)網(wǎng)商務交易領域應用十分廣泛，在智能推薦系統(tǒng)等重要應用中起著至關重要的作用。但是必須指出的是，互聯(lián)網(wǎng)商務交易中大數(shù)據(jù)處理仍然存在一定的挑戰(zhàn)，主要體現(xiàn)在以下幾個方面：（1）數(shù)據(jù)稀疏性問題：由于互聯(lián)網(wǎng)應用中有效數(shù)據(jù)所占比例較低，因此在極端不均衡數(shù)據(jù)上，會出現(xiàn)參數(shù)抖動嚴重等情況。（2）數(shù)據(jù)規(guī)模問題：在很多應用場景中，有千萬級的用戶和百萬級別的物品，用戶/物品關聯(lián)矩陣達到百億甚至十萬億的規(guī)模。對于大數(shù)據(jù)存儲、處理和計算是很大的挑戰(zhàn)。（3）冷啟動問題：這一類問題沒有一個固定的解決方案，需要針對不同的應用場景提出不同思路。（4）評估的多標準問題：數(shù)據(jù)評估標準有很多，包括精準性、覆蓋率等定量的指標和實效性、健壯性等只能定性衡量的指標。需要根據(jù)應用場景制定大數(shù)據(jù)處理原則，通過合適地技術選型，構建系統(tǒng)并且完成評估。 大數(shù)據(jù)應用于互聯(lián)網(wǎng)信息獲取搜索引擎是最主要的互聯(lián)網(wǎng)信息獲取類應用，截至2014 年 6月， 億，%。2014年上半年，搜索引擎創(chuàng)新技術的實際應用取得了一定進展，企業(yè)基于“語義搜索”與“知識圖譜”技術，整合社交、視頻、旅游、軟件應用下載等多類信息，開發(fā)上線新的搜索產(chǎn)品。搜索引擎在PC端及移動端均形成了以搜索產(chǎn)品為核心，集地圖、娛樂、購物、社交、本地生活服務等應用為一體的搜索服務，提升了用戶體驗和使用黏性。搜索引擎天生就是一個大數(shù)據(jù)系統(tǒng)，互聯(lián)網(wǎng)產(chǎn)生了海量數(shù)據(jù)，如何從中找到需要的信息就是一個大數(shù)據(jù)的命題。同時，利用大數(shù)據(jù)理論和技術，通過對網(wǎng)民搜索內容、習慣、愛好、行為、關鍵詞等的深入分析，可為網(wǎng)站的建設、搜索引擎技術的改進等提供依據(jù)。搜索引擎的誕生，從一定程度上滿足了用戶在海量互聯(lián)網(wǎng)數(shù)據(jù)中查找信息的需求，但還存在很大的可優(yōu)化空間。傳統(tǒng)的搜索引擎根據(jù)查詢詞返回相關網(wǎng)頁文檔鏈接，還需要用戶自己去閱讀大量網(wǎng)頁內容才可獲得其所需信息，尤其對手機等移動終端，用戶瀏覽大量的網(wǎng)頁和摘要內容很不方便。為了克服傳統(tǒng)搜索引擎的弊端，人們正嘗試探索更高效、更人性化的搜索引擎技術，如直接搜索或知識圖譜搜索、直接提問或輸入關鍵詞，然后系統(tǒng)直接提供答案，而不是包含答案信息的鏈接或相關文檔；系統(tǒng)自動完成答案抽取，幫助用戶快速定位所需信息，直接給出答案，從而可節(jié)省用戶閱讀大量網(wǎng)頁或文檔的時間。知識圖譜則是展現(xiàn)搜索詞相關知識，通過結構化的方式予以呈現(xiàn)，讓用戶可以快速、全面地了解相關信息，增強使用體驗。為了達到這一目的，首先需要理解這些查詢問題，同時要了解問題所對應的答案，答案需要從海量垂直網(wǎng)站或者用戶搜索詞中挖掘。包括基于半監(jiān)督學習的新詞及專名挖掘、面向垂直領域定向抽取的三元組挖掘、基于用戶行為日志數(shù)據(jù)的實體關聯(lián)挖掘、基于搜索引擎的實體語義標簽挖掘等。抓取并索引的網(wǎng)頁數(shù)量就是衡量搜索引擎質量的重要因素之一。如今，百度、必應、谷歌等主流的搜索引擎都要抓取數(shù)以千億計的網(wǎng)頁，同時索引數(shù)百億的網(wǎng)頁，以提供良好的搜索服務。為了處理如此巨量的數(shù)據(jù)，MapReduce、Hadoop等大規(guī)模數(shù)據(jù)處理系統(tǒng)應運而生，利用這些系統(tǒng)，搜索引擎公司就能高效地計算網(wǎng)頁的各項特征，為索引數(shù)十億計的網(wǎng)頁打下基礎。此外，在線系統(tǒng)也已演化為高度并行的容錯系統(tǒng)，以保證在有上百萬用戶同時使用的情況下，搜索引擎仍可在1秒內為絕大多數(shù)查詢返回結果。為了進一步提高搜索效果，搜索引擎越來越多地引入自然語言處理和知識庫技術。和傳統(tǒng)方法相比，這些技術更加復雜、計算量更高，因此要求大數(shù)據(jù)系統(tǒng)提供更高的計算能力。改造大數(shù)據(jù)系統(tǒng)的途徑有很多，例如，進一步增加系統(tǒng)中節(jié)點的數(shù)量、充分利用CPU的多核能力、利用顯卡的運算能力，甚至直接使用FPGA執(zhí)行定制化的處理算法等。另一方面，進一步理解查詢和用戶意圖/興趣對搜索技術也正變得越來越重要；與理解網(wǎng)頁不同的是，利用查詢歷史理解查詢和用戶意圖/興趣常常需要用到基于圖和矩陣的算法，這些算法和MapReduce式的計算框架并不完全契合，因此需要研究新的計算框架，以便提供支持。 大數(shù)據(jù)應用于互聯(lián)網(wǎng)交流溝通隨著國外社交網(wǎng)站Facebook，Twitter，LinkedIn等的發(fā)展以及國內的微博、微信等社交工具的不斷壯大，基于社交網(wǎng)絡的各種互聯(lián)網(wǎng)交流溝通類應用不斷演進和發(fā)展。單就我國互聯(lián)網(wǎng)應用現(xiàn)狀來看，截至2014年6月，使用率仍高居互聯(lián)網(wǎng)交流溝通類應用第一位。與此同時，社交網(wǎng)站使用率則持續(xù)下滑，前景不容樂觀。以上兩方面現(xiàn)象其根本原因都是由數(shù)據(jù)流向決定用戶黏性。社交網(wǎng)絡之所以吸引人，是因為其用戶產(chǎn)生了大量有價值的用戶數(shù)據(jù)（UGC,User Generated Content），而且這些數(shù)據(jù)能和一個個活生生的人對應起來。因此，對社交網(wǎng)絡上的產(chǎn)生的各種用戶數(shù)據(jù)進行分析，是社交網(wǎng)絡分析及其重要的一個方面。無論是即時通信、社交網(wǎng)站、微博還是博客，都是網(wǎng)民交流的平臺，每天產(chǎn)生大量的數(shù)據(jù)。通過對社交網(wǎng)絡中的大數(shù)據(jù)進行分析，可以了解用戶的思維習慣及其對社會的認知。對微博等社交網(wǎng)絡信息空間大數(shù)據(jù)的挖掘能夠及時反映經(jīng)濟社會動態(tài)與情緒，預警重大、突發(fā)和敏感事件（如流行疾病爆發(fā)、群體異常行為等），協(xié)助提高社會公共服務的應對能力，對維護國家安全和社會穩(wěn)定具有重大意義。社交網(wǎng)絡中一個典型的大數(shù)據(jù)應用場景是輿情分析，是指對熱點事件在網(wǎng)絡上的傳播過程加以監(jiān)測，了解人們對此的態(tài)度，從而在必要的時候加以干預和引導。在當前這個社交網(wǎng)絡高度發(fā)達的時代，公眾對于很多問題都有發(fā)言的欲望，加之社交網(wǎng)絡傳上信息傳播的快速性和不可控性，輿情分析對于政府，商業(yè)實體和公眾人物都有著重要的意義。對于輿情分析的支持系統(tǒng)來說，處理邏輯往往相對簡單，比如按照特定關鍵字對相應的內容進行過濾，這其中最關鍵的技術要求就是對海量數(shù)據(jù)的實時處理，這就需要高性能的大規(guī)模并行處理數(shù)據(jù)庫或者流數(shù)據(jù)處理系統(tǒng)的支持。另一方面，社交網(wǎng)絡上的用戶產(chǎn)生的大量內容往往隱含著大量隱含的信息，對這些信息進行綜合處理以后往往會得到非常有價值的信息，比如對熱點事件的預測/預警。在社交網(wǎng)絡時代，信息發(fā)布的門檻較低，信息傳播速度快，各種真實和不真實的信息在社交網(wǎng)絡上隨時都可以爆炸式的傳播。利用大數(shù)據(jù)技術收集和分析社交網(wǎng)絡上傳播數(shù)據(jù)內容，分析其背后隱含的意義，能夠對特定的事件進行預測。此外，影響力分析也是社交網(wǎng)絡中需要運用大數(shù)據(jù)技術進行處理的關鍵問題，用戶在社交網(wǎng)絡中的行為（比如對相應微博的評論，轉發(fā)等）也代表了影響力，例如新浪微博上的大V賬號，其粉絲動輒上百萬，其發(fā)布的任何一條微博，轉發(fā)數(shù)評論數(shù)都極其巨大，換句話說他們有著巨大的影響力。在進行大數(shù)據(jù)分析計算影響力的時候，需要將相應的數(shù)據(jù)考慮進來，對社交網(wǎng)絡節(jié)點的影響力進行量化就是影響力分析要解決的問題。影響力分析一個自然而言的擴展應用就是用戶搜索。社交網(wǎng)絡將人們的互聯(lián)網(wǎng)生活和虛擬生活融合在一起，人們在社交網(wǎng)絡上形成了各種社區(qū)，產(chǎn)生了大量各種領域相關的內容。通過其所屬的社區(qū)和其產(chǎn)生的內容，可以定義一個社交網(wǎng)絡帳號的屬性，將其打上特定標簽，其他用戶可以方便的通過關鍵字對用戶進行搜索。對社交網(wǎng)絡大數(shù)據(jù)的分析和挖掘仍需要解決以下重要問題：（1）由于微博、博客等數(shù)據(jù)源自多個服務提供商，具有不同的屬性和不同的表達方式，是典型的多源異構數(shù)據(jù)，需要使用基于語義模型的表示方法，實現(xiàn)對社交網(wǎng)絡數(shù)據(jù)的有效表示和理解；（2）對社會事件、流行病等相關內容、信息和數(shù)據(jù)，實時性要求非常強，需要強有力的流式處理、增量處理等技術手段提供支撐，并且需要建立快速反饋機制。 大數(shù)據(jù)應用于移動互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)雖然發(fā)展較晚，但其速度要遠比互聯(lián)網(wǎng)當年的發(fā)展要快。截至2014年 6月， 億，網(wǎng)民中使用手機上網(wǎng)的人群占比進一步提升，%%，首次超越傳統(tǒng)PC網(wǎng)民規(guī)模。隨著移動設備的功能越來越強大，移動互聯(lián)網(wǎng)與傳統(tǒng)互聯(lián)網(wǎng)之間的差異愈發(fā)不容忽視。移動互聯(lián)網(wǎng)具有互聯(lián)網(wǎng)的傳統(tǒng)特征，但也有其自身的固有特征，特別是和時間信息想對應的地理位置信息是其獨有的數(shù)據(jù)特征。移動互聯(lián)網(wǎng)最大的特點是以用戶為中心。一個移動設備對應一個用戶，包含位置、聯(lián)系人、瀏覽內容等等所有信息。數(shù)據(jù)本身的價值在于更完整和更生動的去描繪了一個用戶的生活軌跡?；ヂ?lián)網(wǎng)時代，內容的組織不以用戶為中心，所以主要商業(yè)模式是廣告，跟內容相關而不是跟用戶相關。移動互聯(lián)網(wǎng)則能夠進行更好的數(shù)據(jù)整合，屬于同一個用戶的數(shù)據(jù)都可以關聯(lián)在一起。以用戶為中心，就能夠方便地把屬于一個用戶的散亂在不同應用里的信息整合起來進行分析。對于大數(shù)據(jù)分析來說，移動互聯(lián)網(wǎng)的特殊性首先在于它能夠鎖定一個特定用戶，其次在于它能夠獲取用戶地理位置信息，再次是在于移動互聯(lián)網(wǎng)上的時空信息等多元化的數(shù)據(jù)種類。而因為這三點，導致移動互聯(lián)網(wǎng)上的數(shù)據(jù)數(shù)量會比傳統(tǒng)互聯(lián)網(wǎng)更大，形式也比傳統(tǒng)互聯(lián)網(wǎng)更加豐富，從而也有更高的價值。移動大數(shù)據(jù)的三個特點：一、數(shù)據(jù)的核心節(jié)點是人。隨著各種移動設備、物聯(lián)網(wǎng)和云存儲等技術的發(fā)展，人和物的所有軌跡都可以被記錄。與互聯(lián)網(wǎng)不同的是，在移動互聯(lián)網(wǎng)中的核心網(wǎng)絡節(jié)點是人，不再是網(wǎng)頁。用戶在移動終端上的所有行為是具有一定延續(xù)性的，這使得用戶檔案（Profile）的建立成為可能。二、用戶地理位置等上下文信息。移動互聯(lián)網(wǎng)上能獲取的最重要的信息就是用戶的地理位置，通過地理位置信息與服務數(shù)據(jù)的結合，能夠更加精確的分析用戶行為，實現(xiàn)用戶描述精準化。三、數(shù)據(jù)量更大，時空數(shù)據(jù)維度更高更復雜。移動互聯(lián)網(wǎng)需要統(tǒng)計很多互聯(lián)網(wǎng)網(wǎng)頁分析所沒有的數(shù)據(jù)，例如設備型號、應用版本、推廣渠道、甚至位置信息，同時還有很多開發(fā)者自定義的事件。在移動互聯(lián)網(wǎng)的數(shù)據(jù)中，文字以外的其他信息占到更加重要的比例。從數(shù)據(jù)的屬性上來講，移動互聯(lián)網(wǎng)上的數(shù)據(jù)比傳統(tǒng)互聯(lián)網(wǎng)更加復雜，其中一個原因就是這些數(shù)據(jù)包含了大量時間和空間的信息，需要把數(shù)據(jù)挖掘延伸到時空數(shù)據(jù)挖掘的領域。因為多了一個維度，時空數(shù)據(jù)挖掘的復雜度比一般的數(shù)據(jù)挖掘又深了一層。移動應用是搶占用戶移動終端桌面的主力軍，是用戶獲取信息、休