【正文】 展的恒久主題！ 國家——保障數據安全，促進數據開放2012年3月份，奧巴馬發(fā)布了美國版的《大數據發(fā)展計劃》，通過這個計劃，可以看出：國家層面大數據技術領域的競爭事關一國的安全和未來。而大數據可以看成是數據積累到一定規(guī)模后，引發(fā)的質變。云計算本質上是IT服務交付手段的變革，并由此引發(fā)一系列技術基礎架構的更新。唯有數據，雖然不斷的變換表現形態(tài)，將一直伴隨人類走向未來。數據自古存在。對所有參與本書編寫的專家表示感謝?！却髷祿＜椅瘑T積極參與了本書的撰寫，不僅提供了素材，還參與了本書的修改工作。第3章大數據技術體系現狀由吳甘沙，何利文，杜小勇、袁曉如，尹緒森，鐘翔，連城，周虎成，石勇，陳繼東，王健宗，陸嘉恒，董兆安、張丹，徐紅波，沈爍，田野，李航，白小勇，劉睿民等撰寫，第4章大數據IT產業(yè)鏈與生態(tài)環(huán)境由楊東日、潘柱廷、金波、劉姝祎、胡然、周濤、黃道麗、何治樂等撰寫；第5章大數據發(fā)展趨勢與建議由李建中、靳小龍、石勇、潘柱廷、周濤、陳懿冰等撰寫；附錄由王維、查禮、劉偉等撰寫。本書是專家委第二次組織撰寫，雖反復修改了十余次，但書中肯定還存在一些內容和文字的錯誤，撰寫組織工作也有很多不當之處，希望產業(yè)界和學術界的專家學者與廣大讀者提出批評和建議，共同推動中國大數據技術與產業(yè)的發(fā)展。由于時間和篇幅有限，本書只選擇了部分發(fā)展較好的典型應用領域進行介紹，還有很多領域的大數據應用情況沒有納入本書。在其他幾章，企業(yè)界和政府部門的專家也表達了一些真知灼見，如第4章提出的大數據產業(yè)鏈全景圖、國內外大數據產業(yè)發(fā)展呈現的四個趨勢、大數據產業(yè)發(fā)展的主要瓶頸等都有獨到的觀點。為了反映專家們的群體傾向，專家委每年做一次大數據技術發(fā)展趨勢的年度預測，通過投票方式將最受關注的科學、技術、產業(yè)、應用、政策等相關變化趨勢挑選出來。專家委員中多數是科研工作者，最熟悉的是本領域科學技術研究的進展，最擅長的是探討技術發(fā)展趨勢，分析科學研究和技術開發(fā)中面臨的問題與挑戰(zhàn)。發(fā)現典型的大數據應用案例，宣傳推廣應用大數據技術的經驗是本書的主要動機，今后我們會更加關注應用案例的分析介紹。第2章介紹大數據的典型應用，對應上述第一件事和第三件事。這是從傳統(tǒng)的數據處理轉向大數據處理的過渡階段。各國專家對大數據的定義大都是著眼于這一挑戰(zhàn)，這主要是科技界（包括大企業(yè)的研發(fā)機構）要做的事。對于數據意識薄弱的發(fā)展中國家，經過大數據浪潮的洗禮，提高對數據資源的掌控能力，無疑是一件好事。實際上所謂推動大數據主要是干三件事：一件是提高“數據意識”，用已經掌握的技術大力推動數據產業(yè)，這方面主要是企業(yè)界要做的事。大數據成為熱點以后，眾說紛紜。組織撰寫《中國大數據技術與產業(yè)發(fā)展報告》的目的在于，為業(yè)界梳理大數據應用現狀及發(fā)展趨勢，為政府制定推動大數據產業(yè)發(fā)展的政策提供建議；同時，探討大數據研究面臨的科學問題和技術挑戰(zhàn)，為研究機構和研究人員提供參考指南。在中國計算機學會大數據專家委員會和中關村大數據產業(yè)聯盟得精心組織下，花了大半年時間撰寫這本書。中國計算機學會文集 中國大數據技術與產業(yè)發(fā)展白皮書（2014）CCF大數據專家委員會主編中關村大數據產業(yè)聯盟目錄前言 I致謝 III第一章 大數據背景與動態(tài) 1 大數據的宏觀價值與背景 1 國家——保障數據安全，促進數據開放 1 政府——轉變理念，集成信息，抓住機遇 3 學術——科學的研究數據，用數據來研究科學 4 產業(yè)——產業(yè)需要變革，行業(yè)需要互融互通 5 公司——平臺化競爭，特色應用化生存 6 投資——大數據將提供價值分析新視角 7 國內外大數據發(fā)展動態(tài) 8 國外大數據發(fā)展動態(tài) 8 我國大數據發(fā)展動態(tài) 13 大數據相關社區(qū) 17 我國大數據行業(yè)協(xié)會 20第二章 大數據典型應用 22 互聯網大數據 22 互聯網大數據應用現狀 22 大數據應用于互聯網商務交易 23 大數據應用于互聯網信息獲取 25 大數據應用于互聯網交流溝通 26 大數據應用于移動互聯網 28 互聯網大數據發(fā)展趨勢 30 金融大數據 31 金融大數據應用現狀 31 大數據信貸 33 大數據征信 34 大數據投資 36 金融大數據發(fā)展趨勢 37 電信大數據 39 電信大數據應用現狀 39 電信運營商的網絡管理和優(yōu)化 41 電信運營商的精準營銷 43 電信運營商的數據變現 44 電信大數據發(fā)展趨勢 52 電網大數據 54 智能電網大數據應用現狀 54 利用電力負荷值實現智能電力現代化管理 56 利用用電信息數據指導用戶合理優(yōu)化用電 60 利用消費能耗數據進行節(jié)能減排 64 智能電網大數據發(fā)展趨勢 65 交通大數據 66 交通大數據應用現狀 66 軌道交通大數據技術創(chuàng)新 68 軌道交通大數據應用 72 交通運輸大數據應用 74 交通大數據發(fā)展趨勢 76 健康醫(yī)療大數據 77 健康醫(yī)療大數據應用現狀 77 國外健康醫(yī)療大數據分析的應用 78 大數據技術提升傳統(tǒng)醫(yī)療信息系統(tǒng)效率 79 大數據在區(qū)域化醫(yī)療衛(wèi)生管理分析應用 81 基于互聯網大數據的疾病指數預測應用 84 健康醫(yī)療大數據發(fā)展趨勢 87 政府大數據 88 政府大數據應用現狀 88 政府大數據入口整合 90 政府大數據惠民服務 93 政府大數據社會治理 95 政府大數據宏觀經濟管理 97 政府大數據發(fā)展趨勢 100 農業(yè)大數據 101 農業(yè)大數據應用現狀 101 農業(yè)監(jiān)控預警 103 農業(yè)精準種植 107 農業(yè)大數據發(fā)展趨勢 111 地理信息大數據 112 地理信息產業(yè)大數據應用現狀 112 大數據在智慧環(huán)保中的應用 115 大數據在互聯網地圖中的應用 122 地理信息產業(yè)大數據應用的發(fā)展趨勢 124 新媒體大數據 126 新媒體大數據應用現狀 126 基于大數據的收視率測量 129 新媒體視頻內容監(jiān)管 132 大數據指導節(jié)目內容生產 134 新媒體大數據發(fā)展趨勢 136第三章 大數據技術進展 137 大數據技術圖譜 138 數據的生命周期 138 技術棧 139 通用范例 141 大數據基礎設施 145 計算資源和計算能力 146 內存與存儲 148 通信與互聯 150 發(fā)展趨勢 151 大數據存儲與資源管理 153 分布式文件系統(tǒng) 153 分布式數據庫 155 資源管理 159 大數據計算框架與范式 163 計算范式 163 流處理 164 圖計算 170 Spark新動向 173 范式的融合 176 編程模型 178 大數據分析 182 大數據的統(tǒng)計查詢 183 大數據的機器學習 187 大數據的降維壓縮 190 算法的分布式并行 192 實用性問題 199 機器學習的趨勢 203 大數據可視化 206 實時可視化 207 不同數據類型的可視化 209 交互可視化 212 可視化的可用性 214 大數據安全 215 大數據系統(tǒng)的安全 215 數據自身安全 216 數據使用安全 218 審計和問責 219 數據定價 220第四章 大數據IT產業(yè)鏈和生態(tài)環(huán)境 221 國內外大數據產業(yè)鏈現狀 222 大數據產業(yè)鏈全景圖 222 產業(yè)鏈上中下游 224 大數據產業(yè)鏈發(fā)展趨勢 225 產業(yè)鏈和生態(tài)環(huán)境的瓶頸和建議 231 大數據發(fā)展產業(yè)鏈和生態(tài)環(huán)境的瓶頸 231 大數據產業(yè)鏈和生態(tài)環(huán)境發(fā)展建議 234 大數據人才與教育 236 教育與科研機構 236 課程體系 242 國內外大數據政策與法規(guī) 243 國內外數據共享的政策與法規(guī) 243 國內外數據跨境的政策與法規(guī) 248 國內外隱私保護的政策與法規(guī) 251第五章 大數據發(fā)展趨勢與建議 258 大數據學科發(fā)展現狀與趨勢 258 大數據學科發(fā)展現狀 258 大數據學科發(fā)展趨勢 260 大數據熱點問題與技術發(fā)展趨勢 261 大數據熱點問題 261 大數據技術發(fā)展趨勢 262 中國大數據發(fā)展戰(zhàn)略與建議 265 大數據基礎研究的發(fā)展戰(zhàn)略與建議 265 大數據產業(yè)的發(fā)展戰(zhàn)略與建議 270附錄 274一、開源組織 274 Apache ASF（Apache軟件基金會） 274 Linux Foundation（Linux基金會） 279 Free Software Foundation（開源軟件基金會） 280 開源軟件中心（中國開源軟件推進聯盟） 281二、產業(yè)園與政策措施 282 我國各地大數據產業(yè)園區(qū)介紹與相關政策 282三、參考文獻 286293 / 302前言近兩年來，大數據浪潮以排山倒海之勢席卷全球，既提供巨大的機遇，也帶來一系列的挑戰(zhàn)。為了推動大數據科學技術和產業(yè)的良性發(fā)展，中國計算機學會于2012年6月成立了“大數據專家委員會”，其宗旨是探討大數據的核心科學與技術問題，推動大數據學科方向的建設與發(fā)展；構建面向大數據產學研用的學術交流、技術合作與數據共享平臺，并對相關政府部門提供戰(zhàn)略性的意見與建議。中國計算機學會大數據專家委員會的110位專家來自大學、科研單位、企業(yè)和政府部門，從事的專業(yè)涵蓋計算機系統(tǒng)、通信、數據庫和數據挖掘、大數據應用等各個不同的領域，本書的編寫集中了來自20多家單位的各領域專家的知識和智慧，在一定程度上反映了我國大數據學術界和產業(yè)界的共識。本書包括5章內容：第1章介紹大數據背景與動態(tài)，第2章闡述大數據典型應用領域的行業(yè)現狀和發(fā)展趨勢，第3章闡述大數據技術體系的發(fā)展現狀，第4章討論大數據IT產業(yè)鏈與生態(tài)環(huán)境，第5章分析了大數據發(fā)展趨勢并提出相關建議。推動者認為是“上帝給中國崛起準備的禮物”；潑冷水者認為是又一場“泡沫”。在企業(yè)看來，不管是大數據還是小數據，只要能給企業(yè)帶來價值，就是好數據。第二件事是解決現有計算機系統(tǒng)和軟件不能對付急劇增長、種類繁多的數據（尤其是網絡數據）這一挑戰(zhàn)問題，研究各種采集、整理、存儲、處理和呈現大數據的變革性技術。介于這兩者之間的第三件事是，推廣近幾年開始應用的不同于傳統(tǒng)事務處理、傳統(tǒng)數據庫和小樣本建模分析技術的大數據處理新方法，如深度學習、MapReduce、Hadoop軟件和數據中心的分布式服務器集群等技術。本書洋洋灑灑二十萬字，其中份量最重的部分是第2章和第3章。我國的大數據應用剛剛開始，有些應用的數據規(guī)?？赡苓€不夠大，采用的方法也許不夠新，但新興產業(yè)是“用”出來的，只有廣泛應用才能發(fā)現技術差距和需要突破的技術壁壘。第3章分析大數據技術體系的現狀，對應于上述第二件事。本書的主要價值可能體現在對大數據技術的分析方面?！按髷祿狳c問題與技術發(fā)展趨勢”中，希望能對讀者有所啟迪。第4章也把大數據人才資源問題獨立出來專門分析，是因為這是一個十分重要而緊迫的大問題，需要各方面高度重視。在后續(xù)工作中，大數據專家委會將繼續(xù)不斷完善和豐富本書的內容，對于特色行業(yè)或應用領域，會進行更為詳細地調研，出版有針對性的面向行業(yè)應用單行本。李國杰2014年12月1日致謝眾多大數據專家委委員和中關村大數據產業(yè)聯盟單位參與了本書的撰寫工作，其中，第1章大數據背景與動態(tài)主要由趙國棟、程學旗、楊東日等撰寫，第2章大數據典型應用由陳新河、施水才、王維負責整理，其中互聯網大數據由沈爍、田野、袁博等撰寫；金融大數據由聞學臣、陳繼東、林述民等撰寫，電信大數據由何鴻凌、孫少陵、徐萌等撰寫；電網大數據由鄧春宇、張宇航等撰寫；交通大數據由楊東日、劉姝祎、劉超等撰寫；健康大數據由張彥春、徐紅燕、熊錦華、馬建剛等撰寫；政府大數據由施水才、賀兆輝、晉家驤等撰寫；農業(yè)大數據由姜春鈴、謝潤梅等撰寫；地理信息大數據由張林、張平、李先怡、陳艷武等撰寫；新媒體大數據由王永濱、趙子忠、馮爽等撰寫。程學旗、靳小龍、王元卓、楊婧負責材料組織和統(tǒng)稿等工作。由于本書經過了多次修改，對參與專家的統(tǒng)計可能還有遺漏，在此表示歉意。致謝中的各章節(jié)負責人和撰稿人員名單還在統(tǒng)計和梳理當中，請各章節(jié)負責人發(fā)給我明確對本書有貢獻的撰稿人名單，以供參考和修改！謝謝！第一章 大數據背景與動態(tài) 大數據的宏觀價值與背景從大歷史觀來看，“大數據”的內涵遠遠超越物聯網、云計算等信息技術的概念，它的意義可以比肩“活字印刷術”的發(fā)明，大范圍的消除信息不對稱的現象，釋放巨大的生產力，深刻改變社會的面貌，提升國家治理，革新科學研究的思想，促進產業(yè)間的跨界、融合和顛覆，并將極大的促進文明的傳播、凝聚、和升華。烏龜殼、樹皮、綢緞都曾經是記錄數據的媒介，現在都已經退出了舞臺；留聲機、磁帶機也曾經風靡一時，也已難覓蹤影；現在當紅的信息技術，像個人電腦、智能手機、IPad在不遠的將來也將被陳列在博物館。物聯網本質上是器物層面的技術，從大數據的視角而言，是采集數據的終端。物聯網和云計算都是信息技術發(fā)展的一定階段的自然延伸，依然屬于信息技術范疇。大數據超越信息技術，使人們重新界定國家競爭的主戰(zhàn)場，重新審視政府治理水平，重新認識科學研究的新范式，重新審視產業(yè)變遷的驅動因素，重新理解投資的決策依據，重新思考公司的戰(zhàn)略和組織。國家數字主權體現為對數據的占有和控制。大數據必須上升為國家意志，落實為國家戰(zhàn)略。2013年，美國人斯諾登給世人揭開了“數據戰(zhàn)爭”的冰山一角，美國的“棱鏡計劃”事實上把所有國家、個人都可以玩弄于股掌之上。面對默克爾的憤怒的質問，奧巴馬只能言辭閃爍的聲稱“現在沒有監(jiān)控，未來也保證不會監(jiān)控您的手機！”人們把戰(zhàn)略核潛艇稱為“國之重器”，的確，神出鬼沒的毀滅力量令人望之生畏。參與棱鏡計劃的公司包括谷歌、雅虎、Facebook、微軟、蘋果、思科、Oracle、IBM等科技巨頭。沒有數據安全，就不會有國家安全，沒有強大的IT產業(yè)，就不會成為一流國家，也就談不上中國夢！保護國家層面的數據安全，恰恰是以數據開放為基礎的。一些重