【文章內容簡介】 一個最大的動力。因此，讓我們一同期待在改革的下半場當中，中國的互聯網絡將發(fā)生一個怎樣的重大作用，我們也期待中國在國家治理體系領域之內對中國的互聯網加以更大限度的整合、應用和發(fā)揮。這是我今天這節(jié)課所講的主要內容，非常感謝大家！大數據改變未來吳軍美國約翰霍普金斯大學計算機博士一、 課程前言大家好，我們今天就聊聊一個比較熱門的話題—大數據。這個詞啊Big data或者叫大數據，在中國現在真是非常非常的熱。有人說它可能是一個泡沫，有人說它可能會改變世界，那么它到底會是什么樣子呢？說它是泡沫的一般認為是這樣子，就是說我們到目前為止，我們還沒有看到，說這個大數據給我們產生多少的GDP，好象很多人也沒有發(fā)現，就是說它跟我們人類生活到底有多大的相關性，因為親身生活沒有體驗到這一點，那么是否真是這樣子的話，我們不妨來看看什么是大數據？它真正的可怕之處在哪里？以及有了大數據我們的未來社會未來生活會是什么樣子的？二、 一、未來是數據為王的時代在過去的五十年里，人類整個的發(fā)展根本的這個動力從科技的角度來講，就是一個摩爾定律，什么意思呢？就是在1965年的時候，英特網公司后來的創(chuàng)始人摩爾先生，他提出來在今后的十幾年里，半導體處理器的性能，比如說容量、計算速度和復雜程度每18個月左右可以翻一番。他也沒有預想到這件事一直發(fā)生了五十年。以至于人整個人類發(fā)生了天翻地覆的變化。可以這么講，我們過去的整個的社會的科技進步工業(yè)進步以及這個GDP的提升都是靠這個摩爾定律，如果我們把這個摩爾定律帶來的電信化從過去五十年中拿去，我們會發(fā)現我們可能GDP不但沒有增加，而且還在減少。那么這是過去五十年的情況。在今后二十年它又會往哪兒走呢？在未來的二十年里，什么決定世界經濟發(fā)展的方向？我認為如果說過去五十年是摩爾定律的時代，未來二十年就是數據為王的時代。大數據會帶來機器智能，也就是說讓我們的計算機變得非常聰明，以至于它超過我們人類的智能。為什么這么說呢？我們剛才講了，計算機的發(fā)展速度本身是一個指數增長，而我們人的智能的發(fā)展速度是一個線性增長，甚至還會稍微慢一點，那么一定在某一個時間點，它會重合。今天可能就是這個重合的時間點，那可能你又會問了，為什么正好在這個時間點上，我們會有這么多的數據？一個是互聯網的收集和積累，再有一個就是今天各種傳感器，各種智能設備，各種監(jiān)控設備，它們無時無刻地不在為我們提供大量的數據。而在我們過去，因為存儲量計算量不夠的時候，我們把這些數據都拋棄掉了，不是說這些數據在過去不存在現在存在，只是說我們現在因為半導體事業(yè)的發(fā)展，我們有能力，有可能來存儲和處理這樣一些數據。在講這個機器智能以前，我們就首先要說說，什么是機器智能？我們都知道1946年人類第一臺電子計算機誕生了，名字叫做ENIAC誕生。那臺計算機其實計算速度只有一秒鐘五千次，大概是你的手機計算速度差不多可能幾十萬分之一，那么計算機誕生后不久，人類其實就開始考慮，說既然這個計算機計算速度能這么快，它能不能產生一些智能？所以五十年代初的時候，計算機老祖宗阿蘭圖靈就提出了一個叫圖靈測試的概念。什么意思呢？就是說在屏幕后面，我放一臺機器放一個人，然后我們談一個問題，比如說天為什么是藍色的？計算機給一個，人給一個，給出的答案讓我來判斷，說哪一個計算機給的？哪個是人給的？如果我判斷不出來，哪個答案是計算機給的或者是人給的，已經能夠把這兩個答案要混淆起來了，我就認為機器和人一樣的智能。人類為這個目標做了20年，這20年的發(fā)展非常不順利，到了1970年基本上計算機還做不了任何具有智能的事情。為什么會產生這樣的問題呢？或者說這20年研究為什么會走彎路呢？主要是我們完全地按照人的方式去理解機器，沒有完全按機器的方式理解人。舉一個例子，預測美國總統選舉結果這么一個例子，比較著名的大家可能聽說過蓋洛普這樣一個預測公司，那么它實際上是用一些傳統的抽樣的統計方法做一些預測，有時靈，有時不靈。即使正確的時候，基本上誤差兩到三個百分點，在全國范圍預測能準，但是你知道競選是一個州一個州這么算選票，它不是一人一票制。所以它從來沒有做到過美國50個州全部做對的，到了2012年，有一個毛頭小伙子，這個人從來以前沒有名，也不是什么了不得的科學家，他就做了一件事兒，他就在互聯網上比如社交網絡上，比如臉書上推特上，地方的報紙上大家的BBS上等等。凡是他能找到信息的地方，他就把信息都搜集起來，然后他做一次2012年美國總統選舉結果的預測，50個州，他全部預測對了。這件事在過去是不敢想象的，從這里頭你可以看出當這個數據完備了以后是非常可怕的。三、 二、大數據是一種思維方式大家不知道有沒有注意到這個名字大數據Big data。為什么不叫l(wèi)arge data？其實在英語里，它并不是說一開始隨機的選這么一個詞Big data就這么叫了，在英語里這個Big和Large雖然都是大的意思，但是有一個比較細微的差別，Big這個大是相對抽象一點的一個概念。Big Small大和小是這樣子。那Large是體量大，比如我這張桌子很大，我說Large table。大數據所以更重要用big data，實際上它是指一種思維方式，一種抽象的概念。它不僅僅是講著我們數據的體量大。那么既然說到它是一個思維方式，是什么樣的思維方式呢？我給大家再舉一個例子。你從中學開始到大學，你的老師就會教你說這個因果邏輯這個關系非常重要，為什么呢？因為沒有了這個因果邏輯，我們這個推理就進行不下去了。過去說知其然一定要知其所以然。剛才我們就講了那個美國總統競選預測的這件事兒，它實際上就告訴了你一個結果，你問他為什么是這樣子？是哪個州的人喜歡某個候選人哪句話嗎？不是，他說不出這原因。但是它就給了個結果。這就是現在說先有了結論，然后你可能反過來推這些其中的原因。這是一個完全不同的思維方式。所以叫大數據，是指全新的這么一個思維方式。在2002年到2004年左右的時候，我在一家計算機公司做搜索，那么當時因為數據量變得很大，我們就觀察了很多特點，你比如說你搜索了一個關健詞，我們就說鳳凰衛(wèi)視大數據，這樣一個關健詞。用戶老不點擊第一條結果，老點擊第三條結果，這里頭就有一個原因，肯定你第一條結果做得不好，第三條結果可能更好。那么你的思維方式是什么樣的？你是否接受說把第一條結果，我直接就搬到第一條去，按我們過去老師教我們的，這個因果關系你是不能這么做的，因為你不能跳過這個推理的過程來做這件事兒，但是大數據的思維告訴你這件事兒是可以做的。但是當我們的腦筋轉換成這樣的一種思路的時候，我們實際上就是一個開始具有某種大數據的思維，這時候也就是我們在變相的承認，計算機在有一些方面其實比我們因為有數據的作用做的更好。四、 三、大數據對傳統行業(yè)的幫助我想說，為什么說大數據這個事這么重要？大數據加上機器智能，它可以把我們以前所有的行業(yè)，全部的改造的一遍，或者我換一句話說，就是說所有未來公司，都是某種程度上的大數據公司，我們不妨看兩個傳統行業(yè)的例子。第一個呢是關于一個意大利一個品牌服裝公司的例子，大家知道可能如果你們去一些專賣店，你就會發(fā)現它把某一個衣裳，唉，有的放在前面，有的放在后面，這里頭可能有一些道理，但是你有說不出什么道理。我和他們這些公司的銷售人員做過一些了解，事實上像它們這些大牌的公司，在北京開一家這種專賣店，就是一比一的模型差不多要做三個，才能確定這個店里頭的結構怎么布置。哪件衣裳放前頭？哪件衣裳放后邊更好？即使如此，這完全靠過去營銷人員的經驗，也很難檢測說，到底這樣放合適不合適。有些衣裳放前面，它就是賣不出去，沒人知道什么原因。那么這家品牌服裝，它做了一件很簡單的事情。它就把這個衣裳的背后就是我們放防偷盜墨水那個地方放一個小芯片，如果誰拿了這個衣裳，到試衣間試衣服以后，試衣間再放一個傳感器，能記錄你什么時候進去的，在那里頭試了多長時間這個衣裳，然后它就通過這個數據，就可以提高銷售。為什么呢？因為假設哪件衣裳又放在一個顯眼的位置，如果大家不拿進試衣間去試，說明它在設計上肯定這個第一眼看上去就一定有什么一些什么問題。但是呢，如果很多衣裳，經常的拿到試衣間里去試，最后沒人買，那可能在這個細節(jié)上有一些什么需要改進地方，這樣它通過這么一件簡單的事情，就能提高銷售。這是一個非常傳統的行業(yè)。再另外的一個故事呢，也是非常得有意思。在一家百貨店，雇了一個學統計學的碩士，也不是什么一個非常大的科學家，就是一個學統計學的碩士。百貨店每天有很多交易的數據，以前也不知道怎么辦，后來就有了這個移動互聯網以后，這個百貨店就跟這個顧客講說以前要給你打一張發(fā)票，你呢有時候也就扔掉了，有些時候你為了保存發(fā)票也麻煩，要不然你給我一個手機號碼或給我一個郵箱，我給你發(fā)過去，我寄過去，那很多人就這么登記上了，在這個以前，你到百貨店買東西，沒人知道是誰買的，那么，自從他把這個手機和發(fā)表聯起以來以后，他就知道哪個人什么時候買了什么東西，然后這個碩士生他就做了些統計，就發(fā)現這個懷孕的婦女在不同的階段買的這個產品它其實有一些共性，這就是從大數據分析得到的。比如說一開始懷胎的時候要買比較胖的衣裳，然后后來以后要買寶寶服，要買尿褲、奶嘴等等這樣，就基本上所有人都是走這么一個過程。然后呢，他就提前給這些客戶發(fā)優(yōu)惠券，這樣銷售就很有針對性，而且效果不錯。我不知道大家有多少人，你們在每天用淘寶用微信支付，其實你相信不相信他們的主人，他們的公司可能比你更知道，下一單交易你會發(fā)生在哪里。五、 四、用大數據解決智能問題計算機到底現在能不能回答問題？你說有了大數據，計算機就有智能了。那到底是不是這樣子呢？我們就看剛才那個例子，就是說要回答天為什么是藍色的這樣一個例子，這個是我自己本人做的一個項目，這個問題實際上很多大學，很多科學家花了很長的時間，其實一直也做不出來，計算機回答簡單的問題，比如說我們鳳凰衛(wèi)視是哪一年成立的？它的總部在哪兒？這樣一些問題，就是說關于具體的一些事實的問題。那這個比較容易。那么難的問題有兩種。一種是為什么的問題。一種是怎么做的問題。要回答為什么的問題就要回到我剛才講說，原來我們中學和大學的老師教你就是叫做因果邏輯，你要回答為什么，你要一些基本的科學知識，然后根據一個個因果關系推導出答案，這是我們過被訓練出來這樣一個思維方式。我剛才又講，計算機來解決這個問題和人是不一樣的。那么計算機解決這個問題的話呢，其實我們把它看成一個大數據的問題，很容易做一個測試，你就輸入中文天為什么是藍色的？你在某一個搜索引擎上你就搜索一下子，然后你把那些廣告、視頻等等這些插入的結果刪去，保存十條自然搜索結果，然后你把這十個網頁打開，80%的問題，你就能找到你所需要的答案。但是如果你不看這十個網頁內容，你只看這十條結果摘要，只有20%到30%的情況，你能找到這個問題答案。這就是過去機器智能和人的智能的大概一個差異。隨著計算機處理能力越來越強，這個數據越來越完備。我們所要做的一件事是什么事兒呢？我們不是根據物理性的原理，不是根據邏輯推理來回答天為什么是藍色的。我們是把所有可能有這個答案的網頁給找著，然后再分析每一句話，看看哪一句話像是這問題的答案，再把這些像是答案的話，重新的組合，重新的交換次序，構成一個段落作為一個回答，然后我們把它送給用戶做評測，我們就讓他比較說，你覺得這個答案是否滿意，那么對于80%的問題，用戶說他們覺得這個答案都非常好，也就是說，在80%左右的問題上，這個計算機和人在這個復雜問題上，他們具有了同等智能。所以這就是用大數據解決智能問題的一個方法。那我們再講一個具體的例子，就是這個無人駕駛汽車，你可以把它當做一個機器人，說起來這也是一個非常有意思的事情。在2004年的時候，一些經濟學家，他們當時就在考慮說，由于計算機變得越來越聰明，有一些問題人原來做的現在都被機器給拿去做了，人看來是變得好像好多工作會越來越丟掉，哪些事兒是人能做機器不能做的呢？他們想來想去就想了開車，為什么想這個呢？因為有兩個原因：一個原因是我們本能地會覺得說這開車是一件蠻難的事，不信你們考車的時候有多少人是好幾次才考過的，這個人要眼觀六路，耳聽八方。然后腦和手腳還要比較協調。2004年在美國還進行了一次無人駕駛汽車的拉力賽，第一名也跑了大概只有十幾公里就掛掉了，剩下來的車呢不是提前撞了就是拋錨了，而且開車的速度比爬可能要會稍微快一點，還沒有我們騎自行車快，就是這樣的一個狀態(tài)。所以呢，經濟學家信心滿滿覺得說可能這件事情是機器做不到的，但是就到了2010年，《紐約時報》的一個報道。那么他就說這個無人駕駛汽車已經在公路上也包括大街小巷也包括高速公路上跑了大概十幾萬公里快二十萬，沒有出現一次交通事故，當然出現了一次是后面人撞到它了，不是它撞了別人，因為我們人有時候看到黃燈，本能的是要加速。而那個無人駕駛車，它不懂得違反交通規(guī)則，所以它就停在那了，為什么做到這一點呢？其實可能大家知道，就是互聯網公司，各個公司。中國的也好，美國的也好。它們都在做一件事，就是我們叫做掃街也好，把這地圖做街景項目也好，無人駕駛汽車這個事，其實是這個街景項目的一個延伸。它能去的地方，是一定它掃過街的地方，它把全世界能夠車走到的地方，全掃一遍，這就具備了數據的完備性。那么然后呢，它把這個數據上傳，雖然它有幾十個傳感器在那不斷的探測路況，其實它到了某一個點的時候，在前面有沒有活動，在某個時間點，然后從什么方向去，路堵還是不堵等等這些情況，平均的時速是多少，它一清二楚。六、 五、大數據重塑未來世界大家可能已經聽說了中國廣東，越來越多的工業(yè)機器人取代我們人在生產線上工作。甚至中國也出現了第一個完全由機器人操控的一個工廠。可以這么講，就是說凡是這種簡單，看上去要重復的工作，在未來的時代一定是機器做了比我們人更好。這一點是一個趨勢，我們想擋可能也擋不住。那么可能還會有一些朋友講說，沒關系，我做的是一些高大上的一些工作，比如說我是當醫(yī)生的，我是當律師的，那么這些情況會是怎么樣。我們就看具體的一個例子，就是講講醫(yī)生的情況。在美國的醫(yī)生中，最高大上的醫(yī)生是放射科的醫(yī)生，這是被認為是一個?？频尼t(yī)生。這個放射科醫(yī)生，過去是怎么訓練出來的呢？美國是不能直接上醫(yī)學院的，你一定要本科畢業(yè)，四年以后，你申請醫(yī)學院，如果你非常有幸能夠被醫(yī)學院錄取了，你大概再花四年的時間，你能得到醫(yī)學博士。你可以想想啊，就是兩個人，假設說你們原來是大學同班同學，他畢業(yè)有工作了，你上了醫(yī)學院，四年以后呢，他工作像