【正文】 后在驅(qū)動。我們生活身邊就已經(jīng)有很多了，你像阿里巴巴，這是我們中國的大數(shù)據(jù)公司，它在短時間內(nèi)能夠發(fā)放貸款，原來我們發(fā)放一筆貸款那經(jīng)常要幾個星期甚至一個月的時間去審核，但是它依靠它的大數(shù)據(jù)，在幾分鐘之內(nèi)就能做出我貸不貸款這個決定效率是大大提高了。田桐：那么現(xiàn)在在國際上都有哪些國家是在大數(shù)據(jù)引領(lǐng)前方的？涂子沛：我想科技的引領(lǐng)者那肯定首推應(yīng)該是美國了對吧，歐洲跟美國它們在這方面都做的不錯。田桐：他們比我們領(lǐng)先在哪些方面？涂子沛：首先我想的話，就數(shù)據(jù)而言，我們現(xiàn)在說大數(shù)據(jù)時代數(shù)據(jù)是金礦，首先你得有這個礦，他們進(jìn)入信息時代，進(jìn)入信息社會比我們早，他們數(shù)據(jù)的積累比我們多，這是第一。第二，所有的基本上新的理念，技術(shù)浪潮的數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)這些新的理念還是在西方國家首先提出來。大部分高級的、高端的數(shù)據(jù)的分析工具，自主知識產(chǎn)權(quán)也在美國也在歐洲，那么還在說他們?yōu)榱送苿舆@個時代，歐洲很多國家包括美國，全世界有四十多個國家都在開放數(shù)據(jù)。我們數(shù)據(jù)現(xiàn)在是最重要的資源，他們把那些最重要的資源當(dāng)中核心的部分、基礎(chǔ)的部分、公共的部分拿出來開放，免費(fèi)給全世界使用，這推動了科技創(chuàng)新跟社會創(chuàng)新。田桐：那現(xiàn)在中國發(fā)展到一個什么樣的地步了？我們接下來往哪方面發(fā)展？涂子沛：我想的話，我們中國在大數(shù)據(jù)浪潮這個浪潮，我們是挑戰(zhàn)跟機(jī)遇并存，這個浪潮是我們離世界的距離最近的一次，我們相對以前的浪潮，我們剛剛談了三次技術(shù)浪潮，那時候我們跟世界的差距很大，但是現(xiàn)在我們跟世界的差距已經(jīng)越來越小了，已經(jīng)越來越小了。我們雖然還不是一些新的思想、新的技術(shù)產(chǎn)生的地方，但是新的思想、新的理念在全球自由的流動，我們可以吸收得很好，我們可以傳播得很好。我們可以學(xué)習(xí)的很好，所以這是我們的機(jī)遇。田桐：非常感謝您，更多的內(nèi)容馬上由您給我們帶來今天的演講，有請。解說：大數(shù)據(jù)無疑是當(dāng)下最為火熱的IT詞匯，圍繞大數(shù)據(jù)價值的利用，逐漸成為各行業(yè)人士爭相追捧的焦點(diǎn)。到底什么是大數(shù)據(jù)？它是如何發(fā)展而來？什么是數(shù)據(jù)挖掘？《世紀(jì)大講堂》《大數(shù)據(jù)生活方式與社會治理》正在播出。九、 一、大數(shù)據(jù)的概念涂子沛：大家好，我們今天在這里是學(xué)術(shù)前沿、思想交流，我們說我們談到大數(shù)據(jù)的時候，現(xiàn)在是一個很熱的話題，怎么來認(rèn)識大數(shù)據(jù)的現(xiàn)象？萬事萬物都有一個起點(diǎn)，我們的起點(diǎn)是什么？我們的起點(diǎn)是數(shù)據(jù)。什么是數(shù)據(jù)？我們要了解什么是大數(shù)據(jù)，首先要明白什么是數(shù)據(jù)，數(shù)據(jù)不是簡單的數(shù)字，數(shù)據(jù)是有根據(jù)的數(shù)字，數(shù)據(jù)是對客觀世界的一個測量，一個記錄，這才是數(shù)據(jù)。當(dāng)我們一想到數(shù)據(jù)，我們會想到什么？我們會想到計算，我們想到事實(shí)，數(shù)據(jù)是最尖銳的事實(shí)，最精確的事實(shí)。為什么要用數(shù)據(jù)說話？翻譯過來就是要用事實(shí)來說話。我們還想到邏輯，想到精確。我們主持人剛剛也談到加里金教授，哈佛大學(xué)的加里金教授，他提出一句話，大數(shù)據(jù)是什么？大數(shù)據(jù)是一場量化的革命。我們說數(shù)據(jù)它就是一個量化的一個工具，而量化，所有的科學(xué)都是為了量化。量化是科學(xué)的本質(zhì)，如果沒有量化的話那就沒有科學(xué)，所以我們說數(shù)據(jù)是科學(xué)的語言，是科學(xué)的載體。我們說在進(jìn)入信息時代之后，數(shù)據(jù)的內(nèi)涵是在擴(kuò)大的，發(fā)生了一個變化，什么變化？我們計算機(jī)產(chǎn)生了，數(shù)據(jù)庫出現(xiàn)了，我們把所有的東西放到數(shù)據(jù)庫里，結(jié)果呢數(shù)據(jù)的內(nèi)涵就擴(kuò)大了，音頻也放在里面，視頻也放在里面，圖形也放在里面。到信息時代的時候呢，數(shù)據(jù)已經(jīng)開始指代信息了，它不是傳統(tǒng)的有根據(jù)的數(shù)字了，就它內(nèi)涵擴(kuò)大了，成為信息的代名詞了。還有一個更重要的變化，那就是體量在擴(kuò)大，容量在擴(kuò)大，那怎么擴(kuò)大法呢？我們可以舉一個例子，我們說過去五十年，《紐約時報》所有的容量是三十億單詞，但現(xiàn)在我們僅僅一天微博上就是八十億單詞。相當(dāng)于一天的這個數(shù)據(jù)量，就相當(dāng)于過去一百多年的報紙的數(shù)據(jù)容量。所以上世紀(jì)八十年代的時候，很多學(xué)者就開始注意到這個問題了，他們就開始來定義大數(shù)據(jù)。到底多大才算大呢？當(dāng)時賓夕法尼亞大學(xué)的一個教授定義了一個叫兩百太是吧，兩百太的數(shù)據(jù)，他說叫做大數(shù)據(jù)。那兩百太到底是多大呢？一千吉（赫茲）呢就是一個太，一部電影大概是一個吉，那兩百太呢就相當(dāng)于二十萬部電影。當(dāng)時的定義就是這樣，二十萬部電影的容量就是大數(shù)據(jù)了，就是大數(shù)據(jù)。那我們?nèi)祟惉F(xiàn)在這個信息總量呢，我們說在這里啊，澤，我們現(xiàn)在大概是一個澤左右。十、 二、大數(shù)據(jù)的成因我們有了這個概念之后，我們就來談大數(shù)據(jù)是怎么形成的，成因是什么，為什么我們何以走到今天對吧？我們走到今天不僅僅是一個數(shù)據(jù)的積累，從進(jìn)入信息時代之后，我們1946年發(fā)明第一臺計算機(jī)進(jìn)入信息時代，到現(xiàn)在60多年了，我們其實(shí)克服了很多困難，有很多的技術(shù)進(jìn)步，才把我們推動到了今天。我們說第一個是什么，第一個就是1965年提出來的這個摩爾定律，1988年提出來的普適計算。1989年提出來的數(shù)據(jù)挖掘，我們說還有2004年出現(xiàn)的這個社交媒體，就這些現(xiàn)象集體地推動，才出現(xiàn)了這個大數(shù)據(jù)。我們來看看它具體怎么推動的。1965年的時候呢，英特爾的這個聯(lián)合創(chuàng)始人摩爾他就發(fā)現(xiàn)一個規(guī)律，他說一個集成電路，一個芯片上，同一個面積上的晶體管，一到兩年這個數(shù)量就要增加一倍，現(xiàn)在我們一個微處理器，上面的晶體管大概是幾十億個，就晶體管越做越小，越做越小，當(dāng)然材料就越來越少，價格越來越低。同一個面積上不停地增加，它的性能就越來越好，導(dǎo)致了一個什么呢，就是這個計算機(jī)的性價比不斷提高，價錢不斷降低，性能反而不斷提高。我們比如說硬盤，1955年的時候，IBM推出第一款硬盤的時候，那時候一兆就六千美元，我們說一首歌就幾個兆了，那時候保存一首歌要幾萬美元對吧？我們說到1993年的時候，每兆降低到一美元，到了2010年的時候呢，降到每兆不到一美分了。你說半個世紀(jì)的存儲器的價格是下降了幾百萬倍，我們說人類歷史上沒有一種產(chǎn)品在半個世紀(jì)，它的價格能下降幾百萬倍。大家爭論比較多的是說什么？摩爾定律還會不會繼續(xù)有效？英特爾現(xiàn)在已經(jīng)發(fā)明了3D晶體管對吧？他們已經(jīng)用事實(shí)證明了，他們說摩爾定律到2020年之前，還會繼續(xù)有效，就是（價格）還會繼續(xù)下降。摩爾定律為我們解決一個很重要的問題，它為大數(shù)據(jù)時代的到來鋪平了道路，物理道路，就是再多的數(shù)據(jù)，再多的信息我可以非常低廉的成本來進(jìn)行保存。那我們講第二個因素，普適計算，在1988年的時候，美國的一個科學(xué)家叫馬克維瑟提出來的，他說什么呢？1988年互聯(lián)網(wǎng)剛剛產(chǎn)生，他說人類的計算浪潮可以分為三股，第一股叫做主機(jī)時代，主機(jī)時代的時候，計算機(jī)奇大無比，很多人共用一個計算機(jī)。一臺計算機(jī)就占了半個房間。好到了上個世紀(jì)七十年代末的時候，計算機(jī)變得很小了，出現(xiàn)了個人電腦，人手一機(jī)，但馬克維瑟說這不是時代的終結(jié)，時代的終結(jié)是計算機(jī)會變得很小很小，它會融入到這個物理環(huán)境當(dāng)中去，那你發(fā)現(xiàn)都發(fā)現(xiàn)不了。我們今天是不是到了這個時代？我們說我們的手機(jī)已經(jīng)是臺計算機(jī)了，我們?nèi)缬半S行是吧？我們還有RFID這種射頻標(biāo)簽對吧已經(jīng)很小很小，小的像豆子一樣。它是可以接收數(shù)據(jù)，可以發(fā)送數(shù)據(jù)?，F(xiàn)在已經(jīng)很多的應(yīng)用，我們可以把這種RFID的標(biāo)簽放到垃圾筒里，垃圾筒滿了的時候就發(fā)出信號對吧，美國的廢城他們就實(shí)施了一個這樣的項目。這個收垃圾的人員工作量直線下降，原來幾十個人收垃圾，垃圾處理隊伍現(xiàn)在變成幾個人。無論是摩爾定律還是普適計算，解決的問題都是剛剛主持人說的大容量的問題。大價值的問題一直到1989年我們提出數(shù)據(jù)挖掘之后才得到解決，1989年的時候，世界計算機(jī)協(xié)會召開了第一次數(shù)據(jù)挖掘的年會，標(biāo)志著數(shù)據(jù)挖掘開始興起。我們說數(shù)據(jù)挖掘是用自動的算法在大量的數(shù)據(jù)當(dāng)中得到一些隱藏的關(guān)系、模式，總結(jié)出新的知識。我們說數(shù)據(jù)挖掘也是大數(shù)據(jù)時代大眾所津津樂道的話題，其中最經(jīng)典的例子莫過于某個超市的啤酒和尿布的故事。某個超市在數(shù)據(jù)當(dāng)中發(fā)現(xiàn)啤酒和尿布它們的銷量呈現(xiàn)正相關(guān)的關(guān)系。為什么是這樣呢？經(jīng)過調(diào)查他們發(fā)現(xiàn)，母親在生了孩子之后買尿布的經(jīng)常是年輕的父親，他們在買尿布的時候呢，喜歡買點(diǎn)啤酒犒勞自己，那這個就是一個知識。超市利用這個知識把啤酒和尿布捆綁在一起，推動了兩個商品的銷量，成為了它的競爭性優(yōu)勢。我們中國也不乏這樣的例子，最近華東師范大學(xué)有一個報道，我們有一個女生收到了來自校方的一封信，信里面問她你是不是有經(jīng)濟(jì)困難？原來是校方的這個數(shù)據(jù)挖掘系統(tǒng)發(fā)現(xiàn)她餐費(fèi)一直很少，這個女生很感動，但事后發(fā)現(xiàn)這是一個美麗的錯誤，她其實(shí)是在減肥。我們教育領(lǐng)域還有一些其他的故事，我們再說美國的威斯康辛州，他們有個學(xué)區(qū)，他們發(fā)現(xiàn)小學(xué)生一二年級的小學(xué)生經(jīng)常請假，而且每年請假的這個比率趨向一個恒定，他們就做數(shù)據(jù)分析。他們發(fā)現(xiàn)請假最大的原因就是生病，生病最大的原因是哮喘病。有了這個發(fā)現(xiàn)之后，他們在開學(xué)新生入學(xué)的時候，就組織家長進(jìn)行哮喘病的防治講座，這個很見效。接下來一兩年呢，這個學(xué)生請假的比率呢就明顯下降。我們說在數(shù)據(jù)當(dāng)中挖掘出新的知識，數(shù)據(jù)挖掘給了我們?nèi)祟愂褂脭?shù)據(jù)的一個能力。我們說到2004年的時候，我們信息技術(shù)上的又一個革命性的現(xiàn)象出現(xiàn)了，社交媒體出現(xiàn)了。我們說社交媒體對人類社會的影響也是革命性的，我們舉個例子，2011年的時候，弗吉尼亞發(fā)生了地震，但是我們紐約州的居民距離弗吉尼亞幾百公里，他們首先在推特上看到弗吉尼亞地震了，弗吉尼亞地震了，幾秒鐘之后這個震感才傳到紐約州。那我們知道現(xiàn)在信息傳播的速度比地震波還要快。那這個社交媒體對我們的這個大數(shù)據(jù)時代有什么意義呢？這個意義是決定性的，為什么這么說？我們這個社交媒體產(chǎn)生之前，我們是軟件在收集數(shù)據(jù)，是感應(yīng)器在收集數(shù)據(jù)，但社交媒體產(chǎn)生之后，是全世界的網(wǎng)民都開始貢獻(xiàn)數(shù)據(jù)，而且這部分?jǐn)?shù)據(jù)很特別，叫做非結(jié)構(gòu)化數(shù)據(jù)。我們以前軟件收集的數(shù)據(jù)是有嚴(yán)整結(jié)構(gòu)的。我們今天你發(fā)微博，他上開心網(wǎng)，他發(fā)的微博有可能有一個視頻，你發(fā)的可能沒有視頻，有一個圖像，說明它結(jié)構(gòu)是亂的。這部分非結(jié)構(gòu)化的數(shù)據(jù)，也給我們數(shù)據(jù)分析、數(shù)據(jù)挖掘帶來最大的挑戰(zhàn)，這部分非結(jié)構(gòu)化的數(shù)據(jù)，同時也叫行為數(shù)據(jù)。當(dāng)全世界的網(wǎng)民開始貢獻(xiàn)數(shù)據(jù)的時候，這數(shù)據(jù)真正開始爆炸了，現(xiàn)在社交網(wǎng)絡(luò)僅僅產(chǎn)生八年多，但非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)占人類數(shù)據(jù)總量的75%。大家可以想像，所以說社交媒體產(chǎn)生之后，大數(shù)據(jù)時代就一錘定音了。解說：伴隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)與計算的內(nèi)涵都發(fā)生了改變。人類將會迎來一個數(shù)據(jù)爆炸的時代，那么大數(shù)據(jù)到底是如何改變我們的生活方式？又怎樣能夠?qū)崿F(xiàn)社會治理？世紀(jì)大講堂，《大數(shù)據(jù)生活方式與社會治理》正在播出。十一、 三、大數(shù)據(jù)的影響涂子沛：好我們講到這里，我們再來看看這個大數(shù)據(jù)的概念，我們現(xiàn)在應(yīng)該有了一個更深刻的理解，我們說這里有三個等式，大數(shù)據(jù)等于傳統(tǒng)的小數(shù)據(jù)加上現(xiàn)在的大信息，視頻信息、聲頻信息、圖像信息。那么第二等式是大數(shù)據(jù)等于非結(jié)構(gòu)化的數(shù)據(jù)，加上結(jié)構(gòu)化的數(shù)據(jù)，一個百分之二十五，一個百分之七十五。好，第三個也是最重要的，我們說大數(shù)據(jù)等于大容量加上大價值，容量是現(xiàn)象，價值才是本質(zhì)。好，我們有了這種理解之后，我們就知道在這個時代，我們必須轉(zhuǎn)變我們的思維方式，怎么轉(zhuǎn)變呢？我們說原來我們對數(shù)據(jù)的期待和要求是用數(shù)據(jù)說話，因?yàn)閿?shù)據(jù)代表最精確的事實(shí)，最銳利的事實(shí)，用數(shù)據(jù)說話的意思就是用事實(shí)說話，但是說在大數(shù)據(jù)時代這遠(yuǎn)遠(yuǎn)不夠。我們現(xiàn)在要做的是要在數(shù)據(jù)當(dāng)中尋找新的啟迪，挖掘新的知識，總結(jié)新的規(guī)律，這是大數(shù)據(jù)時代的思維方式。好，我們對大數(shù)據(jù)有了更深刻的認(rèn)識之后，我們隨后要問，大數(shù)據(jù)對我們的生活究竟有什么樣的影響？它把我們帶到哪里去？我的一個判斷是，我們的社會會興起一個全計算型的社會。首先我們要知道我們剛才講了數(shù)據(jù)的內(nèi)涵發(fā)生了改變，因?yàn)閿?shù)據(jù)的內(nèi)涵發(fā)生了改變，計算的內(nèi)涵也發(fā)生了改變。我們說計算已經(jīng)不是我們傳統(tǒng)的加減乘除了，我們剛才說數(shù)據(jù)不僅僅是傳統(tǒng)的、有根據(jù)的數(shù)字，現(xiàn)在文字也是數(shù)據(jù)、視頻也是數(shù)據(jù)。舉個例子說，你想找到鳳凰衛(wèi)視《世紀(jì)大講堂》的視頻，你可能上百度輸入關(guān)鍵字《世紀(jì)大講堂》進(jìn)行搜索，你輸入的是文字，得出的是視頻。這個也是計算，也就是說搜索就是計算。我們整個社會、整個世界的計算呢可以分為三種，第一種是物理計算，第二種是有生命現(xiàn)象的計算，第三個呢就是社會計算。好，我們先說第一種物理計算，談到物理計算呢，我們就不得不提到另外一個概念物聯(lián)網(wǎng)，我們未來是所有的電器、機(jī)器都會裝上感應(yīng)器。連上網(wǎng)絡(luò)，就會讓我們的數(shù)據(jù)呢會有一個更大的爆炸。我們剛剛談到，當(dāng)我們的人開始貢獻(xiàn)數(shù)據(jù)的時候，數(shù)據(jù)爆炸了，當(dāng)全世界的機(jī)器、電器開始貢獻(xiàn)數(shù)據(jù)的時候，將會迎來一個更大的數(shù)據(jù)爆炸。好我們未來的物聯(lián)網(wǎng)世界是什么樣子，我們來看看這幅圖，大家看到飛機(jī)，一架飛機(jī)上有很多重要的機(jī)器，我們說未來的物聯(lián)網(wǎng)，感應(yīng)器要裝到這些重要的每一個部位的機(jī)器上，一架飛機(jī)上會有很多的感應(yīng)器，每一個螺旋槳上都有感應(yīng)器。然后同一個航空公司的飛機(jī)組成一個網(wǎng)絡(luò)，不同的航空公司，世界上全部的航空公司組成一個集群，全世界的飛機(jī)之間、機(jī)器之間可以互相通信。我們再看下面這幅圖，被稱為這是汽車商的一個工廠，位于紐約州的一個工廠，電池廠，被稱為工廠2。0，它的工廠里一萬六千平方米，但是裝了一萬個感應(yīng)器。這些感應(yīng)器在對工廠的各個條件進(jìn)行監(jiān)測。比如說溫度，比如說壓力，比如說濕度，比如說在生產(chǎn)的過程中，各種的配料，它的一個口號是什么，是讓產(chǎn)品產(chǎn)生記憶。就是一個產(chǎn)品送出去，出了工廠之后，如果它有問題了用戶反饋有問題了，我們立刻會查找它當(dāng)時生長時候的條件，追溯它的數(shù)據(jù)，去確定它的問題。我們講了物理計算，我們也提到了生命計算，我們最后要提社會計算。社會計算是大數(shù)據(jù)時代最大的亮點(diǎn)，因?yàn)樯鐣嬎?，我們的社會治理模式將會發(fā)生改變，大家會覺得很奇怪，為什么社會能夠計算？我們說社會計算也有很長的、很久遠(yuǎn)的淵源，我們先從近的說起，我們社交媒體產(chǎn)生之后，我們很多社會科學(xué)的研究者發(fā)現(xiàn)，通過社交媒體上的數(shù)據(jù)，我們能夠做出很多推斷，你能發(fā)現(xiàn)一個人的喜好、偏好、觀點(diǎn)、意見，那傳統(tǒng)的方式我們要發(fā)現(xiàn)一個人的意見的時候，要去做問卷調(diào)查。例如說美國的總統(tǒng)選舉，原來的傳統(tǒng)的預(yù)測方式誰能當(dāng)選？我得一個一個去問，選取有代表性的選民進(jìn)行詢問，完成這個調(diào)查，但我們能看到，我們上一屆選舉這種局面已經(jīng)完全改變了。奧巴馬的當(dāng)選，投票完了之后就有社會科學(xué)的研究者分析了微博上的數(shù)據(jù)、社交網(wǎng)絡(luò)上的數(shù)據(jù)，就宣布奧巴馬即將當(dāng)選，最后奧巴馬果然勝出。他們認(rèn)為基于這種社交媒體的計算，他們稱之為社會計算。另外有科學(xué)家相信，我們現(xiàn)在數(shù)據(jù)越來越多，各種數(shù)據(jù)現(xiàn)象都被記錄了。所以呢未來一切社會現(xiàn)象、社會過程、社會問題都可以計算。還有科學(xué)家打出比喻說，我們現(xiàn)在的數(shù)據(jù)就像一個新的顯微鏡，我們14世紀(jì)的時候發(fā)