【正文】 王 偉 控制科學(xué)與工程學(xué)院 2023年 大數(shù)據(jù)與知識(shí)自動(dòng)化 主要內(nèi)容 一、什么是大數(shù)據(jù) 二、大數(shù)據(jù)時(shí)代的思維變革 三、大數(shù)據(jù)的應(yīng)用 四、大數(shù)據(jù)帶來(lái)的負(fù)面作用 五、大數(shù)據(jù)的發(fā)展前景 六、大數(shù)據(jù)與知識(shí)自動(dòng)化 ? 維克托 邁爾 舍恩伯格、肯尼思 庫(kù)克耶著， 大數(shù)據(jù)時(shí)代 ，浙江人民出版社， 2023年。 ? 維克托 邁爾 舍恩伯格，被譽(yù)為“大數(shù)據(jù)時(shí)代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授 ? 肯尼思 庫(kù)克耶，《 經(jīng)濟(jì)學(xué)人 》 數(shù)據(jù)編輯 ? 在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。 2023年其著作 《 大數(shù)據(jù) 》 在中國(guó)社會(huì)開(kāi)大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國(guó)和開(kāi)放數(shù)據(jù)的討論。 ?涂子沛，江西吉安人，現(xiàn)居美國(guó)硅谷。作者本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。 ?涂子沛， 數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實(shí)與未來(lái) ，中信出版社， 2023年。 ? 在人類社會(huì)發(fā)展進(jìn)程中，人們觀測(cè)自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動(dòng)從來(lái)都沒(méi)有停止過(guò)。 人類揭示和運(yùn)用自然規(guī)律是從觀測(cè)和記錄自然現(xiàn)象開(kāi)始的，而這種觀測(cè)和記錄的結(jié)果要么就是數(shù)據(jù) ，要么可以通過(guò)某種方法轉(zhuǎn)化為數(shù)據(jù)。 ? 人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈， 結(jié)果是獲取和存儲(chǔ)的觀測(cè)數(shù)據(jù)就會(huì)越來(lái)越多 。 ? 伴隨著近代傳感器、無(wú)線通信、計(jì)算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個(gè)領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來(lái)越多，成本越來(lái)越低，速度越來(lái)越快，所獲數(shù)據(jù)的種類、層次和尺度也越來(lái)越多樣化，這就在 廣度、深度和速度三個(gè)方面催生了大數(shù)據(jù)時(shí)代的到來(lái) 。 一、什么是大數(shù)據(jù) ?最早提出 “ 大數(shù)據(jù) ” 時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫 ， 麥肯錫稱： 數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域 ， 成為重要的生產(chǎn)因素 。 人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用 ， 預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái) 。 ?“ 大數(shù)據(jù) ” 在物理學(xué) 、 生物學(xué) 、 環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事 、 金融 、 通訊等行業(yè)存在已有時(shí)日 ， 卻因?yàn)?近年來(lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注 。 ?大數(shù)據(jù)作為云計(jì)算 、 物聯(lián)網(wǎng)之后 IT行業(yè) 又一大顛覆性的技術(shù)革命 。 云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管 、訪問(wèn)的場(chǎng)所和渠道 ， 而數(shù)據(jù)才是真正有價(jià)值的資產(chǎn) 。 ?大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣 不可或缺 。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會(huì)因?yàn)槿藗兊氖褂枚叟f和貶值。 ?世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時(shí)代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)和許多科學(xué)門類都會(huì)發(fā)生 巨大甚至是本質(zhì)上的變化和發(fā)展 ，進(jìn)而影響人類的價(jià)值體系、知識(shí)體系和生活方式。 ? 進(jìn)入 2023年，大數(shù)據(jù)一詞越來(lái)越多地被提及，人們用它來(lái) 描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新 。它上過(guò) 《 紐約時(shí)報(bào) 》《 華爾街日?qǐng)?bào) 》 的專欄封面，進(jìn)入美國(guó)白宮官網(wǎng)的新聞。 ? 數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然很多企業(yè)可能并沒(méi)有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)問(wèn)題的隱患，但是隨著時(shí)間的推移， 人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性 。 ? 《 紐約時(shí)報(bào) 》 2023年一篇專欄中所稱， “大數(shù)據(jù)”時(shí)代已經(jīng)降臨 ，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺(jué)。 ? 哈佛大學(xué)社會(huì)學(xué)教授加里 金說(shuō)： 這是一場(chǎng)革命 ，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程。 ? 大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們， 一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿 DVD；發(fā)出的郵件有 2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá) 200萬(wàn)個(gè)（相當(dāng)于 《 時(shí)代 》 雜志 770年的文字量） …… ? 2進(jìn)制 數(shù)據(jù)單位： Byte、 KB(103)、 MB(106)、 GB(109)、TB(1012)、 PB(1015)、 EB(1018)、 ZB(1021)、 YB(1024)、DB(1027)、 NB(1030) ? 國(guó)際數(shù)據(jù)公司（ IDC）的研究結(jié)果表明， 2023年全球產(chǎn)生的數(shù)據(jù)量為 ， 2023年增長(zhǎng)為 ， 2023年的數(shù)量更是高達(dá)，相當(dāng)于全球每人產(chǎn)生 200GB以上的數(shù)據(jù)。而到 2023年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是 200PB，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是 5EB。 IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有 90%是過(guò)去兩年內(nèi)產(chǎn)生的。預(yù)計(jì)到2023年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的 44倍。 大數(shù)據(jù)到底有多大 大數(shù)據(jù)公司的現(xiàn)狀 ? Google 公司 通過(guò)大規(guī)模集群和 MapReduce 軟件，每個(gè)月的數(shù)據(jù)量超過(guò) 400PB。 ? 百度 的數(shù)據(jù)量 ：數(shù)百 PB，每天大約要處理幾十 PB數(shù)據(jù)，大多要實(shí)時(shí)處理，如微博、團(tuán)購(gòu)、秒殺。 ? Facebook：截至 2023年 5月，擁有約 9億用戶，是全球第一大社交網(wǎng)站，每月上傳 10億照片，每天生成 300TB日志數(shù)據(jù) ? 淘寶網(wǎng) ：截止 2023年，淘寶網(wǎng)注冊(cè)會(huì)員超 5億人每天有超過(guò) ，在線商品數(shù)達(dá)到 10億件，淘寶網(wǎng)和天貓平臺(tái)的交易額總額超過(guò)了 。每天交易數(shù)千萬(wàn)，產(chǎn)生約 20TB數(shù)據(jù)。 ? Yahoo的數(shù)據(jù)量： Hadoop云計(jì)算平臺(tái)有 34個(gè)集群，超過(guò) 3萬(wàn)臺(tái)機(jī)器，總存儲(chǔ)容量超過(guò) 100PB。 ? 中國(guó)產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的 20232023年中國(guó)大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告認(rèn)為，云計(jì)算、物聯(lián)網(wǎng)、智慧城市、移動(dòng)互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時(shí)代的到來(lái)。 統(tǒng)計(jì)數(shù)據(jù)顯示， 2023年國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模已達(dá) 1105億元。較 2023年增長(zhǎng) %。 其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比 %、%和 10%。 ? 當(dāng)前，大