【正文】 王 偉 控制科學(xué)與工程學(xué)院 2023年 大數(shù)據(jù)與知識自動(dòng)化 主要內(nèi)容 一、什么是大數(shù)據(jù) 二、大數(shù)據(jù)時(shí)代的思維變革 三、大數(shù)據(jù)的應(yīng)用 四、大數(shù)據(jù)帶來的負(fù)面作用 五、大數(shù)據(jù)的發(fā)展前景 六、大數(shù)據(jù)與知識自動(dòng)化 ? 維克托 邁爾 舍恩伯格、肯尼思 庫克耶著， 大數(shù)據(jù)時(shí)代 ，浙江人民出版社， 2023年。 ? 維克托 邁爾 舍恩伯格，被譽(yù)為“大數(shù)據(jù)時(shí)代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授 ? 肯尼思 庫克耶，《 經(jīng)濟(jì)學(xué)人 》 數(shù)據(jù)編輯 ? 在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。 2023年其著作 《 大數(shù)據(jù) 》 在中國社會(huì)開大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國和開放數(shù)據(jù)的討論。 ?涂子沛，江西吉安人，現(xiàn)居美國硅谷。作者本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。 ?涂子沛， 數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實(shí)與未來 ，中信出版社， 2023年。 ? 在人類社會(huì)發(fā)展進(jìn)程中，人們觀測自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動(dòng)從來都沒有停止過。 人類揭示和運(yùn)用自然規(guī)律是從觀測和記錄自然現(xiàn)象開始的，而這種觀測和記錄的結(jié)果要么就是數(shù)據(jù) ，要么可以通過某種方法轉(zhuǎn)化為數(shù)據(jù)。 ? 人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈， 結(jié)果是獲取和存儲(chǔ)的觀測數(shù)據(jù)就會(huì)越來越多 。 ? 伴隨著近代傳感器、無線通信、計(jì)算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個(gè)領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來越多，成本越來越低，速度越來越快，所獲數(shù)據(jù)的種類、層次和尺度也越來越多樣化，這就在 廣度、深度和速度三個(gè)方面催生了大數(shù)據(jù)時(shí)代的到來 。 一、什么是大數(shù)據(jù) ?最早提出 “ 大數(shù)據(jù) ” 時(shí)代到來的是全球知名咨詢公司麥肯錫 ， 麥肯錫稱： 數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域 ， 成為重要的生產(chǎn)因素 。 人們對于海量數(shù)據(jù)的挖掘和運(yùn)用 ， 預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來 。 ?“ 大數(shù)據(jù) ” 在物理學(xué) 、 生物學(xué) 、 環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事 、 金融 、 通訊等行業(yè)存在已有時(shí)日 ， 卻因?yàn)?近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注 。 ?大數(shù)據(jù)作為云計(jì)算 、 物聯(lián)網(wǎng)之后 IT行業(yè) 又一大顛覆性的技術(shù)革命 。 云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管 、訪問的場所和渠道 ， 而數(shù)據(jù)才是真正有價(jià)值的資產(chǎn) 。 ?大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣 不可或缺 。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會(huì)因?yàn)槿藗兊氖褂枚叟f和貶值。 ?世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時(shí)代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)和許多科學(xué)門類都會(huì)發(fā)生 巨大甚至是本質(zhì)上的變化和發(fā)展 ，進(jìn)而影響人類的價(jià)值體系、知識體系和生活方式。 ? 進(jìn)入 2023年，大數(shù)據(jù)一詞越來越多地被提及，人們用它來 描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新 。它上過 《 紐約時(shí)報(bào) 》《 華爾街日報(bào) 》 的專欄封面，進(jìn)入美國白宮官網(wǎng)的新聞。 ? 數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然很多企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時(shí)間的推移， 人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性 。 ? 《 紐約時(shí)報(bào) 》 2023年一篇專欄中所稱， “大數(shù)據(jù)”時(shí)代已經(jīng)降臨 ，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。 ? 哈佛大學(xué)社會(huì)學(xué)教授加里 金說： 這是一場革命 ，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。 ? 大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們， 一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿 DVD；發(fā)出的郵件有 2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá) 200萬個(gè)（相當(dāng)于 《 時(shí)代 》 雜志 770年的文字量） …… ? 2進(jìn)制 數(shù)據(jù)單位： Byte、 KB(103)、 MB(106)、 GB(109)、TB(1012)、 PB(1015)、 EB(1018)、 ZB(1021)、 YB(1024)、DB(1027)、 NB(1030) ? 國際數(shù)據(jù)公司（ IDC）的研究結(jié)果表明， 2023年全球產(chǎn)生的數(shù)據(jù)量為 ， 2023年增長為 ， 2023年的數(shù)量更是高達(dá)，相當(dāng)于全球每人產(chǎn)生 200GB以上的數(shù)據(jù)。而到 2023年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是 200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是 5EB。 IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有 90%是過去兩年內(nèi)產(chǎn)生的。預(yù)計(jì)到2023年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的 44倍。 大數(shù)據(jù)到底有多大 大數(shù)據(jù)公司的現(xiàn)狀 ? Google 公司 通過大規(guī)模集群和 MapReduce 軟件，每個(gè)月的數(shù)據(jù)量超過 400PB。 ? 百度 的數(shù)據(jù)量 ：數(shù)百 PB，每天大約要處理幾十 PB數(shù)據(jù)，大多要實(shí)時(shí)處理，如微博、團(tuán)購、秒殺。 ? Facebook：截至 2023年 5月，擁有約 9億用戶，是全球第一大社交網(wǎng)站，每月上傳 10億照片，每天生成 300TB日志數(shù)據(jù) ? 淘寶網(wǎng) ：截止 2023年，淘寶網(wǎng)注冊會(huì)員超 5億人每天有超過 ，在線商品數(shù)達(dá)到 10億件，淘寶網(wǎng)和天貓平臺的交易額總額超過了 。每天交易數(shù)千萬，產(chǎn)生約 20TB數(shù)據(jù)。 ? Yahoo的數(shù)據(jù)量： Hadoop云計(jì)算平臺有 34個(gè)集群，超過 3萬臺機(jī)器，總存儲(chǔ)容量超過 100PB。 ? 中國產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的 20232023年中國大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢預(yù)測報(bào)告認(rèn)為，云計(jì)算、物聯(lián)網(wǎng)、智慧城市、移動(dòng)互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時(shí)代的到來。 統(tǒng)計(jì)數(shù)據(jù)顯示， 2023年國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模已達(dá) 1105億元。較 2023年增長 %。 其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比 %、%和 10%。 ? 當(dāng)前，大