大數(shù)據(jù)時代索引與數(shù)據(jù)庫事業(yè)的發(fā)展與創(chuàng)新(已修改)
2024-11-04 21:03 本頁面
【正文】 大數(shù)據(jù)時代索引與數(shù)據(jù)庫 事業(yè)的發(fā)展與創(chuàng)新 2 大綱 結(jié)語 大數(shù)據(jù)時代索引與數(shù)據(jù)庫事業(yè)面臨的挑戰(zhàn)及創(chuàng)新 索引與數(shù)據(jù)庫的發(fā)展現(xiàn)狀 大數(shù)據(jù)時代 引言 RCCSE 中國科學(xué)評價研究中心 3 1 引言 ? “大數(shù)據(jù)”（ Big Data）已經(jīng)在全球引起了廣泛關(guān)注，正在引領(lǐng)了又一輪數(shù)據(jù)技術(shù)的革命。 ?美國 EMC公司于 2020年 5月在美國拉斯維加斯舉辦第 11屆 EMC World大會，大會的核心是幫助企業(yè)利用 IT變革的重要趨勢。此次大會以“云計算相遇大數(shù)據(jù)（ Cloud Meets Big Data）”為主題，著重展現(xiàn)當(dāng)今兩個最重要的技術(shù)趨勢，正式提出了“大數(shù)據(jù)”概念。 RCCSE 中國科學(xué)評價研究中心 4 ?根據(jù) IDC《 數(shù)字世界 》 研究項目在2020年的統(tǒng)計， 2020年全球數(shù)字資源的規(guī)模首次突破了 ZB（ 1ZB=1萬億 GB）級別，達(dá)到了 ；而2020年只有 130Eb，五年增長了 10倍。如果保持這種爆炸式的增長速度，到了 2020年，我們的數(shù)字資源規(guī)模將超過 40ZB，相當(dāng)于世界上 每個人擁有超過 5200GB的數(shù)據(jù)。無疑，我們已進入了大數(shù)據(jù)時代。 RCCSE 中國科學(xué)評價研究中心 單位： ZB 1 引言 5 ?在 2020年 12月，我國工信部發(fā)布了物聯(lián)網(wǎng) “十二五”規(guī)劃，提出了 4項關(guān)鍵技術(shù)創(chuàng)新工程。信息處理技術(shù) 的內(nèi)容包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析等，都是大數(shù)據(jù)技術(shù)的重要組成部分；另外 3項關(guān)鍵技術(shù)創(chuàng)新工程，包括 信息感知技術(shù) 、 信息傳輸技術(shù) 、 信息安全技術(shù) ，這些也都與“大數(shù)據(jù)”密切相關(guān)。我國也對大數(shù)據(jù)技術(shù)給予了足夠的重視。 RCCSE 中國科學(xué)評價研究中心 1 引言 6 1 引言 ? 基于以上概述，我們認(rèn)為，大數(shù)據(jù)時代已經(jīng)到來，已經(jīng)對我們的社會產(chǎn)生了重大影響。本文將 嘗試對大數(shù)據(jù)時代我國的索引和數(shù)據(jù)庫事業(yè)的發(fā)展與創(chuàng)新進行研究和展望 。 RCCSE 中國科學(xué)評價研究中心 7 2 大數(shù)據(jù)時代 ? 大數(shù)據(jù)的定義和特征 ? 許多權(quán)威機構(gòu)和企業(yè)對大數(shù)據(jù)給予了不同的定義。 ?麥肯錫認(rèn)為，“大數(shù)據(jù)所涉及的數(shù)據(jù)集規(guī)模已經(jīng)超過了傳統(tǒng)數(shù)據(jù)庫軟件獲取、存儲、管理和分析的能力。” RCCSE 中國科學(xué)評價研究中心 8 2 大數(shù)據(jù)時代 ?IBM公司認(rèn)為，可以用 3個特征相結(jié)合來定義大數(shù)據(jù)：數(shù)量（ Volume）、種類（ Variety）和速度（ Velocity），即龐大容量、極快速度和種類豐富的數(shù)據(jù)。 ?IDC公司認(rèn)為，“大數(shù)據(jù)不是一個事物，而是一個跨多個信息技術(shù)領(lǐng)域的現(xiàn)象。大數(shù)據(jù)技術(shù)描述了新一代的技術(shù)和架構(gòu)，通過使用高速（Velocity）的采集、發(fā)現(xiàn)或分析方法，從超大容量（ Volume）的多樣（ Variety）數(shù)據(jù)中經(jīng)濟地提取價值（ Value）。” RCCSE 中國科學(xué)評價研究中心 9 ? 綜合以上幾種不同的見解， 我們認(rèn)為，具備以下特征的就是大數(shù)據(jù) 。 ?（ 1） 數(shù)量大（ Volume） 。大數(shù)據(jù)所包含的數(shù)據(jù)量很大，而且在急劇增長之中。但是，在可供使用的數(shù)據(jù)數(shù)量不斷增長的同時，可處理、理解和分析的數(shù)據(jù)比例卻在不斷下降。 RCCSE 中國科學(xué)評價研究中心 2 大數(shù)據(jù)時代 10 2 大數(shù)據(jù)時代 ?（ 2） 種類多（ Variety） 。隨著技術(shù)的發(fā)展，數(shù)據(jù)源不斷增多，數(shù)據(jù)的類型也不斷增加。不僅包含傳統(tǒng)的關(guān)系型數(shù)據(jù)，還包含來自網(wǎng)頁、互聯(lián)網(wǎng)、搜索引擎、論壇、電子郵件、傳感器數(shù)據(jù)等原始的、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。 ?（ 3） 速度快（ Velocity） 。除了收集數(shù)據(jù)的數(shù)量和種類發(fā)生變化，需要處理和生成數(shù)據(jù)的速度也在變化。數(shù)據(jù)流動的速度在加快，要有效的處理大數(shù)據(jù)，需要在數(shù)據(jù)變化的過程中實時的對其進行分析，而不是滯后的進行處理。 RCCSE 中國科學(xué)評價研究中心 11 2 大數(shù)據(jù)時代 ?（ 4） 價值量（ Value） 。在信息時代，信息具有很重要的商業(yè)價值。但是，信息具有生命周期，數(shù)據(jù)的價值會隨時間快速減少。另外，大數(shù)據(jù)的數(shù)量龐大，種類繁多，變化也快，數(shù)據(jù)的價值密度很低。如何從大量多樣的數(shù)據(jù)中盡快的分析出有價值的信息非常重要。對海量的數(shù)據(jù)進行挖掘和分析，這也是大數(shù)據(jù)技術(shù)的難點。 RCCSE 中國科學(xué)評價研究中心 12 ?（ 5） 真實性（ Veracity） 。這是一個衍生特征。真實有效的數(shù)據(jù)才具有意義。隨著新數(shù)據(jù)源的增加，信息量的爆炸式增長，我們很難對數(shù)據(jù)的真實性和安全性進行控制，因此需要對大數(shù)據(jù)進行有效的信息治理。 ? 大數(shù)據(jù)在結(jié)構(gòu)類型上
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1