大數(shù)據(jù)分析與決策(xxxx-1)-展示頁
2025-03-17 10:37本頁面
【正文】 年，整個(gè)世界的數(shù)據(jù)總量將會增長44 倍，達(dá)到 （ 1ZB=10 億 TB）！ GB TB PB EB ZB 1GB = 2^30字節(jié) 1TB = 2^40字節(jié) 1PB = 2^50字節(jié) 1EB = 2^60字節(jié) 1ZB = 2^70字節(jié) 2023/3/29 7 大數(shù)據(jù)的 4V特征 “大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價(jià)值密度低（ Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。 2023/3/29 6 大數(shù)據(jù)時(shí)代的爆炸增長 想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念 *。 半個(gè)世紈以來，隨著計(jì)算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。 姜昱汐 (大連交通大學(xué)經(jīng)濟(jì)管理學(xué)院經(jīng)濟(jì)學(xué)教研室 ) 一、大數(shù)據(jù)的相關(guān)概念 二、大數(shù)據(jù)分析 三、大數(shù)據(jù)應(yīng)用的典型案例 四、大數(shù)據(jù)的可靠性 五、大數(shù)據(jù)與貝葉斯方法 2023/3/29 2 *數(shù)據(jù)管理技 術(shù)發(fā)展歷史 數(shù)據(jù)管理技術(shù)歷經(jīng)人工管理、文件管理、數(shù)據(jù)庫管理等時(shí)代，大數(shù)據(jù)技術(shù)的出現(xiàn)使該領(lǐng)域進(jìn)入了一個(gè)新的發(fā)展階段 3 1946 1951 1956 1961 1970 1974 1979 1991 2023 2023 2023 2023 第一臺計(jì)算機(jī)ENIAC面世 磁帶 +卡片 人工管理 磁盤被發(fā)明，進(jìn)入 文件管理時(shí)代 網(wǎng)絡(luò)型 SQL ER GE公司發(fā)明第一個(gè)網(wǎng)絡(luò)模型數(shù)據(jù)庫，但僅限于 GE自己的主機(jī) 1960年代， IT系統(tǒng)規(guī)模和復(fù)雜度變大，數(shù)據(jù)與應(yīng)用分離的需求開始產(chǎn)生，數(shù)據(jù)庫技術(shù)開始萌芽并蓬勃發(fā)展，并在 1990年后逐步統(tǒng)一到以關(guān)系型數(shù)據(jù)庫為主導(dǎo) IBM dd提出關(guān)系模型 SQL語言被發(fā)明 關(guān)系型 數(shù)據(jù)庫 ORACLE發(fā)布第一個(gè)商用 SQL關(guān)系數(shù)據(jù)庫，后續(xù)快速發(fā)展 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫 開始涌現(xiàn)，關(guān)系數(shù)據(jù)庫開始全面普及且平臺無關(guān)，進(jìn)入成熟期 2023年后，互聯(lián)網(wǎng)迅速發(fā)展，數(shù)據(jù)量成倍遞增，量變引起質(zhì)變，開始對數(shù)據(jù)管理技術(shù)提出全新的要求 1946年，電腦誕生，數(shù)據(jù)與應(yīng)用緊密捆綁在文件中，彼此不分 Hadoop成為 Apache頂級項(xiàng)目，重點(diǎn)支持海量數(shù)據(jù)分布式管理和分布式計(jì)算 GFS 谷歌發(fā)表論文介紹分布式計(jì)算 *大數(shù)據(jù)發(fā)展背景 全球信息化發(fā)展已步入大數(shù)據(jù)時(shí)代 150億個(gè)設(shè)備連接到互聯(lián)網(wǎng) 全球每秒鐘發(fā)送 290萬封電子郵件 每天有 萬小時(shí)視頻上傳到 Youtube Facebook 每日評論達(dá) 32億條，每天上傳照片近3億張，每月處理數(shù)據(jù)總量約 130萬 TB 2023年全球產(chǎn)生數(shù)據(jù)量 ，預(yù)計(jì) 2023年將增長到 35ZB 大數(shù)據(jù)正迅速成為最值得關(guān)注的 IT領(lǐng)域之一 2023年 5月， EMC World 2023大會主題“云計(jì)算相遇大數(shù)據(jù)”， EMC 除了一直倡導(dǎo)的云計(jì)算外，還拋出 大數(shù)據(jù) （ Big Data）概念 2023年 6月底， IBM、麥肯錫等眾多國外機(jī)構(gòu)發(fā)布大數(shù)據(jù) 相關(guān)研究報(bào)告，予以積極跟進(jìn) 2023 年 10 月， Gartner 認(rèn)為 2023 年十大戰(zhàn)略技術(shù)將包括 大數(shù)據(jù) 2023 年 11 月底， IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心） 將 大數(shù)據(jù) 放入 2023 年信息通信產(chǎn)業(yè)十大預(yù)測之一 4 IDC全球數(shù)據(jù)量預(yù)測（ 1ZB = 1百萬 PB = 10億 TB） Google網(wǎng)站 Big data關(guān)鍵詞搜索及新聞引用量 什么是 大數(shù)據(jù) 1 2 3 大數(shù)據(jù)的定義理解 大數(shù)據(jù)的 “4V” 特征 大數(shù)據(jù)的產(chǎn)生、增長 2023/3/29 5 “大數(shù)據(jù)”是如何產(chǎn)生的？ facebook 社交網(wǎng)絡(luò) … 淘寶 電子商務(wù) … 微博、Apps 移勱互聯(lián) … 21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。 互聯(lián)網(wǎng)（社交、搜索、電商）、移勱互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、 GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。它不仁使世界充斥著比以往更多的信息，而且其增長速度也在加快。如仂，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。 地球上至今總共的數(shù)據(jù)量 ： 在 2023 年，個(gè)人用戶才剛剛邁迚 TB時(shí)代，全球一共新產(chǎn)生了約 180EB的數(shù)據(jù)； 在 2023 年，這個(gè)數(shù)字達(dá)到了 。 Volume Velocity Value Variety 2023/3/29 8 ? 數(shù)據(jù)體量巨大（ Volume）： ? 百度資料表明，其新首頁導(dǎo)航每天需要提供的數(shù)據(jù)超過 (1PB=1024TB)，這些數(shù)據(jù)如果打印出來將超過 5千億張 A4紙。 ? 數(shù)據(jù)類型多樣化： ? 現(xiàn)在的數(shù)據(jù)不仁是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多種類型的數(shù)據(jù)，個(gè)性化、非結(jié)構(gòu)化數(shù)據(jù)占據(jù)較大比例。 ? 單個(gè)數(shù)據(jù)可能價(jià)值不大，但是數(shù)據(jù)整體還是有高價(jià)值的（比如一個(gè)班級大家發(fā)的微博可能沒有特別大的意義，但是全國高校大學(xué)生發(fā)的微博就可以反映當(dāng)代大學(xué)生思想理念） 2023/3/29 9 大數(shù)據(jù)的構(gòu)成 大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù) 海量交易數(shù)據(jù)： 企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫迚行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。 大數(shù)據(jù)包括： 交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集 海量交互數(shù)據(jù)： 源于 Facebook、 Twitter、微博、微信及其他來源的社交媒體數(shù)據(jù)構(gòu)成?？梢愿嬖V我們未來會發(fā)生什么。例如具有開放源碼、在商品硬件群中運(yùn)行的 Apache Hadoop。該計(jì)劃的目標(biāo)是改迚現(xiàn)有人們從海量和復(fù)雜的數(shù)據(jù)中獲取知識的能力，從而加速美國在科學(xué)與工程領(lǐng)域發(fā)明
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1