數(shù)據(jù)與大數(shù)據(jù)分析(已修改)
2025-03-17 13:05 本頁(yè)面
【正文】 BIG DATA Contents 1 3 我們可以做些什么 2 實(shí)操分享 4 大數(shù)據(jù)，你從 哪來(lái) 你是誰(shuí) 中國(guó)網(wǎng)民數(shù)量 ： 半 年增長(zhǎng)率： % 中國(guó)注冊(cè)網(wǎng)站數(shù)量： 個(gè) 手機(jī)網(wǎng)民： 占網(wǎng)民總數(shù)： % 月均網(wǎng)絡(luò)交易： 16億筆 每日新發(fā)微 博數(shù)量： 1億 +條 注冊(cè)微博用戶數(shù)： 發(fā)布的網(wǎng)頁(yè)數(shù)量 ： 866億頁(yè) 年增速： ~40% 網(wǎng)絡(luò)直播用戶： 占網(wǎng)民總數(shù) ： % 很多人還沒(méi)搞清楚什么是 PC互聯(lián)網(wǎng)，移動(dòng)互聯(lián)來(lái)了；我們還沒(méi)搞清楚移動(dòng)互聯(lián)的時(shí)候，大數(shù)據(jù)時(shí)代又來(lái) 了！ —— 馬云 數(shù)據(jù)爆炸式的增長(zhǎng) 數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn) 需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式 需要 不同的數(shù)據(jù)管理策略 01 你從哪里來(lái)？ 數(shù)據(jù)爆炸式的增長(zhǎng) 數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn) 數(shù)據(jù)資產(chǎn) B 數(shù)據(jù)資產(chǎn)管理 傳統(tǒng)數(shù)據(jù)管理方式面臨 挑戰(zhàn) A C 需要更高性價(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式 計(jì)算更快 存儲(chǔ)更省 10萬(wàn) GB 10萬(wàn) TB 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 85% 半 /非結(jié)構(gòu)化的 Log / Web page / Email / PDF / Image / Fulltext / MSOffice file 需要 不同的數(shù)據(jù)管理策略 15% 結(jié)構(gòu)化的 DB/DW 殘缺 當(dāng)我們想要擴(kuò)充時(shí)， 才發(fā)覺(jué)： ? 架構(gòu)只能 scaleup， scaleout 不易 ? 處理時(shí)間過(guò)長(zhǎng)， timetovalue 受限 ? 成本過(guò)高， costefficiency 受 限 概念（ Concept） 特征（ Features） 變革 （ Change） 技術(shù)（ Technology） 數(shù)據(jù)庫(kù)（ database） 大數(shù)據(jù)（ bigdata） 你是什么？ 02 大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”。 全球 信息咨詢機(jī)構(gòu)國(guó)際數(shù)據(jù)公司（ IDC）對(duì)大數(shù)據(jù)的技術(shù)定義是：通過(guò)高速捕捉、發(fā)現(xiàn)戒分析，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。 所謂 “大數(shù)據(jù)” (big data) 指的是這樣一種現(xiàn)象：一個(gè)公司日常運(yùn)營(yíng)所生成和積累用戶行為數(shù)據(jù)“ 增長(zhǎng)如此 乊快 ，以至于 難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來(lái)駕馭，困難存在于數(shù)據(jù)的獲取、存儲(chǔ)、搜索、 共享 、分析和可視化等方面?！边@些數(shù)據(jù)量是如此乊大，已經(jīng)丌是以我們所熟知的多少 G和多少 T為 單位來(lái) 衡量，而是以 P(1000個(gè) T)， E(一百萬(wàn)個(gè) T)戒 Z(10億個(gè) T)為計(jì)量單位，所以稱乊為大數(shù)據(jù)。 概念 ? 數(shù)據(jù)類型多 越來(lái)越多非結(jié)構(gòu)化數(shù)據(jù)；音頻、 食品，地理位置信息等多類型數(shù) 據(jù)對(duì)數(shù)據(jù)處理能力提出更高要求。 ? 數(shù)據(jù)價(jià)值高 海量數(shù)據(jù)帶來(lái)了巨大的商業(yè)價(jià)值。 數(shù)據(jù) 乊間關(guān)聯(lián)性支持深層的數(shù)據(jù)挖掘。 大數(shù)據(jù)的特點(diǎn) 4V理論 ? 數(shù)據(jù)處理速度快 對(duì)數(shù)據(jù)實(shí)時(shí)處理有著極高的要求， 通過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)查詢方式得到的 “當(dāng)前結(jié)果”很可能已經(jīng)沒(méi)有價(jià)值。 ? 數(shù)據(jù)規(guī)模大 從 TB躍升到 PB甚至 EB。 一組公式：1024GB=1TB。 1024TB=1PB。1024PB=1EB。 。 ? 各級(jí)政府、主管部門(mén)、上市公司、企業(yè)集團(tuán)、外資公司都將基于大數(shù)據(jù)分析平臺(tái)優(yōu)化其決策。 優(yōu)化 ? 大數(shù)據(jù)分析能力逐漸加強(qiáng)，傳統(tǒng)市場(chǎng)研究行業(yè)、證券研究所、產(chǎn)業(yè)鏈咨詢機(jī)構(gòu)將逐漸消失。 革命 ? 銀行都將基于企業(yè)大數(shù)據(jù)平臺(tái)開(kāi)展銀行直銷業(yè)務(wù)，同時(shí)按照產(chǎn)業(yè)鏈金融服務(wù)事業(yè)部模式開(kāi)展業(yè)務(wù) 顛覆 ? 因大數(shù)據(jù)系統(tǒng)的出現(xiàn)，所有依賴信息丌對(duì)稱盈利的業(yè)務(wù)都將消失。 改變 大數(shù)據(jù)改變生活 IBM CP Industry 需求
語(yǔ)文相關(guān)推薦
鄂ICP備17016276號(hào)-1