數(shù)據(jù)與大數(shù)據(jù)分析-展示頁(yè)
2025-03-15 13:05本頁(yè)面
【正文】 = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 85% 半 /非結(jié)構(gòu)化的 Log / Web page / Email / PDF / Image / Fulltext / MSOffice file 需要 不同的數(shù)據(jù)管理策略 15% 結(jié)構(gòu)化的 DB/DW 殘缺 當(dāng)我們想要擴(kuò)充時(shí)， 才發(fā)覺(jué)： ? 架構(gòu)只能 scaleup， scaleout 不易 ? 處理時(shí)間過(guò)長(zhǎng)， timetovalue 受限 ? 成本過(guò)高， costefficiency 受 限 概念（ Concept） 特征（ Features） 變革 （ Change） 技術(shù)（ Technology） 數(shù)據(jù)庫(kù)（ database） 大數(shù)據(jù)（ bigdata） 你是什么？ 02 大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”。 所謂 “大數(shù)據(jù)” (big data) 指的是這樣一種現(xiàn)象：一個(gè)公司日常運(yùn)營(yíng)所生成和積累用戶(hù)行為數(shù)據(jù)“ 增長(zhǎng)如此 乊快 ，以至于 難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來(lái)駕馭，困難存在于數(shù)據(jù)的獲取、存儲(chǔ)、搜索、 共享 、分析和可視化等方面。 概念 ? 數(shù)據(jù)類(lèi)型多 越來(lái)越多非結(jié)構(gòu)化數(shù)據(jù)；音頻、 食品，地理位置信息等多類(lèi)型數(shù) 據(jù)對(duì)數(shù)據(jù)處理能力提出更高要求。 數(shù)據(jù) 乊間關(guān)聯(lián)性支持深層的數(shù)據(jù)挖掘。 ? 數(shù)據(jù)規(guī)模大 從 TB躍升到 PB甚至 EB。 1024TB=1PB。 。 優(yōu)化 ? 大數(shù)據(jù)分析能力逐漸加強(qiáng)，傳統(tǒng)市場(chǎng)研究行業(yè)、證券研究所、產(chǎn)業(yè)鏈咨詢(xún)機(jī)構(gòu)將逐漸消失。 改變 大數(shù)據(jù)改變生活 IBM CP Industry 需求 海量數(shù)據(jù)存儲(chǔ)技術(shù) 實(shí)時(shí)數(shù)據(jù)處理技術(shù) 數(shù)據(jù)高速傳輸技術(shù) 搜索技術(shù) 描述 分布式文件系統(tǒng) 流計(jì)算引擎 服務(wù)器 /存儲(chǔ)間高速通信 文本檢索、智能搜索、實(shí)時(shí)搜 索 技術(shù) Hadoop， x86/MPP Map Reduce Streaming Data Infini Band Enterprise Search 數(shù)據(jù)分析技術(shù) 大 數(shù)據(jù)涉及的關(guān)鍵技術(shù) Text Analytics Engine 自然語(yǔ)言處理、文本情感分析、 Visual Data Modeling 機(jī)器學(xué)習(xí)、聚類(lèi)關(guān)聯(lián)、 數(shù)據(jù)模型 顧客 一次購(gòu)買(mǎi)商品 1 面包 、 黃油 、 尿布 、 牛奶 2 咖啡 、 糖 、 小甜餅 、 鮭魚(yú) 3 面包 、 黃油 、 咖啡 、 尿布 、 牛奶 、 雞蛋 4 面包 、 黃油 、 鮭魚(yú) 、 雞 5 雞蛋 、 面包 、 黃油 6 鮭魚(yú) 、 尿布 、 牛奶 7 面包 、 茶葉 、 糖 、 雞蛋 8 咖啡 、 糖 、 雞 、 雞蛋 9 面包 、 尿布 、 牛奶 、 鹽 10 茶葉 、 雞蛋 、 小甜餅 、 尿布 、 牛奶 、 、 、 糖 、 、 、 、 、 、 、 、 雞、 、 、 、 糖 、 糖 、 雞 、 、 、 鹽、 、 、 、品種 計(jì)數(shù)項(xiàng) : 品種 面包 6 牛奶 5 尿布 5 雞蛋 5 黃油 4 糖 3 咖啡 3 鮭魚(yú) 3 小甜餅 2 雞 2 茶葉 2 鹽 1 總計(jì) 41 概念（ Concept） 分類(lèi)（ Features） 流程（ Technological process） 03 我們可以做些什么？ 什么是數(shù)據(jù)分析 數(shù)據(jù)分析有哪些類(lèi)型 描述性 數(shù)據(jù)分析 探索性 驗(yàn)證性 對(duì)比分析法 平均分析法 交叉分析法 初級(jí)數(shù)據(jù)分析 高級(jí)數(shù)據(jù)分析 相關(guān)分析 因子分析 回歸分析 ? 先決條件 ? 提供方向 明確目的 ? 數(shù)據(jù)庫(kù) ? 其他媒介 數(shù)據(jù)收集 ? 清洗、轉(zhuǎn)化、提取、計(jì)算 數(shù)據(jù)處理 ? 統(tǒng)計(jì)分析 ? 數(shù)據(jù)挖掘
語(yǔ)文相關(guān)推薦
鄂ICP備17016276號(hào)-1