大數(shù)據(jù)物流可視化解決方案(編輯修改稿)
2025-01-25 18:36 本頁面
【文章內(nèi)容簡介】 uce Queries DAG 用戶 分析師 /開發(fā)者 分析師 /開發(fā)者 開發(fā)者 成本 中 高 高 應(yīng)用 ETL/數(shù)據(jù)挖掘 / 預(yù)處理 ? 數(shù)據(jù)決策分析 /? ? 大數(shù)據(jù)包括三部分 服務(wù) 模型 性能 大數(shù)據(jù)實(shí)時處理的思考 ? 模型 – 海量數(shù)據(jù) ? 數(shù)據(jù)量大 ? 并發(fā)數(shù)高 – 多個數(shù)據(jù)源整合 – 預(yù)定義好的數(shù)據(jù)模型 ? 去規(guī)格化 – 數(shù)據(jù)任務(wù)依賴關(guān)系簡單 – 推和拉的問題 ? 拉比推好 大數(shù)據(jù)實(shí)時處理的思考 ? 性能 – 高并發(fā)需求 – 大容量需求 ? GB–TB 級后臺數(shù)據(jù)處理吞吐 – 高速度需求 ? 從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到 秒級 ? 計(jì)算需要在短時間內(nèi)完成 – 批處理預(yù)算 – 硬件支持 ? 內(nèi)存、 CPU、網(wǎng)絡(luò) – 容錯 – 水平擴(kuò)展 大數(shù)據(jù)實(shí)時處理的思考 – – – – 關(guān)聯(lián)獲取價值，維度按需定制 互動分析、報(bào)表等完成價值交付 與其他在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對接（數(shù)據(jù)反哺） 計(jì)算即服務(wù) 大數(shù)據(jù)實(shí)時處理的思考 ? 服務(wù) 生產(chǎn)數(shù)據(jù)庫 企業(yè)數(shù)據(jù)倉庫 大數(shù)據(jù)實(shí)時處理架構(gòu) 財(cái)務(wù)數(shù)據(jù)集市 采銷數(shù)據(jù)集市 羅盤數(shù)據(jù)集市 分析挖掘 數(shù)據(jù)集 數(shù)據(jù) 緩沖區(qū) 企業(yè)消息總線 流式計(jì)算集群 實(shí)時數(shù)據(jù) 同步 模型 日志 系統(tǒng) 高速存取集群 在線實(shí)時計(jì)算集群 持久 化 PUSH PULL/PUSH 訂閱 ELT ELT 高速存取集群 ETL 報(bào)表應(yīng)用 分析應(yīng)用 推薦應(yīng)用 ... 數(shù) 據(jù) 推 送 中 心 近實(shí)時分析集群 近實(shí)時計(jì)算 實(shí)時計(jì)算 在線服務(wù) 離線計(jì)算 應(yīng)用 分布式消息系統(tǒng) 緩存集群 – – – – 日志（用戶行為、 ?） 批量同步 消息隊(duì)列 ? ? 開源技術(shù) – – – – Flume Scribe Kafka ? 大數(shù)據(jù)實(shí)時處理技術(shù) ? 數(shù)據(jù)傳輸 ? Apache項(xiàng)目： ? 一個分布式的發(fā)布 /訂閱消息系統(tǒng) ? 術(shù)語 – Topics ? 消息分組 – Brokers ? 消息存儲 – Producers ? 消息生產(chǎn)者 – Consumers ? 消息消費(fèi)者 Kafka – – – – – 大數(shù)據(jù)實(shí)時處理技術(shù) ? 幾個點(diǎn) Sink Agent Agent Storm等 Broker(Topic1) Broker(Topic2) HDFS Zookeeper 解耦 緩沖 容錯 透明 跨數(shù)據(jù)中心數(shù)據(jù)分發(fā) Flume Kafka – – – – – – Hadoop HBase Cassandra MongoDB Redis ? ? 數(shù)據(jù)庫 Sharding ? 合適的就是最好的 大數(shù)據(jù)實(shí)時處理技術(shù) ? 存儲 – 大容量低速存儲 – 高速存儲 – KV存儲 ? 開源 NoSQL數(shù)據(jù)存儲 – – – – 可加計(jì)算、不可加計(jì)算 實(shí)時數(shù)據(jù)的實(shí)時計(jì)算 實(shí)時數(shù)據(jù)的計(jì)算 數(shù)據(jù)的實(shí)時計(jì)算 ? 開源計(jì)算框架 – Storm – Impala – ? 大數(shù)據(jù)實(shí)時處理技術(shù) ? 計(jì)算 大數(shù)據(jù)實(shí)時分析 明細(xì)事實(shí)表 聚合表 1 聚合表 2 聚合表 3 ? 基本概念 – Streams（流） ? 元組序列 – Spouts ? 流的源頭 – Bolts ? Functions, Filters, Joins, Aggregations – Topologies ? 優(yōu)點(diǎn) – 可擴(kuò)展、容錯、易用 ? – 在內(nèi)存中執(zhí)行 流式計(jì)算 Storm ? Twitter開源的分布式處理框架 Spouts Bolt Topologies ? Nimbus – 主控節(jié)點(diǎn)，用于任務(wù)分配，集群任務(wù)監(jiān)控等 ? Zookeeper – 集群中協(xié)調(diào)，共有數(shù)據(jù)的存放 (如心跳信息 ) ? Supervisor – 對應(yīng)一臺物理機(jī)，用于啟動 worker ? Worker – 工作進(jìn)程，負(fù)責(zé)啟動 task，以及通過 zeromq進(jìn)行 tuple的分發(fā)，與 接收。 ? Task – 工作線程 ,任務(wù)的
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1