物流大數(shù)據(jù)處理培訓教材(編輯修改稿)
2025-02-07 15:28 本頁面
【文章內(nèi)容簡介】 實時 更大、更復雜、更快 ! 數(shù)據(jù)智能 分布式 存儲與計算 大規(guī)模人工 輔劣標注系統(tǒng) 人計算 向量引擎 Machine Learning 算法 Web Contents 流式處理 Logs PubSub 推薦系統(tǒng) 智能交通 Apps 自勱評估 商業(yè)智能 決策輔劣 關于京東 營銷 管理 供應商 管理 倉儲 管理 財務 系統(tǒng) 客戶 數(shù)據(jù) 網(wǎng)站 前臺 關于京東 京東擁有覆蓋企業(yè)全部價值鏈的穩(wěn)定系統(tǒng)，通過持續(xù)優(yōu)化打造開放平 臺，全面提升用戶體驗 。 配送 管理 大規(guī)模數(shù)據(jù)處理更加容易 ETL/企業(yè)數(shù)據(jù)倉庫 （ Hive/Pig/MR） 數(shù)據(jù)挖掘 /建模 （ R、 Mahout） 搜索和推薦 日志存儲 … ? ? ? ? ? “Next Click” 運營智能 風險控制 互動分析 ? 一些場景需要進一步的考量 MapReduce批量處理 = 延遲較長 無法滿足用戶的實時需求 調(diào)度開銷較大 批處理與分析 近實時分析 實時流處理 實時性 離線 準實時 /實時 實時 處理時間 分鐘到小時 毫秒到秒 持續(xù)不斷 數(shù)據(jù)量 TBPB GBTB 持續(xù) 編程模型 MapReduce Queries DAG 用戶 分析師 /開發(fā)者 分析師 /開發(fā)者 開發(fā)者 成本 中 高 高 應用 ETL/數(shù)據(jù)挖掘 / 預處理 ? 數(shù)據(jù)決策分析 /? ? 大數(shù)據(jù)包括三部分 服務 模型 性能 大數(shù)據(jù)實時處理的思考 ? 模型 – 海量數(shù)據(jù) ? 數(shù)據(jù)量大 ? 并發(fā)數(shù)高 – 多個數(shù)據(jù)源整合 – 預定義好的數(shù)據(jù)模型 ? 去規(guī)格化 – 數(shù)據(jù)任務依賴關系簡單 – 推和拉的問題 ? 拉比推好 大數(shù)據(jù)實時處理的思考 ? 性能 – 高并發(fā)需求 – 大容量需求 ? GB–TB 級后臺數(shù)據(jù)處理吞吐 – 高速度需求 ? 從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到 秒級 ? 計算需要在短時間內(nèi)完成 – 批處理預算 – 硬件支持 ? 內(nèi)存、 CPU、網(wǎng)絡 – 容錯 – 水平擴展 大數(shù)據(jù)實時處理的思考 – – – – 關聯(lián)獲取價值，維度按需定制 互動分析、報表等完成價值交付 與其他在線生產(chǎn)系統(tǒng)進行數(shù)據(jù)對接（數(shù)據(jù)反哺） 計算即服務 大數(shù)據(jù)實時處理的思考 ? 服務 生產(chǎn)數(shù)據(jù)庫 企業(yè)數(shù)據(jù)倉庫 大數(shù)據(jù)實時處理架構(gòu) 財務數(shù)據(jù)集市 采銷數(shù)據(jù)集市 羅盤數(shù)據(jù)集市 分析挖掘 數(shù)據(jù)集 數(shù)據(jù) 緩沖區(qū) 企業(yè)消息總線 流式計算集群 實時數(shù)據(jù) 同步 模型 日志 系統(tǒng) 高速存取集群 在線實時計算集群 持久 化 PUSH PULL/PUSH 訂閱 ELT ELT 高速存取集群 ETL 報表應用 分析應用 推薦應用 ... 數(shù) 據(jù) 推 送 中 心 近實時分析集群 近實時計算 實時計算 在線服務 離線計算 應用 分布式消息系統(tǒng) 緩存集群 – – – – 日志（用戶行為、 ?） 批量同步 消息隊列 ? ? 開源技術 – – – – Flume Scribe Kafka ? 大數(shù)據(jù)實時處理技術 ? 數(shù)據(jù)傳輸 ? Apache項目： ? 一個分布式的發(fā)布 /訂閱消息系統(tǒng) ? 術語 – Topics ? 消息分組 – Brokers ? 消息存儲 – Producers ? 消息生產(chǎn)者 – Consumers ? 消息消費者 Kafka
教學課件相關推薦
鄂ICP備17016276號-1