物流大數(shù)據(jù)處理培訓(xùn)教材(編輯修改稿)
2025-02-07 15:28 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 實(shí)時(shí) 更大、更復(fù)雜、更快 ! 數(shù)據(jù)智能 分布式 存儲(chǔ)與計(jì)算 大規(guī)模人工 輔劣標(biāo)注系統(tǒng) 人計(jì)算 向量引擎 Machine Learning 算法 Web Contents 流式處理 Logs PubSub 推薦系統(tǒng) 智能交通 Apps 自勱評(píng)估 商業(yè)智能 決策輔劣 關(guān)于京東 營(yíng)銷 管理 供應(yīng)商 管理 倉(cāng)儲(chǔ) 管理 財(cái)務(wù) 系統(tǒng) 客戶 數(shù)據(jù) 網(wǎng)站 前臺(tái) 關(guān)于京東 京東擁有覆蓋企業(yè)全部?jī)r(jià)值鏈的穩(wěn)定系統(tǒng)，通過持續(xù)優(yōu)化打造開放平 臺(tái)，全面提升用戶體驗(yàn) 。 配送 管理 大規(guī)模數(shù)據(jù)處理更加容易 ETL/企業(yè)數(shù)據(jù)倉(cāng)庫(kù) （ Hive/Pig/MR） 數(shù)據(jù)挖掘 /建模 （ R、 Mahout） 搜索和推薦 日志存儲(chǔ) … ? ? ? ? ? “Next Click” 運(yùn)營(yíng)智能 風(fēng)險(xiǎn)控制 互動(dòng)分析 ? 一些場(chǎng)景需要進(jìn)一步的考量 MapReduce批量處理 = 延遲較長(zhǎng) 無法滿足用戶的實(shí)時(shí)需求 調(diào)度開銷較大 批處理與分析 近實(shí)時(shí)分析 實(shí)時(shí)流處理 實(shí)時(shí)性 離線 準(zhǔn)實(shí)時(shí) /實(shí)時(shí) 實(shí)時(shí) 處理時(shí)間 分鐘到小時(shí) 毫秒到秒 持續(xù)不斷 數(shù)據(jù)量 TBPB GBTB 持續(xù) 編程模型 MapReduce Queries DAG 用戶 分析師 /開發(fā)者 分析師 /開發(fā)者 開發(fā)者 成本 中 高 高 應(yīng)用 ETL/數(shù)據(jù)挖掘 / 預(yù)處理 ? 數(shù)據(jù)決策分析 /? ? 大數(shù)據(jù)包括三部分 服務(wù) 模型 性能 大數(shù)據(jù)實(shí)時(shí)處理的思考 ? 模型 – 海量數(shù)據(jù) ? 數(shù)據(jù)量大 ? 并發(fā)數(shù)高 – 多個(gè)數(shù)據(jù)源整合 – 預(yù)定義好的數(shù)據(jù)模型 ? 去規(guī)格化 – 數(shù)據(jù)任務(wù)依賴關(guān)系簡(jiǎn)單 – 推和拉的問題 ? 拉比推好 大數(shù)據(jù)實(shí)時(shí)處理的思考 ? 性能 – 高并發(fā)需求 – 大容量需求 ? GB–TB 級(jí)后臺(tái)數(shù)據(jù)處理吞吐 – 高速度需求 ? 從數(shù)據(jù)產(chǎn)生到處理完成結(jié)果延遲要求到 秒級(jí) ? 計(jì)算需要在短時(shí)間內(nèi)完成 – 批處理預(yù)算 – 硬件支持 ? 內(nèi)存、 CPU、網(wǎng)絡(luò) – 容錯(cuò) – 水平擴(kuò)展 大數(shù)據(jù)實(shí)時(shí)處理的思考 – – – – 關(guān)聯(lián)獲取價(jià)值，維度按需定制 互動(dòng)分析、報(bào)表等完成價(jià)值交付 與其他在線生產(chǎn)系統(tǒng)進(jìn)行數(shù)據(jù)對(duì)接（數(shù)據(jù)反哺） 計(jì)算即服務(wù) 大數(shù)據(jù)實(shí)時(shí)處理的思考 ? 服務(wù) 生產(chǎn)數(shù)據(jù)庫(kù) 企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 大數(shù)據(jù)實(shí)時(shí)處理架構(gòu) 財(cái)務(wù)數(shù)據(jù)集市 采銷數(shù)據(jù)集市 羅盤數(shù)據(jù)集市 分析挖掘 數(shù)據(jù)集 數(shù)據(jù) 緩沖區(qū) 企業(yè)消息總線 流式計(jì)算集群 實(shí)時(shí)數(shù)據(jù) 同步 模型 日志 系統(tǒng) 高速存取集群 在線實(shí)時(shí)計(jì)算集群 持久 化 PUSH PULL/PUSH 訂閱 ELT ELT 高速存取集群 ETL 報(bào)表應(yīng)用 分析應(yīng)用 推薦應(yīng)用 ... 數(shù) 據(jù) 推 送 中 心 近實(shí)時(shí)分析集群 近實(shí)時(shí)計(jì)算 實(shí)時(shí)計(jì)算 在線服務(wù) 離線計(jì)算 應(yīng)用 分布式消息系統(tǒng) 緩存集群 – – – – 日志（用戶行為、 ?） 批量同步 消息隊(duì)列 ? ? 開源技術(shù) – – – – Flume Scribe Kafka ? 大數(shù)據(jù)實(shí)時(shí)處理技術(shù) ? 數(shù)據(jù)傳輸 ? Apache項(xiàng)目： ? 一個(gè)分布式的發(fā)布 /訂閱消息系統(tǒng) ? 術(shù)語(yǔ) – Topics ? 消息分組 – Brokers ? 消息存儲(chǔ) – Producers ? 消息生產(chǎn)者 – Consumers ? 消息消費(fèi)者 Kafka
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1