中國數(shù)據(jù)資產(chǎn)管理峰會-唯品會大數(shù)據(jù)(編輯修改稿)
2025-03-13 17:20 本頁面
【文章內(nèi)容簡介】 itical 的 Redis – Noncritical 的 Hbase – 積累經(jīng)驗(yàn)，逐漸往 Hbase dual write – 其實(shí) Hbase也不便宜，就是 scale不動(dòng)系統(tǒng) – Redis某種程度上也可以實(shí)現(xiàn) 17:20:18 11 Redis ? Storm計(jì)算用 redis保存中間和結(jié)果數(shù)據(jù) – 流量一直增加 – 大促流量狂漲 – 計(jì)算復(fù)雜度一直增 加 – 不停拆分 。 – 每次改代碼 ? 怎么辦？ – 逐個(gè)模塊拆分 – 一開始就按模塊寫不同 instance – 一開始就 Shard – Twemproxy – 優(yōu)化數(shù)據(jù)結(jié)構(gòu) – Pipeline/Batch – 不求 100%準(zhǔn)確 hll log – Redis Cluster 17:20:18 12 Challange ? 實(shí)時(shí)計(jì)算作為平臺 ? 離線和實(shí)時(shí)的融合 ? 離線向?qū)崟r(shí)的遷移成本 應(yīng)用實(shí)踐 ? 業(yè)務(wù)應(yīng)用 – 運(yùn)營分析 – 幫助公司買 – 幫助公司賣 ? 技術(shù)開發(fā)和運(yùn)營 – Telescope 業(yè)務(wù)監(jiān)控 (storm) – Logview/Titan 服務(wù)監(jiān)控 (spark) – Application logging(Spark) – CDN日志分析 (Hive) – Site speed分析 (storm) – 安全審計(jì)分析 (impala/storm) 大數(shù)據(jù)對于技術(shù)運(yùn)營 17:20:18 15 實(shí)時(shí)業(yè)務(wù)監(jiān)控 7 ? 現(xiàn)有平臺 訪問地址： 商品展示 登錄注冊 訂單信息 代金券信息 支付模塊 商品展示 購物車 登錄注冊 訂單信息 代金券信息 支付模塊 FDS 探索號 CDN Nginx域 B2C 移勱端 用戶增加數(shù) 移勱端下單數(shù) 整體下單數(shù) 訂單總金額 購物車增加數(shù) 購物車內(nèi)貨品數(shù)量 業(yè)務(wù)集合 域流量集合 登錄熱力地圖 注冊熱力地圖 訂單熱力地圖 購物車訪問熱力地圖 日志數(shù)據(jù) WTW HeatMap 大屏幕 17:20:18 16 實(shí)時(shí)頁面加載時(shí)間監(jiān)控 實(shí)時(shí) PV分布監(jiān)控 商業(yè) CDN質(zhì)量分析 App Service Quality ? Spark Streaming, 30 sec minibatch ? 進(jìn)去 可以看到每個(gè) pool，每個(gè)服務(wù)器，每個(gè) url的請求次數(shù)，響應(yīng)時(shí)間，錯(cuò)誤率，在過去兩周的各個(gè)維度的
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1