中國數(shù)據(jù)資產(chǎn)管理峰會-唯品會大數(shù)據(jù)(編輯修改稿)
2025-03-13 17:20 本頁面
【文章內(nèi)容簡介】 itical 的 Redis – Noncritical 的 Hbase – 積累經(jīng)驗，逐漸往 Hbase dual write – 其實 Hbase也不便宜，就是 scale不動系統(tǒng) – Redis某種程度上也可以實現(xiàn) 17:20:18 11 Redis ? Storm計算用 redis保存中間和結(jié)果數(shù)據(jù) – 流量一直增加 – 大促流量狂漲 – 計算復雜度一直增 加 – 不停拆分 。 – 每次改代碼 ? 怎么辦？ – 逐個模塊拆分 – 一開始就按模塊寫不同 instance – 一開始就 Shard – Twemproxy – 優(yōu)化數(shù)據(jù)結(jié)構(gòu) – Pipeline/Batch – 不求 100%準確 hll log – Redis Cluster 17:20:18 12 Challange ? 實時計算作為平臺 ? 離線和實時的融合 ? 離線向?qū)崟r的遷移成本 應用實踐 ? 業(yè)務應用 – 運營分析 – 幫助公司買 – 幫助公司賣 ? 技術(shù)開發(fā)和運營 – Telescope 業(yè)務監(jiān)控 (storm) – Logview/Titan 服務監(jiān)控 (spark) – Application logging(Spark) – CDN日志分析 (Hive) – Site speed分析 (storm) – 安全審計分析 (impala/storm) 大數(shù)據(jù)對于技術(shù)運營 17:20:18 15 實時業(yè)務監(jiān)控 7 ? 現(xiàn)有平臺 訪問地址： 商品展示 登錄注冊 訂單信息 代金券信息 支付模塊 商品展示 購物車 登錄注冊 訂單信息 代金券信息 支付模塊 FDS 探索號 CDN Nginx域 B2C 移勱端 用戶增加數(shù) 移勱端下單數(shù) 整體下單數(shù) 訂單總金額 購物車增加數(shù) 購物車內(nèi)貨品數(shù)量 業(yè)務集合 域流量集合 登錄熱力地圖 注冊熱力地圖 訂單熱力地圖 購物車訪問熱力地圖 日志數(shù)據(jù) WTW HeatMap 大屏幕 17:20:18 16 實時頁面加載時間監(jiān)控 實時 PV分布監(jiān)控 商業(yè) CDN質(zhì)量分析 App Service Quality ? Spark Streaming, 30 sec minibatch ? 進去 可以看到每個 pool，每個服務器，每個 url的請求次數(shù)，響應時間，錯誤率，在過去兩周的各個維度的
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1