storm分享(已修改)
2025-10-28 22:03 本頁面
【正文】 LOGO Storm 分享 紀(jì)君祥（ 封仲淹 ） 流式計算之 紀(jì)君祥（ Longda Feng） Alipay 紀(jì)君祥（ Longda Feng） Alipay 大綱 運 維經(jīng)驗 1 開發(fā)經(jīng)驗 2 Storm原理介紹 3 討論 4 紀(jì)君祥（ Longda Feng） Alipay 背景介紹 ?支付寶 storm團隊 是 ali最早開始使用storm的團隊 ? 歷經(jīng) ?擁有自己的 jstorm （ java storm） ?現(xiàn)在每日處理量 ? 線 上 50+ 臺物理機 ? 每日進入 storm集群的消息或日志條數(shù) 30億 + 運維 1 – 監(jiān)控與報警 ?進程監(jiān)控 – 監(jiān)控 supervisor/nimbus ?Statics監(jiān)控 ? Tps 監(jiān)控 ? Failure times監(jiān)控 ?記錄 meta 數(shù)據(jù)時間 紀(jì)君祥（ Longda Feng） Alipay 運維 2 – 部署 ?利用共享存儲 ? 將 storm/zeromq/jzmq 全部安裝在共享目錄 ? 共享目錄在所有節(jié)點共享 ? 將 storm data目錄和 log目錄配置為節(jié)點本地目錄 紀(jì)君祥（ Longda Feng） Alipay 運維 3 – 集群隔離 ?從當(dāng)前大集群中劃幾臺機器做個 storm小集群 ? 修改 storm腳本，讓 storm讀取第二個配置文件 ? 修改配置文件中 ? ? 紀(jì)君祥（ Longda Feng） Alipay 運維 4 – 加載 zeromq失敗 ?Zeromq推薦 ?64位 java 就需要使用 64位 zeromq ?在 64位 OS上使用 32位 java ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1