storm分享-全文預覽
【正文】 論 4 紀君祥（ Longda Feng） Alipay 背景介紹 ?支付寶 storm團隊 是 ali最早開始使用storm的團隊 ? 歷經(jīng) ?擁有自己的 jstorm （ java storm） ?現(xiàn)在每日處理量 ? 線 上 50+ 臺物理機 ? 每日進入 storm集群的消息或日志條數(shù) 30億 + 運維 1 – 監(jiān)控與報警 ?進程監(jiān)控 – 監(jiān)控 supervisor/nimbus ?Statics監(jiān)控 ? Tps 監(jiān)控 ? Failure times監(jiān)控 ?記錄 meta 數(shù)據(jù)時間 紀君祥（ Longda Feng） Alipay 運維 2 – 部署 ?利用共享存儲 ? 將 storm/zeromq/jzmq 全部安裝在共享目錄 ? 共享目錄在所有節(jié)點共享 ? 將 storm data目錄和 log目錄配置為節(jié)點本地目錄 紀君祥（ Longda Feng） Alipay 運維 3 – 集群隔離 ?從當前大集群中劃幾臺機器做個 storm小集群 ? 修改 storm腳本，讓 storm讀取第二個配置文件 ? 修改配置文件中 ? ? 紀君祥（ Longda Feng） Alipay 運維 4 – 加載 zeromq失敗 ?Zeromq推薦 ?64位 java 就需要使用 64位 zeromq ?在 64位 OS上使用 32位 java ? 編譯 zeromq 增加 flag –m32 紀君祥（ Longda Feng） Alipay 運維 5 – JVM 優(yōu)化 ?: XX:+UseConcMarkSweepGC Xms1g Xmx1g Xmn378m XX:Survivor
教學課件相關推薦
鄂ICP備17016276號-1