storm分享(編輯修改稿)
2024-11-22 22:03 本頁面
【文章內(nèi)容簡介】 us/supervisor, 保障第一時間重啟 worker 紀君祥（ Longda Feng） Alipay 開發(fā) 2 – 消息中間件 + storm ?推薦使用 meta/tt + storm ? Storm 會升級，或重啟，因此需要一個消息中間件進行緩沖。 ? 當計算程序有誤時，可以修改偏移量進行重新計算 紀君祥（ Longda Feng） Alipay 開發(fā) 3 – 并發(fā)度計算 ?經(jīng)驗： ? 單 Spout每秒發(fā)送 500個 ? 單 Bolt 每秒接受 2020個 ? Acker每秒接受 6000個 紀君祥（ Longda Feng） Alipay 開發(fā) 4 – meta變更 ?如果使用異步 meta客戶端時， ? 當增加 /重啟 meta時，均需要重啟 topology ?如果使用 trasaction時， ? 增加 meta時， meta的 brokerId要按順序 紀君祥（ Longda Feng） Alipay 開發(fā) 5 – storm修改 ?打 patch ? 增加 kill amp。sleep operation before kill 9 ? 修改 log名，將 topologyid增加到 log名中 ? 在 supervisor syncprocesses/synchronizesupervisor 增加 catch exception ?編譯 storm請參考 ? 紀君祥（ Longda Feng） Alipay 開發(fā) 6 – 重跑能力 ?在實際計算中，常常發(fā)現(xiàn)需要做數(shù)據(jù)訂正，因此在設計整個項目時，需要考慮重跑功能 ? 在 meta中，數(shù)據(jù)最好帶時間戳 ? 如果計算結(jié)果入 hadoop或數(shù)據(jù)庫，最好結(jié)果也含有時間戳
教學課件相關推薦
鄂ICP備17016276號-1