ztq異步任務(wù)隊列(已修改)
2025-10-23 14:41 本頁面
【正文】 ZTQ異步任務(wù)隊列 潘俊勇 易度云辦公 web服務(wù)中的耗時操作 ? 生成 PDF ? 網(wǎng)頁抓取 ? 游戲數(shù)據(jù)備份 ? 郵件發(fā)送 ? 短信發(fā)送 主線程卡死！ 解決之道：異步執(zhí)行 A B C D 同步 A C D 異步：在另外的協(xié)程 、 線程 、 進程 、 服務(wù)器運行 語言級實現(xiàn) ? Scala ? Golang ? erlang 異步隊列工作原理 任務(wù)隊列 應(yīng)用 （ producer） Worker1 Worker2 WorkeN 。 push pop ? 分布式： Worker可位于不同的機器運行 ? 沖突處理：寫操作頻繁 ? 可靠：異常，隊列數(shù)據(jù)能保存 ? 性能： worker取數(shù)據(jù)，等待 Block，非輪詢 異步隊列的更多場合 ? 性能優(yōu)化：盡可能異步 –日志記錄 –消息推送 ? 串行化：避免沖突 xapian索引只能單寫 ? 延時 /定時運行 ? 并行計算： 分割多個任務(wù)并行執(zhí)行 隊列選型之路 ? 數(shù)據(jù)庫方案（ ZODB ： ）： ? 輪詢查，低效！ ? 頻繁寫，沖突！ ? RabbitMQ：非常復(fù)雜的消息模型 ? ZeroMQ：不支持 Persistent ? Beanstalkd：需要引入專門的服務(wù)器 ? Redis：提供 List，支持隊列 Redis ? Redis： –瑞士軍刀！ –已經(jīng)用在 Session、 Cache ? List直接支持隊列： – push – brpop/blpop：阻塞式取數(shù)據(jù)，避免輪詢 ? Persistent ? Master/Slave Redis List: 太簡單 ? 底層，使用不方便 –錯誤處理 –監(jiān)控 –定時執(zhí)行 –不能查找任務(wù) –多個 worker之間的工作調(diào)度 Redis之上的隊列方案 ? RedisMQ：需要另外一個 server ? Resque： github之作， Ruby ? Pyres： – Resque的 Python Clone –使用復(fù)雜，不夠 pythonic ? Celery： –目標(biāo)太大，潛在維護成本 ZTQ： Z Task Queue ? 基于 Redis ? For Python ? 開源 ? 來自生產(chǎn)系統(tǒng) –易度云查看 –
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1