ztq異步任務隊列-預覽頁
【正文】 細節(jié) 任務的序列化 異步任務注冊表 ‘send_mail’ send_mail async def send_mail(from, to, body) 注冊 send(from, to, body) {‘func_name’:’send_mail’, ‘a(chǎn)rgs’: (from,to,body), ‘kw’:{}, ‘callback’:’’, ‘callback_args’: (), ‘callback_kw’: {}, } Worker執(zhí)行 生成 Json，加入隊列 完整的任務信息 任務 ID？ ? 直接根據(jù)任務 JSON，生成 MD5，作為 ID –方便查詢?nèi)蝿帐欠褚呀?jīng)存在 –避免出現(xiàn)重復的任務 ? 也是問題：不可插入完全相同的任務 ! ? 附加一個參數(shù)，來區(qū)分 任務隊列的 Redis存儲設計 md5 Task (json) 任務 md5索引 Hash 任務隊列 1 （ List） 故障隊列 1 （ List） 任務隊列 2 故障隊列 2 Push 任務隊列和錯誤隊列一一對應，方便管理 Worker模型 工作線程 1 工作線程 2 工作線程 N 工作線程管理器 指令線程（ Command thread） 指令隊列 工作隊列 調(diào)度 錯誤隊列 狀態(tài) 報告 worker Redis task 報告 報告 pull push worker指令線程：工作機狀態(tài)報告：線程工作調(diào)度；殺死 /取消進程 Task可報告工作進程的 pid，監(jiān)控后臺可下指令殺死卡死的進程 智能調(diào)度腳本 ? 管理上百臺 worker服務器 ? –工作是否飽和程度 –自動調(diào)整工作安排 ? 是可能的！ –讀取 worker的 CPU、內(nèi)存情況 –根據(jù)閑忙，調(diào)整任務的分配 TODO ? 延時執(zhí)行 ? 支持協(xié)程，用于下載 ? 優(yōu)化監(jiān)控后臺的代碼 ? 改進 cron ? 需要 TestCase 總結(jié) ? Redis：分布式計算的通信中心 ? 使用 Python很快可實現(xiàn)需要的特性 ? 感謝 PyCON China，讓我們能開源 項目信息 ? Github： ? 主要作者 –陶哲 –潘俊勇
教學課件相關(guān)推薦
鄂ICP備17016276號-1