【正文】 [9] （ 1， 5） 6 N1 3 N2 9 N3 1 N4 5 N5 6 N6 4 N7 Step3：通信 Node5： 9 Node1： 9 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Pregel工作流程 Master Node1： [9] （ 4， 5， 7） Node2： [9] （ 3， 6） Node3： [9] （ 2， 4） Node4： [9] （ 1， 3， 5） Node5： [9] （ 1， 4， 6， 7） Node6： [9] （ 2， 5） Node7： [9] （ 1， 5） 6 N1 3 N2 9 N3 1 N4 5 N5 6 N6 4 N7 Step4：計(jì)算 Node5： 9 Node1： 9 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Pregel工作流程 Master Node1： [9] （ 4， 5， 7） Node2： [9] （ 3， 6） Node3： [9] （ 2， 4） Node4： [9] （ 1， 3， 5） Node5： [9] （ 1， 4， 6， 7） Node6： [9] （ 2， 5） Node7： [9] （ 1， 5） 6 N1 3 N2 9 N3 1 N4 5 N5 6 N6 4 N7 Step4：通信 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Pregel工作流程 Master Node1： [9] （ 4， 5， 7） Node2： [9] （ 3， 6） Node3： [9] （ 2， 4） Node4： [9] （ 1， 3， 5） Node5： [9] （ 1， 4， 6， 7） Node6： [9] （ 2， 5） Node7： [9] （ 1， 5） 計(jì)算結(jié)束 任務(wù)完成 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 技術(shù)分析 ?算法的有向無環(huán)圖（ DAG）模型 T1 T2 T3 T4 T5 T6 = = T7 = 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 微軟 Dryad ? Dryad： DAG模型計(jì)算平臺 ? 2020年公布學(xué)術(shù)版 ? 2020年公測 ? 2020年放棄，轉(zhuǎn)投 Hadoop 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Dryad工作流程 Master Slave Slave Slave （ T1 join T2） join （ T3 join T4） 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Dryad工作流程 Master Slave Slave Slave 處理 T1 join T2 處理 T1 join T2 處理 T3 join T4 數(shù)據(jù)傳輸 數(shù)據(jù)傳輸 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Dryad工作流程 Master Slave Slave Slave 處理 T5 join T6 處理 T5 join T6 處理 T5 join T6 數(shù)據(jù)傳輸 數(shù)據(jù)傳輸 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Dryad工作流程 Master Slave Slave Slave 任務(wù)完成 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 總結(jié) ? 3類模型 ? 簡單模型： MapReduce ? 迭代模型： Pregel ? DAG模型： Dryad 秘密 Proprietary Confidential▲ 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：白色 內(nèi)容 ?背景 ?分布式計(jì)算 ? 批量計(jì)算 (非實(shí)時(shí)計(jì)算 ) ? 實(shí)時(shí)計(jì)算 ?技術(shù)趨勢 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Google—— Tenzing ? SQL查詢引擎：借鑒于 Hive ? 反應(yīng)時(shí)間： ~秒 ? 編譯： MR執(zhí)行計(jì)劃 ? 優(yōu)化： MR框架 ? 工作過程：同 MR 數(shù)據(jù)管理： BigTable/HBase 數(shù)據(jù)存儲： GFS/HDFS 計(jì)算框架： MapReduce/ Pregel/Hama 查詢引擎： Tenzing/Hive 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 FaceBook—— Storm ?實(shí)時(shí)計(jì)算系統(tǒng) ? 分布式的 ? 容錯 ?編程模型： DAG模型（ topology） ? 點(diǎn)： bolt ? 邊： stream 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Storm工作流程 Master Slave Slave Slave 書籍推薦 topology 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Storm工作流程 Master 解析用戶行為 bolt1 處理用戶行為 bolt2 處理用戶行為 bolt3 秘密 Proprietary Confidential▲ Theme1 Theme2 Theme3 Theme4 中文標(biāo)題 字體 : 黑體 字號： 3032pt 色彩：藍(lán)色 中文副標(biāo)題 字體：華文細(xì)黑 字號： 2022pt 色彩：黑色 子目錄 (25級 ) 字體：華文細(xì)黑 字號： 18pt 色彩：黑色 Storm工作流程 Master Bolt1 用戶行為解析 Bolt2 書籍購買處理 Bolt3 異常行為處理