【正文】 c1 from tb1 order by c1 limit 100000000, 2 ? 所有分庫都要查詢 100000002條數(shù)據(jù) ? Cobar需要遍歷 100000002條數(shù)據(jù) ? 對如下 SQL ? 一次交互得到結(jié)果 ? Offset大小有限制 Order By / Limit 優(yōu)化 ? 目標(biāo)： 解決 – 查詢量大問題 – 遍歷量大問題 ? 前提 – 各個(gè)分庫數(shù)據(jù)分布大致一樣 select c1 from tb1 order by c1 limit 9999999, 4 select ... order by c1 limit 33333333, 4 select ... order by c1 limit 33333333, 4 select ... order by c1 limit 33333333, 4 分庫 1 分庫 2 分庫 3 ? step1:分成 3條語句發(fā)給分庫 分庫 1 分庫 2 分庫 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 select c1 from tb1 order by c1 limit 9999999, 4 ? 找出查詢結(jié)果中最小和最大值 分庫 1 分庫 2 分庫 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? step2:以最小值和最大值為界再查詢 select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 分庫 1 分庫 2 分庫 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? step3:反查出每一個(gè)返回結(jié)果的 offset select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 33333331條 33333333條 33333332條 分庫 1 分庫 2 分庫 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 9999996 分庫 1 分庫 2 分庫 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 3 11 9999997 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 3 11 9999998 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 最終結(jié)果集 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫 1 分庫 2 分庫 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 Order By / Limit 再優(yōu)化 ? Step1不必得到全部結(jié)果 – select min(c1) mi, max(c1) ma from (select c1 from tb1 order by c1 limit 3333333,4) t ? Step2和 Step3合并 – select * from (select * from tb1 where c1 between mi and ma) t1, (select count(*) from tb1 where c1 mi) t2 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 56 131 604 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 131 604 最終結(jié)果集 56 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 131 604 最終結(jié)果集 56 最終結(jié)果集 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 604 56 最終結(jié)果集 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 56 最終結(jié)果集 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 56 SQL執(zhí)行策略總結(jié) ? WHERE 基于 SQL轉(zhuǎn)發(fā) ? JOIN 迭代 分布式索引 ? ORDER BY/LIMIT 多次查詢減小數(shù)據(jù)量 ? GROUP BY 增加 ORDER BY Cobar 事務(wù)支持 前端連接 sql1 sql2 mit Cobar 事務(wù)支持 前端連接 分庫 1連接 sql1 sql2 mit Cobar 事務(wù)支持 前端連接 分庫 1連接 sql1 mit 分庫 2連接 sql2 分庫 3連接 sql2 Cobar 事務(wù)支持 前端連接 分庫 1連接 sql1 mit 分庫 2連接 sql2 分庫 3連接 sql2 ? Commit有先后：隔離性問題 ? Commit有失?。阂恢滦詥栴} 大綱 ? 中間件引入 ? Cobar策略 ? 水平拆分的數(shù)據(jù)分布 ? 幾種 SQL元素的執(zhí)行策略 ? 事務(wù)策略 ? 系統(tǒng)實(shí)現(xiàn) ? 實(shí)施應(yīng)用 schema tableSpace dataNode data source db pc2 主 備 主 備 default offer[0] 主 備 offer[1] 主 備 detail[0] 主 備 default default offer detail detail 邏輯層次 —— 接口同 MySQL jdbc: MySQL MySQL MySQL Cobar結(jié)構(gòu) Frontend Communication MySQL Protcol Adaptor (BIO) Application1 MySQL MySQL Protocol MySQL MySQL Data Nodes Monitor Configure HA Pool MySQL MySQL Processor(1) Processor(n) SQL Executor SQL Router SQL Parser Result Merger SQL Executor SQL Router SQL Parser Result Merger ... Manager MySQL Protocol MySQL Protocol MySQL Protocol MySQL Protocol Management Protocol MySQL MySQL MySQL Cobar結(jié)構(gòu) Frontend Communication MySQL Protcol Ada