【文章內(nèi)容簡(jiǎn)介】 ON = WHERE 600 跨庫(kù)索引 跨庫(kù)索引 ID MEMBE_ID GMT 2 zzzz 525 4 xyzxyz 1010 ID NAME TIME 4 efghijk 123 5 aaaa 922 6 abcd 222 ID MEMBE_ID GMT 1 efghijk 1205 3 xxxxxx 131 5 abcd 604 ID NAME TIME 2 zzzz 1201 3 xyzxyz 1111 tb1 tb1 tb2 tb2 SELECT * FROM tb1 INNER JOIN tb2 ON = WHERE 600 AND 600 ID1 ID2 JOIN_COL TIME 2 2 zzzz 1201 4 3 xyzxyz 1111 idx 跨庫(kù)索引 ID1 ID2 JOIN_COL TIME 2 2 zzzz 1201 4 3 xyzxyz 1111 idx ID1 ID2 JOIN_COL TIME 1 4 efghijk 123 5 6 abcd 222 idx ? 索引表的拆分 – WHERE條件中的字段所在表的拆分字段，作為索引拆分字段 ? 索引包含 – 兩張表的主鍵 – JOIN字段 – WHERE中的其他字段 ? 索引的更新 – 分布式事務(wù)的支持 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 select ... order by c1 limit 0, 6 select ... order by c1 limit 0, 6 select ... order by c1 limit 0, 6 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 cobar Order By/Limit 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 3 2 7 8 10 6 5 1 11 13 14 9 7 3 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 3 2 7 8 10 6 5 1 11 13 14 9 7 3 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 0 最終結(jié)果集 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 3 2 7 8 10 6 5 11 13 14 9 7 3 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 1 最終結(jié)果集 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 3 7 8 10 6 5 11 13 14 9 7 3 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 2 最終結(jié)果集 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 7 8 10 6 5 11 13 14 9 7 3 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 3 最終結(jié)果集 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 5 6 7 8 10 6 5 11 13 14 9 7 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 4 最終結(jié)果集 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 5 6 7 8 10 6 5 11 13 14 9 7 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 4 4 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 Order By/Limit 4 6 7 8 10 6 5 11 13 14 9 7 返回結(jié)果 返回結(jié)果 返回結(jié)果 8 4 5 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 Order By/Limit 方案總結(jié) select c1 from tb1 order by c1 limit 100000000, 2 ? 所有分庫(kù)都要查詢 100000002條數(shù)據(jù) ? Cobar需要遍歷 100000002條數(shù)據(jù) ? 對(duì)如下 SQL ? 一次交互得到結(jié)果 ? Offset大小有限制 Order By / Limit 優(yōu)化 ? 目標(biāo)： 解決 – 查詢量大問(wèn)題 – 遍歷量大問(wèn)題 ? 前提 – 各個(gè)分庫(kù)數(shù)據(jù)分布大致一樣 select c1 from tb1 order by c1 limit 9999999, 4 select ... order by c1 limit 33333333, 4 select ... order by c1 limit 33333333, 4 select ... order by c1 limit 33333333, 4 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 ? step1:分成 3條語(yǔ)句發(fā)給分庫(kù) 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 select c1 from tb1 order by c1 limit 9999999, 4 ? 找出查詢結(jié)果中最小和最大值 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? step2:以最小值和最大值為界再查詢 select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? step3:反查出每一個(gè)返回結(jié)果的 offset select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 33333331條 33333333條 33333332條 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 3 11 5 3 11 9999996 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 3 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 3 11 9999997 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 3 11 9999998 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 最終結(jié)果集 分庫(kù) 1 分庫(kù) 2 分庫(kù) 3 7 4 5 8 6 9 10 7 6 11 9 返回結(jié)果 返回結(jié)果 返回結(jié)果 ? 類(lèi)似亍原始方案 select c1 from tb1 order by c1 limit 9999999, 4 11 5 11 9999999 Order By / Limit 再優(yōu)化 ? Step1不必得到全部結(jié)果 – select min(c1) mi, max(c1) ma from (select c1 from tb1 order by c1 limit 3333333,4) t ? Step2和 Step3合并 – select * from (select * from tb1 where c1 between mi and ma) t1, (select count(*) from tb1 where c1 mi) t2 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 56 131 604 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7 131 ID PRICE C1 2 604 4 131 6 56 SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c1 2222 131 604 131 604 最終結(jié)果集 56 Group By SELECT sum(price) FROM tb1 GROUP BY c1 ID PRICE C1 1 2222 3 131 5 604 7