Sharding-Jdbc 自定義復合分片的實現(分庫分表)
Sharding-JDBC中的分片策略有兩個維度,分別是:
- 數據源分片策略(DatabaseShardingStrategy)
- 表分片策略(TableShardingStrategy)
其中,數據源分片策略表示:數據路由到的物理目標數據源,表分片策略表示數據被路由到的目標表。
特別的,表分片策略是依賴於數據源分片策略的,也就是說要先分庫再分表,當然也可以隻分表。
Sharding-JDBC的數據分片策略
Sharding-JDBC的分片策略包含瞭分片鍵和分片算法。由於分片算法與業務實現緊密相關,因此Sharding-JDBC沒有提供內置的分片算法,而是通過分片策略將各種場景提煉出來,提供瞭高層級的抽象,通過提供接口讓開發者自行實現分片算法。
以下內容引用自官方文檔。官方文檔
首先介紹四種分片算法。
通過分片算法將數據分片,支持通過=、BETWEEN和IN分片。
分片算法需要應用方開發者自行實現,可實現的靈活度非常高。
目前提供4種分片算法。由於分片算法和業務實現緊密相關,
因此並未提供內置分片算法,而是通過分片策略將各種場景提煉出來,
提供更高層級的抽象,並提供接口讓應用開發者自行實現分片算法。
分片鍵
用於分片的數據庫字段,是將數據庫(表)水平拆分的關鍵字段。例:將訂單表中的訂單主鍵的尾數取模分片,則訂單主鍵為分片字段。 SQL中如果無分片字段,將執行全路由,性能較差。 除瞭對單分片字段的支持,ShardingSphere也支持根據多個字段進行分片。
分片算法
通過分片算法將數據分片,支持通過=
、BETWEEN
和IN
分片。分片算法需要應用方開發者自行實現,可實現的靈活度非常高。
目前提供4種分片算法。由於分片算法和業務實現緊密相關,因此並未提供內置分片算法,而是通過分片策略將各種場景提煉出來,提供更高層級的抽象,並提供接口讓應用開發者自行實現分片算法。
精確分片算法
對應PreciseShardingAlgorithm,用於處理使用單一鍵作為分片鍵的=與IN進行分片的場景。需要配合StandardShardingStrategy使用。
范圍分片算法
對應RangeShardingAlgorithm,用於處理使用單一鍵作為分片鍵的BETWEEN AND進行分片的場景。需要配合StandardShardingStrategy使用。
復合分片算法
對應ComplexKeysShardingAlgorithm,用於處理使用多鍵作為分片鍵進行分片的場景,包含多個分片鍵的邏輯較復雜,需要應用開發者自行處理其中的復雜度。需要配合ComplexShardingStrategy使用。
Hint分片算法
對應HintShardingAlgorithm,用於處理使用Hint行分片的場景。需要配合HintShardingStrategy使用。
分片策略
包含分片鍵和分片算法,由於分片算法的獨立性,將其獨立抽離。真正可用於分片操作的是分片鍵 + 分片算法,也就是分片策略。目前提供5種分片策略。
標準分片策略
對應StandardShardingStrategy。提供對SQL語句中的=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy隻支持單分片鍵,提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片算法。PreciseShardingAlgorithm是必選的,用於處理=和IN的分片。RangeShardingAlgorithm是可選的,用於處理BETWEEN AND分片,如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND將按照全庫路由處理。
復合分片策略
對應ComplexShardingStrategy。復合分片策略。提供對SQL語句中的=, IN和BETWEEN AND的分片操作支持。ComplexShardingStrategy支持多分片鍵,由於多分片鍵之間的關系復雜,因此並未進行過多的封裝,而是直接將分片鍵值組合以及分片操作符透傳至分片算法,完全由應用開發者實現,提供最大的靈活度。
行表達式分片策略
對應InlineShardingStrategy。使用Groovy的表達式,提供對SQL語句中的=和IN的分片操作支持,隻支持單分片鍵。對於簡單的分片算法,可以通過簡單的配置使用,從而避免繁瑣的Java代碼開發,如:t_user_$->{u_id % 8}
表示t_user表根據u_id模8,而分成8張表,表名稱為t_user_0
到t_user_7
。
Hint分片策略
對應HintShardingStrategy。通過Hint而非SQL解析的方式分片的策略。
不分片策略
對應NoneShardingStrategy。不分片的策略。
SQL Hint
對於分片字段非SQL決定,而由其他外置條件決定的場景,可使用SQL Hint靈活的註入分片字段。例:內部系統,按照員工登錄主鍵分庫,而數據庫中並無此字段。SQL Hint支持通過Java API和SQL註釋(待實現)兩種方式使用。
實戰–自定義復合分片策略
由於目的為貼近實戰,因此著重講解如何實現復雜分片策略,即實現ComplexShardingStrategy接口定制生產可用的分片策略。
AdminIdShardingAlgorithm 復合分片算法代碼如下:
import com.google.common.collect.Range; import io.shardingjdbc.core.api.algorithm.sharding.ListShardingValue; import io.shardingjdbc.core.api.algorithm.sharding.PreciseShardingValue; import io.shardingjdbc.core.api.algorithm.sharding.RangeShardingValue; import io.shardingjdbc.core.api.algorithm.sharding.ShardingValue; import io.shardingjdbc.core.api.algorithm.sharding.complex.ComplexKeysShardingAlgorithm; import org.apache.commons.lang.StringUtils; import org.apache.log4j.Logger; import java.util.*; /** */ public class AdminIdShardingAlgorithm implements ComplexKeysShardingAlgorithm { private Logger logger = Logger.getLogger(getClass()); @Override public Collection<String> doSharding(Collection<String> availableTargetNames, Collection<ShardingValue> shardingValues) { Collection<String> routTables = new HashSet<String>(); if (shardingValues != null) { for (ShardingValue shardingValue : shardingValues) { // eq in 條件 if (shardingValue instanceof ListShardingValue) { ListShardingValue listShardingValue = (ListShardingValue) shardingValue; Collection<Comparable> values = listShardingValue.getValues(); if (values != null) { Iterator<Comparable> it = values.iterator(); while (it.hasNext()) { Comparable value = it.next(); String routTable = getRoutTable(shardingValue.getLogicTableName(), value); if (StringUtils.isNotBlank(routTable)) { routTables.add(routTable); } } } // eq 條件 } else if (shardingValue instanceof PreciseShardingValue) { PreciseShardingValue preciseShardingValue = (PreciseShardingValue) shardingValue; Comparable value = preciseShardingValue.getValue(); String routTable = getRoutTable(shardingValue.getLogicTableName(), value); if (StringUtils.isNotBlank(routTable)) { routTables.add(routTable); } // between 條件 } else if (shardingValue instanceof RangeShardingValue) { RangeShardingValue rangeShardingValue = (RangeShardingValue) shardingValue; Range<Comparable> valueRange = rangeShardingValue.getValueRange(); Comparable lowerEnd = valueRange.lowerEndpoint(); Comparable upperEnd = valueRange.upperEndpoint(); Collection<String> tables = getRoutTables(shardingValue.getLogicTableName(), lowerEnd, upperEnd); if (tables != null && tables.size() > 0) { routTables.addAll(tables); } } if (routTables != null && routTables.size() > 0) { return routTables; } } } throw new UnsupportedOperationException(); } private String getRoutTable(String logicTable, Comparable keyValue) { Map<String, List<KeyShardingRange>> keyRangeMap = KeyShardingRangeConfig.getKeyRangeMap(); List<KeyShardingRange> keyShardingRanges = keyRangeMap.get(KeyShardingRangeConfig.SHARDING_ID_KEY); if (keyValue != null && keyShardingRanges != null) { if (keyValue instanceof Integer) { keyValue = Long.valueOf(((Integer) keyValue).intValue()); } for (KeyShardingRange range : keyShardingRanges) { if (keyValue.compareTo(range.getMin()) >= 0 && keyValue.compareTo(range.getMax()) <= 0) { return logicTable + range.getTableKey(); } } } return null; } private Collection<String> getRoutTables(String logicTable, Comparable lowerEnd, Comparable upperEnd) { Map<String, List<KeyShardingRange>> keyRangeMap = KeyShardingRangeConfig.getKeyRangeMap(); List<KeyShardingRange> keyShardingRanges = keyRangeMap.get(KeyShardingRangeConfig.SHARDING_CONTENT_ID_KEY); Set<String> routTables = new HashSet<String>(); if (lowerEnd != null && upperEnd != null && keyShardingRanges != null) { if (lowerEnd instanceof Integer) { lowerEnd = Long.valueOf(((Integer) lowerEnd).intValue()); } if (upperEnd instanceof Integer) { upperEnd = Long.valueOf(((Integer) upperEnd).intValue()); } boolean start = false; for (KeyShardingRange range : keyShardingRanges) { if (lowerEnd.compareTo(range.getMin()) >= 0 && lowerEnd.compareTo(range.getMax()) <= 0) { start = true; } if (start) { routTables.add(logicTable + range.getTableKey()); } if (upperEnd.compareTo(range.getMin()) >= 0 && upperEnd.compareTo(range.getMax()) <= 0) { break; } } } return routTables; } }
范圍 map 如下:
import java.util.ArrayList; import java.util.LinkedHashMap; import java.util.List; import java.util.Map; /** * 分片鍵分佈配置 */ public class KeyShardingRangeConfig { private static Map<String, List<KeyShardingRange>> keyRangeMap = new LinkedHashMap<String, List<KeyShardingRange>>(); public static final String SHARDING_ORDER_ID_KEY = "id"; public static final String SHARDING_USER_ID_KEY = "adminId"; public static final String SHARDING_DATE_KEY = "createTime"; static { List<KeyShardingRange> idRanges = new ArrayList<KeyShardingRange>(); idRanges.add(new KeyShardingRange(0, "_0", 0L, 4000000L)); idRanges.add(new KeyShardingRange(1, "_1", 4000001L, 8000000L)); idRanges.add(new KeyShardingRange(2, "_2", 8000001L, 12000000L)); idRanges.add(new KeyShardingRange(3, "_3", 12000001L, 16000000L)); idRanges.add(new KeyShardingRange(4, "_4", 16000001L, 2000000L)); keyRangeMap.put(SHARDING_ID_KEY, idRanges); List<KeyShardingRange> contentIdRanges = new ArrayList<KeyShardingRange>(); contentIdRanges.add(new KeyShardingRange(0, "_0", 0L, 4000000L)); contentIdRanges.add(new KeyShardingRange(1, "_1", 4000001L, 8000000L)); contentIdRanges.add(new KeyShardingRange(2, "_2", 8000001L, 12000000L)); contentIdRanges.add(new KeyShardingRange(3, "_3", 12000001L, 16000000L)); contentIdRanges.add(new KeyShardingRange(4, "_4", 16000001L, 2000000L)); keyRangeMap.put(SHARDING_CONTENT_ID_KEY, contentIdRanges); List<KeyShardingRange> timeRanges = new ArrayList<KeyShardingRange>(); timeRanges.add(new KeyShardingRange("_0", 20170701L, 20171231L)); timeRanges.add(new KeyShardingRange("_1", 20180101L, 20180630L)); timeRanges.add(new KeyShardingRange("_2", 20180701L, 20181231L)); timeRanges.add(new KeyShardingRange("_3", 20190101L, 20190630L)); timeRanges.add(new KeyShardingRange("_4", 20190701L, 20191231L)); keyRangeMap.put(SHARDING_DATE_KEY, timeRanges); } public static Map<String, List<KeyShardingRange>> getKeyRangeMap() { return keyRangeMap; } }
核心邏輯解析
梳理一下邏輯,首先介紹一下該方法的入參
參數名 解釋
availableTargetNames 有效的物理數據源,即配置文件中的 t_order_0,t_order_1,t_order_2,t_order_3
shardingValues 分片屬性,如:{“columnName”:”order_id”,”logicTableName”:”t_order”,”values”:[“UD020003011903261545436593200002”]} ,包含:分片列名,邏輯表名,當前列的具體分片值
該方法返回值為
參數名 解釋
Collection<String> 分片結果,可以是目標數據源,也可以是目標數據表,此處為數據源
接著回來看業務邏輯,偽代碼如下
首先打印瞭一下數據源集合 availableTargetNames 以及 分片屬性 shardingValues的值,執行測試用例後,日志輸出為:
availableTargetNames:["t_order_0","t_order_1","t_order_2","t_order_3"], shardingValues:[{"columnName":"user_id","logicTableName":"t_order","values":["UD020003011903261545436593200002"]}, {"columnName":"order_id","logicTableName":"t_order","values":["OD000000011903261545475143200001"]}]
從日志可以看出,我們可以在該路由方法中取到配置時的物理數據源列表,以及在運行時獲取本次執行時的路由屬性及其值
完整的邏輯流程如下:
- 定義一個集合用於放置最終匹配好的路由數據源,接著對shardingValues進行遍歷,目的為至少命中一個路由鍵
- 遍歷shardingValues循環體中,打印瞭當前循環的shardingValue,即實際的分片鍵的數值,如:訂單號、用戶id等。通過getIndex方法,獲取該分片鍵值中包含的物理數據源索引
- 接著遍歷數據源列表availableTargetNames,截取當前循環對應availableTargetName的索引值,(eg: ds0則取0,ds1則取1…以此類推)將該配置的物理數據源索引與 第2步 中解析到的數據源路由索引進行比較,兩者相等則表名我們期望將該數據路由到該匹配到的數據源。
- 執行這個過程,直到匹配到一個路由鍵則停止循環,之所以這麼做是因為我們是復合分片,至少要匹配到一個路由規則,才能停止循環,最終將路由到的物理數據源(ds0/ds1/ds2/ds3)通過add方法添加到事先定義好的集合中並返回給框架。
- 邏輯結束。
小結
本文中,基本完成瞭Sharding-JDBC中復合分片路由算法的自定義實現,並經過測試驗證符合預期,該實現方案在生產上已經經歷過考驗。定義分片路由策略的核心還是要熟悉ComplexKeysShardingAlgorithm,對如何解析 doSharding(CollectionavailableTargetNames, CollectionshardingValues)的參數有明確的認識,最簡單的方法就是實際打印一下參數,相信會讓你更加直觀的感受到作者優良的接口設計能力,站在巨人的肩膀上我們能看到更遠。
到此這篇關於Sharding-Jdbc 自定義復合分片的實現的文章就介紹到這瞭,更多相關Sharding-Jdbc 自定義復合分片內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- ShardingSphere jdbc實現分庫分表核心概念詳解
- SpringBoot整合sharding-jdbc實現自定義分庫分表的實踐
- 使用sharding-jdbc實現水平分庫+水平分表的示例代碼
- Java ShardingJDBC實戰演練
- SpringBoot+MybatisPlus+Mysql+Sharding-JDBC分庫分表