多个分片键该如何设置合理的策略算法？

Question

使用shardingjdbc，如果配置文件使用complex分片策略设置了两个分片键，那么要想满足范围查询和精确值查询都可以实现的要求，该如何编写算法呢

Answer 1

引自免费微信小程序：皆我百晓生

在使用ShardingSphere（原ShardingJDBC）时，配置复杂分片策略（Complex Sharding Strategy）对于处理具有多个分片键的场景尤其有用。为了同时支持范围查询和精确值查询，我们需要设计一个灵活的分片算法，该算法能够根据查询条件智能地选择合适的分片。

分片算法设计

1. 理解分片键

• 假设我们有两个分片键：user_id 和 region_id。
• user_id 是用户ID，可能分布广泛。
• region_id 表示用户所在地区，可能有固定的几个值。

2. 编写分片算法类

创建一个实现ShardingStrategy接口的自定义分片策略类。这个类需要实现doSharding方法，该方法接收一个ShardingValue对象，其中包含分片键和对应的查询条件。

3. 实现算法逻辑

在doSharding方法中，根据传入的分片键和查询条件，决定如何将数据分发到不同的数据源或表上。具体步骤如下：

• 解析查询条件：检查ShardingValue中的查询条件，识别出哪些是针对user_id的，哪些是针对region_id的。
• 处理精确查询：如果查询条件中包含某个具体的user_id或region_id，则直接定位到相应的分片。
• 处理范围查询：对于user_id的范围查询，可能需要遍历所有分片进行查询，而region_id的范围查询则可以根据范围定位到具体的分片。

4. 配置分片策略

在ShardingSphere的配置文件中，指定使用自定义的分片算法类，并且为每个分片键关联正确的算法实例。

示例代码

import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import java.util.Collection;

public class CustomComplexShardingAlgorithm implements PreciseShardingAlgorithm<Long>, RangeShardingAlgorithm<Long> {
    
    @Override
    public Collection<String> doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        // 实现精确值查询的分片逻辑
        long shardKey = shardingValue.getValue();
        return availableTargetNames.stream()
                .filter(tableName -> tableName.endsWith(String.valueOf(shardKey % 2))) // 假设我们有两个分片
                .collect(Collectors.toList());
    }
    
    @Override
    public Collection<String> doSharding(Collection<String> availableTargetNames, RangeShardingValue<Long> shardingValue) {
        // 实现范围查询的分片逻辑
        Collection<Long> values = shardingValue.getValueRange();
        return availableTargetNames; // 对于范围查询，可能需要返回所有分片，具体逻辑需根据业务调整
    }
}

配置文件示例

sharding:
  tables:
    t_order:
      actualDataNodes: ds_${0..1}.t_order_${0..15}
      tableStrategy:
        standard:
          shardingColumn: user_id, region_id
          shardingAlgorithmName: complex_sharding_algorithm
  shardingAlgorithms:
    complex_sharding_algorithm:
      type: COMPLEX
      props:
        sharding-algorithm-expression: t_order_${user_id % 2}_${region_id % 2}
        precise-sharding-algorithm-class-name: com.example.CustomComplexShardingAlgorithm
        range-sharding-algorithm-class-name: com.example.CustomComplexShardingAlgorithm

以上配置和算法示例提供了一个基础框架，实际应用中需要根据具体的业务需求和数据分布特点进一步细化分片逻辑。