如何使用Java Stream对List中的对象进行去重？

Question

**如何使用Java Stream对List中的对象进行去重？** 在Java 8及以上版本中，可以利用Stream API对List中的对象进行高效去重。常见的做法是使用`distinct()`方法，但该方法依赖于对象的`equals()`和`hashCode()`方法来判断重复。若需根据对象的某些字段进行去重，可结合`Collectors.toMap()`或自定义收集器实现。例如，在处理一个包含多个用户对象的列表时，如何根据用户的邮箱或ID等特定属性去除重复项？此外，去重后是否保留原始顺序也是一个常见关注点。本文将通过具体示例讲解几种常用的Java Stream去重策略及其适用场景。

Answer 1

如何使用Java Stream对List中的对象进行去重？

在Java 8及以上版本中，Stream API为集合操作提供了强大的功能。本文将深入探讨如何利用Java Stream对一个包含自定义对象的List进行去重处理，包括基于对象整体、特定字段以及保留顺序等多种场景。

1. 使用distinct()方法进行基础去重

distinct()是Stream中最直接的去重方法，它依赖于对象的equals()和hashCode()方法来判断两个对象是否相同。

        List<User> uniqueUsers = users.stream()
                                          .distinct()
                                          .collect(Collectors.toList());
    

该方式适用于已经正确重写了equals()和hashCode()方法的对象类型。

2. 基于对象字段进行去重

若希望根据对象的某个属性（如email）去重，则需使用Collectors.toMap()或Collectors.groupingBy()。

        List<User> uniqueByEmail = users.stream()
                                            .collect(Collectors.toMap(
                                                User::getEmail,
                                                user -> user,
                                                (existing, replacement) -> existing
                                            ))
                                            .values()
                                            .stream()
                                            .collect(Collectors.toList());
    

其中第三个参数是合并函数，用于处理键冲突时选择保留哪一个对象。

3. 保留原始顺序的去重策略

上述方法无法保证元素顺序，若需保留原列表顺序，可采用如下方式：

        Set<String> seenEmails = new HashSet<>();
        List<User> orderedUniqueByEmail = users.stream()
                                                  .filter(user -> seenEmails.add(user.getEmail()))
                                                  .collect(Collectors.toList());
    

该方法利用了HashSet.add()返回值特性，在第一次添加时返回true，后续重复则返回false。

4. 多字段组合去重

当需要根据多个字段组合判断唯一性时，可以构造复合键，例如使用AbstractMap.SimpleEntry或者自定义类。

        List<User> uniqueByNameAndEmail = users.stream()
                                                   .collect(Collectors.toMap(
                                                       user -> new AbstractMap.SimpleEntry<>(user.getName(), user.getEmail()),
                                                       Function.identity(),
                                                       (existing, replacement) -> existing
                                                   ))
                                                   .values()
                                                   .stream()
                                                   .collect(Collectors.toList());
    

5. 自定义收集器实现复杂逻辑

对于更复杂的去重逻辑，可以实现自定义收集器Collector接口，控制中间状态和最终结果的生成。

        Collector<User, Map<String, User>, Collection<User>> customCollector =
            Collector.of(
                HashMap::new,
                (map, user) -> map.putIfAbsent(user.getEmail(), user),
                (map1, map2) -> {
                    map2.forEach((key, value) -> map1.putIfAbsent(key, value));
                    return map1;
                },
                Map::values
            );

        List<User> result = users.stream().collect(customCollector);
    

6. 性能与适用场景分析

方法	是否保留顺序	是否支持多字段	适用场景
distinct()	否	是（通过equals/hashCode）	简单对象已重写equals/hashCode
toMap()	否	是	按指定字段去重
filter + HashSet	是	是	保留顺序且按字段去重
自定义Collector	可控	完全自定义	高级定制化需求

7. 流程图：Java Stream去重流程

graph TD
            A[开始] --> B{是否已重写 equals/hashCode?}
            B -- 是 --> C[使用 distinct()]
            B -- 否 --> D{是否需保留顺序?}
            D -- 是 --> E[使用 filter + HashSet]
            D -- 否 --> F[使用 Collectors.toMap()]
            F --> G{是否多字段去重?}
            G -- 是 --> H[使用复合键]
            G -- 否 --> I[使用单字段作为Key]