老系统同步数据的时候，给我传过来很多重复数据，五张表，每张表数据超过200W，如何去重比较好
2条回答 默认 最新
骆言 2022-11-09 10:17关注分几次去重吧，一次太大数据量，内存不够可能就会报错了
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2021-11-17 19:20Java作为一种广泛使用的编程语言，在处理JSON数据方面提供了丰富的工具和库。`JSONArray`是JSON中最基本的数据结构之一，用于表示有序的数据集合。 ### 基本概念 #### JSONArray简介 `JSONArray`是JSON中用来存储...
- 2025-11-17 20:26会编程的吕洞宾的博客 如果Set中存放自定义对象，需要重写equals()和hashCode()方法：java@Override@Override// 现在可以正确去重了immortals.add(new Immortal("吕洞宾", 1000));immortals.add(new Immortal("吕洞宾", 1000));
- 2024-05-24 10:07墨瑾轩的博客 对于复杂对象（非基础类型或String），可能需要自定义比较逻辑来确定元素是否重复。int age;// 姓名相同，年龄不同 // 使用Comparator自定义去重逻辑，这里简单地基于姓名去重 List < Person > uniquePeople = ...
- 2024-07-22 15:59Aries263的博客 在Java编程中，数组去重是一个常见的需求，尤其是在处理数据集合时。然而，由于Java数组的长度是固定的，且不支持直接删除元素，这使得数组去重相比其他数据结构（如List或Set）来说稍显复杂。不过，通过一些技巧，...
- 2025-11-12 16:21在Java编程语言中，处理集合时常常需要去除重复元素，以确保数据的唯一性。List作为Java集合框架中常用的数据结构，去除其重复元素的方法多种多样。本文将详细介绍八种在Java List中去除重复元素的方法，并通过具体...
- 2025-07-10 20:26对于数组去重问题，采用快慢指针法，通过初始化指针、比较元素、扩展不重复区和跳过重复元素四个步骤，在O(n)的时间复杂度和O(1)的空间复杂度下完成操作。对于链表环检测问题，利用快慢指针（类似龟兔赛跑），通过...
- 2024-07-06 02:46知之道之的博客 在Java中，我们经常会遇到需要合并两个List，并且去除重复值的情况。这种情况下，我们可以使用一些方法来达到我们的目的。本文将介绍如何使用Java来合并两个List并去重，以及一些常用的方法。 合并两个List 在Java中...
- 2024-05-16 23:55Java函数式编程是一种高效、简洁的编程范式，它在Java 8中得到了全面支持，大大改变了Java开发人员编写代码的方式。本套黑马程序员的Java函数式编程视频教程涵盖了Lambda表达式、Stream流以及函数式编程的核心概念，...
- 2025-01-23 11:55egzosn的博客 你有没有遇到过这样的困扰：在处理一些数据时，需要一个容器来存储元素，而这些元素又不能重复？传统的数组或ArrayList并不适合这个需求，因为它们会允许重复元素的存在。那么，我们该怎么办呢？别急，Java为我们...
- 2021-02-12 11:03飞行少女阿若的博客 list中数据的去重，通常使用将list转换为set，简单直接，因为set集合的特点就是没有重复的元素。需要考虑一下两种情况：1.List集合中的数据类型是基本数据类型可以直接将list集合转换成set，就会自动去除重复的元素...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月27日
已采纳回答
11月19日-
修改了问题
10月24日
-
创建了问题
10月24日