hello
大家好，我这里接到了一个需求
是把俩个数据库的表，进行合并，之后去除重复的行。
因为对数据处理这方面了解的少，
请大家给点建议~集思广益
亿条数据如何快速去重
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
- 桀骜丶不驯 2021-08-06 16:42关注
python 的 pandas库 可以适用于此场景，有需要的大家可以了解一下，
也很感谢几位老师对我的帮助 感谢本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2021-08-04 09:36回答 5 已采纳 python 的 pandas库 可以适用于此场景，有需要的大家可以了解一下，也很感谢几位老师对我的帮助 感谢
- 2022-03-29 20:10回答 4 已采纳 mysql版本是多少？8+有个row_number生成序号，删除序号大于1的记录即可，SQL如下 delete from student where id in( select id from(sel
- 2022-10-31 17:48回答 3 已采纳 df=df.drop_duplicates(subset=['id','content'], keep='first', inplace=False)或者df.drop_duplicates(subs
- 2020-12-23 10:55西屋厨电的博客 对于大数据去重，通过一些小小的改进，比如创建索引，设置忽略重复值选项等，能够提高去重的效率。一，从海量数据中删除数据从海量数据表中删除一半数据，看似简单，使用delete命令，如果真这么干，SQL Server产生的...
- 2023-01-10 09:10回答 1 已采纳 CollapseBuilder里的参数表示把所有满足条件的文档折叠在一起，只返回一条数据，这一条数据包含了所有折叠的文档的信息。所以当使用CollapseBuilder去重时，只会返回一条数据。 如果
- 2022-10-24 17:22回答 2 已采纳 分几次去重吧，一次太大数据量，内存不够可能就会报错了
- 2021-08-31 16:55回答 4 已采纳 1、拿到每个KCSW_WLID的最大KCSW_RKRQ, 标识为XXX比如 select KCSW_WLID,max(KCSW_RKRQ) from ZZZ group by KCSW_WLID 2、
- 2022-01-29 15:22程序员bling的博客 利用分而治之的思想对亿级数据进行实战去重
- 2017-05-26 12:49回答 8 已采纳 select sum(tt.file_size) from (select distinct(file_name),file_size from data_source) tt
- 2021-12-16 22:50回答 2 已采纳 双重循环判断数据重复就删除你题目的解答代码如下： #include <iostream> using namespace std; void del(int a[] ,int *pos,
- 2022-05-27 11:54回答 1 已采纳 将数组中每个对象转换为json字符串，相同对象转化为的json字符串是相同的，根据这个思路去重 /** * 数组对象去重 * @param {Array} arr */ function uni
- 2020-12-28 22:29UXTOOLS的博客 海量数据下的去重计数十分消耗资源，动辄几分钟，甚至几小时，Apache Kylin 如何做到秒级的低延迟精确去重呢？什么是去重计数去重计数是数据分析中的常用分析函数，指查询某列中不同值的个数，在 SQL 中的函数是 ...
- 2023-03-09 09:28回答 5 已采纳 直接在字段前加 distinct 修饰 select distinct * from tb1
- 2017-11-29 09:37Jsonkim的博客 随便一个文件都有100000000条数据库，如果直接去重非常麻烦3.一段php代码解决问题define('FileIn', $argv[1]); $time_start = microtime(true); $count = 0; function dump($data){ echo "<pre>"; var_dump($data)...
- 2021-08-08 11:50Java程序鱼的博客 我们平时刷今日头条，今日头条会给我们推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，如何实现推送去重呢？教你使用布隆过滤器轻松搞定。
- 没有解决我的问题, 去提问
问题事件
系统已结题
8月14日
已采纳回答
8月6日-
创建了问题
8月4日
悬赏问题
- ¥15 使用EMD去噪处理RML2016数据集时候的原理
- ¥15 神经网络预测均方误差很小 但是图像上看着差别太大
- ¥15 Oracle中如何从clob类型截取特定字符串后面的字符
- ¥15 想通过pywinauto自动电机应用程序按钮，但是找不到应用程序按钮信息
- ¥15 如何在炒股软件中，爬到我想看的日k线
- ¥15 seatunnel 怎么配置Elasticsearch
- ¥15 PSCAD安装问题 ERROR: Visual Studio 2013, 2015, 2017 or 2019 is not found in the system.
- ¥15 (标签-MATLAB|关键词-多址)
- ¥15 关于#MATLAB#的问题，如何解决？（相关搜索：信噪比，系统容量）
- ¥500 52810做蓝牙接受端