naeux 2017-09-07 09:07 采纳率: 0%
浏览 1450

如何清除hbase表中重复数据

类似mysql中table1表
id name
1 name1
2 name2
3 name1
我们可以使用
delete table1 from table1, (select max(id) mid, name from table1 group by name having count(id) > 1 ) as t2 where table1.name = t2.name and table1.id != t2.mid;
语句清除重复name值的数据,只保留其中重复数据中id最大的数据,得到:
id name
2 name2
3 name1

那么在hbase中,怎么清除表中某字段值重复的记录,而保留重复数据中最后一条数据?

求大神解答

  • 写回答

1条回答

  • CMM1 2017-09-07 09:11
    关注

    用主键分组然后找到最大或最小的记录,不是最大或最小的记录全部删除

    评论

报告相同问题?

悬赏问题

  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的?
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机
  • ¥20 程序进入HardFault_Handler