SQL数据去重问题
举例:a b c d 列
根据 bcd列分组后
如果a列中互相包含取长的 如果不包含则还取a
这个sql 能实现吗?
SQL数据去重问题
举例:a b c d 列
根据 bcd列分组后
如果a列中互相包含取长的 如果不包含则还取a
这个sql 能实现吗?
SQL 和 实现结果如下:
select * from test_gnn_merge_stage;
-- 数据准备:
--
-- a |b |c |d |
-- ---+---+---+---+
-- abc|xxx|xxx|xxx|
-- ab |xxx|xxx|xxx|
-- a |xxx|xxx|xxx|
-- abc|yyy|yyy|yyy|
-- bce|yyy|yyy|yyy|
-- abc|zzz|zzz|zzz|
-- bce|zzz|zzz|zzz|
-- ce |zzz|zzz|zzz|
select
t2.*
from(
select
b,
c,
d,
GROUP_CONCAT(CONCAT('_',a, '_')) as a_all
from test_gnn_merge_stage
group by b,c,d
) t1
join test_gnn_merge_stage t2 on t1.b = t2.b and t1.c = t2.c and t1.d = t2.d
where replace(t1.a_all, CONCAT('_',t2.a, '_'), '') not like CONCAT('%', t2.a, '%')
-- 运行结果:
-- a |b |c |d |
-- ---+---+---+---+
-- abc|xxx|xxx|xxx|
-- abc|yyy|yyy|yyy|
-- bce|yyy|yyy|yyy|
-- abc|zzz|zzz|zzz|
-- bce|zzz|zzz|zzz|