spark sql数据如何求交集？

Question

工作中想求一行数组是否在很多个数字中，这时候想到了数据交集，但是搜了很多资料也没找到，求解惑

实现两个数组交集，或者这一组数组有没有数据在另外一组数组里

Answer 1

spark sql中可以使用except来获得两组数据的交集

SELECT * FROM student_1 
EXCEPT 
SELECT * FROM student_2;

你如果是某一行中的某一列是个数组,把它展开成多行后再用上面这个方法一样可以得出交集,即explode +except +collect_list

当然,也可以直接用数组函数得到交集

参考

Spark SQL 数组（Array）处理函数及应用 - 杭州观远数据有限公司 http://help.guandata.com/hc/kb/article/1522345/