Spark数据的对比

Question

我有两个文件，一个新文件，一个旧文件，我需要对两个文件里的数据进行比较，找出新增的、更改过的、删除了的数据
数据格式：{"id":0,"name":"name0","age":69,"birth":"2011年09月20日"}
val frame1 = ss.read.json("bigdata-spark/data/json1")
val frame2 = ss.read.json("bigdata-spark/data/json2")
能给个思路吗

Answer 1

唯一标识为ID
第一个思路为：
数据都装入两个map中。key为id value为值。json1为map1，json2为map2。
id装为两个数组.json1为数组1，json2为数组2。

新增的 就是json1不存在 json2存在的ID。 数组2依次删除数组1的值，保留的id去map2中根据key拿，就是新增的。
删除的 就是json1存在 json2不存在的ID。 数组1依次删除数组2的值，保留的id去map1中根据key拿，就是新增的。
更改的 就是ID相同 但转为String 无法equals的。数组1与2求相同值，放入数组3，根据数组3的值去map2中根据key拿，就是修改过的。

第二个思路，转为sql 跑sql语句

id