虚拟机的sparkshell怎么删除json文件里重复的数据？

Question

以下是json里的内容：
{"木材名称": "中油远丰木材样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰（大连）石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰木材样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰（大连）石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰原木样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰（大连）石油有限公司", "时间": "2017-09-06"}
{"木材名称": "中油远丰原木样品", "规格": "", "价格": "100元/", "报价单位": "中油远丰（大连）石油有限公司", "时间": "2017-09-06"}

Answer 1

把数据转换成str类型，直接判断相等就可以了