问题遇到的现象和发生背景
环境:hive on saprk (hive3.1.2 spark3.0.0)
先使用group by对create_date去重,然后使用datediff函数对create_date操作,对结果强转BIGINT,结果全为0,
然后使用hive on mr结果正常
Spark SQL结果正常。
强转INT、STRING、DECIMAL结果正常。
问题相关代码,请勿粘贴截图
代码(hive on spark):(使用union all模拟数据)可直接拿代码测试
with tmp as (
select '2021-12-09' as create_date
union all
select '2021-12-10' as create_date
union all
select '2021-12-09' as create_date
union all
select '2021-12-10' as create_date
union all
select '2021-12-11' as create_date
union all
select '2021-12-12' as create_date
union all
select '2021-12-13' as create_date
)
select
tmp.create_date,
cast(datediff('2021-12-15', tmp.create_date) as bigint)as day
from tmp
group by tmp.create_date
运行结果及报错内容
结果:
tmp.create_date day
2021-12-13 0
2021-12-10 0
2021-12-09 0
2021-12-11 0
2021-12-12 0
我的解答思路和尝试过的方法
使用hive on mr结果正常
Spark SQL结果正常。
强转INT、STRING、DECIMAL结果正常。
我想要达到的结果
通过修改表结构为INT,问题解决,但是想知道该问题出现的原因。