纯属小小白 2021-12-09 15:29 采纳率: 0%
浏览 17
已结题

hive on spark中先使用group by对create_date去重,然后使用datediff函数对create_date操作,对结果强转BIGINT,结果全为0

问题遇到的现象和发生背景

环境:hive on saprk (hive3.1.2 spark3.0.0)
先使用group by对create_date去重,然后使用datediff函数对create_date操作,对结果强转BIGINT,结果全为0,
然后使用hive on mr结果正常
Spark SQL结果正常。
强转INT、STRING、DECIMAL结果正常。

问题相关代码,请勿粘贴截图

代码(hive on spark):(使用union all模拟数据)可直接拿代码测试
with tmp as (
select '2021-12-09' as create_date
union all
select '2021-12-10' as create_date
union all
select '2021-12-09' as create_date
union all
select '2021-12-10' as create_date
union all
select '2021-12-11' as create_date
union all
select '2021-12-12' as create_date
union all
select '2021-12-13' as create_date
)
select
tmp.create_date,
cast(datediff('2021-12-15', tmp.create_date) as bigint)as day
from tmp
group by tmp.create_date

运行结果及报错内容

结果:
tmp.create_date day
2021-12-13 0
2021-12-10 0
2021-12-09 0
2021-12-11 0
2021-12-12 0

我的解答思路和尝试过的方法

使用hive on mr结果正常
Spark SQL结果正常。
强转INT、STRING、DECIMAL结果正常。

我想要达到的结果

通过修改表结构为INT,问题解决,但是想知道该问题出现的原因。

  • 写回答

1条回答 默认 最新

  • 有问必答小助手 2021-12-10 17:35
    关注

    你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答


    本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。


    因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。

    评论

报告相同问题?

问题事件

  • 系统已结题 12月17日
  • 创建了问题 12月9日

悬赏问题

  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能!!有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗?
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘