sjtu448651346
sjtu448651346
采纳率50%
2019-10-29 21:10

hive 如何判断字段名是否存在,或者字段总数?

40

hive中如何判断字段名是否存在,或者字段总数为多少?

如果不能回答,下面的问题场景有好的解决方案也可以采纳

问题场景:
目前问题是这样的:公司hive库需要新增一个字段,但是数据部的同事为了保证hive代码在公司新增数据字段后仍能正常运行不会报错,需要自动判断是否添加了新字段(或者是判断字段数目为x or x+1),这样就能用if执行2个逻辑。

为什么我们不直接创建一个新表呢? 因为要保证数据连续性,不能在某天中断了(跑一次全量表数据公司服务器要跑一个月,历史数据非常庞大)

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

3条回答

  • weixin_42678268 bj_0163_bj 2年前

    在hive sql 里面好像直接判断字段个数有点困难,
    原表为tmp1,
    可以事先创建一个相同表建构的数据
    create table tmp2 like tmp1;
    然后取一条数据出来union all

    create table tmp3 as
    select * from tmp1 limit 1
    union all
    select * from tmp2
    如何报错,就说明表结构有变化。

    当然,union all 那步要加校验,进行异常处理

    点赞 1 评论 复制链接分享
  • weixin_42080504 have_power 2年前

    hive的元数据存放的资料库会有你所要的信息,常用的应该是mysql数据库。

    点赞 评论 复制链接分享
  • dabocaiqq dabocaiqq 2年前

为你推荐