m0_63207666 2022-02-22 01:00 采纳率: 100%
浏览 55
已结题

条件判断后删除hive表分区

需求：保留当日数据和每月月末收据
想法：判断当日是否为月初第一天，即日期是01，如果不是，删除昨日数据。
有其他更好的想法也欢迎指点

  • 写回答

2条回答 默认 最新

  • Keifei 2022-02-22 01:23
    关注

    按月分区，overwrite...这有什么难的

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)
编辑
预览

报告相同问题？

  • 【大数据】一篇认识Hive
    2024-10-09 11:24
    编码人生_的博客 文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和...
  • 大数据开发笔记（四）：Hive分区详解
    2021-02-10 06:33
    GoAI的博客 hive分区（partition） 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的...
  • HIVE 分区表详解
    2021-02-21 10:49
    Charles Gao的博客 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、...
  • 【大数据之Hive】
    2023-05-13 09:57
    JMFFFFF的博客 创建数据库：CREATE DATABASE [COMMENTLOCATIONhdfs_...修改数据库–修改dbproperties–修改location修改数据库location，不会改变当前已有表的路径信息，而只是改变后续创建的新表的默认的父目录。–修改owner user。
  • 大数据面试题整理——Hive
    2024-10-28 10:45
    自节码的博客 Hive是一个构建在Hadoop上的数据仓库软件，它提供了类似SQL的查询语言，使得用户可以用SQL来查询存放在Hadoop上的数据。Hive是一种结构化数据的存储和查询机制，它可以将SQL语句转换为MapReduce任务在Hadoop上执行。...
  • 大数据开发之Hive(查询、分区表和分桶表、函数)
    2024-01-12 07:13
    Key-Key的博客 炸裂函数，一进多出，类似：explode()3、编程步骤1）继承Hive提供的类2）实现类中的抽象方法3）在hive的命令行窗口创建函数4、hive中引入自定义函数步骤1）添加jar2）创建function3）在hive的命令行窗口删除函数ok ...
  • pyspark--写hive分区表覆盖指定分区数据
    2022-04-16 14:27
    囊萤映雪的萤的博客 spark写入hive分区表时，如果数据表事先不存在，可以选择手动建表，可以使用以下代码写入数据，会自动创建数据表： df = spark.createDataFrame([(1, "alice", "20220412"), (2, "bob", "20220412")], ["id", "name...
  • hive表或分区被误删了怎么找回？
    2020-07-10 11:02
    Yolanda Ren的博客 hive表或分区被误删了怎么找回？ 在平常工作中，因为这样那样的原因表数据被误删了，这个时候要怎么找回呢？ 先记一下昨天刚发生过的问题。 线上数据因为之前的误操作存在一些脏分区，比如像这样的： 这种异常分区...
  • HIVE 大数据学习
    2024-03-09 00:50
    OutRoading的博客 Apache Hive是一款建立在Hadoop之上的开源系统，可以将存储在Hadoop文件中的，基于表提供了一种类似SQL的查询模式，称为，用于访问和分析存储在Hadoop文件中的大型数据集Hive核心是将 HQL转换成MapReduce程序，然后...
  • [Hive]一、大数据技术之Hive
    2024-05-21 17:09
    墨尔本、晴的博客 Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。 Hive的本质是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。 （1）Hive中每张表的...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 4月14日
  • 已采纳回答 4月7日
  • 创建了问题 2月22日