每天输出的是t-1的数据，万一如果t-1有时候会运行失败，若运行失败时，让t-2的数据写到t-1(标签-hive)

Question

这里有一张hive表，每天输出的是t-1的数据，万一如果t-1有时候会运行失败，里面就没有数了，为了保证兜底，若运行失败时，让t-2的数据写到t-1，让他里面先存t-2的数据，请问怎么实现？

Answer 1

引自免费微信小程序：皆我百晓生

为了解决这个问题，我们可以创建一个Hive查询脚本，它会在插入t-1分区数据之前检查t-1分区是否存在数据。如果没有数据，则将t-2分区的数据移动到t-1分区。这是一个简单的SQL示例，展示了如何实现这个逻辑：

首先，我们需要确保有一个名为your_table的Hive表，并且它有日期相关的分区列，比如report_date。

CREATE TABLE your_table (
    -- 描述你的其他字段
) PARTITIONED BY (report_date STRING);

接下来，创建一个HQL（Hive SQL）脚本来处理这个情况。在这个示例中，我们将使用IF NOT EXISTS和INSERT OVERWRITE语句。假设我们正在处理今天的日期（t），昨天的日期是(t-1)，前天的日期是(t-2)。

-- 获取当前日期
SET today = '2023-04-07';  -- 替换为实际的当天日期

-- 检查t-1分区是否存在数据
SELECT COUNT(*) FROM your_table WHERE report_date = date_sub(CURRENT_DATE, INTERVAL 1 DAY);

-- 如果t-1分区不存在数据，将t-2分区的数据移动到t-1分区
INSERT OVERWRITE TABLE your_table PARTITION (report_date=date_sub(CURRENT_DATE, INTERVAL 1 DAY))
SELECT * FROM your_table WHERE report_date = date_sub(CURRENT_DATE, INTERVAL 2 DAY)
WHERE NOT EXISTS (SELECT * FROM your_table WHERE report_date = date_sub(CURRENT_DATE, INTERVAL 1 DAY));

-- 正常插入t分区的数据
INSERT INTO TABLE your_table PARTITION (report_date=$today)
SELECT * FROM your_source_data;  -- 替换为实际的数据源表名

你需要根据实际情况替换your_table、your_source_data以及日期字符串。这个查询首先获取当前日期，然后检查t-1分区是否有数据。如果没有数据，它将从t-2分区选择所有记录并将其插入到t-1分区。最后，正常插入t分区的数据。

注意：这个方法依赖于你有一个定期更新的源数据表your_source_data。这个过程应该在每天的批处理作业中执行，以确保数据的准确性。

如果你想要自动化这个过程，可以考虑使用Oozie、Airflow或其他工作流管理系统来调度这个HQL脚本的执行。