如何使用presto对hive分区表进行insert和delete

Question

由于公司需要构建实时数仓，所以需要对经由debezium采集的mysql和oracle数据库的数据变更记录写入到hive数仓中，并及时反馈给业务系统使用，hive的查询使用的是presto，实时数据处理任务采用flink，环境配置具体如下：
hadoop 2 10 0
hive 2 3 6
flink 1 13 1
presto 0 260
现有一张hive分区表，单个分区的数据量为10万，由于presto不支持update操作，所以如果要进行update操作，需要用presto查询出该分区的原数据，写入临时表，然后删除并重建该分区，将修改后的数据和原数据拼装后，重新写入新分区，在这过程中发现使用presto执行insert select单次插入数据1000条就需要12秒多，不能满足实时数据查询的需要

请问如何实现对hive分区表的实时更新呢？

Answer 1

你好，我是有问必答小助手，非常抱歉，本次您提出的有问必答问题，技术专家团超时未为您做出解答


本次提问扣除的有问必答次数，将会以问答VIP体验卡（1次有问必答机会、商城购买实体图书享受95折优惠）的形式为您补发到账户。


因为有问必答VIP体验卡有效期仅有1天，您在需要使用的时候【私信】联系我，我会为您补发。