hdfs sink基于时间、数据大小、数据量将临时文件滚动成目标文件的参数分别是
1条回答 默认 最新
- 抓到一只盖子鸭 2022-12-30 16:38关注
如果参数为n,就是按照n条生成一个文件 a1.sinks.k1.hdfs.rollCount = 10000 #这个参数是hdfs下文件sink的数据size。 每sink 32MB的数据,自动生成一个文件 a1.sinks.k1.hdfs.rollSize = 0 #每隔n 秒 将临时文件滚动成一个目标文件。 如果是0,就不按照时间进行生成目标文件
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报