批量上传数据到Doris,默认只能连续上传500次,超过500次就会报错,请问有什么办法可以解决这个限制
2条回答 默认 最新
关注
排查方法:
doris 执行下列的命令:
show tablet tabletid(报错的那个)
在结果里面关注最后一列,输入它的内容再次查询
SHOW PROC ‘。。。。。。’; 这时候可以发现版本的数量了
解决方法:
1.优化自身的代码,将数据处理完全后,再进行入库
2.减少 插入频率,插入几条后,就停顿一下,不要频繁的插入
3.更换插入 方式, 先把数据存入到 kafka,hdfs 或者其他地方后,再进行 入库 doris
doris 多频率插入 最多只能存入 12天数据 优化(找到doris be节点问题)(doris 系统本身不适合 单条数据(超过500 报错)的导入,建议批量导入,要原因是insert into values受限于mysql的协议导入效率不高,而且DorisDB需要微批导入,不希望几百几千行数据就导入一次。
ck也是推荐使用insert into select的方式来导入,如果用insert into values写入大量版本也同样出现too many parts等错误。)因为compaction的速度跟不上高频导入的速度,导致数据版本无限堆积。默认上线是500.
这种情况通常是因为导入频率过高导致版本合并不及时,需要降低导入频率,或暂停导入等待compaction将数据版本数量降低。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 angular项目错误
- ¥20 需要帮我远程操控一下,运行一下我的那个代码,我觉得我无能为力了
- ¥20 有偿:在ubuntu上安装arduino以及其常用库文件。
- ¥15 请问用arcgis处理一些数据和图形,通常里面有一个根据点划泰森多边形的命令,直接划的弊端是只能执行一个完整的边界,但是我们有时候会用到需要在有很多边界内利用点来执行划泰森多边形的命令
- ¥30 在wave2foam中执行setWaveField时遇到了如下的浮点异常问题,请问该如何解决呢?
- ¥750 关于一道数论方面的问题,求解答!(关键词-数学方法)
- ¥200 csgo2的viewmatrix值是否还有别的获取方式
- ¥15 Stable Diffusion,用Ebsynth utility在视频选帧图重绘,第一步报错,蒙版和帧图没法生成,怎么处理啊
- ¥15 请把下列每一行代码完整地读懂并注释出来
- ¥15 寻找公式识别开发,自动识别整页文档、图像公式的软件