批量上传Doris解决限制

Question

批量上传数据到Doris，默认只能连续上传500次，超过500次就会报错，请问有什么办法可以解决这个限制

Answer 1

排查方法：
doris 执行下列的命令：
show tablet tabletid(报错的那个)
在结果里面关注最后一列，输入它的内容再次查询
SHOW PROC ‘。。。。。。’; 这时候可以发现版本的数量了
解决方法：
1.优化自身的代码，将数据处理完全后，再进行入库
2.减少 插入频率，插入几条后，就停顿一下，不要频繁的插入
3.更换插入 方式， 先把数据存入到 kafka,hdfs 或者其他地方后，再进行 入库 doris
doris 多频率插入 最多只能存入 12天数据 优化（找到doris be节点问题）（doris 系统本身不适合 单条数据（超过500 报错）的导入，建议批量导入，要原因是insert into values受限于mysql的协议导入效率不高，而且DorisDB需要微批导入，不希望几百几千行数据就导入一次。
ck也是推荐使用insert into select的方式来导入，如果用insert into values写入大量版本也同样出现too many parts等错误。）因为compaction的速度跟不上高频导入的速度，导致数据版本无限堆积。默认上线是500.
这种情况通常是因为导入频率过高导致版本合并不及时，需要降低导入频率，或暂停导入等待compaction将数据版本数量降低。