大熊没有哆拉a梦 2022-02-17 21:59 采纳率: 100%
浏览 13
已结题

有了解elasticsearch数据导入速度的小伙伴吗?

您好,目前我了解了几种导入的方式,以及部分的导入速度,但还是没找到最优解……

  1. Java代码,批量导入,局域网内的es集群和数据库,主分片3,副分片0,关闭了es的自动更新。但导入速度在,每2.2秒导入1w条数据。

  2. elasticdump导入JSON文件,每2.5秒导入1w条数据

  3. logstash导入,这个方法是通过数据库导入的,但是需要配合运行时间,而且数据导入了却看不到数据……查询所有数据,也是空

  4. curl请求,通过json文件批量导入。需要对数据按照导入格式进行处理,生成JSON文件后,才可以导入,但速度还不清楚,还没弄成过……

以上,问题是:数据库数据,全量导入,应该用什么方法,才能速度最快?
谢谢您~

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 2月25日
    • 创建了问题 2月17日

    悬赏问题

    • ¥20 gitlab 中文路径,无法下载
    • ¥15 用动态规划算法均分纸牌
    • ¥30 udp socket,bind 0.0.0.0 ,如何自动选取用户访问的服务器IP来回复数据
    • ¥15 关于树的路径求解问题
    • ¥15 yolo在训练时候出现File "D:\yolo\yolov5-7.0\train.py"line 638,in <module>
    • ¥30 戴尔inspiron独显直连
    • ¥15 进行一项代码设计遇到问题
    • ¥15 Mutisim中关于74LS192N计数器芯片设计(计数器)
    • ¥50 fastadmin后台无法删除文件
    • ¥15 oracle查询Socket read timed out错误