服务器配置：
在6台虚拟机上安装es：内存分别是15G，1核cpu，1T机械硬盘
软件配置：
es分配了8G运行内存，logstash分配5G运行内存
elk,通过logstash将上亿条数据的csv文件，导入到es集群里，导入性能如何优化
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2021-03-12 15:45回答 2 已采纳 先检查两个地方吧： 1./var/log/messages 和 /var/log/secure 下面有数据写入 （如果有数据写入，可以把logstash output 改为打印到控制台，看看logs
- 2022-11-21 20:47回答 2 已采纳 你是单机器弄ELK，然后，还每次使用logstash导入过亿数据时，每分钟导入大概控制在5W条数据啊😂。。。过亿数据时，就要考虑各种并发，连接数的问题的了。你报错日志，很多各种超时的警告和响应的报错
- 2022-08-08 21:31回答 1 已采纳 我在尝试使用和你一样的配置可以正常输出，你可以尝试修改filebeat的配置注释调不需要的output，然后output logstash的hosts使用127.0.0.1:5044防止DNS污染问题
- 2019-06-14 19:12尘光掠影的博客 ELK生态之Logstash导入数据到Elasticsearch； 数据源：csv格式文件； Elasticsearch和Logstash版本：5.6.1； 前提环境：Elasticsearch单机或集群；Logstash客户端； 实践 csv文件内容： "sixmonth","23","男",...
- 2017-03-03 15:10回答 2 已采纳 http://blog.csdn.net/fisherman_hj/article/details/14164065 http://blog.csdn.net/july_2/article/deta
- 2022-11-03 09:30回答 1 已采纳 你看下这篇博客吧, 应该有用👉 ：Logstash之TCP插件
- 2022-10-15 19:24回答 1 已采纳 查了官网了，是只能使用1.8 的JDK，你1.8 的版本，是支持的啦。 然后看报错，是说你的JAVA 版本不支持？ 奇怪，按道理是支持才对，上一下你的Logstash配置文件，还有，环境变量是设置正
- 超级无敌王大侠的博客 在Products和version处分别选择需要下载的产品和版本，E（elasticsearch）L（logstash）K（kibana）三者版本必须相同将下载好的elk分别解压到相同路径下。
- 2022-09-23 11:31回答 2 已采纳 实际是可以通过filebeat 的fields 字段来区分的。注意YML文件的输入格式，这点很重要，实际这个问题不存在。结题。
- 2018-01-11 03:10回答 7 已采纳  ## start_position 参数放在fi
- 2021-07-09 12:02回答 2 已采纳 可以的，可以参考我的文章，有一篇专门针对数据采集并写入es的文章
- 2019-06-14 19:28尘光掠影的博客 ELK生态之Logstash导入数据到Elasticsearch； 数据源：txt格式文件，内容为json或json数组； Elasticsearch和Logstash版本：5.6.1； 前提环境：Elasticsearch单机或集群；Logstash客户端； 实践 txt文件内容： ...
- 2022-09-20 08:30回答 1 已采纳 Logstash 里你可以使用 ruby 过滤器来动态地进行编程来生成一个你想要的字段。你可以参考文章 https://elasticstack.blog.csdn.net/article/detai
- 2021-03-09 15:53pengge2的博客 1. 准备好ES、CSV文件 准备好一个es的集群环境，部署参考我的上一篇文章： ELK部署：https://blog.csdn.net/pengge2/article/details/114533789 ...反正本篇就是写写如何将CSV数据文件写入ES 2. data
- 2022-10-03 20:28Lionel Yee的博客 在 es0x/conf 创建 elasticsearch.yml，添加如下内容。4、启动集群，在docker-compose文件所在目录下运行命令。3、编写 docker-compose.yml 文件。5、启动成功后，访问对应地址。注意 IP 修改成自己的。修改端口、...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器
- ¥15 电脑桌面设定一个区域禁止鼠标操作
- ¥15 求NPF226060磁芯的详细资料