2 qq 31289187 qq_31289187 于 2017.09.11 10:23 提问

在logstash中,使用kafka作为输入源,内存溢出

log4j, [2017-09-11T09:39:02.399] ERROR: kafka.network.BoundedByteBufferReceive: OOME with size 20971590
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:331)
at kafka.network.BoundedByteBufferReceive.byteBufferAllocate(BoundedByteBufferReceive.scala:80)
at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:63)
at kafka.network.Receive$class.readCompletely(Transmission.scala:56)
at kafka.network.BoundedByteBufferReceive.readCompletely(BoundedByteBufferReceive.scala:29)
at kafka.network.BlockingChannel.receive(BlockingChannel.scala:111)
at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:71)
at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:68)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(SimpleConsumer.scala:112)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply(SimpleConsumer.scala:112)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply(SimpleConsumer.scala:112)
at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply$mcV$sp(SimpleConsumer.scala:111)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply(SimpleConsumer.scala:111)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply(SimpleConsumer.scala:111)
at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)
at kafka.consumer.SimpleConsumer.fetch(SimpleConsumer.scala:110)
at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:94)
at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:86)
at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60)

            如何解决这个问题

1个回答

qq_31289187
qq_31289187   2018.06.30 22:22

这个问题在logstash的bin目录下logstash.bin.sh脚本里修改LS_HEAP_SIZE="${LS_HEAP_SIZE:=4g}"这个值就ok了,默认是512m

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
logstash用kafka作为输入源
安装 依赖:jdk7及以上版本 Logstash版本:2.3.4 步骤: 1. 官网下载tar.gz包 链接地址:链接 2. 扔到机器上解压 tar zxvf logstash-2.3.4.tar.gz 3.安装kafka input插件,顺便把output也安装了 bin/logstash-plugin install logstash-outpu...
logstash的kafka插件使用
前言 关于logstash可以产看其  官网 ,对于英文有障碍的人士,或是想知道更多插件使用技巧的用户请移步  @三斗室 所著作  logstash最佳实战 ,本片内容已经并入其中相关章节.  Logstash-kafka简介 https://github.com/joekiller/logstash-kafka 插件已经正式合并进官方仓库,以下使用介绍基于  logsta
使用logstash的logstash-input-kafka插件读取kafka中的数据
logstash版本为5.5.3,kafka版本为2.11,此版本默认内置了kafka插件,可直接配置使用,不需要重新安装插件;注意logstash5.x版本前后配置不太一样,注意甄别,必要时可去elasticsearch官网查看最新版配置参数的变化,例如logstash5.x版本以前kafka插件配置的是zookeeper地址,5.x以后配置的是kafka实例地址。 input{
Logstash的kafka插件使用
前言关于logstash可以产看其 官网 ,对于英文有障碍的人士,或是想知道更多插件使用技巧的用户请移步 @三斗室 所著作 logstash最佳实战 ,本片内容已经并入其中相关章节. Logstash-kafka简介 https://github.com/joekiller/logstash-kafka插件已经正式合并进官方仓库,以下使用介绍基于 logstash 1.4相关版本 ,1.5
[日志处理工作之五]整合logstash,kafka
整合logstash kafka
logstash+kafka 文件日志收集
logstash和kafka的安装和使用 http://blog.csdn.net/yesuhuangsi/article/details/51954346 logstash 配置: input { file { path => "/tmp/logFile/*.log" type=> "s
Logstash 输入源
官方文档地址 input-plugins 地址 Elastic supported plugins These plugins are maintained and supported by Elastic. Plugin Description Github repository beats
Kafka与Logstash的数据采集对接 —— 看图说话,从运行机制到部署
Kafka与Logstash
sparkStream-kafka.rar
sparkStream-kafka.rar中的jar包,在sparkStreaming要使用kafka作为输入源的时候要用到
logstash+kafka进行日志的实时采集
用spring整合kafka的话只支持kafka-2.1.0_0.9.0.0以上版本 kafka配置 查看topic bin/kafka-topics.sh --list --zookeeper localhost:2181 启动一个生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 -