Spring集成kafka,消费者运行时内存占用会一直增长? 20C

本人用Spring集成kafka消费者,发布运行时内存占用会一直升高,最后程序挂掉。请各位大神看看,提供解决方法

以下是我的配置文件
图片说明

程序运行两天后占用内存达到了1.4G,我用jmap导出程序占用文件,使用eclipsemat分析
图片说明
图片说明

发现是这个org.springframework.kafka.listener.KafkaMessageListenerContainer这个类里面
图片说明
这个里面的LinkedBlockingQueue这个队列像是没释放一样。不知道是不是还需要配置什么东西,,一直找不到什么方法来解决。

3个回答

看看ListenerConsumer这个线程run 方法 中的 processCommits这个方法,看看源码是怎么操作的

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
spring 集成kafka消费者
本文主要是说明spring集成kafka的消费者功能和过程中遇到的各种小问题。 环境:spring-kafka-2.1.11.RELEASE;spring-boot-2.0.8.RELEASE main函数需要加上@EnableKafka,spring boot中几乎所有支持的模块都会有一个对应的Enable,例如schedule,spring cloud系列等,所以以后使用其他spring ...
spring boot 集成 kafka 生产者 消费者
第一步 引包 <!-- springboot整合kafka --> <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-core&...
集成的显卡占用的内存为什么会不一样?
我跟同学的都是集成显卡,同样256的内存,为什么我的集成显卡占用了32M内存,而同学的只占用了8M内存?
Spring 集成Kafka(完整版)
前面的文章我们已经完成了Kafka基于Zookeeper的集群的搭建了。Kafka集群搭建请点我。记过几天的研究已经实现Spring的集成了。本文重点 jar包准备 集成是基于spring-integration-kafka完成的。我这里用的项目是maven。该jar包在maven的位置 <dependency> <groupI...
kafka与Spring的集成
1项目结构   2 pom依赖     <!-- kafka客户端支持包 -->     <dependency>         <groupId>org.apache.kafka</groupId>         <artifactId>kafka-clients</artifactId>        ...
spring boot集成kafka
压缩包中有两个集成kafka的项目,第一个是spring boot默认的集成方式kafkaTest1,第二个是springboot集成插件spring-integration-kafka来配置的
Kafka和Spring集成实践
目录 安装Zookeeper 安装Kafka 创建一个Spring项目 使用Producer API发送消息到Kafka 使用Kafka High Level API接收消息 使用spring-integration-kafka发送消息 使用spring-integration-kafka接收消息本文以单机的环境演示如何将Kafka和Spring集成。
Kafka与spring集成
Kafka分布式消息系统与spring框架集成说明
Spring Kafka的集成和使用
一、快速了解Kafka 在把Kafka集成到spring之前,我们首先要了解Kafka是什么?由什么东西组成?主要的使用场景是哪些? Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外k...
spring集成kafka配置
一 所需jar包 <!--spring相关包--> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-web</artifactId> <...
关于kafka的consumer_offsets一直自动增长
kafka的log目录下的consumer_offsets一直在写入东西,写入量很大基本10分钟1G,同样环境的其他两台没有问题,这边把这台的消费进程关了还是会继续写入,按说这个应该是记录偏移量的,但是为什么消费进程关闭还是会写入。
为什么内存会无限增长
我建立了一个TIMERrn在里面进行程序处理rn但是我发现进程的内存不停的在增长rn怎么办,进程中用到的对象我都用Close()或者Release()rn最后又设为NULL了还是不行阿rn这是为什么.
Kafka工作流程-Kafka 消费者
1. 使用消费者组实现消息队列的两种模式     Kafka 集群的数据需要被不同类型的消费者使用,而不同类型的消费者处理逻辑不 同。Kafka 使用消费组的概念,允许一组消费者进程对消费工作进行划分。每个消费者都可 以配置一个所属的消费组,并且订阅多个主题。Kafka 会发送每条消息给每个消费组中的一 个消费者进程( 同一条消息广播给多个消费组,单播给同一组中的消费者)。被订阅主题 的所有分区...
Spring集成RabbitMQ 消费者的配置
需要的jar包:spring-rabbit-1.3.5.RELEASE.jar,amqp-client-3.3.4.jar,spring-amqp-1.3.5.RELEASE.jar,spring-retry-1.1.0.RELEASE.jar 1. 添加配置文件rabbitmq.xml、rabbitmq.properties mq.host=192.168.64.129 mq.userna...
kafka消费者
package com.sf.sfpay.front.core.kafka;import java.util.List;import java.util.Map;import org.apache.commons.lang.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springfram...
Kafka消费者
import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.ConsumerConnector;import kafk...
如何在spring 集成kafka?
如何使用spring集成kafka? 因在公司的JAVA Web项目中要使用kafka作为消息队列,加之spring集成了kafka,就希望直接调用spring 集成的,未采用原生态的kafka。 1.pom依赖项 <dependency> <groupId>org.springframework.kafka</g...
Spring集成Kafka,配置生产者消费者
一、前提条件搭建了3个结点的Kafka集群,并且创建了一个名为test1的topic二、添加maven依赖<!--kafka-spring 集成--> <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-kafka</artifactId>
Kafka——使用spring进行集成
生产者: &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns...
oracle内存占用不断增长问题
请教:oracle数据库进程占用一直不断上涨,大约20多天后,就会导致系统虚拟内存不足,连接断掉,请问怎么会事?rnrn只有重启服务器才可以再正常运行,周期性出现虚拟内存不足现象!rnrn急!!!!先感谢赐教!
Kafka的高级消费者与低级消费者
在Kafka实战章节,我们写的例子都是Kafka的高级消费实例,可以看到在消息消费者的程序中,我们只需要指定zookeeper、及消费群组的groupId即可实现从消息队列中消费消息,屏蔽了大量的底层细节:如消息的偏移量等信息都不在程序中维护。Kafka的高级消费实例,满足以下几点规则: (1)同一个消费群组中,如果线程数大于Topic分区数,那么一些线程永远接收不到消息; (2)同一个消费群...
内存一直增长问题(C# + SDE + PDF )
内存控制 思路: DotMemory进行监控,找出内存增长的操作。 增长内存的可能原因: FTP连接 数据库连接 ArcEngine PDF 控件一直创建,没有Dispose 静态类使用有误 测试: 测试静 测试态类多次使用内存的变化 测试PDF多次加载,内存的变化 检查控件Remove后有没有释放 ...
为什么会占用这么多内存?
一个Form,加了一个菜单,菜单里面放的是几个图片的地址,点击后就把图片设置为Form的背景.rnrn程序刚运行的时候有29M,我点了一下菜单,加了一个背景,这时候程序占用38M.然后我又点了一下菜单换背景,程序占用40几M,一直这样加下去.rnrnrn我的疑问是,换了背景后,之前的背景图片还是贮留在内存中的吗?怎样去除他?rnrn[code=VB.NET]rnPrivate Sub ChangeBackImage(ByVal str As String)rn Dim backImg As Drawing.Bitmaprn Tryrn backImg = New Drawing.Bitmap(Drawing.Image.FromFile(str), me.Width, me.Height)rn Me.JobAret.BackgroundImage = backImgrn Me.MyDesktop = strrn Catch ex As Exceptionrn Me.JobAret.BackgroundImage = Nothingrn End Tryrn End Subrn[/code]
为什么内存占用会那么大?
请教大家,我在vc下编译一个程序(release版本),程序的可执行文件大小大约30k,但用任务管理器观察,它的内存占用达到了900k(我的程序中申请内存量很小),后来我写了一个程序作验证,一个简单的console程序(没有包含任何库,没有调用任何库函数,没有申请内存,什么都没有做,只是在无限循环),居然占用了580k的内存,而一个window程序要占用1M的内存。由于我的程序要移植到手持设备,这样当然是不符合要求的。我想请教各位,怎么才能降低程序的内存占用?(我试过在linux下编译,也占用了好几百k的空间)
LAYER_TYPE_SOFTWARE会加大内存占用
-
java Thread卡死 项目内存一直增长
1.今天项目中出现了一个问题,虚拟内存、物理内存一直持续增长,项目需要每隔一小时重启一次。很是蛋疼。。怎么办呢? 很捉急啊。以下是解决方案,有相同问题的小伙伴,可以参考参考。 首先查看内存 1.top 查看pid 11112 (我的进程号) 2.top -H -p 11112 查看线程占用比例 得到线程11140 比较高 3. printf %x 11140 转换为16进制 2b...
c#winform,内存一直增长,直到内存溢出
static WeakReference wr = new WeakReference(null);rn private void SetTheCsOnlineSight()rn rn tryrn rn if (!isReult)rn rn return;rn rn IntPtr hscrdc = GetWindowDC(csHwnd);//调用apirn Rectangle rect = new Rectangle();rn GetClientRect(csHwnd, ref rect);//调用api获得窗口信息rn Graphics g = wr.Target as Graphics; //Graphics.FromHdc(hscrdc);rn int height = 0;rn if (g == null)rn rn g = Graphics.FromHdc(hscrdc);rn wr.Target = g;rn rn if (rdWindow.Checked)rn rn //窗口化时需要加上任务栏高度rn height = rect.Height / 2 + (Screen.PrimaryScreen.Bounds.Height - Screen.PrimaryScreen.WorkingArea.Height) + u;rn rn if (rdAllScreen.Checked)rn rn height = rect.Height / 2 + u;rn rn g.DrawEllipse(new Pen(color), rect.Width / 2 + l, height, w, h);//准星大小rn g.FillEllipse(new SolidBrush(color), (rect.Right - rect.Left) / 2 + l, height, fw, fh);//填充为实型 rn rn catch rn finallyrn rn GC.Collect();rn rn rnrn改成弱引用还是会内存溢出,求高手解答,在线等.
数据库内存占用增长奇快!一天增长100M
只有insert和updata操作,每次数据量都不大rn最多几十条,但访问频繁,2分钟或左右一次rnrn不知道为什么会这样?
为什么会占用内存呢?
代码如下:定时的检查,连接;可是每执行一次,程序所占的内存就增加一些(已知:有几个是断着连不上的)rnTSendSMapit Findsit;rn for (Findsit = SendSMap.begin();Findsit != SendSMap.end();Findsit++)rn rn if ((*Findsit).second!= NULL &&(*Findsit).second->cSocket!= NULL &&!(*Findsit).second->cSocket->Active&&(*Findsit).second->cSocket->Socket->SocketHandle==-1)rn rn tryrn rn (*Findsit).second->cSocket->Active = true;rn rn catch(...)rn rn Application->MessageBoxA(".........","提示",MB_OK + MB_ICONINFORMATION);rn rn rn
java swing thread 内存一直增长
在写swing gui的程序,在一个thread里面一直发送httppost ,大约1秒发送一次,通过jconsole发现内存一直在长,给变量置为null,也不管用,后来想到system.gc是回收不用的变量,那么将线程里面的写的代码都搬到一个函数里面,这样就全部变成局部变量了,果然,通过jconsole发现内存基本稳定在一个数量级了,感觉对Java 回收机制多了点了解!
急VC ADO查询数据库 内存一直增长
各位好!rn 用setTimer计时器隔一秒钟查询sql数据库。我用这一个创建记录集对象 rn _RecordsetPtr m_pRecordtemp;//记录集对象rn _ConnectionPtr m_connectiontemp;//连接对象rn m_connectiontemp.CreateInstance("ADODB.Connection");rn m_pRecordtemp.CreateInstance("ADODB.Recordset");rn 最后也用close();rn m_pRecordtemp->Close();rn m_connectiontemp->Close();rn 这样为什么内存一直增加呢;rn 还有查询过程中有使用CString 变量进行变换。 rn 现在出现的问题是,开启运行在任务管理器看到内存一直增加。
spring boot 整合kafka,延迟启动消费者
    spring boot整合kafka的时候一般使用@KafkaListener来设置消费者,但是这种方式在spring启动的时候就会立即开启消费者。如果有需要根据配置信息延迟开启指定的消费者就不能使用这种方式。参考了类:KafkaListenerAnnotationBeanPostProcessor,我提取了一部分代码。可以根据需要随时动态的开启消费者。    为了方便使用,我自定义了一个...
Kafka Spring Boot 消费者配置注意事项
kafka spring boot 消费者配置注意事项 Kafka 使用Spring Boot集成时,配置Consumer时遇到运行时错误: java.io.EOFException: null 或者 Bootstrap broker … disconnected 如果配置了SASL参数,那么,恭喜你,这个问题,本篇博客可以解决你的问题。 由于SASL配置在Spring Boot集成时的配置是非标...
Kafka集群安装部署、Kafka生产者、Kafka消费者
概念: Storm上游数据源之Kakfa 1、 kafka是什么? 2、 JMS规范是什么? 3、 为什么需要消息队列? 4、 Kafka核心组件 5、 Kafka安装部署 6、 Kafka生产者Java API 7、 Kafka消费者Java API 1、Kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAF
如何减少可执行文件运行时对内存的占用
我的程序在多线程中用递归算法不断搜索文件夹下面的特定文件进行分析,再存入数据库,为什么在搜索过程中发现EXE文件占的内存不断地增大,大到内存占用100多M了,而使程序最小化一下,所占内存又能减到几M,接着是不断地增大,这是为什么啊rn文件是一些下位机传上来的采样数据,各个文件包含2048个数据要做FFT变换分析再存入数据库rn哪位知道应如何减少对内存的占用啊?
修改eclipse运行时内存占用大小
1.在eclipse安装目录找到 eclipse.ini文件 2.打开如下 -startup plugins/org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar --launcher.library plugins/org.eclipse.equinox.launcher.win32.win32.x86_64_1.1.300.v201...
我的进程运行时占用内存越来越低,怎么回事?
如题。rn但是观察功能还正常。rn谁遇到过类似的情况?
程序运行时enum是否占用内存?
现在有个程序要运行在一个嵌入式系统里,因为内存很小(4MB),所以会考虑内存使用。rnrn大量的enum是否会导致内存被占用?rn以前的代码是使用#define,但是#define重定义是个问题。(更何况这个代码不是一个人写的).rn以前可以运行的程序运行都没有问题,rn似乎我用enum替代了#define之后,总是因为内存不足导致程序崩溃(也有可能是我其他地方代码错误)。rnrn[code=C/C++]// way Arn#define MAX_CHAR_ARRAY_LENGTH 32rnrn// way Brnenum __em_define_rnrn MAX_CHAR_ARRAY_LENGTH = 32,rn;rnrn// way Crnconst int MAX_CHAR_ARRAY_LENGTH = 32;[/code]rnrnway C这个是否会浪费很多内存?rn这个会占用常量区,具体这个常量区属于系统还是属于当前程序,我就不知道了。rn--------------rn想问一下,way B或way C是否会造成多余的内存浪费?rn或者有什么办法可以解决宏重定义的问题?rn注:代码会分为在linux和window两个版本。rn
内存增长。。。?
在我的程序中通过 MessageBox() 和 Dialog DoModal() 产生出来的对话框,如果不关闭,发现占用内存一直增长 rn关闭后 涨的基本都释放掉了。界面是自绘的。rn 为什么???rn
内存增长
本人现在有一程序(要长期运行),本人用boundchecker检测内存,结果没有泄漏。但是长时间运行,无论windows内存还是进程占有的内存都在增长。2天windows内存增长了50M.rn 我怀疑是内存碎片?不知是否正确,如何解决???rn
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview