spring boot 整合kafka报错怎么解决? 5C

整合了一下spring boot跟kafka老是一直报错

 2018-05-20 18:56:26.920 ERROR 4428 --- [           main] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='null' and payload='myTest--------1' to topic myTest:

org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

请问一下各位大佬怎么解决的?

相应代码如下,也是参考了网上的:

 <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.9.RELEASE</version>
<dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.0</version>
        </dependency>

kafka版本及配置
kafka_2.11-1.1.0
配置:

 port = 9092
host.name = 阿里内网ip
advertised.host.name = xxx.xxx.xx 阿里外网ip

其他配置默认了
然后spring boot配置

 kafka: 
   bootstrap-servers: xxx.xxx.xxx.xxx:9092 
   listener.concurrency: 3 
   producer.batch-size: 1000 
   consumer.group-id: test-consumer-group 


@Configuration
@EnableKafka
public class KafkaConfiguration {

}


@Component
public class MsgProducer {

    private Logger log = LoggerFactory.getLogger(MsgProducer.class);

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    public void sendMessage(String topicName, String jsonData) {
        log.info("向kafka推送数据:[{}]", jsonData);
        try {
            kafkaTemplate.send(topicName, jsonData);
        } catch (Exception e) {
            System.out.println("发送数据出错!!!"+topicName+","+jsonData);
            System.out.println("发送数据出错=====>"+e);
            log.error("发送数据出错!!!{}{}", topicName, jsonData);
            log.error("发送数据出错=====>", e);
        }

        //消息发送的监听器,用于回调返回信息
        kafkaTemplate.setProducerListener(new ProducerListener<String, String>() {
            @Override
            public void onSuccess(String topic, Integer partition, String key, String value, RecordMetadata recordMetadata) {
                System.out.println("topic-----"+topic);
            }

            @Override
            public void onError(String topic, Integer partition, String key, String value, Exception exception) {
            }

            @Override
            public boolean isInterestedInSuccess() {
                log.info("数据发送完毕");
                System.out.println("数据发送完毕");
                return false;
            }
        });
    }
}
@Component
public class MsgConsumer {

        @KafkaListener(topics = {"myTest"})
        public void processMessage(String content) {
            System.out.println("消息被消费"+content);
        }
}

@RunWith(SpringRunner.class)
@SpringBootTest
public class TestKafka {

    @Autowired
    private MsgProducer msgProducer;

    @Test
    public void test() throws Exception {
        msgProducer.sendMessage("myTest", "myTest--------1");
    }
}

就是这样;运行test老是一直这个错误

0
qq_31371169
micalr 回复weixin_39588965: 求问解决了吗,我也遇到这个问题了
3 个月之前 回复
weixin_39588965
weixin_39588965 请问一下 解决了么 我也是遇到这个问题了
6 个月之前 回复

2个回答

0

SendMessage第二个参数用json字符串

"{\" name\":\"myTest--------1\"}

0
pengdingxu10
实例化 貌似也是不妥;也是那个错误。。。
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
springboot和kafka整合过程中出现的一个错误
错误信息如下: java.lang.IllegalStateException: Error processing condition on org.springframework.boot.autoconfigure.kafka.KafkaAutoConfiguration.kafkaProducerListener     at org.springframework.boot.autoco...
spring boot整合kafka+注解方式
spring boot自动配置方式整合 spring boot具有许多自动化配置,对于kafka的自动化配置当然也包含在内,基于spring boot自动配置方式整合kafka,需要做以下步骤。 引入kafka的pom依赖包 &amp;lt;!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka --&amp;...
spring boot 整合kafka 采用手动提交时报错
1、问题 spring boot 整合kafka,采用手动提交时报错(A manual ackmode is required for an acknowledging listener)。具体报错如下所示: 2、解决办法 在配置文件中添加ackmode配置,具体如下所示: spring.kafka.listener.ack-mode=MANUAL_IMMEDIATE
被版本更新坑到哭系列:SpringBoot整合Kafka
环境说明 Windows 10 1709 IDEA 2017.3.2 SpringBoot 2.0.M7 Spring-Kafka 2.1.0.RELEASE JDK 1.8.0_144 Maven 3.5.0 前言 编写程序时,一定要注意版本之间的兼容问题.如果不想关注这些,那么就全都用最新的就好了. 由于我用IDEA创建springboot项目的时候,用的springboot版本是稳定版
SpringBoot整合Kafka:简单收发消息案例
环境说明 Windows 10 1709 IDEA 2017.3.2 SpringBoot 2.0.M7 Spring-Kafka 2.1.0.RELEASE JDK 1.8.0_144 Maven 3.5.0 阿里云ECS CentOS 7 Kafka 2.12-1.0.0 zookeeper 3.4.10 下载并解压Kafka下载tgz包 wget http://mirrors.hust.ed
springboot整合kafka最简教程
安装jdk,zookeeper环境(zookeeper可以看这篇) 安装kafka,启动,先启动zookeeper,再启动kafka 1.点我下载 2.启动kafka环境 bin\windows\kafka-server-start.bat config\server.properties 准备所需依赖 &amp;amp;amp;lt;dependencies&amp;amp;amp;gt; &amp;amp;amp;lt;depend...
kafka学习笔记(四)spring boot整合kafka0.10.0.1(使用配置类)
配置类,配置属性,以及实现收发消息的实现类都与笔记(三)的代码相同,不同的是引入的kafka的依赖, 继承kafka0.10.0.1只需要引入一个jar包,如下: &amp;lt;!-- kafka --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.kafka&amp;lt;/groupId&amp;gt...
Springboot2整合kafka的两种使用方式
Springboot2整合kafkakafkadocker上安装环境Springboot2引入kafka基于注解基于客户端 kafka是一个分布式消息队列。在项目中应用十分广泛,具有高性能、持久化、多副本备份、横向扩展能力。 kafka 在多台机器上分别部署Kafka,即Kafka集群。每台机器运行的Kafka服务称为broker。 一个Topic主题可以被分为若干个分区(partitio...
kafka安装搭建(整合springBoot使用)
kafka介绍 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: - 发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因 - 以容错的方式记录消息流,kafka以文件的方式来存储消息流 - 可以再消息发布的时候进行处理 使用场景 在系统或应用程序之间构建可靠的用于传输实时数据的管道,消息队列功能 建实时的流数据处理...
springboot 1.5.3集成kafka
在spring-boot上集成Kafka
SpringBoot整合Kafka(集群版)
前提条件:搭好了zk和kafka的集群环境,且都启动 废话不多说,直接上代码:    pom.xml &amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema-instance&quot; xsi:schemaLocation=&quot;http://maven.apa...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
从Kafka中批量拉去数据,然后批量更新到es里。一次拉取的数量可以设置,现在是10000,轻松运转,更新到es内部也是,目标是百万日志秒处理
kafka学习笔记(三)spring boot整合kafka0.9.0.1(使用配置类)
spring boot 版本:1.5.6引入关于kafka的相关jar         &amp;lt;dependency&amp;gt;          &amp;lt;groupId&amp;gt;org.springframework.kafka&amp;lt;/groupId&amp;gt;     &amp;lt;artifactId&amp;gt;spring-kafka&amp;lt;/arti...
kafka 整合springboot 2.1.3.RELEASE (不用看了,我还没搞清楚)
kafka相关概念: 1. AMQP协议 2. Kafka支持的客户端语言 3. Kafka架构 【producer】-----发送-----&gt;【broker】&lt;-----接收-----【consumer】 一些基本概念: 消费者(Consumer):从消息队列中请求消息的客户端应用程序; 生产者(Producer):向broker发布消息的客户端应用程序; AMQP服务器端(...
kafka学习(6)-Springboot整合kafka-消费者手动
目录 1、场景 2、代码 2.1、生产者、消费者配置文件 2.2、生产者发送100条测试数据 2.3、消费者收取100条测试数据-自动 2.4、消费者收取100条测试数据-手动 2.4.1、手动提交注释不打开 2.4.2、手动提交注释打开 1、场景 上一篇kafka的consumer消费者,我们使用的是自动提交offset下标。 但是offset下标自动提交其实在很多场...
java中springboot集成kafka生产者Producer启动报错kafkaTemplate模板报错
前言:之前博客里面提到本公司为物联网项目。项目中使用mqtt+kafka进行与设备端的通讯,之前的协议格式为json格式,现在改成字节数组byte[]格式进行通信。 报错信息如下 Can't convert value of class [B to class org.apache.kafka.common.serialization.StringSerializer specified in...
springboot 整合kafka,解决本地不能连上服务器kafka的问题
springboot整合kafka,原理不多说了,道理大家都懂,直接上代码了。 整合前,kafka需要启动,我现在使用的是虚拟机里面的kafka 1.maven配置 &lt;!--kafka支持--&gt; &lt;dependency&gt; &lt;groupId&gt;org.springframework.kafka&lt;/groupId&gt; &lt;ar...
Kafka代码连接异常TimeoutException
org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe 使用java去连接kafka报连接超时错误。 修改kafka的 config/server.properties文件中: advertised.listeners=PLAINTEXT://IP...
Kafka+zookeeper安装配置启用并整合SpringBoot实现生产消费
Linux Kafka配合zookeeper启动并整合SpringBoot 下载kafka,我下载的是kafka_2.12-1.0.0.tgz,所以pom添加依赖的时候也要添加对应的jar包 下载zookeeper 解压,首先启动zookeeper,修改zookeeper/conf下面的zoo_sample.cfg, 修改里面的dataDir=/opt/zkdata(举例),将这个文...
13、Springboot集成Kafka,最简化消息队列通信的实现
相关依赖的引入 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.kafka&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;spring-kafka&amp;lt;/artifactId&amp;gt; &amp;lt;version&amp;gt;1.0.6.RELEASE&amp;lt;/version&amp;gt; &amp;lt
SpringBoot整合Kafka实现发布订阅
SpringBoot整合Kafka实现发布订阅 新建SpringBoot项目 基于JDK版本1.8,SpringBoota版本1.5.9.RELEASE 1、pom.xml中添加依赖 &amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;project xmlns=&quot;http://maven.apache.org...
SPRING BOOT+KAFKA 发送和接收message信息的实现
在kafka资料中有说明支持类同于rabbitmq的功能,通过查阅资料,kafka的通讯机制想必不用我写都知道,看到下图就能直接明白: 具体在project中操刀过程如下: 1.在发送和接收PROJECT中的MAVEN增加以下依赖包 2.在接收PROJECT里系统配置文件中增加以下配置信息,主要是为了consumer连接kafka server的topic及group 3.在接...
springboot - 集成kafka完整代码实现
时不我待;老兵不死也会凋零 1.安装kafka(略去) 2.配置jar包依赖:我在使用spring-boot 的1.5.4版本时候发现有kafka版本不兼容的问题,请注意 org.springframework.kafka spring-kafka 1.1.0.RELEASE
SpringBoot集成Redis,Webservice,kafka,quartz,mybatis例子
最近学习springboot吧自己工作中需要用到的工具都做了集成例子。其中包括mybatis,cfx的webservice,定时器quartz,消息队列kafka以及redis其中redis包含了三种连接方式(单机模式,集群cluster,哨兵模式),给大家做一个参考 希望能让别人学习时少走弯路
springboot配置kafka生产者和消费者详解
在原有pom.xml依赖下新添加一下kafka依赖ar包 &lt;!--kafka--&gt; &lt;dependency&gt; &lt;groupId&gt;org.springframework.kafka&lt;/groupId&gt; &lt;artifactId&gt;spring-kafka&lt;/artifactId&gt; &lt;v...
SpringBoot整合kafka后设置offset自动提交为false不起作用
首先要明确一点,当SpringBoot整合kafka后, kafka.consumer.enable.auto.commit=false 意思是让spring自动去提交offset kafka.consumer.enable.auto.commit=true 意识是让kafka去自动提交offset 解决办法: 在kafkaconsumer的配置类里加入以下即可: ...
springboot kafka集成demo
本资源是一个最新的springboot+kafka集成demo 博客地址:https://my.oschina.net/u/3642896/blog/1506378
Spring-boot项目简单集成 ELK + Kafka (Windows 环境下)
前言:使用elk+kafka做日志归集,可以查看汇总日志,查看方便检索方便。避免了去一个个tomcat里面查看日志,而且要从头到尾去找自己所需要的信息。 Spring-boot项目将产生的日志生产到 Kafka,Logstash 消费 Kafka 中的消息,再推给 Elasticsearch,最终使用 Kibana 查看日志。 1.安装 ELK 在上篇博客有简单步骤讲解,简单安装 elk (...
springboot整合kafka实现消息的生产与消费--消息的生产
由于工作需要,最近在研究springboot整合kafka。做一个分布式的同步应用程序。springboot整合kafka须注意版本。对于springboot 1.5版本之前的话,需要自己去配置java configuration,而1.5版本以后则提供了auto config,具体详见org.springframework.boot.autoconfigure.kafka这个包,springbo...
SpringBoot2.0项目模块整合之kafka_2.11-2.0.0(同步,异步)
kafka单机环境:jdk1.8,zookeeper-3.4.12,kafka_2.11-2.0.0;提供GitHubDemo 1.zookeeper安装 下载地址:https://www.apache.org/dyn/closer.cgi/zookeeper/ 上传zookeeper安装包,解压安装包 tar -zxf zookeeper-3.4.12.tar.gz 进入data文件...
springboot集成kafka0.10.0.1并发送邮件项目
springboot集成kafka0.10.0.1 实现监听topic 接收消息发送到指定邮箱里,并往topic中发送消息的一个小项目。
spring-boot 集成kafka单节点消息发送与接收
springboot还处于学习阶段,又同时在学习kafka,两者结合,继续学习。1、官网下载kafka2、解压3、对于单节点来说,按照官网上操作即可实现消息的发送和接收。但是对于客户端,是通过 @KafkaListener 注解监听生产者发送的消息,故需要修改config/server.properties 文件 如上图,打开listeners ,将默认的件监听IP+端口改为具体的服务器地址4、创建
高并发架构实战(九) Spring Boot集Kafka
Spring Boot 2.0.4 集成 Kafka 2.0.0。 项目源码地址 一、简介 kafka是一种高吞吐量的分布式发布订阅消息系统。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都...
springboot 集成kafka系列 二、springboot集成kafka生产者
    1、新建springboot脚手架工程,pom文件如下,其中引入了kafka需要的依赖,注意这里的kafka版本号需要和之前安装的kafka版本一致,要不然会有问题 &amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=...
kafka学习小结(springboot2+kafka组成集群模式2基础实战)
搭建简单的springboot2项目 1.maven添  &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.kafka&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;spring-kafka&amp;lt;/artifactId&amp;gt; &amp;lt;/dependency&amp;gt; pom.xml配置添加 kafka: ...
在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案
在配置好kafka的配置文件后,cmd进入命令窗口输入命令:.\bin\windows\kafka-server-start.bat config\server.properties提示错误:错误: 找不到或无法加载主类 Files\Java\jdk1.7.0_80\lib;C:\Program 解决方式如下:在kafka安装目录中找到bin\windows目录中的kafka-run-class.
kafka+springboot整合代码(推荐)
pom文件依赖: &lt;dependency&gt; &lt;groupId&gt;org.springframework.kafka&lt;/groupId&gt; &lt;artifactId&gt;spring-kafka&lt;/artifactId&gt; &lt;/dependency&gt; 一.application.properties配置: spring.kafka.b...
SpringBoot在整合mybatis的时候出现报错
Springboot报错描述 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):com.tk.portal.mapper.UserMapper.findAll 这个错误在网上看的时候看到了好多的答案,反正核心思想就是mapper层和mapper.xml没有成功映射,根据网上的方法检查了命...
SpringBoot 整合 kafka 遇到的版本不对应问题
SpringBoot 整合 kafka 需要在SpringBoot项目里增加kafka的jar,而最为关键的一点是版本要对应好。 如果你的SpringBoot是2.0.3版本: &amp;lt;parent&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.boot&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt...
SpringBoot集成kafka以及遇到的问题
版本介绍: Springboot:1.5.3 kafka:kafka_2.10-0.10.2.1 配置文件: server.port=6097 spring.application.name=DsInfoservice #============== kafka =================== kafka.consumer.zookeeper.connect=192.168.x...