【kafka】kafka消息生产者抛异常

服务器正常运行,kafka本来没有问题,从某一时刻开始,就一直抛异常了,重启服务器后恢复正常。
请问是什么原因?
绝大部分消息抛异常了,还有很小一部分没有抛异常,但也没收到,这些丢失但没有异常的又是什么原因?

已知情况:kafka消息生产者 没有指定partition

kafka消息生产者异常

2个回答

1, 先确认你的网络有没有问题
2,在向服务器发起连接后,在kafka的服务器配置中有zookeeper.connect=xx.xx.xx.xx:2181的配置 这时候kafka会查找zookeeper
那么如果我们的hosts 中没有做hosts的配置 kafka经多次尝试连接不上就会报上面的错误,所有要做host映射,配置hosts文件 做zookeeper服务器的映射配置。
3,出现此种错误 还有一种情况

Hostname the broker will advertise to producers and consumers. If not set, it uses the

value for "host.name" if configured. Otherwise, it will use the value returned from

java.net.InetAddress.getCanonicalHostName().

advertised.host.name=192.168.1.118

远程连接的话 是根据这个配置来找broker的,默认是localhost ,所以如果不是本机运行的话 应该设置此值 来确保通信畅通。

fuweihua123
fuweihua123 回复qq_38834316: 建议你启动kafka用守护模式启动 -daemon **.properties
一年多之前 回复
qq_38834316
qq_38834316 感觉你说的好像很靠谱啊, 我的情况是 服务器的kafka生产者正常运行了几个月了, 突然有问题了,一直抛异常。应该是网络原因导致断了,然后重连没连上。不过领导让我处理下,以后不要出现这个问题,大佬有什么建议吗
一年多之前 回复

可能是服务器缓存问题,重启服务器就好了或者clean下服务器

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
实践kafka生产者消息
kafka原理就不过多介绍了,直接操作过程 首先kafka 依赖zookeeper  去kafka官网下载 tag.zip包 官网地址  http://kafka.apache.org/downloads.html 我下载的是kafka_2.10-0.9.0.0.tgz,千万不要下载src的 然后解压,这里面包含kafka服务  和 zookeeper服务 目录结构和tom
kafka生产者发送消息异常
使用kafka向消费者发送消息时候 org.apache.kafka.clients.producer.internals.ErrorLoggingCallback 和timeoutException  安装目录有空格 D:\Program Files 在Program和Files之间存在空格。故失败。     参考:http://blog.csdn.net/u01028389...
kafka消息生产者--新旧api
新版本的kafka的对于消息发送生产者提供了新的api,相对于旧版的api,性能有了大大的提升:旧版API:package com.ztesoft.iot.bill.spark.kafka; import java.util.ArrayList; import java.util.List; import java.util.Properties; import com.ztesoft.iot...
Kafka生产者
不管是把kafka作为消息队列,消息总线,还是存储平台,总是需要一个可以往Kafka写入数据的生产者和一个可以从Kafka读取数据的的消费者,或者一个兼具两种角色的应用程序 消息的发送过程 首先创建一个ProducerRecord对象,ProducerRecord包含目标主题Topic,分区partition,键Key,要发送的内容value。在发送ProducerRecord对象时,必须先把...
kafka生产者
package com.sf.next.sfpay.core.kafka.producer;import java.util.List;import javax.annotation.PostConstruct;import org.apache.commons.lang3.StringUtils;import org.apache.log4j.Logger;import org.springfr...
Kafka集群安装部署、Kafka生产者、Kafka消费者
概念: Storm上游数据源之Kakfa 1、 kafka是什么? 2、 JMS规范是什么? 3、 为什么需要消息队列? 4、 Kafka核心组件 5、 Kafka安装部署 6、 Kafka生产者Java API 7、 Kafka消费者Java API 1、Kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAF
kafka学习笔记三--kafka生产者
kafka有着自定义的网络协议,使用者只要遵守该协议格式,就可向kafka发送和拉取消息。老版本通过scala实现的生产者客户端已经被标记“废弃”,最新版本的通过java实现的KafkaProducer为我们实现同步/异步/发送消息,批量发送、超时重发等功能提供了便利。我们可以在Kafka clients模块的org.apache.kafka.client.producer包里找到该API的具体实...
java 实现kafka消息生产者和消费者
一、概述 kafka原理这东西就不再赘述了,除了官网网上也是能找到一大堆,直接上代码,这里实现的基本需求是 producer类利用for循环来产生消息,然后consumer类来消费这些消息,我的正确运行环境是:centos-6.5 kafka-2.10_0.10 scala-2.10.4二、代码生产者:package com.unisk.bigdata.kafka;import ja
kafka源码解析——kafka生产者模块
kafka消息队列主要由生产者(producer)、消费者(consumer)以及消息代理(broker)构成,生产者会源源不断地将消息写入消息代理,然后消费者从消息代理中拉取消息并消费。从功能划分上来看,生产者和消费者都属于客户端(client),消息代理属于服务端(server)。本文主要涉及kafka的生产者模块,从功能和底层原理两个方面对kafka生产的部分进行分析。 1.kakfa生产...
【kafka】一、kafka框架介绍(生产者篇)
嗯,菜鸡是我,骄傲在败坏以先,狂心在跌倒之前。所以有什么说错的地方,还请大家指出批评! 继爬虫之后,kafka的介绍。 该系列文章暂时更新两篇: 【kafka】一、kafka框架介绍(消费者篇):https://blog.csdn.net/lsr40/article/details/84029034 【kafka】二、kafka框架介绍(消费者篇):https://blog.csdn.ne...
Kafka学习(六):Kafka的生产者编程模型
Kafka的生产模型分为两种: 1.同步生产模型(一条一条的发送) 2.异步生产模型(很多条等待后,一次性发送)       生产者每次都发送一条消息都会等待,zookeeper集群的确认,如果没有收到确认,则短暂的等待,再次发送,只到达到设置的最大的发送次数     生产者客户端一次把所有的消息全部一次发送到kafak服务器端的缓存队列中,然后再一
大数据24-Kafka生产者:写消息到Kafka
本章我们将会讨论Kafka生产者是如何发送消息到Kafka的。Kafka项目有一个生产者客户端,我们可以通过这个客户端的API来发送消息。 概要 当我们发送消息之前,先问几个问题:每条消息都是很关键且不能容忍丢失么?偶尔重复消息可以么?我们关注的是消息延迟还是写入消息的吞吐量? 举个例子,有一个信用卡交易处理系统,当交易发生时会发送一条消息到Kafka,另一个服务来读取消息并根据规则引擎来检...
kafka生产者连接集群kafka集群失败
报错信息如下:rnException in thread "Thread-0" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.rn at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)rn at kafka.producer.Producer.send(Unknown Source)rn at kafka.javaapi.producer.Producer.send(Unknown Source)rn at testKafka.KafkaProducer.run(KafkaProducer.java:29)rn下边是生产者源码(采用同步模式):rnimport java.util.Properties;rnimport java.util.concurrent.TimeUnit;rnrnimport kafka.javaapi.producer.Producer;rnimport kafka.producer.KeyedMessage;rnimport kafka.producer.ProducerConfig;rnimport kafka.serializer.StringEncoder;rnrn/**rn * KAFKA生产者编程模型:同步,异步rn * rn */rnpublic class KafkaProducer extends Thread rnrn private String topic;rnrn public KafkaProducer(String topic) rn super();rn this.topic = topic;rn rnrn @Overridern public void run()rn Producer producer = createProducer(); rn int i=0; rn while(true) rn producer.send(new KeyedMessage(topic, "message: " + i++)); rn try rn TimeUnit.SECONDS.sleep(1); rn catch (InterruptedException e) rn e.printStackTrace(); rn rn rn rnrn //创建生产者对象,采用同步的消息传送方式rn private Producer createProducer() rn Properties properties = new Properties();rn //配置zk,主机地址+zk端口号rn properties.put("zookeeper.connect","10.10.31.120:2181,10.10.31.121:2181,10.10.31.122:2181");rn properties.put("serializer.class",StringEncoder.class.getName());rn //配置kafka broker集群rn properties.put("metadata.broker.list","10.10.31.120:9092,10.10.31.121:9092,10.10.31.122:9092");rnrn properties.put("request.required.acks","1");rn rn return new Producer(new ProducerConfig(properties));rn rnrn public static void main(String[] args) rn KafkaProducer kp = new KafkaProducer("topic-hahaha");rn kp.start();rn rnrnrn
Kafka 入门教程之二: Java连接Kafka之生产者
1. 检查service配置文件 修改参数 listeners = PLAINTEXT://your.host.name:9092 注意防火墙对端口的屏蔽 [kafka@tjtestrac1 config]$ cd $KAFKA_HOME/config [kafka@tjtestrac1 config]$ vi server.properties ########################...
Kafka 系列(三)—— Kafka生产者详解
一、生产者发送消息的过程 首先介绍一下Kafka生产者发送消息的过程: Kafka会将发送消息包装为ProducerRecord对象, ProducerRecord对象包含了目标主题和要发送的内容,同时还可以指定键和分区。在发送ProducerRecord对象前,生产者会先把键和值对象序列化成字节数组,这样它们才能够在网络上传输。 接下来,数据被传给分区器。如果之前已经在ProducerReco...
Kafka异常
单机版kafka测试 producer发送消息异常如下: (1)ERROR fetching topic metadata for topics kafka.common.KafkaException: Fetching topic metadata with correlation id 0 for topics [Set(test)] (2) ERROR Failed to ...
kafka 客户端, 生产者、消费者
生产者 消费者 两种消费方式 消费者提交偏移量 心跳任务 生产者 生产者要发送消息,并不是直接发送给服务端,而是先在客户端把消息放入队列中,然后由一个消息发送线程从队列中拉取消息,以批量的方式发送给服务端。 maven <dependency> <groupId>org.apache.kafka</groupId> ...
Kafka生产者和消费者--
文章目录Kafka生产者:向broker写数据生产者概览创建生产者构造ProducerRecord发送消息到broker序列化器分区顺序性和可靠性Kafka消费者基本概念消费过程创建消费者订阅主题轮询提交反序列化器 Kafka生产者:向broker写数据 生产者概览 创建生产者 Properties props = new Properties(); props.put(“bootstrap.s...
Kafka生产者开发
主要介绍kafka生产者的基本使用,同步异步的操作 package xlucas.kafka; import java.util.Properties; import java.util.concurrent.ExecutionException; import org.apache.kafka.clients.producer.*; import org.apache.kafka.comm...
Kafka基础-生产者发送消息
无论你是使用Kafka作为队列,消息总线还是数据存储平台,你都会用到生产者,用于发送数据到Kafka。下文介绍如何使用Java来发送消息到Kafka。1. 发送消息的主要步骤 首先创建ProducerRecord对象,此对象除了包括需要发送的数据value之外还必须指定topic,另外也可以指定key和分区。当发送ProducerRecord的时候,生产者做的第一件事就是把key和value序列...
kafka(3) ===> 生产者配置
由于生产者javaAPI相关博客有很多我就懒得写了,这里写一下生产者中可以配置的参数 1.acks:     0:不管broker接没接收到都不去管,直接返回成功     1:只要分区首领接受到了就算是成功     all:所有副本都接受到才算是成功 2.buffer.memory:生产者用他来缓冲要发送到服务器上的消息,如果应用程序发送消息的速度超过发送到服务器上的速度,有可能曹成生产...
kafka生产者和消费者代码
kafka生产者 //AsynUpdateKafkaMsgService.java package com.baidu.com.kafka; import java.io.IOException; import java.io.InputStream; import java.util.Properties; import javax.annotation.PostConstruct; imp...
kafka生产者实例
package com.amarsoft.kafka; import java.util.HashMap; import java.util.Map; import java.util.Properties; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer....
kafka插入数据(生产者)
<!--flink java--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </d...
Kafka参数详解及调优--生产者
引言 在实际的kafka开发中,我们会发现,无论是生产者还是消费者,都需要构建一个Properties对象,里面设置了很多参数。对于很多初学者来说,会看不懂这些参数分别代表什么含义。 在本篇文章我们就来详细地了解一下这些参数的作用,并探讨下如何使用合理的配置去优化提高生产/消费效率。 正文 1.kafka生产者参数 我们先来看一段生产者的构建代码。 Properties props = new P...
kafka生产者参数设置
request.requred.acks: 0:producer不等待broker的ack,这一操作提供了一个最低的延迟,broker一接收到还没有写入磁盘就已经返回,当broker故障时有可能丢失数据; 1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据; -1:produ...
kafka生产者与消费者
可同时建立多个组进行数据消费,不同组使用不同数据即可。保证集群性能。 设置方法: props.put(“group.id”, “jd-group2”); props.put(“group.id”, “jd-group3”); package com.newegg.ec2.test.kafka; import java.util.Properties; impor...
java kafka 之 生产者
kafka 的理论知识比较多,最好是看完理论再来敲代码,我这里只是做个笔记,所以代码
kafka源码解读系列——生产者
1.Producer 网络请求 1.1 Producer Client角度 KafkaProducer主要靠Sender来发送数据给Broker。 Sender: 该线程handles the sending of produce requests to the Kafka cluster. 该线程发送metadata requests来更新它感知的整个集群的视图;另外,主要负责发送produc...
Kafka生产者原理解析
文章目录kafka消息发送流程Kafka创建生产者初始化生产者发送消息示例分区策略producer拦截器生产者配置acksbuffer.memorycompression.typeretresbatch.sizelinger.msmax.request.sizemax.in.flight.requests.per.connection参考 kafka消息发送流程 流程图如下所示: 先初始化一个...
关于Kafka(四) 生产者
发送消息> 创建ProducerRecord对象,包含主题和内容,分区和键可选> 序列化器将对象序列化以便网络传输 > 数据传输到分区器,如果在ProducerRecord中指定了分区,则直接继续发送,若未指定分区,则根据对象的键选择分区> 相同分区分到同一个消息批次中,并发送给服务器> 服务器接收到消息后返回相应,如果成功写入则返回RecordMetaData对象,...
Kafka生产者守护进程Bruce.zip
Bruce 是 Apache Kafka 的生产者守护进程,它简化了客户端发送消息到 Kafka ,无需关注后端的 Kafka 集群。Bruce 主要处理: Routing messages to the proper brokers, and spreading the load evenly across multiple partitions for a given topic Waiting for acknowledgements, and resending messages as necessary due to communication failures or Kafka-reported errors Buffering messages to handle transient load spikes and Kafka-related problems Tracking message discards when serious problems occur; Providing web-based discard reporting and status monitoring interfaces Batching and compressing messages in a configurable manner for improved performance Bruce runs on each individual host that communicates with Kafka, receiving messages from local clients over a UNIX domain datagram socket. Clients write messages to Bruce's socket in a simple binary format. Once a client has written a message, no further interaction with Bruce is required. From that point onward, Bruce takes full responsibility for reliable message delivery. Bruce serves as a single intake point for a Kafka cluster, receiving messages from diverse clients regardless of what programming language a client is written in. Client code is currently available in C, C , Java, Python, and PHP. Code contributions for clients in other programming languages are much appreciated. Technical details on how to send messages to Bruce are provided here. Bruce runs on Linux, and has been tested on CentOS versions 7 and 6.5, and Ubuntu versions 14.04.1 LTS and 13.10. Bruce requires at least version 0.8 of Kafka. 标签:Bruce
Kafka之生产者 笔记一
文章内容选自《Kafka技术内幕图解》 1.消息系统通常是由三大块组成:生产者、消费者、消息代理。 功能:生产者会将消息写入消息代理中,消费者会从消息代理中读取消息。对于消息代理而言,消费者和生产者都是客户端。 2.通信步骤: 1.生产者客户端应用产生消息。 2.生产者包装消息到请求头中,发送到客户端。 3.服务端对象负责接收请求,并将消息以文件形式...
Kafka源码解读——生产者_KafkaProducer
Kafka源码解读——生产者_KafkaProducer(间断持续更......) KafkaProducer类的注释里有以下几段: producer是线程安全的,因此多线程使用一个单例模式的对象比多个对象更快些。 producer有一个缓冲池用来保存还没有发送到服务器的消息数据,以及一个后台I/O线程负责将这些消息数据转换成一个request请求发送到Kafka集群上,注意发送完成之后一定...
kafka生产者、消费者代码示例
1、生产者import java.util.Properties;    import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig;    public class MyProducer {                publi...
Kafka消费者生产者实例
为了更为直观展示Kafka的消息生产消费的过程,我会从基于Console和基于Application两个方面介绍使用实例。Kafka是一个分布式流处理平台,具体来说有三层含义: 它允许发布和订阅记录流,类似于消息队列或企业消息传递系统。 它可以容错的方式存储记录流。 它可以处理记录发生时的流。 由于主要介绍如何使用Kafka快速构建生产者消费者实例,所以不会涉及Kafka内部的原理。一个基于Kafk
kafka C++ 生产者 消费者
使用的是rdkafka这个库,可以到网上下载. 下面是生产者和消费者C++编程客户端. #include #include #include #include #include #include #include #include #include "rdkafka.h" const int PRODUCER_INIT_FAILE
Kafka生产者API使用
<p>rn <br />rn</p>rn<p>rn <p>rn 20周年限定一卡通!<span style="color:#337FE5;">可学Java全部课程</span>,仅售799元(原价7016元),<span style="color:#E53333;">还送漫威正版授权机械键盘+CSDN 20周年限量版T恤+智能编程助手!</span>rn </p>rn <p>rn 点此链接购买:rn </p>rn <table>rn <tbody>rn <tr>rn <td>rn <span style="color:#337FE5;"><a href="https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy" target="_blank">https://edu.csdn.net/topic/teachercard?utm_source=jsk20xqy</a><br />rn</span>rn </td>rn </tr>rn </tbody>rn </table>rn</p>rn<span>&nbsp;</span> rn<p>rn <br />rn</p>rn<p>rn 本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。rn</p>
Kafka生产者与消费者配置详解
kafka消费: ./kafka-console-consumer.sh --bootstrap-server 192.168.174.131:9092 --topic test --from-beginning 注:--bootstrap-server表示要消费的集群和队列。--topic test表示消费话题为test。–from-beginning参数表示从最开始消费数据,旧的和新的数据...
kafka生产者连接池
封装抽取了一个kafka生产者的连接池,能很好的用池的方式对kafka生产者连接点进行有效的管理
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法