那小子、真烦 2022-07-14 10:58 采纳率: 0%
浏览 15
已结题

KAFKA OFFSET 突增 LAG 异常

KAFKA OFFSET 突增 LAG 异常

kakfa集群重启的时候（没有一台一台的重启），可能三台一起重启，

问题1、会出现某些topic 的 offset 原来可能应该是一个连续的值 突然跳了几百万几千万

问题2、查看LAG指标 也是负几百万 ，但是客户端也在消费 但是属于异常消费，没有按照预期消费

有兄弟遇到这种情况？ ，不胜感激

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • 【kafka】kafka消息生产者抛异常
      2018-04-27 17:31
      回答 2 已采纳 1, 先确认你的网络有没有问题 2，在向服务器发起连接后，在kafka的服务器配置中有zookeeper.connect=xx.xx.xx.xx：2181的配置 这时候kafka会查找zookeep
    • spark structured steaming与kafka集成offset管理方式 kafka spark
      2023-01-31 14:43
      回答 2 已采纳 Spark Structured Streaming 集成 Kafka 的 offset 管理方式有如下几种： 利用 Spark checkpoint 文件提交 offset 给 Kafka常用的方案
    • kafka拉取不到数据 java kafka 分布式 有问必答
      2022-02-16 19:32
      回答 4 已采纳 重新开一个topic，然后先启动consumer，再启动producer，再发消息，你这个可能是consumer已经在broker里有了自己的offset，就会读不到之前producer发送到brok
    • kafka入门到精通
      2023-02-24 18:51
      seeyoutlb的博客 kafka，java，zk
    • 在win10启动kafka报错 kafka zookeeper
      2022-05-15 21:27
      回答 1 已采纳 删除异常的主题“movie_real_topic”试试.\bin\kafka-topics --delete --topic movie_real_topic --zookeeper localhos
    • kafka怎么获取之前的offset java linux
      2020-04-28 14:06
      回答 1 已采纳 kafka消费是可以指定offset的，你手动指定一个不就好了？ 多个生产者同时发送数据，你是要保证按照发送的顺序一一写到数据库中么？这样子的话可以只给当前topic，设置一个分区就行了 不知道我
    • zookeeper 设置 Acl 后 kafka 启动失败 kafka zookeeper 分布式
      2022-09-26 17:35
      回答 1 已采纳 网上都有相关文章，例如，你可以参考这篇：https://www.bilibili.com/read/cv11773508里面就有涉及到这两个的安全认证配置。
    • 【kafka】Kafka常用JMX监控指标整理
      2020-10-16 18:31
      九师兄的博客 一个副本从ISR池中移走有以下一些原因：follower的offset远远落后于leader（改变replica.lag.max.messages 配置项），或者某个follower已经与leader失去联系了某一段时间（改变replica.socket.timeout.ms 配置项），...
    • kafka无法正常启动 kafka
      2022-11-14 16:38
      回答 2 已采纳 帮你找了个相似的问题, 你可以看下: https://ask.csdn.net/questions/7763153这篇博客你也可以参考下：搭建kafka环境遇到kafka闪退问题以及解决办法这篇博客也
    • kafka集成flume flume kafka
      2023-03-03 20:36
      回答 1 已采纳 “Devil组”引证GPT后的撰写：可能有多种原因导致消费者没有消费到所有追加的内容。以下是一些可能的原因： 日志追加速度太快，消费者无法跟上。如果日志追加速度非常快，而消费者无法及时消费所有消息，那
    • kafka消费者创建不了 java kafka linux
      2022-08-23 10:01
      回答 1 已采纳 同一个消费组能同时消费的消费者数量和topic的分区数有关，估计是你的topic只有两个分区所以使用相同的groupid只有两个消费者在消费，加一个分区就好
    • Kafka监控：消息堆积、消息延迟、以及如何处理
      2020-07-08 17:07
      四月天03的博客 在日常的工作中，我们发现很多开发对Kafka本身并不太了解，运维由于经验的不足在初期对整体Kafka的管控也不是那么的严格，导致在使用上有很多问题。所以我们整合了内部的Kafka监控服务的数据，结合我们平台的任务...
    • kafka可以生产无法消费的问题 java kafka
      2022-06-11 10:41
      回答 1 已采纳 给你个例子，是可以收发的。验证通过再和你的对比一下，你应该哪里配错了。 springboot集成kafka、消息发送、消费使用_‘’小磊的博客-CSDN博客_spri
    • kafka学习笔记
      2021-12-10 15:35
      流光亦流连的博客 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。 kafka同步处理和异步处理的模型： 2.使用消息队列的优点 异步处理的优点： 1.解耦 允许独立的修改...
    • Kafka监控：主要性能指标
      2020-01-20 18:05
      s1120050240的博客 原文地址：...Kafka是什么？ Kafka是一个分布式，有分区的，有副本的日志服务系统，由LinkedIn公司开发，并于2011年开源。从本质上来说，Kafka拥有一套可扩展的发布/订阅消息队列架构，并组成了一...
    • 没有解决我的问题, 去提问

    问题事件

    • 系统已结题 7月22日
    • 创建了问题 7月14日

    悬赏问题

    • ¥15 phython路径名过长报错 不知道什么问题
    • ¥15 深度学习中模型转换该怎么实现
    • ¥15 HLs设计手写数字识别程序编译通不过
    • ¥15 Stata外部命令安装问题求帮助！
    • ¥15 从键盘随机输入A-H中的一串字符串，用七段数码管方法进行绘制。提交代码及运行截图。
    • ¥15 TYPCE母转母，插入认方向
    • ¥15 如何用python向钉钉机器人发送可以放大的图片？
    • ¥15 matlab（相关搜索：紧聚焦）
    • ¥15 基于51单片机的厨房煤气泄露检测报警系统设计
    • ¥15 Arduino无法同时连接多个hx711模块，如何解决？