2 u013296283 u013296283 于 2016.01.29 15:57 提问

kafka数据可以写入数据,消费不可数据

kafka的offset值一直不变,可以往里面写数据
会是什么原因呢
手动改变offset的值是可以消费数据的

1个回答

oyljerry
oyljerry   Ds   Rxr 2016.01.29 16:43

消费者是否正确注册上了,是否有连接在线上

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Spark消费kafkaf的数据,解析数据并将数据存入到Hive中
啥都不说了,直接贴代码: import kafka.serializer.StringDecoder; import net.icsoc.bigdata.common.config.PropertiesLoad; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.hdfs.DistributedFile...
kafka java安装出现的问题
在云服务器上安装的kafka服务器,在本地java代码访问时,发不出消息,也获取不到数据。发送消息时会抛出异常:Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12] kafka.common.FailedToSendMessageException: Fai...
Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在: step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障 step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题 step C:不到万不得已,则只能手动删除
数据从kafka到hive(1)
数据从kafka到hive(1)背景公司的系统是一个对外提供服务的接口,每一次调用日志都需要保存到hive中,以便后期做数据分析。每天的调用量在亿级,日志数据量100G以上,在量级还没有这么大的时候,采取的办法比较原始:直接通过log4j打印到日志文件,然后通过抽数工具同步到hive中,每天凌晨同步前一天的数据。随着量级增大,日志文件越来越大,每天抽数就要抽好几个小时,而且偶尔还由于网络问题等原因失
数据从kafka到hive(2)
数据从kafka到hive(2)标签(空格分隔): kafka hive ETL 源码前面一篇讲到了将数据从kafka读到hdfs使用了开源工具camus,既然用到了开源的代码,免不了研究一下实现过程。所以这里分享一下阅读camus代码了解到的一些细节。前置知识在讲camus之前,需要提一下hadoop的一些知识。关于inputFormatinputFormat类的原型如下:public inter
Storm-Kafka模块常用接口分析及消费kafka数据例子
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例
STORM整合kafka消费数据
参见我的git项目:https://github.com/jimingkang/StormTwo/tree/master/src/user_visit 项目文件: 1)package user_visit; import cloudy.spout.OrderBaseSpout; import com.ibf.base.spout.SourceSpout; import backtype.
关于kafka重新消费数据问题
我们在使用consumer消费数据时,有些情况下我们需要对已经消费过的数据进行重新消费,这里介绍kafka中两种重新消费数据的方法。   1. 修改offset 我们在使用consumer消费的时候,每个topic会产生一个偏移量,这个偏移量保证我们消费的消息顺序且不重复。Offest是在zookeeper中存储的,我们可以设置consumer实时或定时的注册offest到zookeeper
kafka 0.9.0.0 rebalance后部分分区不再读数据
kafka 0.9.0.0 版本,rebalance可能导致部分consumer不能再消费分区数据; fetched和consumed标记设置的时机不同。但是发起fecth请求时,要求两个标记内容一致。
平台搭建---Kafka使用---Kafka重复消费和丢失数据
来源 1、Kafka保证数据不丢失的原理 1.1、kafka消息的位置 用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once是至关重要的。 kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。 Kafka消费者消费的消息位置还与consumer的group.id有关。 consumerOffse