satellite7832 2017-05-25 02:02 采纳率: 0%
浏览 6987

kafka消费不到数据问题

kafka集群搭建正常,通过console都能正常生产和消费消息,但是通过JAVA程序就是读取不到消息,更换group都尝试过了
package test;

import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;

public class KafkaConsumer extends Thread {

private String topic;

public KafkaConsumer(String topic){
    super();
    this.topic=topic;
}

@Override
public void run(){
    //通过properties设置了Consumer的参数,并且创建了连接器,连接到Kafaka
    ConsumerConnector consumer = createConsumer();
    //Map作用指定获取的topic以及partition
    Map<String,Integer> topicCountMap = new HashMap<String,Integer>();
    topicCountMap.put(topic, 3);
    //consumer连接器获取消息
    Map<String,List<KafkaStream<byte[],byte[]>>> messageStreams = consumer.createMessageStreams(topicCountMap);
    //获取对应的topic中的某一个partition中的数据
    KafkaStream<byte[],byte[]> kafkaStream = messageStreams.get(topic).get(0);

    ConsumerIterator<byte[], byte[]> iterator = kafkaStream.iterator();
    while(iterator.hasNext()){
        byte[] message = iterator.next().message();
        System.out.println("message is:"+new String(message));
    }

}

private ConsumerConnector createConsumer(){
    Properties properties = new Properties();
    properties.put("zookeeper.connect", "XXX:2181");
    properties.put("auto.offset.reset", "smallest");//读取旧数据  
    properties.put("group.id", "333fcdcd");
    return Consumer.createJavaConsumerConnector(new ConsumerConfig(properties));
}

public static void main(String[] args) {
    new KafkaConsumer("testtest").start();
}

}

  • 写回答

1条回答 默认 最新

  • 李振煜 2021-02-04 15:58
    关注

    并行度比分区数大,多进程情况下,消费者组冲突,都会导致消费不到数据。

    评论

报告相同问题?

悬赏问题

  • ¥17 pro*C预编译“闪回查询”报错SCN不能识别
  • ¥15 微信会员卡接入微信支付商户号收款
  • ¥15 如何获取烟草零售终端数据
  • ¥15 数学建模招标中位数问题
  • ¥15 phython路径名过长报错 不知道什么问题
  • ¥15 深度学习中模型转换该怎么实现
  • ¥15 HLs设计手写数字识别程序编译通不过
  • ¥15 Stata外部命令安装问题求帮助!
  • ¥15 从键盘随机输入A-H中的一串字符串,用七段数码管方法进行绘制。提交代码及运行截图。
  • ¥15 TYPCE母转母,插入认方向