satellite7832 2017-05-25 02:02 采纳率: 0%
浏览 6987

kafka消费不到数据问题

kafka集群搭建正常,通过console都能正常生产和消费消息,但是通过JAVA程序就是读取不到消息,更换group都尝试过了
package test;

import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;

public class KafkaConsumer extends Thread {

private String topic;

public KafkaConsumer(String topic){
    super();
    this.topic=topic;
}

@Override
public void run(){
    //通过properties设置了Consumer的参数,并且创建了连接器,连接到Kafaka
    ConsumerConnector consumer = createConsumer();
    //Map作用指定获取的topic以及partition
    Map<String,Integer> topicCountMap = new HashMap<String,Integer>();
    topicCountMap.put(topic, 3);
    //consumer连接器获取消息
    Map<String,List<KafkaStream<byte[],byte[]>>> messageStreams = consumer.createMessageStreams(topicCountMap);
    //获取对应的topic中的某一个partition中的数据
    KafkaStream<byte[],byte[]> kafkaStream = messageStreams.get(topic).get(0);

    ConsumerIterator<byte[], byte[]> iterator = kafkaStream.iterator();
    while(iterator.hasNext()){
        byte[] message = iterator.next().message();
        System.out.println("message is:"+new String(message));
    }

}

private ConsumerConnector createConsumer(){
    Properties properties = new Properties();
    properties.put("zookeeper.connect", "XXX:2181");
    properties.put("auto.offset.reset", "smallest");//读取旧数据  
    properties.put("group.id", "333fcdcd");
    return Consumer.createJavaConsumerConnector(new ConsumerConfig(properties));
}

public static void main(String[] args) {
    new KafkaConsumer("testtest").start();
}

}

  • 写回答

1条回答 默认 最新

  • 李振煜 2021-02-04 15:58
    关注

    并行度比分区数大,多进程情况下,消费者组冲突,都会导致消费不到数据。

    评论

报告相同问题?

悬赏问题

  • ¥15 python变量和列表之间的相互影响
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 关于大棚监测的pcb板设计
  • ¥15 stm32开发clion时遇到的编译问题
  • ¥15 lna设计 源简并电感型共源放大器
  • ¥15 如何用Labview在myRIO上做LCD显示?(语言-开发语言)