用flume读取kafka数据到hdfs,source创建时报错Kafka topic must be specified

Question

计划使用flume读取kafka的数据传送到hdfs上，结果错误如下

但是我的kafka里确实有对应的topic，名字为topic_start,下面是我的配置文件

不知道问题出在哪里，目前测试结果为kafka里的topic,flume都无法读取出来，求大佬帮忙解决一下这个问题。目前我毫无头绪，如果不行只能考录重新安装flume等办法了

Answer 1

根据你的问题描述，问题可能出现在你的flume配置文件中。具体地，Kafka topic must be specified的错误提示说明Flume的Source未能正确识别Kafka的Topic，这通常是因为Kafka的配置与Flume的配置不匹配导致的。而针对你的具体配置文件，可能需要进行如下调整：

1. 在Kafka配置文件中明确指定zookeeper的地址。例如，

zookeeper.connect=localhost:2181

1. 在Flume的source配置中明确指定Kafka的Topic名称，例如，

agent.sources.kafka_source.kafkatopic = topic_start

如果这些调整不起作用，建议再检查一下Kafka和Flume的版本是否兼容，是否存在其他配置错误，操作权限是否足够等问题。