河丶神 2021-12-17 14:35 采纳率: 25%
浏览 1428
已结题

启动flume脚本,在生成的日志文件中报错:Agent configuration for 'a1' has no configfilters

在做毕业设计过程中,在大同kafka-flume-hdfs通道时,hdfs无法接收到flume采集的数据,查看flume启动日志文件发现报错:

No configuration directory set! Use --conf <dir> to override.
2021-12-17 13:49:27,952 WARN conf.FlumeConfiguration: Agent configuration for 'a1' has no configfilters.

这是我的flume配置文件内容

## 组件
a1.sources=r1
a1.channels=c1
a1.sinks=k1
## source1
a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize=5000
a1.sources.r1.batchDurationMillis=2000
a1.sources.r1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.topics=topic_log
## 时间戳拦截器
# a1.sources.r1.interceptors=i1
# a1.sources.r1.interceptors.i1.type=cn.fzy.flume.interceptor.TimeStampInterceptor$Builder
## channel1
a1.channels.c1.type=file
a1.channels.c1.checkpointDir=/opt/module/flume/checkpoint/behavior1
a1.channels.c1.dataDirs=/opt/module/flume/data/behavior1/
## sink1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=/origin_data/gmall/log/topic_log/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix=log-
a1.sinks.k1.hdfs.round = false
## 控制生成的小文件
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
## 控制输出文件是原生文件。
a1.sinks.k1.hdfs.fileType = CompressedStream
a1.sinks.k1.hdfs.codeC = lzop
## 拼装
a1.sources.r1.channels = c1
a1.sinks.k1.channel= c1

这是我的命令语句

nohup /opt/module/flume/bin/flume-ng agent \
--conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf \
--name a1 -Dflume.root.logE >/opt/module/flume/log2.txt   2>&1 &

面向百度编程,有问题直接百度,许多的分享说是配置的名字是 a1 在命令语句就要是 a1,但是我的命令语句中的名字跟配置文件中的组件名字是一样的,是在是不知道什么原因,请各位帮忙看看,谢谢了

  • 写回答

1条回答 默认 最新

  • Toroidals 2021-12-17 15:29
    关注

    启动命令的问题,试试这个:
    nohup /opt/module/flume/bin/flume-ng agent --conf /opt/module/flume/conf -f /opt/module/flume/conf/kafka-flume-hdfs.conf -Dflume.root.logger=INFO,console -n a1 >/opt/module/flume/log2.txt 2>&1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 12月25日
  • 已采纳回答 12月17日
  • 创建了问题 12月17日

悬赏问题

  • ¥30 电脑误删了手机的照片怎么恢复?
  • ¥15 (标签-python|关键词-char)
  • ¥15 python+selenium,在新增时弹出了一个输入框
  • ¥15 苹果验机结果的api接口哪里有??单次调用1毛钱及以下。
  • ¥20 学生成绩管理系统设计
  • ¥15 来一个cc穿盾脚本开发者
  • ¥15 CST2023安装报错
  • ¥15 使用diffusionbert生成文字 结果是PAD和UNK怎么办
  • ¥15 有人懂怎么做大模型的客服系统吗?卡住了卡住了
  • ¥20 firefly-rk3399上启动卡住了