河丶神 2021-12-17 14:35 采纳率: 25%
浏览 1320
已结题

启动flume脚本,在生成的日志文件中报错:Agent configuration for 'a1' has no configfilters

在做毕业设计过程中,在大同kafka-flume-hdfs通道时,hdfs无法接收到flume采集的数据,查看flume启动日志文件发现报错:

No configuration directory set! Use --conf <dir> to override.
2021-12-17 13:49:27,952 WARN conf.FlumeConfiguration: Agent configuration for 'a1' has no configfilters.

这是我的flume配置文件内容

## 组件
a1.sources=r1
a1.channels=c1
a1.sinks=k1
## source1
a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize=5000
a1.sources.r1.batchDurationMillis=2000
a1.sources.r1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.topics=topic_log
## 时间戳拦截器
# a1.sources.r1.interceptors=i1
# a1.sources.r1.interceptors.i1.type=cn.fzy.flume.interceptor.TimeStampInterceptor$Builder
## channel1
a1.channels.c1.type=file
a1.channels.c1.checkpointDir=/opt/module/flume/checkpoint/behavior1
a1.channels.c1.dataDirs=/opt/module/flume/data/behavior1/
## sink1
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=/origin_data/gmall/log/topic_log/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix=log-
a1.sinks.k1.hdfs.round = false
## 控制生成的小文件
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
## 控制输出文件是原生文件。
a1.sinks.k1.hdfs.fileType = CompressedStream
a1.sinks.k1.hdfs.codeC = lzop
## 拼装
a1.sources.r1.channels = c1
a1.sinks.k1.channel= c1

这是我的命令语句

nohup /opt/module/flume/bin/flume-ng agent \
--conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf \
--name a1 -Dflume.root.logE >/opt/module/flume/log2.txt   2>&1 &

面向百度编程,有问题直接百度,许多的分享说是配置的名字是 a1 在命令语句就要是 a1,但是我的命令语句中的名字跟配置文件中的组件名字是一样的,是在是不知道什么原因,请各位帮忙看看,谢谢了

  • 写回答

1条回答 默认 最新

  • Toroidals 2021-12-17 15:29
    关注

    启动命令的问题,试试这个:
    nohup /opt/module/flume/bin/flume-ng agent --conf /opt/module/flume/conf -f /opt/module/flume/conf/kafka-flume-hdfs.conf -Dflume.root.logger=INFO,console -n a1 >/opt/module/flume/log2.txt 2>&1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 12月25日
  • 已采纳回答 12月17日
  • 创建了问题 12月17日

悬赏问题

  • ¥20 请问这种量表怎么用spss量化分析(作为中介模型的因变量
  • ¥55 AD844 howland电流源如何驱动大额负载
  • ¥15 C++ /QT 内存权限的判断函数列举
  • ¥15 深度学习GFnet理解问题
  • ¥15 单细胞小提琴堆叠图代码
  • ¥50 升级strust2版本到2.3.15.1后使用ognl3.0.6.jar windows环境中没有问题,但部署到linux环境报错
  • ¥15 vue页面,node封装接口
  • ¥15 求TMS320F280039C工程模板!
  • ¥15 delphi+fastreport实现分组补空打印问题
  • ¥15 使用python把两台mysql数据库服务器数据导出和导入