酱汁怪兽 2022-04-13 15:41 采纳率: 0%
浏览 41

Flume的Taildir source只能监听本机目录吗?

问题遇到的现象和发生背景

Server A [192.168.17.78]:实时存储每天的操作日志(示例2022-04-13.log)
Server B [192.168.50.166]:搭建了实时收集的环境(JDK、Scala、Maven、Hadoop、Zookeeper、Flume)
Server A是实际的生产环境,Server B是数据处理的测试环境。
所以Server B只能去监控Server A上的log文本数据。
Server A是不能去搭建环境的。

问题相关代码

Flume的access-collect.conf编写如下:

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
# 官网上的TAILDIR ,没有标注支持bind和port
a1.sources.r1.bind = 192.168.17.78
a1.sources.r1.port = 4141
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /www/wwwroot/hs.chnau99999.com/jar/shopLogs/2022-04-13.log
a1.sources.r1.headers.f1.headerKey1 = shop
a1.sources.r1.fileHeader = true

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
运行结果及报错内容
2022-04-13 15:25:49,262 (lifecycleSupervisor-1-7) [INFO - org.apache.flume.source.taildir.TaildirSource.start(TaildirSource.java:92)] r1 TaildirSource source starting with directory: {f1=/www/wwwroot/hs.chnau99999.com/jar/shopLogs/2022-04-13.log}

2022-04-13 15:25:49,262 (lifecycleSupervisor-1-7) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start PollableSourceRunner: { source:Taildir source: { positionFile: /root/.flume/taildir_position.json, skipToEnd: false, byteOffsetHeader: false, idleTimeout: 120000, writePosInterval: 3000 } counterGroup:{ name:null counters:{} } } - Exception follows.
java.lang.IllegalStateException: Directory does not exist: /www/wwwroot/hs.chnau99999.com/jar/shopLogs
我的解答思路和尝试过的方法

想的方法都尝试过了。有没有测试成功的方法?

我想要达到的结果

Server B上搭建实时监控Server A中某文件的环境,并获实时取该文件中新增数据,存储在Server C的数据库中。

  • 写回答

1条回答 默认 最新

  • IT阿沈 2022-04-14 14:49
    关注

    没有绑定主机的写法,是直接读取本机的文件的,如果想跨主机,那么需要写一个串连配置,serverA中也需要搭建一个flume,实时source文件内容,做一个avro的sink,然后由serverB中的flume进行监听,做一个avro的source,sink到serverC中的数据库

    评论

报告相同问题?

问题事件

  • 创建了问题 4月13日

悬赏问题

  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!