flume的spooldir source是用来监听指定指定目录下的文件 ,通过spoolDir 该配置项指定目录 , 所以这个配置项是仅仅只能配置成本机的目录吗?可以配置成远程的目录吗?或者类似FTP那种方式?
flume的spooldir source只能监听本机目录吗
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 农夫丶果园 2019-04-20 14:31关注
一直忘了解决了....... 在官网看到这句话 , 应该就是只能监听磁盘下的指定目录的文件了本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2019-03-21 21:06回答 1 已采纳  一直忘了解决了....... 在官网看到这句话 ,
- 2022-03-29 21:23回答 1 已采纳 可以尝试修改 flume下的conf/flume-env.sh文件：export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremot
- 2023-03-24 23:50回答 1 已采纳 根据您提供的信息，我们可以初步分析出可能出现错误的步骤：1. AvroSource的配置是否正确，包括IP地址、端口号等信息是否正确设置；2. Flume的配置是否正确，包括source、channe
- 2020-11-22 17:24zyj_369的博客 1、需求：使用Flume监听整个目录的文件，并上传至HDFS 2、需求分析 spooldir 主要做的对一个目录的采集 比如11月21日的（0点15-30分），采集11月20日的数据所在的目录，是离线采集的，采集完成之后把这个目录下的...
- 2022-12-07 19:45回答 1 已采纳 1、关闭flume修改conf目录下的flume-env.sh.template：mv flume-env.sh.template flume-env.sh编辑flume-env.sh：vim flu
- 回答 1 已采纳 https://blog.csdn.net/warrah/article/details/56677400
- 2021-08-21 18:13回答 1 已采纳 检查一下sources配置文件
- 2018-03-07 23:57宝哥大数据的博客 2.1、flume source 使用SpoolDir 监控一个目录下的文件内容 SpoolDir监控目录下文件， 处理后的文件修改文件名 问题1： 如果上传来的文件,还没有上传完，spoolDir扫描到改文件，将会报错 所以此处我将监控前...
- 2022-05-12 09:10回答 1 已采纳 进入目录bin/flume-ng赋权chmod +x flume-ng
- 2019-04-27 13:35
flume开启报错java.lang.SecurityException: sealing violation: package org.apache.flume.conf is sealed
java
回答 1 已采纳 还是jar包重复问题，关于seal violation问题网上有个解释的很详细，下面是链接 http://blog.sina.com.cn/s/blog_4c890a7f01015iaa.html - 2023-03-03 20:36回答 1 已采纳 “Devil组”引证GPT后的撰写：可能有多种原因导致消费者没有消费到所有追加的内容。以下是一些可能的原因： 日志追加速度太快，消费者无法跟上。如果日志追加速度非常快，而消费者无法及时消费所有消息，那
- 2020-12-18 18:23酒吧舞的博客 文章目录前言一、spooldir简介二、五步法编写Agent配置三、导入驱动，准备数据1.导入驱动（重复提醒）2.创建几个数据文件三、启动Agent测试总结 前言 提示：本篇为Flume系列的实战应用，在阅读此文前请务必安装好...
- 2022-11-08 20:23回答 1 已采纳 看下是不是还有报错classNotFoundException.应该是你导入包的时候补全 少了AvroSourceProtocol相关包或者是版本依赖错了.首先看下这个类是那个jar里面的，然后再分
- 2017-07-07 11:10T_白日梦想家的博客 Flume 监控目录文件 spooldirFlume应用场景中监控某个目录下的文件进行读取使用的很多，Flume通过source类型为spooldir来进行监控目录下文件，当新增文件时，Flume可将文件进行读取，开发者只需要编写对应的文件序列...
- 2018-08-23 11:19weixin_34122810的博客 本文是Flume基本实验，TailDir是一种更强大的目录源Source，支持文件级的监听。通过设置Decoder可以文件作为事件（不以Line为Event），实现文件夹的同步。通过级联方式，实现多个主机之间高可靠文件/文件夹同步。 ...
- 没有解决我的问题, 去提问
