如题
flume要从redis读取数据要自定义source吗？自定义source应该怎么写？
flume怎么从redis读取数据，sink的时候怎么按照我自己的规则格式保存日志
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-05-12 09:10回答 1 已采纳 进入目录bin/flume-ng赋权chmod +x flume-ng
- 2023-03-20 13:28回答 1 已采纳 正常就是阻塞这里的，你如果想要后台运行的话，要使用 nohup + 你的命令 1>$FLUME_HOME/logs/flume.log 2>&1 &
- 2022-11-08 20:23回答 1 已采纳 看下是不是还有报错classNotFoundException.应该是你导入包的时候补全 少了AvroSourceProtocol相关包或者是版本依赖错了.首先看下这个类是那个jar里面的，然后再分
- 2016-06-24 17:48核桃渣的博客 flume整合redis 其实与mysql差不多 这是代码部分： {CSDN:CODE:1728792}
- 2022-12-30 16:32回答 1 已采纳 如果参数为n，就是按照n条生成一个文件 a1.sinks.k1.hdfs.rollCount = 10000 #这个参数是hdfs下文件sink的数据size。 每sink 32MB的数据，自动生成一
- 2022-03-29 21:23回答 1 已采纳 可以尝试修改 flume下的conf/flume-env.sh文件：export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremot
- 2023-03-24 23:50回答 1 已采纳 根据您提供的信息，我们可以初步分析出可能出现错误的步骤：1. AvroSource的配置是否正确，包括IP地址、端口号等信息是否正确设置；2. Flume的配置是否正确，包括source、channe
- 2019-12-20 23:50在构建实时日志采集系统时，常常会使用到Apache Flume、Apache Kafka、Apache Spark Streaming以及Redis等组件。以下是对这些技术的详细说明： **Apache Flume** 是一个分布式、可靠且可用于有效收集、聚合和移动...
- 2021-12-17 14:35回答 1 已采纳 启动命令的问题，试试这个：nohup /opt/module/flume/bin/flume-ng agent --conf /opt/module/flume/conf -f /opt/modul
- 2023-03-03 20:36回答 1 已采纳 “Devil组”引证GPT后的撰写：可能有多种原因导致消费者没有消费到所有追加的内容。以下是一些可能的原因： 日志追加速度太快，消费者无法跟上。如果日志追加速度非常快，而消费者无法及时消费所有消息，那
- 2021-08-21 18:13回答 1 已采纳 检查一下sources配置文件
- 2023-06-14 11:52程序员老五的博客 Apache Flume 是一个分布式的、可靠、高可用的海量日志采集、聚合和传输的系统，支持在系统中定制各类的数据发送方，用于采集数据，同时 Flume 提供对数据的简单处理，并写到各种数据接收方的能力。Flume 和 Sqoop ...
- 2022-12-07 19:45回答 1 已采纳 1、关闭flume修改conf目录下的flume-env.sh.template：mv flume-env.sh.template flume-env.sh编辑flume-env.sh：vim flu
- 2021-01-05 19:51飝鱻.的博客 在从Channel 批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。 Sink...
- 2022-05-21 15:57Lansonli的博客 利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 metadata提取的PDF元数据，如何转换为一个Excel
- ¥15 关于arduino编程toCharArray()函数的使用
- ¥100 vc++混合CEF采用CLR方式编译报错
- ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
- ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
- ¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同
- ¥50 如何openEuler 22.03上安装配置drbd
- ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
- ¥15 无线连接树莓派，无法执行update，如何解决？（相关搜索：软件下载）
- ¥15 Windows11, backspace, enter, space键失灵