学海舟舟_林 2020-03-25 18:44 采纳率: 0%
浏览 199

把Flume的spooldir目录中的文件传到HDFS失败——java.io.IOException:File type DataStream not supported

这个问题困扰两天了——Flume能检测到Spooldir目录中的文件增加,但是就是传不到hdfs中,总是报错:java.io.IOException:File type DataStream not supported
我的hadoop集群第一台是master,另外两台是slave。
图片说明图片说明

flume的配置如下:

Name the components on this agent

 
agent1.sources = spooldirSource
 
agent1.channels = fileChannel
 
agent1.sinks = hdfsSink
 
 
 

Describe/configure the source

 
agent1.sources.spooldirSource.type=spooldir
 
agent1.sources.spooldirSource.spoolDir=/usr/local/flume/data/spooldir
 
 
 

Describe the sink

 
agent1.sinks.hdfsSink.type=hdfs
 
agent1.sinks.hdfsSink.hdfs.path=hdfs://192.168.174.128:9000/flume/%y-%m-%d/%H%M/%S
 
agent1.sinks.hdfsSink.hdfs.round = true
 
agent1.sinks.hdfsSink.hdfs.roundValue = 10
 
agent1.sinks.hdfsSink.hdfs.roundUnit = minute
 
agent1.sinks.hdfsSink.hdfs.useLocalTimeStamp = true
 
agent1.sinks.hdfsSink.hdfs.fileType=DataStream  
 
 
 

Describe the channel

 
agent1.channels.fileChannel.type = file
 
agent1.channels.fileChannel.dataDirs=/hadoop/flume/datadir
 
 
 

Bind the source and sink to the channel

 
agent1.sources.spooldirSource.channels=fileChannel
 
agent1.sinks.hdfsSink.channel=fileChannel

另外,/hadoop/flume/datadir这个目录是在master上会自动创建的目录吗,不太懂。

  • 写回答

0条回答

    报告相同问题?

    悬赏问题

    • ¥15 Arcgis相交分析无法绘制一个或多个图形
    • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
    • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
    • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
    • ¥30 3天&7天&&15天&销量如何统计同一行
    • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
    • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
    • ¥15 vs2019中数据导出问题
    • ¥20 云服务Linux系统TCP-MSS值修改?
    • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)