Flume和kafka连接的问题

本人使用flume1.60版本和kafka0.8.2.2版本进行连接,配置如下:
a0.sources.r1.type = xiaomu.flume.source.TailFileSource
a0.sources.r1.filePath = /root/access2.txt
a0.sources.r1.posiFile = /root/posi2.txt
a0.sources.r1.interval = 2000
a0.sources.r1.charset = UTF-8

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.capacity = 1000
a0.channels.c1.transactionCapacity = 1000
a0.channels.c1.brokerList=slave1:9092,slave4:9092,slave3:9092
a0.channels.c1.topic=usertest3
a0.channels.c1.zookeeperConnect=slave2:2181,slave5:2181,slave6:2181
a0.channels.c1.parseAsFlumeEvent = false

但是我echo "xxx" >> access2.txt之后,在kafka那边就不一样了,比如我打xiaomu,就会出来两行,一行是xiaomum,第二行是空白,还有时候是一行但是开头有一个方框,如图所示:
图片说明

这个怎么解决呀?求助各位大神了!

0

1个回答

1
u013631121
牟天蔚 换成新版本,成功解决问题!
12 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
关于flume和kafka连接的问题
如果用的是旧版本的kafka,如果按照kafka官网给出的配置,会出错,需用回旧的参数
kafka接flume遇到的问题
同事遇到点问题,抛出来了4个问题,如下rn1  flume的source是kafka,sink是hdfs,怎样判断flume是否堆积,或者是说怎么样保证落地的速度和消费的速度是平衡的rn2  怎么判断flume的agent程序是否挂掉rn3  挂掉时tmp文件爱呢怎么处理(hdfs上的tmp文件)rn4  我遇到一个问题,当agent是6个时,一小时约生成26.5G文件,当有3个agent时,一小
Flume和kafka连接测试
Flume的配置文件:(和kafka连接的配置文件)#文件名:kafka.properties#配置内容:分别在linux系统里面建两个文件夹:一个文件夹用于存储配置文件(flumetest),一个文件夹用于存储需要读取的文件(flume)a1.sources = s1na1.channels = c1na1.sinks = k1nna1.sources.s1.type = netcatna1.s...
flume监听端口整合kafka以及相关错误
之前的http.conf:n#savecontenttofilenagent2.sources=httpSrcnagent2.channels=channelnagent2.sinks=sinknnnagent2.sources.httpSrc.type=httpnagent2.sources.httpSrc.bind=172.16.90.61nagent2.sources.ht
Flume 与 Kafka 整合连接
Flume从一个java程序接受随机生成的数据,并传至kafka,java程序通过http协议连接flumenn把flume安装目录下的配置文件复制一份到任意路径如:/home/hadoop/flume.conf n进入文件修改: vi /home/hadoop/flume.confnn# Define a memory channel called ch1 on agent1nagent.cha...
flume 日志sink到kafka乱码问题
nnnn nn这个问题是springboot的log4j2配置传入数据的问题
kafka与flume的连接、kafka的python开发
kafka与flume的连接:修改flume的配置文件,将sinks的配置修改为:看flume的官网:http://flume.apache.org/FlumeUserGuide.html#kafka-sink#定义gent的source channel sinksa5.sources = sr1a5.channels = ch1a5.sinks = log1#监听目录a5.sources.sr1...
项目中为什么通常flume和kafka要共同使用?
Introduction(介绍)nApache Kafka® 是一个分布式流平台,这到底是什么意思呢?n我们认为流平台应该具备3个关键作用:n1、发布订阅。(注意:发布和订阅应该分开)从这方面来看可以理解成为类似与消息队列之类的东西。n2、容错。Kafka是高容错的n3、offset,->记录已经处理过的数据。nKafka的优点?nn它被应用在两个广泛的应用领域中:n1、实时数据流管道n2、...
云主机:flume 配置连接kafka(踩坑 3 记:flume无法将监控数据写入kafka)
1.Jar放进lib目录n[root@yws76 lib]# llntotal 51064n-rw-r--r-- 1 root root 23819 Jan 12 11:23 AdvancedExecSource.jarn2.配置文件:n[root@yws76 apache-flume-1.7.0-bin]# cat conf/exec_memory_kafka.propertiesn# N...
CDH-Kerberos环境下使用flume消费带权限认证的kafka数据保存到hdfs中
前提:n1.kerberos环境可用n2.flume服务可用n3.kafka服务可用并做了sentry权限管理n4.hdfs服务可用并集成了sentry权限管理n1 配置flumen打开CDH-Flume服务界面,点击配置,搜索配置。输入agent配置内容(注意代理名称要和配置文件中的一致!!!)nn配置文件内容 :ntestkafka.channels = c1ntestkafka.source...
Flume与Kafka整合案例详解
环境配置n 名称n 版本n 下载地址 Centos 7.0n 64xn 百度n Zookeepern 3.4.5n n Flumen 1.6.0n n Kafkan 2.1.0n n配置Flume这里就不介绍了零基础出门右转看Flume的文章flume笔记直接贴配置文件[root@zero239 kafka_2.10-0.10.1.1]# cat /opt/hadoop
Flume同步kafka配置文件
到flume官网下载flume,解压nnnncd $FLUME_HOME/confncp flume-conf.properties.template applog-conf.propertiesnn修改applog-conf.properties属性nnnnnagent.sources = KafkaApplognagent.channels = ApplogChannelnagent.sink
新增多个 Flume 实例后,Kafka 数据重复消费问题处理
我们使用 Flume 将数据从 Kafka 加载到 Hive 中。nn由于启动一个 Flume 实例时,数据加载的速度只能达到 10MB/秒 (每条Kafka记录100B)。于是我们计划启动多个 Flume 实例 (指定同一个消费者组名称)。nn我们知道 Kafka 数据消费是以 Partition 为单位的,即一个 Partition 只能被一个 Flume 实例消费。当启动第二个 Flume ...
Flume连接oracle实时推送数据到kafka
版本号:rnrnRedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1rnrnflume安装rnrnRedHat6.5安装单机flume1.6:RedHat6.5安装单机flume1.6rnrnrnkafka安装rnrnRedHat6.5安装kafka集群 : RedHat6.5安装kafka集群rnrn1、下载flume-ng-sql-sou
Flume Sink到Kafka遇到的问题
1、版本问题rn2018-12-02 15:23:06,334 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an e...
Flume对接Kafka的实例
Kafka组件特点rn  kafka实际上是一个消息发布订阅系统。Producer向某个Topic发布消息,而Consumer订阅某个Topic的消息。一旦有新的关于某个Topic的消息,Broker会传递给订阅它的所有Consumer。rn  建议采用Flume作为数据的生产者,这样可以不用编程就实现数据源的引入,并采用Kafka Sink作为数据的消费者,这样可以得到较高的吞吐量和可靠性。如果
flume与kafka整合安装。
环境:kafka_2.10-0.10.2.1.tgz,Hadoop-2.7.3集群,zookeeper-3.4.10,kafka_2.10-0.10.2.1安装Flume之前先安装kakaf集群。点此查看kafka安装一、Flume安装我这里一共有一个Master,三个Slave。我只将Flume安装在其中的一个Slave(主机名Server3)上1.解压到指定目录    tar -zxvf ap...
flume同kafka的对接
大家:nn 好! flume同kafka的对接,请参考nnnn本质上是将flume作为kafka的生产者来说的,监控一个目录,kafka消费者显示nn第一步:编辑flume_kafka的配置文件,是在flume的conf 目录下flume-kafka.sh(脚本在后面)nn说明:此步前提是要先在kafka中创建一个名为kafkatest的topic,nn第二步:启动flume脚本nnn bin...
flume整合kafka外加操作代码及配置文件!!亲测有效
我这次写的是我在学习完flume和kafka之后做的一个Demo,而且在flume采集完成之后,加上一个kafka能起到消峰缓冲的效果n首先需要的两大组件及其版本nKafka2.11 Flume1.7 (jdk1.8 scala2.11)n当然具体的安装我就不做过多的解释了,n我是在本地的idea使用log4j自己创建信息:n在此之前我们需要创建一个properties文件(...
Flume与Kafka的整合
首先先保证你的Flume和Kafka的环境是好的哦,而且Kafka和zookeeper集群是开启状态,下面我分为三个部分来演示:n一、Flume的监控配置nflume-kafka.conf文件 这里配置的source是监控文件nagent.sources = s1 ...
Flume+Kafka整合案例实现
 nn一、为什么要集成Flume和Kafkann我们很多人在在使用Flume和kafka时,都会问一句为什么要将Flume和Kafka集成?那首先就应该明白业务需求,一般使用Flume+Kafka架构都是希望完成实时流式的日志处理,后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术,从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架,当数据采集速...
flume对接kafka时延迟和高吞吐量以及flume筛选日志
n 以下是我的flume配置文件,实现了低延迟,筛选功能nn# 命名na1.sources = r1na1.sinks = k1na1.channels = c1nn# sources配置na1.sources.r1.type = execna1.sources.r1.command = tail -F /root/flume.logna1.sources.r1.batchSize=1n#a1.s...
windows系统flume数据传给kafka
1、安装zookeepernn更改flume配置为kafkann# Describe the sinkn# a1.sinks.k1.type = loggern # 指定Flume sinkna1.sinks.k1.channel = c1na1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinkna1.sinks.k1.kafka.topi...
flume上报日志到kafka
1.flume安装n参考:http://blog.csdn.net/lnho2015/article/details/52035145n1. 系统需求nFlume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。nn2. 下载软件包nn到Flume官网上http://flume.apache.org/download.html下载软件包,例如:nwget "
flume 从log4j 收集日志 到kafka
1. flume 配置# Define a memory channel called ch1 on agent1nagent1.channels.ch1.type = memorynagent1.channels.ch1.capacity = 1000nagent1.channels.ch1.transactionCapacity = 100n nnagent1.sources.avro-sou...
kafka无法收到flume采集的数据的解决办法
问题重现nn在写黑名单那篇博文的时候,我是通过直接copy log日志文件到监控目录下的方式来模拟数据的,在前几次模拟访问日志文件的时候挺正常的,copy进去基本都是秒采集(文件显示直接加了.COMPLETED后缀)。nn但到后来再往采集目录下copy log日志文件的时候,待采集目录下的文件并不会显示被采集(文件没有.COMPLETED后缀),kafka也一直收不到flume采集来的数据。但重启...
Flume和kafka的结合实战
1.修改flume的配置文档exec-memory-kafka.conf ,使用kafka sink# Name the components on this agenta1.sources = r1  #a1代表agent名称,r1:数据源的名称a1.sinks = k1    #k1 sink名称a1.channels = c1  #c1 channel名称# Describe/configu...
kafka+flume+hdfs实时日志流系统初探
kafka+flume+hdfs搭建实时日志流系统
通过flume把oracle数据导入到kafka
版本flume 1.6 kafka2.11flume中缺少flume-ng-sql-source的jar包需要去下载,下载地址可以是:https://github.com/keedio/flume-ng-sql-source.git   但比较麻烦,也可以下载已经弄好的jar:https://download.csdn.net/download/chongxin1/9892184第一步:把下载好的...
flume整合kafka之kafka接收flume数据
1.创建配置文件 基本配置如下:rnrnrn#sourcerna1.sources = sysSrcrna1.sources.sysSrc.type=avrorna1.sources.sysSrc.bind=0.0.0.0rna1.sources.sysSrc.port=33333rna1.sources.sysSrc.channels=fileChannelrnrnrn#channelrna1.
flume接收kafka数据存储到hdfs
1、Flume介绍nFlume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。n设计目标:n可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁...
flume消费kafka消息的offset查看方法
kafka版本1.0.1nnflume版本1.8.0nn nnoffset已经不在zookeeper存储了,存储在__consumer_offsets这个topic里面,具体哪个consumer group存储在这个topic的哪个partition里面通过下面计算方法确定:nnpublic class HelloWorld {nnpublic static void main(String[] ...
Flume1.6.0的安装及与kafka结合详细配置参数
 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。n Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Sou...
解决flume向kafka发送 均分到各个partition中
rn官网中虽然说没有key 会随机分配到partition,但是不知道为什么在我这没有出现这种效果,所以我加了一个key,需要加个source拦截器rn运行flume-ng agent --conf conf --conf-file test.sh --name a1 -Dflume.root.logger=INFO,consolern rn# example.conf: A single-nod...
教你一招:用flume把数据抽到kafka
创建一个消费者,开启消费:(消费的是test02的数据,可更改自行创建)nn开启水管flume,(监听temData.tsv)nn这里有一个flume的配置文件(job是我创建在flume目录下的文件夹,job下有flume-kafka.conf的文件)nn向temData.tsv中写入数据(这里写了个jar包,不停向temData.tsv写入数据)nn在这里插入代码片na1.sources = ...
基于Heka+Flume+Kafka+ELK的日志系统
前期准备rnELK官网:https://www.elastic.co/,  软件包下载和完善的文档资料。rnZookeeper官网:https://zookeeper.apache.org/rnKafka官网:http://kafka.apache.org/documentation.html,软件包下载和完善的文档资料。rnFlume官网:https://flume.apache.org/rnH
linux系统下flume读取mysql数据源并发送给kafka
linux系统下flume读取mysql数据源并发送给kafkarnflume版本:apache-flume-1.8.0-bin.tarrnkafka版本:kafka_2.11-0.10.2.0rn所需插件:flume-ng-sql-source-1.4.4 和 mysql-connector-java-5.1.43-bin注意与mysql版本一致rnkafka和flume可在官方下载rnflume-ng-...
flume的kafka到hdfs的配置
1.htrace-core-3.0.jar2.commons-configuration-1.6.jar3.hadoop-auth-2.6.0.jar4.hadoop-common-2.6.0.jar5.hadoop-hdfs-2.6.0.jar6.hadoop-mapreduce-client-core-2.6.0.jar遇到这些错误时,添加以上包就可以解决:java.lang.NoClassD...
flume+kafka,kafka日志存储暴增,数据重复传输
以下是错误配置nagent.sources = kafkaSource1 nagent.channels = kafkaChannel nagent.sinks = sqlSinknagent.sources.kafkaSource1.channels = kafkaChannelnagent.sinks.sqlSink.channel = kafkaChannelnn######source c...
flume接收kafka数据,设置偏移量
kafka官方文档中对于它的偏移解释:rnauto.offset.resetrnrnrn解释:rnWhat to do when there is no initial offset in Kafka or if the currentrnoffset does not exist any more on the server (e.g. because that datarnhas been deleted)...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 flume大数据视频 java kafka学习