2 silentwolfyh silentwolfyh 于 2016.04.27 14:21 提问

flume1.6 从本地到kafka 跑起来后CPU消耗过高 10C

配置如下:

 #agent1 name
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1


#Spooling Directory
#set source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/data/zssqpage/logs
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = timestamp

#set sink1
agent1.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.sink1.topic = zssqpage
agent1.sinks.sink1.brokerList = hadoop01:9092,hadoop02:9092,hadoop03:9092
agent1.sinks.sink1.requiredAcks = 1
agent1.sinks.sink1.batchSize = 100
agent1.sinks.sink1.channel = channel1
agent1.sinks.sink1.backoffSleepMillisecond=100


#set channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/data/zssqpage/logdfstmp/point
agent1.channels.channel1.dataDirs=/data/zssqpage/logdfstmp

CPU使用情况如下图:

图片说明

上面四个进程都是flume的进程,我监控4个日志目录,以及4个kafkaTopicName

启动命令

 flume-ng agent -n agent1 -c conf -f /home/flume-1.6.0/conf/flume-zssquserevent-conf.properties -Dflume.root.logger=DEBUG,console -Dflume.monitoring.type=http -Dflume.monitoring.port=34548 >/home/flume-1.6.0/conf/logs/zssquserevent.log 2>&1 &

备注

如果sink改为到HDFS,没日志传输CPU基本使用率为0.7%,日志传输的时候则为70%。(四核单进程)
如果sink改为到Kafka,没日志传输CPU基本使用率为90%,日志传输的时候则为150%(四核单进程)

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!