kafka 集群高可用测试 5C

先搭建了3个kafka集群

3台都启动 并且正常发送消息后 测试 某一台挂了情况


 #当前机器在集群中的唯一标识,和zookeeper的myid性质一样
broker.id=0
#当前kafka对外提供服务的端口默认是9092
listeners=PLAINTEXT://192.168.1.252:9092
#这个是borker进行网络处理的线程数
num.network.threads=3

#这个是borker进行I/O处理的线程数
num.io.threads=8

#发送缓冲区buffer大小,数据不是一下子就发送的,先回存储到缓冲区了到达一定的大小后在发送,能提高性能
socket.send.buffer.bytes=102400

#kafka接收缓冲区大小,当数据到达一定大小后在序列化到磁盘
socket.receive.buffer.bytes=102400

#这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数,这个值不能超过java的堆栈大小
socket.request.max.bytes=104857600


############################# Log Basics #############################

#消息存放的目录,这个目录可以配置为","逗号分割的表达式,上面的num.io.threads要大于这个目录的个数这个目录,
#如果配置多个目录,新创建的topic他把消息持久化的地方是,当前以逗号分割的目录中,那个分区数最少就放那一个
log.dirs=/usr/local/kafka_2.11-1.1.0/data/kafka/logs

#默认的分区数,一个topic默认1个分区数
num.partitions=3


# The number of threads per data directory to be used for log recovery at startup and flushing at shutdown.
# This value is recommended to be increased for installations with data dirs located in RAID array.
num.recovery.threads.per.data.dir=1

############################# Internal Topic Settings  #############################
# The replication factor for the group metadata internal topics "__consumer_offsets" and "__transaction_state"
# For anything other than development testing, a value greater than 1 is recommended for to ensure availability such as 3.
offsets.topic.replication.factor=1
#
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1



 #默认消息的最大持久化时间,168小时,7天
log.retention.hours=168

# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.retention.bytes. Functions independently of log.retention.hours.
#log.retention.bytes=1073741824

#这个参数是:因为kafka的消息是以追加的形式落地到文件,当超过这个值的时候,kafka会新起一个文件
log.segment.bytes=1073741824

 #每隔300000毫秒去检查上面配置的log失效时间(log.retention.hours=168 ),到目录查看是否有过期的消息如果有,删除
log.retention.check.interval.ms=300000

############################# Zookeeper #############################

#设置zookeeper的连接端口
zookeeper.connect=192.168.1.252:2181,192.168.1.253:2181,192.168.1.254:2181

# 超时时间
zookeeper.connection.timeout.ms=6000


############################# Group Coordinator Settings #############################

# The following configuration specifies the time, in milliseconds, that the GroupCoordinator will delay the initial consumer rebalance.
# The rebalance will be further delayed by the value of group.initial.rebalance.delay.ms as new members join the group, up to a maximum of max.poll.interval.ms.
# The default value for this is 3 seconds.
# We override this to 0 here as it makes for a better out-of-the-box experience for development and testing.
# However, in production environments the default value of 3 seconds is more suitable as this will help to avoid unnecessary, and potentially expensive, rebalances during application startup.
group.initial.rebalance.delay.ms=0

创建了 主题

图片说明

然后 发送消息

图片说明

msg1
msg2
然后 关闭其中一台kafka

图片说明

控制台打印

 2018/05/15-13:48:03 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO  org.apache.kafka.clients.consumer.internals.AbstractCoordinator- Marking the coordinator 192.168.1.254:9092 (id: 2147483645 rack: null) dead for group defaultGroup
2018/05/15-13:48:03 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO  org.apache.kafka.clients.consumer.internals.AbstractCoordinator- Discovered coordinator 192.168.1.254:9092 (id: 2147483645 rack: null) for group defaultGroup.
2018/05/15-13:48:04 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO  org.apache.kafka.clients.consumer.internals.AbstractCoordinator- Marking the coordinator 192.168.1.254:9092 (id: 2147483645 rack: null) dead for group defaultGroup

然后继续发消息
msg3
控制台无响应

继续发送msg4

无响应

重启那台kafka

控制台打印

"msg4"
"msg3"
2018/05/15-13:52:11 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN  org.apache.kafka.clients.consumer.internals.Fetcher- Received unknown topic or partition error in fetch for partition trading-1. The topic/partition may not exist or the user may not have Describe access to it
2018/05/15-13:52:11 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO  org.apache.kafka.clients.consumer.internals.AbstractCoordinator- Marking the coordinator 192.168.1.254:9092 (id: 2147483645 rack: null) dead for group defaultGroup
2018/05/15-13:52:11 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN  org.apache.kafka.clients.consumer.internals.ConsumerCoordinator- Auto offset commit failed for group defaultGroup: Offset commit failed with a retriable exception. You should retry committing offsets.
2018/05/15-13:52:11 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO  org.apache.kafka.clients.consumer.internals.AbstractCoordinator- Discovered coordinator 192.168.1.254:9092 (id: 2147483645 rack: null) for group defaultGroup.


kafka 不是主从复制么 不是谁挂了 用另一个么

0

4个回答

你有启动了三台机器的服务??

0
a100488
不断努力的青春 是的 没错
大约一年之前 回复

监控这三台服务器了吗

0

使用jps是可以看到kafka进程的,你截图看出来只有个zookeeper服务啊

0
a100488
不断努力的青春 那个是 我专门关掉了kafka 测试 一台kafka挂了的 情况
大约一年之前 回复

我目前对这个也有些疑问,百度了一些资料,好像说是 kafka要去zookeeper那注册, 消费者连zookeeper,而生产者是直连kafka的, 消费者通过zookeeper分配的kafka服务可以确保高可用,但是生产者往KAFKA发消息 如果坏掉一台 是不是会出问题。拿python测过 消费者直连kafka坏掉一台就收不到消息了。

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
zookeeper+kafka 集群和高可用
1、本机环境 操作系统:ubuntu 12.04n 需安装:n java的环境,安装过程可参考:n http://blog.csdn.net/u014388408/article/details/50587438n2、 Zookeeper集群搭建 (1)下载zookeeper安装 wget http://mirror.bit.edu.cn/ap
Kafka容错性测试【高可用性】
部署好Kafka【单节点3个broker】,我们可以对其容错性进行测试: n首先查看topic及详细信息: n n1)用jps -m显示 n n2)现在3是主broker,可以用kill -9 3147 结束2,只剩3和1 n3)再看下详细信息: n nIsr中已经没有2了 n4) kill -9 3208结束3,发现仍然能测试生产消费信息【在生产终端输入,消费终端有显示】 n5) 再看下...
Kafka消息处理集群测试用例
package cn.hadoop.hdfs.conf;/** * @Date Apr 28, 2015 * * @Author huxin * * @Note Set param path */public class ConfigureAPI {    public interface KafkaProperties {        public final static String ZK...
kafka2.1.0高可用HA集群搭建方法
kafka2.1.0高可用HA集群搭建方法rn(一)安装zookeeper3.4.6集群rn详见安装方法地址:https://blog.csdn.net/hsg77/article/details/80945493rn(二)安装kafka2.1.0rn下载地址:rnhttp://kafka.apache.org/downloadsrn我选择的Scala 2.11 - kafka_2.11-2.1.0.tgz...
kafka是如何保持集群高可用?
Kafka是如何保持集群高可用?nn【待补充】
快速搭建 Zookeeper+Kafka 高可用集群环境
1、概念和方案rn本文只介绍快速的搭建方案,不啰嗦哈。搭建方案图,如下:rnrnrnZookeeper独立3台集群(根据项目情况扩展),一台为leader,其他为follower。rnrnKafka为多节点多broker的集群方案(根据项目情况扩展),不使用kafka自带的zookeeper。rnrnrn2、部署准备rnJDK rnhttp://www.oracle.com/technetwork
kafka HA(高可用搭建)
1、进入kafka的安装目录下的config目录2、修改 server.properties 配置文件[hadoop@hadoop02 config]$ vim server.properties 修改内容:zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:21813、从hadoop02发送kafka的安装文件...
kafka(八):Kafka高可用性
  1. Kafka Partition Replicationnn    功能:增加Topic分区的可用性n    每个Partition分为leader和follower两部分(前提是replication factor大于1的)nnn        eg: Topic: beifeng0 Partition: 0    Leader: 3       Replicas: 3,0,1 Isr:...
Kafka高可用集群搭建
1. 上传并解压nnkafka下载地址:http://kafka.apache.org/downloads,我下载的是最新版:kafka_2.11-2.1.0.tgznn首先准备一台虚拟机(本台机器ip为192.168.1.140),先搭建基本的配置,再克隆两台,小改一下配置即可nn首先确保服务器已经装了jdk和zknn上传下载好的压缩文件到/usr/local目录,解压后命名为kafkannnn...
基于Docker的Kafka高可用集群搭建
Kafka高可用集群搭建n环境基于docker搭建,3个zookeeper节点,3个kafka节点n1 整体环境规划nstep1, 创建docker网络ndocker network create --subnet=192.168.200.0/24 net_kafkannnnnnhostnipnportnremarknnnnnzookeeper1n192.168.200.11n12181nzook...
Kafka高可用性原理
分布式系统中,任何机器都可能面临未知的宕机风险,所以很高可用涉及是一个不可避免的话题。但是高可用带来的代价就是一致性问题,这又是一个很大很有趣的话题了。今天我们仅来谈谈kafka的高可用设计。nnnn高可用设计nn实现高可用性的方式一般都是进行replication,对于kafka,如果没有提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partitio...
RabbitMQ VS Apache Kafka (九)—— RabbitMQ集群的分区容错性与高可用性
本章,我们讨论有关RabbitMQ的容错性,消息一致性及高可用性。RabbitMQ可以作为集群节点来运行,因此RabbitMQ通常被归为分布式消息系统,对于分布式消息系统,我们的关注点通常是一致性与可用性。rn我们为什么要讨论分布式系统的一致性与可用性,本质在于两者描述的是系统在失败的情况下表现如何。rn单节点持久化原语rn持久化消息队列/交换器rnRabbitMQ支持两种类型的消息队列:持久化队列和非持...
kafka+zookeeper高可用集群搭建shell脚本使用教程
kafka+zookeeper高可用集群搭建shell脚本使用教程nn前言nnKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/n...
Kafka集群搭建及生产者消费者案例
Kafka集群搭建及生产者消费者案例nn本文搭建的集群是采3台机器,分别是server01,server02,server03。linux系统是centos6.7。nnkafka需要配合zookeeper使用,在安装kafka之前,需要先安装zookeeper集群,关于安装zookeeper集群,可以参考:Zookeeper集群环境搭建nnnn一、Kafka集群搭建nn1.1 下载kafka安装包...
kafka如何保证其高可用性
kafka是分布式架构,一般kafka会部署成集群,即部署多台broker。kafka写入消息时,同一个topic的数据1、数据2、数据3写入不同的partion中。kafka的高可用机制是在0.8版本之后才引入的,kafka的每个partion都会在其它机器上存储一个副本,作为这个partion的follower,当某个broker宕机时,会从ISR(存放所有已同步数据的副本)中取出一个fol...
浅谈高可用测试
前言nn现今的互联网产品越来越注重可靠性,尤其是在生产环境中使用的系统,对高可用性都有一定的要求。而作为产品的提供方,在交付产品之前,也会对高可用进行验收测试。近期跟进过两个产品曾有高可用测试的需求,在此简单的总结分享下。nn在介绍产品之前,先简单的介绍下高可用和高可用测试:nn高可用:指的是系统如何保证比较高的服务可用率。在系统的某个部分因为各种原因而失效时,能保证系统整体的服务正常运行。n 高...
kafka+zookeeper高可用集群搭建shell使用脚本
kafka+zookeeper高可用集群搭建shell使用脚本,直接在linux运行就行
详解scribe+flume搭建高可用的负载均衡日志收集系统入hadoop和kafka
一、系统架构n为增强系统的可靠性,flume系统分为agent层和collector层nagent层是每个每个需要收集日志的主机,有若干台,可自由扩展;每台agent机器运行一个carpenter程序将相应目录下的日志信息发送给本机上的flume source,对应avro sink将数据推送到两台collector(采用均衡负载的方式推送,若其中一台collector故障则全部推送给另一台)
zookeeper集群、kafka集群、Hadoop高可用
一、zookeeper集群nn1.1 zookeeper概述nn1.1.1 什么是zookeepernnnZooKeeper是一个分布式的协调服务nnn1.1.2 ZooKeeper能干什么nnZooKeeper是用来保证数据在集群间的事务性一致nn1.1.3 zookeeper 应用场景nn1. 集群分布式锁n2. 集群统一命名服务n3. 分布式协调服务nn1.2 zookeeper 角色与特性...
Zookeeper+Kafka集群部署方案
先说明一下zookeeper+kafka集群的原理nn搭建zookeeper和Kafka集群: 本实验拥有3个节点,均为CentOS 7系统,且均有相同用户名 (本实验为 opadm)nnnn主机规划:192.168.137.211  Kafka+Zookeepern192.168.137.14  Kafka+Zookeepern192.168.137.15  Kafka+Zookeepernn开...
Hadoop HA高可用集群搭建测试
摘要n  在Hadoop2.0之前,只有一个NameNode,若NameNode机器出现故障,那么整个集群都无法使用。这个架构存在单点故障的隐患。之后推出了HA的架构,即有两个NameNode,一台为active状态,一台为standby状态。active NameNode对外提供服务,standby实时同步了active NameNode的元数据,当active NameNode节点出现故障,s...
kafka集群搭建
一、前提准备nn笔者在这里的使用版本,仅供参考nn名称n 版本n 地址n zookeepern 3.4.12n zookeeper官网下载地址n kafkan 1.1.0n n kafka官网下载地址n n 主要配置信息如下(这里的zookeeper集群是之前搭建的myid都是以前设置的,而broker.id怕混淆就和主机ip结尾设置一样的)nn主机IPn ...
Kafka集群部署及测试
目前我们对大数据进行研究方向以Spark为主,其中Spark Streaming是可以接收动态数据流并进行处理,那么Spark Streaming支持多源的数据发送端,例如TCP、ZeroMQ、自然也包括Kafka,而且Kafka+SparkStreaming的技术融合也比较常用而且成熟,所以我们需要搭建一个Kafka集群进行流数据的测试。
docker kafka集群安装部署
安装包下载rnrnhttp://kafka.apache.org/downloads.htmlrnrn前置准备rnrnjdk镜像rnkafka安装包rnrn解压rntar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/localnmv kafka_2.10-0.8.2.1 kafkancd /usr/local/kafka/confignrnrn修改配置文件:rncp
kafka集群部署以及java客户端测试
kafka集群部署以及java客户端测试本文主要讲述本人的集群部署kafka过程以及遇到的问题: n其中:kafka版本为:kafka_2.10,zookeeper版本为:zookeeper-3.4.8,jdk-8u101-linux-x64 n 一 kafka以及zookeeper安装以及环境配置 n 二 zookeeper集群配置以及测试 n 三 kafka集群配置以及测试
kafka集群搭建部署测试
由于需求,需要将单节点kafka扩展成为kafka集群,中间遇到了很多问题,特将最终的正确步骤记录下来,仅作参考。 n1.软件环境(ubuntu server 3台) n 1.1.1.1 server1 n 2.2.2.2 server2 n 3.3.3.3 server3 n 注意机器个数为(2*n+1),同时zookeeper需要java环境才能运行,首先在三台机
kafka高可用集群搭建流程
kafka高可用集群搭建流程n机器配置nn机器ip地址:10.16.18.213;10.16.18.214nnKafka版本信息nkafka版本:kafka_2.11-1.0.0nzookeeper版本: 使用kafka自带的zookeepern下载地址:http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgznBrokern以...
分布式架构高可用架构篇_01_zookeeper集群的安装、配置、高可用测试
zookeeper集群的安装、配置、高可用测试
ElasticSearch高可用集群原理及搭建
ElasticSearch为什么要实现集群n 在单台ElasticSearch服务器节点上,随着业务量的发展索引文件慢慢增多,会影响到效率和内存存储问题等。n 我们可以采用ElasticSearch集群,将单个索引的分片到多个不同分布式物理机器上存储,从而实现高可用、容错性等。nnn...
mysql高可用集群 | 多种切换测试,故障邮件通知
MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集...
solrcloud 高可用集群搭建加solr整合hbase以及向ganglia报告度量
一、环境准备nn    CentOS-6.4-x86_64-minimal.isonn    jdk-6u45-linux-i586-rpm.binnn    zookeeper-3.4.5.tarnn    solr-4.6.0.zipnn    服务器6台: 192.168.56.11- SolrCloud.Shard1.Leadernn             192.168.56.12-S...
kafka1.0.0集群安装部署
我们使用官网比较新的2.11_1.0.0版本安装。nn1.官网上下载安装包 nhttp://kafka.apache.org/downloadsnnnnkafka_2.11-1.0.0.tgz nn接下来解压jar包: ntar -zxvf kafka_2.11-1.0.0.tgznn2.修改zookeeper.properties配置文件nninitLimit=10 nsyncLimit=5 ...
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh5.5.4 具体资源见截图。
hadoop 高可用集群搭建
#关闭防火墙nsystemctl disable firewalldnsystemctl stop firewalldnn#关闭selinux  /etc/selinux/config  将SELINUX=enforcing 改为SELINUX=disablednsed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/confign...
Kafka压力测试(写入MQ消息压测和消费MQ消息压测)
1.测试目的nn        本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据10w、100w和1000w级别的消息处理结果,评估Kafka的处理性能是否满足项目需求。(该项目期望Kafka能够处理上亿级别的MQ消息)nn2.测试范围及方法nn2.1测试范围概述nn   测试使用Kafka自带的测试脚本,...
Kafka分布式安装及验证测试
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。安装完毕后,可通过创建topic,控制台模拟producer和consumer来验证Kafka是否已正确安装并能正确运行。
rabbitmq高可用 demo,一看就懂!
rabbitmq 高可用demo,涉及到rabbitmq的搭建和在高并发情况下失败的解决方案!通俗易懂。
Kafka高可用性实现原理
Kafka高可用性实现原理
kafka 0.9.0.1 集群安装, 主题消息测试 (一)
前置安装:n1、安装jdk1.8(略)n2、安装zookeeper 集群(参考:http://blog.csdn.net/convict_eva/article/details/53219067),我这里只使用了一台zookeeper,多台用逗号分开nnn服务器分配:nnnnn机器ipn安装服务nnn192.168.254.130nkafka   zookeeper
RabbitMQ负载均衡(3)——Keepalived+HAProxy实现高可用的负载均衡
试想下如果前面配置的HAProxy主机192.168.0.9突然宕机或者网卡失效,那么虽然RabbitMQ集群没有任何故障,但是对于外界的客户端来说所有的连接都会被断开,结果将是灾难性的。确保负载均衡服务的可靠性同样显得十分的重要。这里就引入Keepalived工具,它能够通过自身健康检查、资源接管功能做高可用(双机热备),实现故障转移。nnKeepalived采用VRRP(Virtual Rou...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java kafka学习 kafka学习java