如何保护zookeeper中kafka的元数据节点 80C

我现在分别有kafka和zookeeper的集群,
zookeeper我单独使用的时候自己建立的节点可以设置权限,但是kafka在zookeeper中创建的元数据节点怎么办?这些节点都是anyone权限,肯定不可能手动去一个一个加,因为zookeeper子节点不继承父节点的权限,所以除非产生的每个节点都有权限否者没有意义。
我查资料按照步骤给zookeeper启用了jaas文件,然后zookeeper集群也可以正常启动与使用,但是kafka启动的时候报错:
java.lang.SecurityException: zookeeper.set.acl is true, but the verification of the JAAS login file failed.
主要就是下面这句话,到底是什么情况下才会报这个错?
zookeeper.set.acl is true, but the verification of the JAAS login file failed.

我现在zookeeper的jaas配置方式是:
1.给zoo.cfg文件配置了
authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

requireClientAuthScheme=sasl

jaasLoginRenew=3600000

2.zookeeper的jaas文件如下:
Server {

org.apache.kafka.common.security.plain.PlainLoginModule required

username="admin"

password="adminpwd";
};

这个文件conf文件夹中

3.
并且org.apache.kafka.common.security.plain.PlainLoginModule 需要用到的jar也都添加到了
classpath中,
4.
zkEnv.sh

也设置了SERVER_JVMFLAGS=" -Djava.security.auth.login.config=$ZOOCFGDIR/zk_server_jaas.conf"

kafka的broker的jaas文件内容如下:
KafkaServer {

org.apache.kafka.common.security.plain.PlainLoginModule required

username="admin"

password="adminpwd"

user_admin="adminpwd";
};

配置文件server.properties中设置了zookeeper.set.acl=true
请问我是不是哪里弄错了,为什么就是不行呢

zookeeper.set.acl 这个怎么用,根据我查资料理解,这样设置了以后kafka就可以创建的节点是带ACL的

2个回答

kafka broker 启动也需要指定 jaas config 的配置文件.
zookeeper 做 SASL 认证, 对应的 broker 连接的时候是作为client 端, 需要 sasl 用户名登录验证的.

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
查看zookeeper中kafka元数据
shell命令行: cd /opt/cloudera/parcels/CDH/lib/zookeeper/bin ./zkCli.sh -server hadoop01:2181 zookeeper命令行: ls /brokers/topics quit
Kafka在Zookeeper元数据解读
本课程为专题课,通过全面讲解Kylin架构原理、分布式集群搭建以及项目案例,让你快速掌握Kylin实时大数据BI技术,从而解决海量数据多维指标动态计算耗时问题、复杂条件筛选问题以及跨月、季度、年等大时间区间查询问题。
kafka架构之zookeeper元数据管理
kafka是如何通过zookeeper进行元数据的管理的呢?首先我们来看一下安装好一个kafka集群之后,对应zookeeper会出现哪些目录?概括为一A一B四个C,如下图:首先在zookeeper的根目录下面会出现以下目录:admin    ----/admin/delete_topics:存放被删除的topicbrokers    ----ids:当前存活的节点    ----topics:当...
Kafka 在zookeeper中的节点结构、日志结构
登录zookeeper zkCli.sh -server centos1:2181   创建topics mytopic kafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181 --replication-factor 3 --partitions 2 --topic mytopic   z
zookeeper删除kafka元数据,解决kafka无法消费数据的问题
启动kafka前没有启动zookeeper,导致消费者消费不到数据 解决方法:启动zookeeper的客户工具,删除zookeeper根目录下的brokers目录下的topic目录下的所有东西(这样会把之前建的所有topic都删除) 具体步骤: 1、启动zookeeper 客户端:进到zookeeper的安装目录[root@Node1 bin]# cd /usr/apps/zookeeper/
Zookeeper在Kafka中的应用
简介 Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper,kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下,建立起生产者和消费者的订阅关系,并实现生产者与消费者的负载均衡。   从拓扑结构看kafka与zookeeper的关系: 在典型的Kafka集群中, Kafka通过Zookee...
zookeeper在kafka中的作用
至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式。 需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的。 如果没了zookeeper消费者如何知道呢? 如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,效率呢? 所以kafka需要zk,在kafka的设计中就依赖了zk了。 详细的可参考: http://blog.
Kafka在zookeeper中的数据结构
一 /brokers节点 /brokers /brokers/topics /brokers/topics/test2 /brokers/topics/test2/partitions /brokers/topics/test2/partitions/0 /brokers/topics/test2/partitions/0/state 的值为... /brokers/ids /br
kafka在zookeeper上的节点信息和查看方式
kafka在Zookeeper上的节点如下图: 该图片盗自大牛的博客http://blog.csdn.net/lizhitao/article/details/23744675 服务端开启的情况下,进入客户端的命令:{zookeeper目录}/bin/zkCli.sh 以下是几个zookeeper客户端用的命令,不只kafka,其他任何注册到zookeeper的服务都可以使用
kafka搭建后zookeeper节点上的变化
具体搭建步骤参见官网文档:http://kafka.apache.org/quickstart 启动zookeeper nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 & 说明:启动zookeeper后,只有/zookeeper/quot...
kafka与zookeeper 下
这是一门对kafka进行原理分析和技术实战的课程
zookeeper、kafka
zookeeper以及kafka部署,linux、Windows操作系统均可使用
Kafka学习(5)-Kafka在zookeeper中的存储
原文来自:扎心了,老铁的《Kafka学习之路 (五)Kafka在zookeeper中的存储》
kafka元数据管理--
文章目录ZK结构树admin节点brokers节点consumers节点config节点controller节点 ZK结构树 admin节点 brokers节点 consumers节点 /consumers/[groupId]/ids/[consumerIdString] /consumers/[groupId]/owners/[topic]/[partitionId] -> co...
Kafka和Zookeeper常用命令——持续更新中
启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 停止kafka bin/kafka-server-stop.sh 停止zookeeper bin/zookeeper-server-...
Kafka在Zookeeper中保存数据的结构
* Consumer id registry */consumers/[group_id]/ids[consumer_id] -> topic1,...topicN每一个group中的每一个consumer都有一个唯一的ID。每一个consumer都将其ID在zookeeper中创建一个ephemeral znode,节点的值是该consumer订阅的所有topic。当consumer断开其与zoo
kafka在zookeeper中一些存储结构
本文主要查看kafka在zookeeper中的一些存储结构,便于更好的理解kafka的工作原理,其测试环境如下:kafka 0.8.1.1 zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息,该节点为一个临时节点,当当broker断开和zookeeper的连接时,其临时节点将会被删除。其路径为: /broker
Zookeeper的节点
zookeeper的安装: 1.关闭防火墙 firewalld服务即可: sudo systemctl stop firewalld.service && sudo systemctl disable firewalld.service 2. JDK 3. tar-xvf 4.进人 cdzookeeper-3.4.8/conf 5.zo...
11.dubbo如何创建zookeeper节点?
duboo底层原理知识点:rntcp的单工、半双工、全双工、编码、解码、粘包、拆包。网络通信netty nio 阻塞、非阻塞、异步、同步、线程池、boss线程、work线程。集群负载均衡directory、router、cluster、loadbalance。zookeeper与zkClient、持久节点 和 临时节点。服务的本地暴露和远程暴露、服务降级、服务灰度发布。掌握dubbo底层核心原理。rn技术交流QQ群:257206349 (加群后可获取课程资料)。本课程的知识目录和思维导图详细介绍地址:http://blog.csdn.net/bobo0218bo/article/details/78066606
Kafka、Zookeeper集群配置
Kafka、Zookeeper集群配置Demo
Kafka和zookeeper安装配置文档
Kafka和zookeeper安装配置文档 1. 安装zookeeper 1下载wget http://apache.fayea.com/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz 2解压 tar -zxvf zookeeper-3.4.8.tar.gz 3 配置环境变量 vim /etc/profile source /etc/profil...
zookeeper单机模式及kafka环境搭建
安装包(Linux环境): zookeeper:zookeeper-3.3.6 .tar.gz kafka:kafka_2.11-0.10.1.0.tgz 安装: JDK:使用jdk1.8并配置环境变量 解压zookeeper和kafka到/home/kafka目录下 配置环境变量:在 /etc/profile 中添加如下配置 ,使得环境变量立即生效命令 source /etc/profi...
zookeeper与kafka的选举算法
kafka zookeeper 选举算法
kafka与zookeeper单机集群搭建
kafka与zookeeper单机集群搭建 Zookeeper环境搭建 Kafka环境搭建 Kafka常用命令 Kafka监控软件 测试 参考文档 一、Zookeeper环境搭建 Zookeeper是一种在分布式系统中被广泛用来作为分布式状态管理、分布式协调管理、 分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕
zookeeper集群和kafka的搭建
之前一直搭建过zookeeper和hadoop集群,但是都是在windows机器上搭建的单机版,今天想在linux机器下搭建一个kafka集群,在搭建kafka集群之前需要搭建一个zookeeper集群。 我的zookeeper集群是在同一个linux机器上启动的三个节点与在不同机器上部署的原理类似,部署步骤如下: 1. 下载zookeeper包(以zookeeper-3.3.3为例) ...
Zookeeper和Kafka环境搭建总结
前言 由于项目需要涉及到zookeeper和Kafka的使用,快速做了一篇笔记,方便小伙伴们搭建环境。 zookeeper 官方定义 What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synch...
查看kafka在zookeeper分区
 ./zkCli.sh -server 123.56.13.13:2181     {2181是zookeeper的开放端口      }      
群起zookeeper,kafka的脚本
目录 群起,关zookeeper脚本: 群起,关kafka脚本: 群发命令的脚本: 近期,在玩kafka,kafka是依赖于zookeeper的,每次都要去各个节点上启动zookeeper,于是就尝试写了一个shell脚本来实现zookeeper和kafka的群起和群关 群起,关zookeeper脚本: 1,在用户的家目录下建立一个文件,我这里命名为startzk.sh,并赋予执行的...
kafka与zookeeper间的关联
kafka与zookeeper之间的关系
zookeeper、kafka下载地址
一、zookeeper 官网下载:http://mirrors.hust.edu.cn/apache/zookeeper/ CSDN:http://download.csdn.net/detail/lilinoscar/9787229 二、kafka 官网下载:http://kafka.apache.org/downloads.html CSDN:http://downl
zookeeper和kafka集群搭建
一、下载zookeeper-3.4.6.tar.gz 二、安装jdk1.7,并配置好hosts文件的机器名称 三、在目录data下,建立zookeeper目录,拷贝安装包到zookeeper,解压tar -zxvf zookeeper-3.4.6.tar.gz 四、进入解压目录的conf文件下,cp zoo_sample.cfg zoo.cfg 复制一份zoo.cfg文件 五
Zookeeper和kafka集群搭建手册
完整的zookeeper+kafka的集群搭建过程包括安装配置命令以及测试
Zookeeper集群、kafka 集群搭建
Zookeeper Zookeeper是什么? zookeeper是一个分布式的,开放源码的分布式应用程序协调服务 zookeeper能干什么? Zookerper是用来保证数据在集群间的事务性一致 应用场景 集群分布式锁 集群统一命名服务 分布式协调服务 zookeeper角色与特性 Leader: 接受所有Follower的提案请求并统一协调发起提案的投票,负责与 所有...
Kafka和Zookeeper集群搭建
NULL 博文链接:https://xnbhnly.iteye.com/blog/2431757
kafka集群及zookeeper集群搭建
kafka集群搭建遇到的那些坑: 1、如果你的kafka中的server.properties文件中的broker.id=0不修改,启动时会报错,按照顺序依次修改成0,1,2...... 2、server.properties文件中如果没有host.name就要加上,否则通过kafka api会无法访问 3、使用bin/kafka-server-stop.sh在centOS6
关于zookeeper和kafka的配置安装
关于zookeeper和kafka有两天了,今天终于测试成功了,下面来说说zookeeper和Kafka在window环境下的安装和配置,以及这两天踩到的坑。 一:关于zookeeper 去网上下载zookeeper安装包,然后解压缩。我下载的是zookeeper-3.4.8.rar,本来想上传的,可是文件有点大上传不上去。话不多说,我们接着看看如何配置zookeeper。话说楼主只有一台机器
zookeeper集群搭建和kafka集群搭建
一、zookeeper 集群搭建 1、解压 tar -zxvf  zookeeper-3.4.5.tar.gz ,并且修改名称为 zk ,在zk目录下面创建data、logs目录 2、修改conf目录下zoo.cfg         dataDir=/home/cb/zk/data   dataLogDir=/home/cb/zk/logs server.1=10.67.1
了解和安装Kafka/Zookeeper
一、前言: zookeeper版本: zookeeper-3.4.12 kafka版本: kafka_2.11-2.0.0 发布订阅系统: 主题,经纪人,生产者和消费者等主要术语 在上图中,主题配置为三个分区。 分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.副本的id与承载它的服务器的id相同。   二、安装后启动 1.启动命...
zookeeper、kafka集群部署
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
kafka及zookeeper安装部署
因为kafka启动依靠zookeeper所以博主先配置zookeeper zookeeper部署 Step1:以root账号登陆,创建shaka用户 [root@localhost home]# useradd shaka [root@localhost  home]# passwd shaka  Step2:切换为shaka账号 [shaka@localhost ~]$  su -
相关热词 c# login 居中 c# 考试软件 c# 自然语言分析 c# 分段读取文件 c# 泛型反射 c#打断点 c# 时间转多少秒 c# 线程函数加参数 c# modbus 读取 c#查询集合表