flink on yarn - HA连接不到zookeeper报错如下，如何解决？

Question

flink on yarn - HA连接不到zookeeper
报错如下：

显示用 sasl 连接，我并没有配置，这是我的配置文件：

blob:
  server:
    port: '6124'
historyserver:
  web:
    address: 0.0.0.0
    port: 8082
  archive:
    fs:
      dir: hdfs://master:9000/flink/flink-logs
      refresh-interval: 10000
high-availability:
  type: zookeeper
  zookeeper:
    path:
      root: /flink
    quorum: 172.18.0.4:2181
  storageDir: hdfs://master:9000/flink/ha
jobmanager:
  execution:
    failover-strategy: region
  rpc:
    address: jobmanager
    port: 6123
  bind-host: 0.0.0.0
  archive:
    fs:
      dir: hdfs://master:9000/flink/flink-logs
  memory:
    process:
      size: 1600m
restart-strategy:
  type: fixed-delay
  fixed-delay:
    attempts: 3
    delay: 10 s
state:
  savepoints:
    dir: hdfs://master:9000/flink/savepoints
  backend: filesystem
  checkpoints:
    dir: hdfs://master:9000/flink/checkpoints
query:
  server:
    port: '6125'
parallelism:
  default: 1
taskmanager:
  numberOfTaskSlots: 4
  memory:
    process:
      size: 1728m
  bind-host: 0.0.0.0
cluster:
  evenly-spread-out-slots: true
env:
  java:
    opts:
      all: --add-exports=java.base/sun.net.util=ALL-UNNAMED --add-exports=java.rmi/sun.rmi.registry=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.api=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.file=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.parser=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.tree=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.util=ALL-UNNAMED --add-exports=java.security.jgss/sun.security.krb5=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.text=ALL-UNNAMED --add-opens=java.base/java.time=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.locks=ALL-UNNAMED
rest:
  bind-address: 0.0.0.0
  address: 0.0.0.0
classloader:
  check leaked classloader: false
fs:
  hdfs:
    hadoopconf: /hadoop/etc/hadoop/

zookeeper 配置文件

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data
clientPort=2181

#限制每个客户端IP地址可以同时建立的最大连接数
maxClientCnxns=60

#自动清理过期快照文件时要保留的数量
autopurge.snapRetainCount=3

#自动清理快照文件的间隔
autopurge.purgeInterval=1

#启用独立模式，即使只有一个 ZooKeeper 服务器也可以运行
standaloneEnabled=true

#启用 admin 服务器，用于远程连接 ZooKeeper 服务器进行管理操作
admin.enableServer=true

#ZooKeeper 服务器监听所有 IP 地址，而不仅仅是配置文件中指定的 IP 地址
quorumListenOnAllIPs=true

#server.1=172.18.0.3:2888:3888;2181
#server.2=172.18.0.4:2888:3888;2181
#server.3=172.18.0.5:2888:3888;2181

请问该怎么处理

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

根据错误信息显示是因为未配置 sasl 导致连接不上 zookeeper，这个问题可以通过添加以下两行代码解决:

high-availability.zookeeper.client.fallback-auth: "none"
high-availability.zookeeper.security.auth: ""

这两行代码实现的是关闭 sasl 认证，不过需要注意的是这不是一个安全的方案，如果需要使用安全认证，需要单独配置 sasl。 另外在配置文件中也需要加入 zookeeper 的地址信息，例如：

high-availability:
  type: zookeeper
  zookeeper.quorum: "zk1:2181,zk2:2181,zk3:2181"
  zookeeper.znode.parent: "/flink"

其中，这里的 zk1，zk2，zk3 表示 zookeeper 集群的地址，端口为 2181，znode.parent 指定了 flink 的根节点名称。 完整的 flink on yarn 的配置文件示例：

jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1024m
taskmanager.memory.process.size: 2048m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
high-availability: "zookeeper"
high-availability.zookeeper.quorum: "zk1:2181,zk2:2181,zk3:2181"
high-availability.zookeeper.path.root: "/flink"
high-availability.zookeeper.client.fallback-auth: "none"
high-availability.zookeeper.security.auth: ""

这里给出的是一个简单的示例配置，可以依据实际情况进行修改。