lgzong 2021-10-14 11:58
浏览 41
已结题

glusterfs:节点上所有brick都掉线,尝试多种方案均无法解决

集群本来正常运行,突然有台机器上所有brick都掉线了,尝试重启volume、重启glusterd、重启机器均无法解决
该机器上glusterd所用24007端口telnet不通,netstat查看有很多close_wait状态的网络链接
glusterd.log中有很多类似如下的内容:

[2021-10-12 06:46:51.476380] C [rpc-clnt-ping.c:155:rpc_clnt_ping_timer_expired] 0-vol_test2-client-2: server 192.168.10.10:24007 has not responded in the last 42 seconds, disconnecting.
[2021-10-14 03:53:24.209823] W [glusterd-locks.c:586:glusterd_mgmt_v3_lock] (-->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0x42f77) [0x7fbab8e79f77] -->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0x32ff0) [0x7fbab8e69ff0] -->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0xecc3d) [0x7fbab8f23c3d] ) 0-management: Lock for vol_test2 held by 534a5c50-82c6-421e-b465-d3224eada92f
[2021-10-14 03:53:24.209850] E [MSGID: 106118] [glusterd-op-sm.c:4133:glusterd_op_ac_lock] 0-management: Unable to acquire lock for vol_test2
[2021-10-14 03:53:24.209904] E [MSGID: 106376] [glusterd-op-sm.c:8150:glusterd_op_sm] 0-management: handler returned: -1
[2021-10-14 03:53:24.291071] I [MSGID: 106499] [glusterd-handler.c:4429:__glusterd_handle_status_volume] 0-management: Received status volume req for volume vol_test2
[2021-10-14 03:53:24.347063] W [glusterd-locks.c:807:glusterd_mgmt_v3_unlock] (-->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0x42f77) [0x7fbab8e79f77] -->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0x32c95) [0x7fbab8e69c95] -->/usr/lib64/glusterfs/6.6/xlator/mgmt/glusterd.so(+0xed3b3) [0x7fbab8f243b3] ) 0-management: Lock for vol vol_test2 not held
[2021-10-14 03:53:24.347091] E [MSGID: 106117] [glusterd-op-sm.c:4189:glusterd_op_ac_unlock] 0-management: Unable to release lock for vol_test2

集群规模:18个节点,600多个volume
glusterfs版本:6.12
操作系统版本:CentOS 7

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 10月22日
    • 修改了问题 10月14日
    • 创建了问题 10月14日

    悬赏问题

    • ¥15 微软硬件驱动认证账号申请
    • ¥15 有人知道怎么在R语言里下载Git上的miceco这个包吗
    • ¥15 GPT写作提示指令词
    • ¥20 如何在cst中建立这种螺旋扇叶结构
    • ¥20 根据动态演化博弈支付矩阵完成复制动态方程求解和演化相图分析等
    • ¥20 关于DAC输出1.000V对分辨率和精度的要求
    • ¥15 华为超融合部署环境下RedHat虚拟机分区扩容问题
    • ¥15 哪位能做百度地图导航触点播报?
    • ¥15 请问GPT语言模型怎么训练?
    • ¥15 已知平面坐标系(非直角坐标系)内三个点的坐标,反求两坐标轴的夹角