k8s 1.8.0 动态存储供给方式 +ceph rbd 出现问题,求解答

Warning ProvisioningFailed 4s (x3 over 32s) persistentvolume-controller Failed to provision volume with StorageClass "fast": failed to create rbd image: executable file not found in $PATH, command output:

kubectl describe pvc得到的信息。k8s是1.8.0版本。而且在k8s上可以直接rbd create image。但是通过storageclass的时候却出现上面的问题图片说明

2个回答

Docker入门到Kubernetes实战

原因是:secret没有base64编码

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Ceph rbd 存储原理
创建一个rbd [root@node1 ~]# rbd create bar --size 2048 [root@node1 ~]# rados -p rbd ls rbd_header.86f46b8b4567 rbd_directory rbd_id.bar rbd_children rbd_info rbd_trash 系统创建名为bar的rbd时会为期生成一个id,如:86f46b8b...
使用ceph的块存储rbd
CEPH 块设备 块是一个字节序列(例如,一个 512 字节的数据块)。基于块的存储接口是最常见的存储数据方法,它们基于旋转介质,像硬盘、 CD 、软盘、甚至传统的 9 磁道磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。 Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。 Ceph 块设备利用 RADOS 的多种能力,...
手动解除k8s对ceph rbd的挂载
pod漂移失败: 在 kubernetes 中,如果某个节点出现问题(比如 kubelet 服务不可用), 集群会自动把这个节点上的pod 飘到其他节点.但是,如果一个pod挂载了ceph rbd类型的存储卷(pv),那么这个pod在新节点上是无法正常启动的.会提示如下错误: Multi-Attach errorforvolume"pvc-4f91d1a6-fcec-11e8-bd06-6c92b...
k8s(十二)、分布式存储Ceph RBD使用
前言 上篇文章介绍了k8s使用pv/pvc 的方式使用cephfs, k8s(十一)、分布式存储Cephfs使用 Ceph存储有三种存储接口,分别是: 对象存储 Ceph Object Gateway 块设备 RBD 文件系统 CEPHFS Kubernetes支持后两种存储接口,支持的接入模式如下图: 在本篇将测试使用ceph rbd作持久化存储后端 RBD创建测试 rbd的使用分为3个步骤:...
ceph rbd 对象组成
/* New-style rbd image 'foo' consists of objects * rbd_id.foo - id of image * rbd_header.<id> - image metadata * rbd_object_map.<id> - optional image object map * r
Ceph块设备(RBD)常用命令
创建块设备映像rbd create --size {megabytes} {pool-name}/{image-name}实例:[ceph-deploy@ceph-admin ~]$ rbd create --size 1024 foo 罗列块设备映像rbd ls {poolname}实例:[ceph-deploy@ceph-admin ~]$ rbd ls # rbd list foo检索映像信息
ceph rbd操作实战
本课程详细地介绍了openstack的原理,部署过程,全部为现场搭环境一步步实战操作,真正带你走进openstack的世界
CEPH RBD集群使用
准备阶段 RBD client端安装ceph工具集合创建一个块设备映像 ceph-client-node@ceph-client-node:~$ rbd create harvis_rbd -m 192.168.1.252 -k /etc/ceph/ceph.client.admin.keyring –size 4096将块设备映像映射到一个块设备 rbd feature disable ha
ceph rbd 文件读写测试
目的利用 rbd 文件读写, 对 ceph 集群 io 进行测试 通过参数调整, 控制 IO 读写速度 检测 SSD 在日志盘进行读写时候是否会达到瓶颈
手动部署CEPH rbd
手动部署 CEPH rbd在一台机器上进行验证使用:同一台机器上部署一个ceph-mon和一个ceph-osd。首先查看下系统内核是否支持rbd,如果有错误提示,说明内核不支持,需要升级内核# modprobe rbdFATAL: Module rbd not found.尴尬不,没有rbd内核,其实我是部署完之后才发现的。升级下内核。#modprobe rbd------------------...
Ceph rbd写入数据
本文简介rbd中数据的写入过程。
Ceph介绍之RBD实现原理
RBD是Ceph提供的块设备,本文将简要介绍一下其实现原理。 Ceph官方文档告诉我们Ceph本质上也是对象存储。而且了解到,Ceph的块存储其实在客户端也会被分为若干个对象进行处理。也即,对于Ceph集群,存储数据的格式就行对象。如下图所示,从镜像(块存储的呈现形式)的信息可以看出,块存储的组成及属性。 图 1 RBD镜像属性 创建存储池的镜像之后,在存储池中会有相关的对象数据
ceph下创建rbd
[root@ceph01 ~]# ceph -s  cluster:    id:     e6c031c4-5482-4029-ab47-ef4193bd0bbd    health: HEALTH_OK   services:    mon: 1 daemons, quorum ceph01    mgr: ceph01(active)    osd: 6 osds: 6 up, 6 in  ...
Ceph学习----Ceph rbd 作为设备挂载到本地
CSDN 为我的同步更新博客,博客原地址:airheaven.cn 本文的原地址:http://115.29.141.2/2016/01/11/ceph%E5%AD%A6%E4%B9%A0-ceph-rbd-%E4%BD%9C%E4%B8%BA%E8%AE%BE%E5%A4%87%E6%8C%82%E8%BD%BD%E5%88%B0%E6%9C%AC%E5%9C%B0/ Cep
k8s不能挂载ceph块存储
我是参考 Tony Bai 博客进行k8s挂载ceph的存储,但是发现最终pod的状态一直是ContainerCreating一、环境说明: Tony Bai 是把k8s 和 ceph都部署在那两台虚拟机上 我的环境是k8s集群和ceph存储集群分别部署在不同机器上的 ceph存储集群环境部署可以参考Tony Bai的,或者网上找很多教程,我这里只是记录k8s挂载到ceph块存储所遇到的问题。二、配
ceph的rbd使用和理解(全)
Ceph支持一个非常好的特性,以COW(写时复制)的方式从RBD快照创建克隆,在Ceph中被称为快照分层。分层特性允许用户创建多个CEPH RBD克隆实例。这些特性应用于OpenStack等云平台中,使用快照形式保护ceph RBD 镜像,快照是只读的,但COW克隆是完全可以写 ,可以多次来孵化实例,对云平台来说是非常有用的。     Ceph RBD镜像有format-1  和 format-...
ceph(rbd、cephfs)磁盘挂载详解
客户端内核要求1:RBD方式挂载2:cephfs 挂载3:对象文件上传下载###########################客户端内核要求##############################1:升级client端内核操作系统使用CentOS6.6,因为系统已经包含xfs的支持可以直接使用不需要再次编译。由于CentOS6.5系统的内核为2.6.32,因此要关闭硬盘...
调整 Ceph RBD 块大小
<p>n <span style="color:#24292E;"><span style="color:#333333;">Ceph是一个<span style="color:#0070C0;">可靠的、数据自动重均衡、自动恢复的SDS</span>(软件定义存储)分布式存储系统,功能主要有三大块:<span style="color:#0070C0;">块存储</span>、<span style="color:#0070C0;">对象存储</span>、<span style="color:#0070C0;">文件系统</span>。</span></span>n</p>n<p>n <br /></p>n<p>n <span style="color:#333333;">Ceph不但是提供了统一存储,并且同时还充分利用了客户端的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且<span style="color:#0070C0;">随着规模的扩大性能并不会受到影响</span>。</span>n</p>n<p>n <span style="color:#24292E;"><br /></span>n</p>n<p>n <span style="color:#24292E;">不管是私有云还是公有云,随着云架构的发展,</span><span>Ceph </span><span style="color:#24292E;">成为了</span><span>OpenStack</span><span style="color:#24292E;">、</span><span>Proxmox</span><span style="color:#24292E;">标配的后端存储,不光如此,就连目前最火的容器编排</span><span> </span><span style="color:#0070C0;"><span>Kubernetes </span><span>持久存储</span></span><span style="color:#24292E;">也都支持</span><span> Ceph </span><span style="color:#24292E;">,让</span><span> Ceph </span><span style="color:#24292E;">成为当前主流的存储系统,而对</span><span> Ceph </span><span style="color:#24292E;">存储的学习也就变的刻不容缓。</span>n</p>n<p>n  n</p>n<p>n 该课程属于比较基础的 Ceph 存储课程,旨在让大家能快速上手对 Ceph 集群的部署以及操作,主要讲解以下几个方面:n</p>n<p>n  n</p>n<p>n <strong>1.<span style="font-size:9px;">     </span>架构的介绍</strong>n</p>n<p>n <strong>2.<span style="font-size:9px;">     </span>集群的多种部署方式</strong>n</p>n<p>n <strong>3.<span style="font-size:9px;">     </span>块存储部署,客户端使用及快照、克隆和镜像</strong>n</p>n<p>n <strong>4.<span style="font-size:9px;">     </span>对象存储的部署及简单使用</strong>n</p>n<p>n <strong>5.<span style="font-size:9px;">     </span>Ceph FS 文件系统的部署、客户端使用及导出为NFS</strong>n</p>n<p>n <strong>6.<span style="font-size:9px;">     </span>集群的操作和管理,包括服务,集群扩展,缩减和集群维护</strong>n</p>n<p>n <strong>7.<span style="font-size:9px;">     </span>Ceph 基础知识的介绍,包括集群map,PG和身份验证</strong>n</p>n<p>n <strong>8.<span style="font-size:9px;">     </span>Ceph 集群的监控</strong>n</p>n<p>n <strong><br /></strong>n</p>n<p>n <strong><img src="https://img-bss.csdn.net/201905100226073434.png" alt="" /><br /></strong>n</p>n<p>n <strong><br /></strong>n</p>n<p>n <strong><img src="https://img-bss.csdn.net/201905100226266034.png" alt="" /><br /></strong>n</p>n<p>n <strong><br /></strong>n</p>n<p>n <strong><br /></strong>n</p>n<p>n <strong><br /></strong>n</p>n<p>n <strong><br /></strong>n</p>
Ceph RBD 的实现原理与常规操作
目录 文章目录目录前文列表RBD Pool 的创建与删除块设备的创建与删除块设备的挂载与卸载新建客户端块设备的扩缩容块设备的快照 前文列表 《Ceph 分布式存储架构解析与工作原理》 《手动部署 Ceph Mimic 三节点》 RBD Pool 的创建与删除 HELP: osd pool create &lt;poolname&gt; &lt;int[0-]&gt; {&lt;int[0-]&gt...
k8s使用ceph实现动态持久化存储
简介 本文章介绍如何使用ceph为k8s提供动态申请pv的功能。ceph提供底层存储功能,cephfs方式支持k8s的pv的3种访问模式ReadWriteOnce,ReadOnlyMany ,ReadWriteMany ,RBD支持ReadWriteOnce,ReadOnlyMany两种模式 访问模式只是能力描述,并不是强制执行的,对于没有按pvc声明的方式使用pv,存储提供者应该负责访问时的运...
【CEPH】RBD mirror功能测试体验
RBD mirror功能介绍        rbd mirror就是集群间数据块设备之间的备份。这个功能可以实现集群级别的备份,跨地理位置的数据备份。可以是主-备模式,也可以是主-主模式。    如下图所示    在这个 实现过程中,加入了新的守护进程rbd-mirror,负责集群到集群直接的数据同步。Jewel版本中,还只能实现一对一的备份。配置及测试过程    前提l  两个集群能相互通讯l ...
k8s动态使用glusterfs存储
k8s中运行Heketi服务 在使用kismatic安装k8s和glusterfs后,需要配置k8s默认动态管理(provisioning)使用glusterfs,以下内容是实现这样的目的。 Hekeli:glusterfs的restful端点,k8s向它发送命令来使用glusterfs。 Hekeli cli安装 下载Hekeli cli工具,安装在$PATH路径下 下载地址 ht...
Ceph RBD请求过程的分析
Ceph RBD请求过程的分析 RBD是ceph中提供块存储的客户端服务,只所以说是客户端服务是相对于RADOS而言,RBD是基于librados API开发的一个块存储服务。 本文会通过rbd的一个写入操作来介绍RBD对RADOS的请求过程。以通过rbd想RADOS中导入一个文件为例,介绍整个请求过程: rbd -p {pool_name} import {local_file_path}
Ceph RBD终端连接方案
1. 创建空间池 [root@ceph-adm ~]#ceph osd pool create testspace 256 256 [root@ceph-adm ~]#ceph osd lspools 0 rbd,1 testspace, 2. 创建镜像文件storage_500k 专门用于放500K大小的文件 [root@ceph-adm ~]#rbd create st
k8s使用ceph分布式存储
ceph 简介 ceph基础介绍 ceph是一个可靠地,自动重均衡、自动恢复的分布式存储系统,根据使用场景可以划分为对象存储、块存储和文件系统服务 ceph的核心组件 ceph OSDs 基本功能: 存储数据、复制数据、平衡数据、恢复数据等,与其他osd间进行心跳检查等,并将变化上报给ceph Monitor,一般情况一块磁盘对应一个OSD,由OSD管理磁盘,或者一个分区也可以...
初试 Kubernetes 集群使用 Ceph RBD 块存储
Kubernetes PersistentVolumes 持久化存储方案中,提供两种 API 资源方式: PersistentVolume(简称PV) 和 PersistentVolumeClaim(简称PVC)。PV 可理解为集群资源,PVC 可理解为对集群资源的请求,Kubernetes 支持很多种持久化卷存储类型。Ceph 是一个开源的分布式存储系统,支持对象存储、块设备、文件系统,具有可靠性高、管理方便、伸缩性强等特点。本文介绍 Kubernetes 集群使用 Ceph RBD 块存储。
使用glusterfs为k8s提供动态pv供给
1、创建glusterfs集群 (1)部署glusterfs集群 由于虚拟机机器限制,所以使用k8s集群的两台node节点创建glusterfs集群。具体环境如下: 主机ip 主机名 使用的磁盘 Heketi节点 192.168.16.130 heketi ...
Ceph学习——Librbd块存储库与RBD读写流程源码分析
Librbd 包含了rbd的相关操作,并发送给ImageRequestWQ类处理(队列),而后该类将其中的的请求发送给ImageRequest处理,ImageRequest将Image进行**分片(将一个 块 分解成 对象 进行处理,Ceph的底层本质还是对象存储)** 等操作后,将各个对象调用ObjectRequest类进行处理 ,每个ObjectRequest请求分别处理。
挂载ceph的rbd块存储作为本地磁盘块
Ceph存储作为块存储时,有时候需要将其挂载到本地作为文件系统使用,为了满足这样的需求,请看下面的操作: 在这里我使用本地的节点来当作客户端,就是使用我的ceph集群里面的192.168.1.220(mon节点)挂载ceph的块存储,下面所有的操作都是在我的mon节点上,其实我只是把mon节点当作客户端而已,挂载在它的本地目录下,当然换一台主机当客户端也是一样的: 1、首先在mon节点创建一个
ceph KRBD 内核RBD模块 rbd 快照 克隆 删除 恢复
1. 内核加载RBD模块# modprobe rbd
ceph学习之路----rbd块不能挂载
mount rbd块时如果提示超级块损坏,不能识别的ext4系统,说明是块属性错误导致,可以通过以下方法修改块的属性: 思路先获取正确的块属性,以正确的做参考,修改错误的块属性 1.获取块的属性 sudo rbd -p tdr_ecpool info foo19-7 sudo rados -p tdr_ecpool get rbd_id.foo19-7 -|strings 6e0fb24...
通过iscsi协议使用ceph rbd
通过iscsi协议使用ceph rbd Ceph iscsi gatway基本框架图:   1. 常见的几种iscsi target GNU/Linux 系统中流行的 SCSI target 框架或 iSCSI target 实现有如下几种: tgt、SCST、 Linux-IO。  1.1 tgt tgt 是一个用户态的 SCSI target 框架,在 GNU/Linux
ceph中rados/rbd命令无法使用
源码编译Ceph后执行make install,这时候编译后的可执行文件安装到了/usr/local/bin目录下,执行rados或者rbd命令后显示:[root@node build]# rados -h rados: error while loading shared libraries: libradosstriper.so.1: cannot open shared object file
【CEPH】RBD拍平原理和shell脚本测试
原理 测试数据         三个块大小分别为10G,30G,50G 测试脚本  #!/bin/bash for size in 10240 30720 51200 do echo "****************************************************" echo "test rbd ${s
动态存储空间分配方式
malloc函数 free函数是什么:malloc函数是一种分配长度为num_bytes字节的内存块的函数,可以向系统申请分配指定size个字节的内存空间。malloc的全称是memory allocation,中文叫动态内存分配,当无法知道内存具体位置的时候,想要绑定真正的内存空间,就需要用到动态的分配内存。free函数是一种与malloc()函数配对使用,释放malloc函数申请的动态内存的函
ceph命令系列(一):ceph-deploy/ceph/rados/rbd 常用命令详解
ceph-deploy 常用命令详解 命令 描述 ceph-deploy new [mon-node ...] 指定node(s)为monitor,开始部署一个新的ceph集群,并且在当前目录创建ceph.conf和keyring文件,一共创建了3个文件:ceph.conf、ceph-deploy-ceph.log 和 ce...
ceph RBD克隆卷的io模式分析
分析了ceph RBD克隆卷的IO模式,包括什么是op_rw,什么是copyup
记录ceph两个rbd删除不了的处理过程
在一个使用的环境发现两个ceph的rbd删除不了,发现两个rbd都是由于残留了watch的信息。在此记录处理过程。 处理方法 [root@node-2 ~]# rbd rm compute/2d05517a-8670-4cce-b39d-709e055381d6_disk 2018-06-11 13:19:14.787750 7fd05853bd80 -1 librbd: cannot obt...
Ceph 性能优化 之 带掉电保护的Rbd Cache
该文首次发表于’盛大游戏G云’微信公众号上,现贴到本人博客,方便大家交流学习带掉电保护的Rbd Cache方案Ceph是一款开源的统一存储,在单一的系统上提供块、对象及文件存储接口。近年随着公有云/私有云的快速普及,凭借其自身良好的稳定性、扩展性及与Openstack的深度整合,Ceph Rbd块存储被大量的使用,作为VM的数据存储。有Ceph Rbd部署实践经验的IT工程师们对Rbd Cache一
Ceph RBD 和Cephfs 的使用指南(映射挂载卸载)
RBD映射 tips: rbd的映射需要Linux内核支持ceph和rbd模块,可以通过命令modprobe ceph、modprobe rbd来判断 在挂载 rbd之前需要下载对应版本的ceph-common,最好是&amp;amp;gt;=集群版本,否则可能出现兼容性问题 低版本的Linux内核可能导致各种挂载问题,是因为内核模块开发进度跟不上Ceph开发进度导致。可以升级内核,或者使用NBD方式挂载 总...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数