openstack使用cinder后，实例运行时分配的总空间不能大于ceph的总空间

Question

现在遇见的问题是,openstack 通过glace（不使用卷）运行实例时，实例的总分配空间，不能超过ceph的总空间，比如 ceph的总空间是100G，那启动一个虚拟机的空间如果是30G，那启动3个实例后就不能启动了，但是实际3个实例占用的空间却很小，这个有什么办法解除限制吗？

Answer 1

引自免费微信小程序：皆我百晓生

在OpenStack环境中，您遇到的问题是由于Ceph存储集群的总空间限制导致无法启动更多实例，尽管已启动实例的实际磁盘使用量较小。为解决这个问题，您可以考虑以下几个策略：

1. 动态调整Ceph存储池配额： Ceph提供了对存储池进行配额管理的功能，可以为每个用户或项目设定独立的存储配额，而非依赖于全局总空间。通过为OpenStack项目设置合理的配额，允许其在不超过Ceph存储池可用容量的前提下灵活使用存储资源。您可以通过以下步骤配置：

   a. 创建Ceph存储类（若尚未创建）： 在Cinder配置文件（通常位于 /etc/cinder/cinder.conf）中，定义指向Ceph存储池的存储类，确保启用了配额功能：

   [DEFAULT]
   enabled_backends = ceph
   
   [ceph]
   volume_driver = cinder.volume.drivers.rbd.RBDDriver
   rbd_pool = volumes
   rbd_ceph_conf = /etc/ceph/ceph.conf
   rbd_flatten_volume_from_snapshot = false
   rbd_max_clone_depth = 5
   use_quotas = True
   

   b. 为OpenStack项目设置Ceph配额： 使用Ceph CLI工具（如 ceph 或 radosgw-admin) 为OpenStack项目（对应Ceph中的用户或用户组）设置存储配额。例如，为名为 project1 的项目分配100GB的配额：

   ceph osd pool set-quota volumes user.project1 max_bytes=107374182400
   

   这样，即使Ceph总空间为100GB，您也可以为多个项目分别分配配额，使得它们共享存储资源而不会互相影响。

2. 优化实例磁盘分配策略： 考虑调整实例创建时的磁盘分配策略，减少初始分配给实例的大块预留空间。这可以通过以下方式实现：

   a. 使用精简分配（thin provisioning）： 确保Cinder RBD驱动配置启用精简分配。这样，实例虽然请求了较大磁盘空间，但实际消耗的Ceph存储只有随着数据写入才逐渐增加。在Cinder配置文件中确认如下设置：

   [ceph]
   rbd_thin_provisioning = true
   

   b. 调整云硬盘类型： 创建或修改云硬盘类型（Volume Type），设置其为精简分配，并为新创建的实例选择此类别。这可以在Horizon dashboard或通过OpenStack CLI完成：

   openstack volume type create --property volume_backend_name=ceph --property thin_provisioning=True ThinDiskType
   

   c. 使用多层存储： 如果您的环境中存在不同性能等级的存储介质（如SSD与HDD），可以将经常读写的系统盘置于高性能存储上，将数据盘置于容量型存储上，以更高效地利用存储资源。

3. 监控与清理： 实施严格的存储使用监控和定期清理机制，确保及时释放不再使用的存储资源。这包括：

   a. 监控Ceph存储池利用率： 使用Ceph monitoring工具（如 ceph df、ceph osd pool stats 或集成到监控系统如Prometheus/Grafana）持续跟踪存储池使用情况。

   b. 清理未使用的云硬盘和快照： 定期检查并删除未附着到实例的闲置云硬盘以及不再需要的云硬盘快照，释放存储空间。

   c. 调整实例大小： 根据实例实际使用情况，适时调整实例磁盘大小，避免过度预留空间造成浪费。

通过上述策略的实施，您可以在不增加Ceph总存储空间的前提下，更有效地管理OpenStack实例的磁盘分配，从而避免因总空间限制导致无法启动更多实例的问题。