xinference启动后如何自动加载上次已运行模型？

Question

win10环境docker重新启动xinference后，上次已运行的模型没了，xinference不会自动加载？

Answer 1

让【宝码香车】来帮你解答，本回答参考DeepSeek编写，并整理提供，如果还有疑问可以点击头像关注私信或评论。

如果答案让您满意，请采纳、关注，非常感谢！

---

在 Xinference 中，默认情况下，Docker 容器重新启动后，上次运行的模型不会自动加载。这是因为 Docker 容器的文件系统是临时的，容器停止后，所有未持久化的数据都会丢失。为了实现自动加载上次已运行的模型，你需要将模型的配置和数据持久化到宿主机的文件系统中，并在容器启动时加载这些持久化的数据。

以下是实现这一目标的步骤：

1. 持久化模型数据

首先，你需要将模型的配置和数据保存到宿主机的某个目录中。假设你希望将数据保存到 /path/to/model/data 目录下。

2. 挂载持久化目录到容器

在启动 Docker 容器时，将宿主机的持久化目录挂载到容器内的某个目录。例如，你可以将 /path/to/model/data 挂载到容器内的 /app/model_data。

3. 配置 Xinference 加载持久化数据

在 Xinference 的配置文件中，指定模型数据的路径为挂载的目录 /app/model_data。

4. 启动 Docker 容器

使用以下命令启动 Docker 容器，并挂载持久化目录：

docker run -d \
  --name xinference \
  -v /path/to/model/data:/app/model_data \
  xinference_image

5. 修改 Xinference 启动脚本

在 Xinference 的启动脚本中，添加逻辑以检查 /app/model_data 目录中是否存在上次运行的模型数据。如果存在，则自动加载这些模型。

例如，在启动脚本中添加以下代码：

import os
import xinference

# 检查是否存在持久化的模型数据
model_data_path = "/app/model_data"
if os.path.exists(model_data_path):
    # 加载上次运行的模型
    xinference.load_model(model_data_path)

# 启动 Xinference
xinference.start()

6. 重新构建 Docker 镜像

如果你修改了 Xinference 的启动脚本，需要重新构建 Docker 镜像：

docker build -t xinference_image .

7. 启动容器

使用更新后的镜像启动容器：

docker run -d \
  --name xinference \
  -v /path/to/model/data:/app/model_data \
  xinference_image

8. 验证

启动容器后，检查 Xinference 是否自动加载了上次运行的模型。

总结

通过将模型数据持久化到宿主机，并在容器启动时加载这些数据，你可以实现 Xinference 在 Docker 容器重新启动后自动加载上次已运行的模型。

如果你使用的是 docker-compose，可以在 docker-compose.yml 文件中配置挂载卷：

version: '3'
services:
  xinference:
    image: xinference_image
    volumes:
      - /path/to/model/data:/app/model_data
    restart: always

这样，每次容器重启时，Xinference 都会自动加载上次运行的模型。