麒麟V10系统，离线条件下安装llama factory，有没有教程

Question

麒麟V10系统，离线条件下安装llama factory，有没有教程，为什么总是各种报错

Answer 1

晚上好🌙🌙🌙
本答案参考通义千问

在麒麟V10系统（基于Linux）上进行离线安装Llama Factory确实是一个具有挑战性的任务，尤其是因为Llama Factory依赖于许多第三方库和Python包。由于无法联网下载依赖项，需要提前准备所有必要的依赖文件，并手动安装。

下面我将详细说明如何在麒麟V10系统的离线环境中安装 Llama Factory，并列出常见错误及解决方案。

---

一、Llama Factory简介

Llama Factory 是一个用于微调 LLaMA 模型的工具，支持多种模型格式（如 Hugging Face、LLaMA、ChatGLM 等），并提供了图形化界面。

---

二、离线安装前提条件

1. 安装基础依赖

确保系统已安装以下基础软件：

• Python 3.8 或更高版本（推荐 3.9）
• pip（Python 包管理器）
• git（用于克隆代码）
• build-essential（编译工具链）

注意： 如果系统没有网络，这些依赖也需要通过离线方式安装。

---

三、离线安装步骤

步骤 1：准备所有依赖包

1.1 在有网络的机器上下载所有依赖包

使用 pip download 命令下载所有依赖：

pip download -r requirements.txt -d ./offline_packages

其中 requirements.txt 是 Llama Factory 的依赖列表，可以从其 GitHub 仓库获取。

你可以从 Llama Factory GitHub 获取该文件。

1.2 手动下载某些特殊包（如 transformers、torch）

有些包可能无法通过 pip 下载（如 PyTorch、CUDA 版本等），你需要手动下载对应的 .whl 文件。

建议： 使用 pip download 命令后，检查是否有缺失的包，再手动下载。

---

步骤 2：将所有依赖包复制到目标机器

将 ./offline_packages 目录复制到麒麟 V10 系统中。

---

步骤 3：创建虚拟环境（可选）

为了隔离依赖，建议创建一个虚拟环境：

python3 -m venv llama_env
source llama_env/bin/activate

---

步骤 4：安装所有依赖包

进入依赖目录并安装：

cd offline_packages
pip install --no-index --find-links=./ *.whl

注意： 请确认你已经正确下载了所有依赖包，否则会报错。

---

步骤 5：克隆 Llama Factory 项目

将 Llama Factory 的代码从有网络的机器复制到麒麟 V10 系统中：

git clone https://github.com/hiyouga/llama-factory.git

---

步骤 6：运行 Llama Factory

进入项目目录并运行：

cd llama-factory
python3 main.py

---

四、常见问题与解决方法

1. 报错：ModuleNotFoundError: No module named 'transformers'

原因： 未正确安装 transformers 库。

解决方法：

• 确保在离线包中包含 transformers 的 .whl 文件。
• 使用 pip install --no-index --find-links=... transformers-*.whl 手动安装。

---

2. 报错：No such file or directory: 'libgl.so.1'

原因： 缺少图形库依赖。

解决方法：

• 安装 libgl1 和 libglib2.0-0 等依赖：

  apt-get install libgl1 libglib2.0-0
  

• 如果是离线环境，需提前下载 .deb 包并手动安装。

---

3. 报错：CUDA error: out of memory

原因： 显卡内存不足或未正确安装 CUDA 驱动。

解决方法：

• 确保已安装正确的 CUDA 驱动和 PyTorch 版本。
• 如果没有 GPU 支持，可以尝试使用 CPU 模式运行。

---

4. 报错：Failed to build some packages

原因： 有些包需要编译，但系统缺少编译工具。

解决方法：

• 安装编译工具链：

  apt-get install build-essential
  

---

五、推荐操作流程（有序列表）

1. 准备依赖包：

   • 在有网络的机器上使用 pip download 下载所有依赖。
   • 手动下载特殊包（如 PyTorch、CUDA）。

2. 将依赖包复制到目标机器：

   • 将 offline_packages 目录复制到麒麟 V10 系统中。

3. 创建虚拟环境：

   • 使用 python3 -m venv 创建独立环境。

4. 安装依赖包：

   • 使用 pip install --no-index 安装所有离线包。

5. 克隆 Llama Factory 项目：

   • 从 GitHub 克隆项目代码。

6. 运行 Llama Factory：

   • 运行 python3 main.py 启动程序。

---

六、示例：修改后的 requirements.txt（适用于离线）

如果你无法直接下载 requirements.txt，可以参考如下内容（部分关键依赖）：

transformers==4.35.0
torch==1.13.1
accelerate==0.21.0
datasets==2.10.1
gradio==3.37.0
peft==0.10.0

---

七、总结

在麒麟 V10 系统上离线安装 Llama Factory的关键在于：

• 提前下载所有依赖包
• 处理图形库和编译工具缺失问题
• 确保所有依赖版本兼容

如果仍然遇到问题，建议提供具体的错误信息，我可以帮助你进一步分析。

---

如果你需要我帮你生成完整的 requirements.txt 或者打包好的离线依赖包，请告诉我！