Chatglm3怎么本地部署？

Question

本人来不及换显卡，用显存仅有3G的电脑跑了一个chatglm3的模型，所有方法都是参照 https://b23.tv/gCkFtQd的方法做的，安装了cuda还有nvidia最新驱动程序后运行起来遇到了如图的错误，到底该怎么解决？

Answer 1

引自免费微信小程序：皆我百晓生

遇到“Library cudart is not initialized”的错误通常意味着CUDA运行时库在尝试初始化时未能成功，这可能是由于多种原因造成的，包括但不限于CUDA环境变量配置不正确、CUDA版本与PyTorch或相关库不兼容、NVIDIA驱动程序问题等。下面是一些可能的解决方案：

1. 检查CUDA环境变量

确保PATH环境变量包含了CUDA工具箱的bin目录，通常是类似C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.Y\bin这样的路径，其中X.Y是CUDA的版本号。

2. 更新或重新安装CUDA和cuDNN

• 卸载当前的CUDA和cuDNN。
• 访问NVIDIA CUDA Toolkit下载页面，选择与你的GPU兼容且支持你的操作系统版本的CUDA工具包进行安装。
• 同样地，根据所选的CUDA版本，从NVIDIA cuDNN页面下载并安装cuDNN。

3. 确认NVIDIA驱动程序版本

确保你的NVIDIA驱动程序是最新的，并且与CUDA版本兼容。访问NVIDIA官网查找适用于你的GPU型号的最新驱动程序。

4. 验证PyTorch与CUDA版本兼容性

确认你的PyTorch版本与CUDA版本相匹配。可以使用命令python -c "import torch; print(torch.__version__)"和python -c "import torch; print(torch.version.cuda)"检查PyTorch和CUDA的版本信息。如果版本不匹配，可能需要重新安装PyTorch。

5. 清理Python环境

有时候，错误的依赖关系或冲突的库版本可能导致问题。可以尝试创建一个新的虚拟环境，并在这个新环境中安装所有必要的包，包括PyTorch和相关依赖。

6. 检查CUDA可见设备

使用nvidia-smi命令查看是否有GPU被系统识别。同时，确保没有其他程序占用了GPU资源，导致CUDA初始化失败。

7. 重启系统

在尝试了上述步骤后，重启你的计算机可能会帮助解决一些暂时性的软件冲突或环境问题。

如果以上步骤都无法解决问题，建议检查你的硬件是否满足运行该模型的最低要求，尤其是显卡的显存和计算能力。对于显存较小的GPU，你可能需要调整模型的设置，例如减少批量大小(batch size)，或者寻找更轻量级的模型替代。

如果问题仍然存在，考虑寻求社区帮助，例如在GitHub的项目Issue页面或Stack Overflow上提问，提供详细的错误日志和系统配置信息，以便获得更具体的指导。