2080ti➕telsa 双显卡跑 deepseek 无法调用显存

Question

系统：银河麒麟 V10 Sp1， 2080Ti 显卡 （显存 22G) 加 telsa M10 显卡(显存 32G)， 双卡运行 deepseek70b（q4 量化），无法调用显存，全部是在内存跑模型，请问是什么库没安装吗？如何解决这个问题？

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

问题解答

你遇到的问题是：使用 2080Ti 和 Tesla M10 双显卡运行 DeepSeek70b 量化模型，无法调用显存，导致模型全部在内存中运行。

可能的原因：

1. 显卡驱动问题：检查显卡驱动是否正确安装和更新。
2. CUDA 版本问题：检查 CUDA 版本是否与 DeepSeek70b 量化模型兼容。 3.显存分配问题：检查显卡显存是否正确分配给 DeepSeek70b 量化模型。

解决方案：

1. 检查显卡驱动版本，确保是最新版本。
2. 检查 CUDA 版本，确保与 DeepSeek70b 量化模型兼容。
3. 使用 nvidia-smi 命令查看显卡显存使用情况，确保显卡显存足够分配给 DeepSeek70b 量化模型。
4. 使用 CUDA_VISIBLE_DEVICES 环境变量指定显卡设备，例如 CUDA_VISIBLE_DEVICES=0,1 指定使用 2080Ti 和 Tesla M10 显卡。
5. 检查 DeepSeek70b 量化模型的配置文件，确保没有显存分配错误。

如果以上解决方案不起作用，可以提供更多的日志信息和配置文件，以便更好地 debug 问题。