2080ti➕telsa 双显卡跑 deepseek 无法调用显存

Question

系统：银河麒麟 V10 Sp1， 2080Ti 显卡 （显存 22G) 加 telsa M10 显卡(显存 32G)， 双卡运行 deepseek70b（q4 量化），无法调用显存，全部是在内存跑模型，请问是什么库没安装吗？如何解决这个问题？

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

问题解答

你遇到的问题是：使用 2080Ti 和 Tesla M10 双显卡运行 DeepSeek70b 量化模型，无法调用显存，导致模型全部在内存中运行。

可能的原因：

1. 显卡驱动问题：检查显卡驱动是否正确安装和更新。
2. CUDA 版本问题：检查 CUDA 版本是否与 DeepSeek70b 量化模型兼容。 3.显存分配问题：检查显卡显存是否正确分配给 DeepSeek70b 量化模型。

解决方案：

1. 检查显卡驱动版本，确保是最新版本。
2. 检查 CUDA 版本，确保与 DeepSeek70b 量化模型兼容。
3. 使用 nvidia-smi 命令查看显卡显存使用情况，确保显卡显存足够分配给 DeepSeek70b 量化模型。
4. 使用 CUDA_VISIBLE_DEVICES 环境变量指定显卡设备，例如 CUDA_VISIBLE_DEVICES=0,1 指定使用 2080Ti 和 Tesla M10 显卡。
5. 检查 DeepSeek70b 量化模型的配置文件，确保没有显存分配错误。

如果以上解决方案不起作用，可以提供更多的日志信息和配置文件，以便更好地 debug 问题。

Answer 2

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题分析：根据描述，系统上安装了银河麒麟 V10 Sp1操作系统，搭配了2080Ti和Tesla M10显卡，使用双卡运行deepseek70b（q4量化），但无法调用显存，导致模型全部在内存中运行。可能是缺少相关库或者驱动导致的问题。 解决方法：

1. 确认驱动安装：首先确保2080Ti和Tesla M10显卡的驱动程序已经正确安装。可以通过官方网站下载最新的显卡驱动，并进行安装。
2. 安装CUDA工具包：CUDA是用于并行计算的GPU加速计算库，可以提升深度学习模型的运行速度。检查系统中是否安装了适用于2080Ti和Tesla M10显卡的CUDA工具包，并确保版本兼容。
3. 安装深度学习库：检查系统中是否安装了适用于2080Ti和Tesla M10显卡的深度学习库，如TensorFlow、PyTorch等。确保版本和显卡兼容，并正确配置。
4. 检查环境变量：确认系统中的环境变量正确设置，包括CUDA路径、深度学习库路径等。确保程序能够正确调用显卡资源。
5. 更新操作系统：如果以上方法无法解决问题，尝试更新操作系统到最新版本，以确保系统和驱动的兼容性。 案例：以下是可能的解决方法中的示例代码（以安装CUDA为例）：

# 下载并安装CUDA Toolkit
wget https://developer.download.nvidia.com/compute/cuda/11.2.1/local_installers/cuda_11.2.1_461.09_linux.run
sudo sh cuda_11.2.1_461.09_linux.run
# 添加CUDA路径到环境变量
echo 'export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}' >> ~/.bashrc
source ~/.bashrc
# 检查CUDA安装版本
nvcc --version

通过以上步骤，应该可以解决无法调用显存的问题，使双卡运行深度学习模型能够正确使用显卡资源。

Answer 3

nvidia-smisudo dpkg -i <驱动程序包名>.runsudo ln -sf /usr/local/cudnn-11.7-linux-x64-v8.6/cuda/include/cudnn.h /usr/local/cuda-11.7/include/cudnn.h
sudo ln -sf /usr/local/cudnn-11.7-linux-x64-v8.6/cuda/lib64/libcudnn.so.8.6.0 /usr/local/cuda-11.7/lib64/libcudnn.so.8
sudo ln -sf /usr/local/cudnn-11.7-linux-x64-v8.6/cuda/lib64/libcudnn.so.8.6.0 /usr/local/cuda-11.7/lib64/libcudnn.soimport torch
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.cuda.current_device())
print(torch.cuda.get_device_name(torch.cuda.current_device()))device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
inputs = inputs.to(device)

Answer 4

让【宝码香车】来帮你解答，本回答参考DeepSeek编写，并整理提供，如果还有疑问可以点击头像关注私信或评论。

如果答案让您满意，请采纳、关注，非常感谢！

---

在双显卡环境下运行深度学习模型时，无法调用显存的问题可能由多种原因引起。以下是一些可能的原因和解决方案：

1. CUDA 和 cuDNN 安装问题

• 确保 CUDA 和 cuDNN 已正确安装，并且版本与你的深度学习框架（如 PyTorch 或 TensorFlow）兼容。
• 你可以通过以下命令检查 CUDA 是否安装成功：

  nvcc --version
  

• 如果 CUDA 未正确安装，请参考 NVIDIA 官方文档进行安装。

2. GPU 驱动问题

• 确保你的 GPU 驱动是最新的，并且与 CUDA 版本兼容。
• 你可以通过以下命令检查 GPU 驱动版本：

  nvidia-smi
  

• 如果驱动版本过旧或不兼容，请更新驱动。

3. 深度学习框架的 GPU 支持

• 确保你使用的深度学习框架支持 GPU 加速，并且已正确配置。
• 对于 PyTorch，你可以通过以下代码检查 GPU 是否可用：

  import torch
  print(torch.cuda.is_available())
  

• 如果返回 False，则说明 PyTorch 未正确配置 GPU 支持。

4. 多 GPU 配置问题

• 如果你使用的是多 GPU 环境，确保你的代码正确配置了多 GPU 支持。
• 对于 PyTorch，你可以通过以下代码指定使用的 GPU：

  import torch
  device = torch.device("cuda:0")  # 使用第一块 GPU
  model.to(device)
  

• 如果你希望使用多块 GPU，可以使用 torch.nn.DataParallel 或 torch.nn.parallel.DistributedDataParallel。

5. 显存分配问题

• 有时显存可能被其他进程占用，导致无法分配显存。
• 你可以通过 nvidia-smi 查看显存使用情况，并终止不必要的进程。

6. 环境变量设置

• 确保环境变量 CUDA_VISIBLE_DEVICES 正确设置，以指定使用的 GPU。
• 例如，如果你只想使用第一块 GPU，可以设置：

  export CUDA_VISIBLE_DEVICES=0
  

7. 检查量化模型的支持

• 确保你使用的量化模型（如 q4 量化）支持 GPU 加速。
• 有些量化模型可能仅支持 CPU 运行，或者需要特定的库支持。

8. 检查系统日志

• 查看系统日志（如 /var/log/syslog 或 dmesg）以获取更多关于 GPU 错误的信息。

9. 尝试单 GPU 运行

• 尝试仅使用一块 GPU 运行模型，以排除多 GPU 配置问题。
• 例如，禁用 Tesla M10，仅使用 2080Ti 运行模型。

10. 更新深度学习框架

• 确保你使用的深度学习框架是最新版本，或者至少与 CUDA 和 cuDNN 版本兼容。

11. 检查库依赖

• 确保所有必要的库（如 libcudart.so、libcudnn.so 等）已正确安装，并且在 LD_LIBRARY_PATH 中。

12. 重新安装深度学习框架

• 如果以上方法都无效，尝试重新安装深度学习框架，并确保在安装过程中正确配置 GPU 支持。

示例代码

以下是一个简单的 PyTorch 示例代码，用于检查 GPU 是否可用并运行模型：

import torch

# 检查 GPU 是否可用
if torch.cuda.is_available():
    device = torch.device("cuda:0")  # 使用第一块 GPU
    print("GPU 可用，使用 GPU 运行模型")
else:
    device = torch.device("cpu")
    print("GPU 不可用，使用 CPU 运行模型")

# 假设你有一个模型
model = YourModel()

# 将模型移动到 GPU
model.to(device)

# 假设你有一些输入数据
inputs = torch.randn(1, 3, 224, 224).to(device)

# 运行模型
outputs = model(inputs)
print(outputs)

总结

如果你按照上述步骤检查和配置后仍然无法调用显存，建议进一步检查系统日志和深度学习框架的文档，或者考虑在社区或论坛中寻求帮助。