Tensorflow-GPU无法正常使用cuda加速

Question

系统环境是win11，显卡是5060TI
tensorflow-gpu 版本是2.10，cudn版本有两个：
cuda版本一个是11.2 cudnn是8.1
cuda版本一个是13.0 cudnn 是9.16

驱动是最新，环境变量设置应该是没有问题的

13.0的cuda是为了使用新版本的pytorch
环境变量如下：

当我没有安装cuda11.2的时候他提示没有装cuda
当我装上cuda11.2，使用tensorflow训练模型时提示以下内容：

025-12-07 23:40:26.510220: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2027] TensorFlow was not built with CUDA kernel binaries compatible with compute capability 12.0. CUDA kernels will be jit-compiled from PTX, which could take 30 minutes or longer.
2025-12-07 23:40:26.510885: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2025-12-07 23:40:26.512891: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2027] TensorFlow was not built with CUDA kernel binaries compatible with compute capability 12.0. CUDA kernels will be jit-compiled from PTX, which could take 30 minutes or longer.

然后会花很长时间去编译，然后才能训练，
问题是等了很长时间后 它会编译失败，然后最后训练的时候勉强算是调用cuda去计算，结果就是训练过程很慢，第一次需要900s,第二次之后任然需要60s以上，还没有使用cpu快，正常情况下每个epoch 10s 左右完成

这个问题该怎么解决？

Answer 1

晚上好🌙🌙🌙
本答案参考通义千问

你遇到的问题是 TensorFlow-GPU 与 CUDA 的版本不兼容，导致 TensorFlow 在运行时无法使用预编译的 CUDA 内核（CUDA kernels），而是尝试通过 JIT 编译 PTX 代码 来生成内核。这种 JIT 编译过程非常耗时且效率低下，从而导致训练速度异常缓慢。

---

🛠️ 问题分析

1. 显卡型号与 CUDA Compute Capability 不匹配

你的显卡是 NVIDIA GeForce RTX 5060 Ti，其 Compute Capability 是 8.6，但日志中显示的是 Compute Capability 12.0，这说明 TensorFlow 正在尝试加载一个针对 更高版本 GPU（如 RTX 40xx 系列）的 CUDA 内核，而这些内核实际上并不适用于你的硬件。

重点：TensorFlow 2.10 可能只支持到 Compute Capability 8.x 或更低，而你可能安装了不兼容的 CUDA 版本。

---

2. CUDA 版本冲突

你同时安装了 CUDA 11.2 和 CUDA 13.0，这会导致环境变量混乱，TensorFlow 会尝试使用 CUDA 13.0，但该版本的 CUDA 与 TensorFlow 2.10 不兼容。

重点：TensorFlow 2.10 支持的最高 CUDA 版本是 11.2，建议不要安装更高版本的 CUDA。

---

✅ 解决方案

1. 卸载所有非必要的 CUDA 版本

确保系统中只保留 CUDA 11.2，并移除其他版本（如 CUDA 13.0）。

# 如果你使用的是 Windows，可以通过控制面板卸载 CUDA 13.0
# 或者使用命令行工具卸载（需管理员权限）

重点：TensorFlow 2.10 最高支持 CUDA 11.2，安装更高版本会导致兼容性问题。

---

2. 确认 CUDA 11.2 安装正确

你可以通过以下命令验证 CUDA 是否安装成功：

nvcc --version

输出应为：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Sun_Feb_14_19:17:18_PST_2021
Cuda compilation tools, release 11.2, V11.2.152

如果未正确安装或路径错误，请重新安装 CUDA 11.2，并设置正确的 PATH 环境变量。

---

3. 安装与 TensorFlow 2.10 兼容的 cuDNN

确保你安装的是 cuDNN 8.1.0（与 CUDA 11.2 匹配），并将其添加到系统环境变量中。

---

4. 创建虚拟环境（推荐）

为了避免多个 CUDA 版本之间的冲突，建议使用 Python 虚拟环境，并在其中仅安装 TensorFlow 2.10 和对应的 CUDA/cuDNN。

创建虚拟环境示例：

# 使用 conda 创建虚拟环境
conda create -n tf_env python=3.8
conda activate tf_env

# 安装 tensorflow-gpu 2.10（注意：这个版本需要 CUDA 11.2）
pip install tensorflow-gpu==2.10

重点：请勿使用 pip 安装 TensorFlow 2.10 以外的版本，否则可能导致依赖冲突。

---

5. 检查 TensorFlow 是否正确识别 GPU

运行以下 Python 代码来确认 TensorFlow 是否能正确识别 GPU：

import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))

如果输出为 0，说明 TensorFlow 没有找到可用的 GPU，可能是 CUDA/cuDNN 配置错误。

---

6. 修复环境变量配置

确保系统环境变量中只有 CUDA 11.2 的路径，例如：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin

避免将 CUDA 13.0 的路径加入环境变量。

---

🧪 附加建议

如果你必须使用 PyTorch（需要 CUDA 13.0）：

可以考虑使用 不同的虚拟环境 分别运行 TensorFlow 和 PyTorch：

• 一个环境用于 TensorFlow（CUDA 11.2 + cuDNN 8.1）
• 一个环境用于 PyTorch（CUDA 13.0 + cuDNN 8.6）

使用 conda 或 venv 进行隔离管理。

---

✅ 总结

| 问题原因 | 解决方案 | |----------|-----------| | 显卡 Compute Capability 与 TensorFlow 不兼容 | 卸载 CUDA 13.0，仅保留 CUDA 11.2 | | 多个 CUDA 版本冲突 | 清理环境变量，仅保留 CUDA 11.2 | | TensorFlow 无法正确识别 GPU | 安装正确的 cuDNN 并验证 GPU 是否被识别 | | 训练速度慢 | 确保使用兼容的 CUDA/cuDNN，避免 JIT 编译 |

---

📌 附录：推荐的兼容组合

| TensorFlow 版本 | CUDA 版本 | cuDNN 版本 | |----------------|------------|-------------| | TensorFlow 2.10 | CUDA 11.2 | cuDNN 8.1.0 |

---

如果你还有其他问题，比如如何安装特定版本的 CUDA 或 cuDNN，欢迎继续提问！