lora启动时出错，找不到torch

Question

用lora训练模型，第一次安装，启动后报错，
py版本3.10.9
GPU-4070ts
用的kohya的代码

Answer 1

引自免费微信小程序：皆我百晓生

从您提供的错误信息来看，当尝试运行基于Kohya训练器的Lora模型时，遇到了torch库相关的问题，具体表现为找不到cudnn_cnn_infer64_8.dll这个文件或其依赖项。这表明尽管您安装了PyTorch，但CUDA和cuDNN可能没有正确配置或者版本不匹配。

以下是针对这个问题的解决步骤：

1. 检查PyTorch CUDA版本兼容性： 确保您安装的PyTorch版本与您的NVIDIA GPU（这里是RTX 4070）兼容。请访问PyTorch官网，根据您的Python版本选择合适的CUDA版本进行安装。

2. 安装正确的cuDNN版本： 下载并安装与PyTorch对应的cuDNN版本。请参照NVIDIA cuDNN下载页面，找到对应于您GPU计算能力以及PyTorch CUDA版本的cuDNN包，并将其解压至C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v{CUDA_VERSION}目录下。

3. 设置环境变量： 将cuDNN的bin、lib和include路径添加到系统环境变量中，以便在运行程序时能找到相应的DLL文件。

4. 重新创建虚拟环境（如果适用）： 如果您是在虚拟环境中遇到问题，可以考虑删除现有虚拟环境并重新创建一个，确保在激活虚拟环境后正确安装带有CUDA支持的PyTorch。

5. 验证安装： 在命令行中检查PyTorch是否能够识别到CUDA和cuDNN，例如：

   import torch
   print(torch.cuda.is_available())
   

   如果上述步骤完成后问题仍未解决，请尝试重新安装torch（确保指定CUDA版本），示例命令如下（以CUDA 11.3为例）：

   pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113
   

通过以上步骤，应该能解决“找不到指定模块”的错误，并成功运行基于Lora和Kohya训练器的项目。