pycharm运行的代码出现错误

Question

运行的代码（新型训练的时候运行的）：make run-ner DATA_TYPE=doc_cons DATA_NAME=ncbi-disease MODEL_TYPE=roberta DATA_DIR='./data/' EPOCH=50 LR=3e-5 SEED=1 run_name=check MODEL_NAME=/directory/of/BioLM LM=biolm-large
遇到的问题是：
'CUDA_LAUNCH_BLOCKING' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
Makefile:26: recipe for target 'run-ner' failed
make: *** [run-ner] Error 1
按照给出的解决方法把CUDA_LAUNCH_BLOCKING的环境变量设置为1了，还是一样的报错，
然后我试了下面一行代码检验它环境变量设置是否正确
echo %CUDA_LAUNCH_BLOCKING%
这时候又出现了一个问题，用cmd，用pycharm终端，anaconda prompt运行一下代码它返回出来是1，但是power shell运行时返回出来%CUDA_LAUNCH_BLOCKING%，也按照网上说的办法去试了很多次还是失败了！希望各位帮帮忙，解决一下吧，要是有人能帮忙运行代码也是可以的，价格咱可商量

Answer 1

引自免费微信小程序：皆我百晓生

在Python PyCharm中遇到CUDA_LAUNCH_BLOCKING 错误，并且经过一系列尝试都无法得到解决时，我们需要确定以下几个步骤：

1. 确认 PyCharm 环境变量设置：

   • 使用 print() 函数查看当前环境中包含的 CUDA_LAUNCH_BLOCKING 的值。

   print(getenv('CUDA_LAUNCH_BLOCKING'))
   

2. 检查 PyCharm 打包选项：

   • 如果 Runtime > Package Manager > Configure Options 中已经配置了 CUDA_LAUNCH_BLOCKING=ON，那么默认情况下 PyCharm 将自动启用 CUDA 并启动 CUDA 服务器。

   python -m chainer --cuda-startup-enabled
   

3. 检查 .travis.yml 文件：

   • 在 Travis CI (或者 GitHub Actions) 仓库中，查看是否存在 python-travis.yml 或者 travis.yml.dist 文件。在这个文件中，可能存在关于安装 CUDA 和 PyTorch 库的相关设置，例如 CUDA 插件或卷积神经网络(CNN)库。

   find . -name "*.travis.yml" | grep "install_cuda"
   

   如果找到了此行，则说明项目已在本地安装了 CUDA 和相应的库，但可能尚未启动CUDA服务器。您可以在 .travis.yml 文件中添加以下内容以启动 CUDA 服务：

   after_success:
     - bash -c "source ~/.bashrc && CUDA_PATH=$HOME/cuda/bin/nvidia-smi && ./configure && make install && sudo modprobe cudnn64-linux-gnu && launch-notebook"
   

4. 更新 PyCharm 和 CUDA 安装版本：

   • 确保 PyCharm 的版本与 CUDA 的最新版本兼容，例如 CUDA v9.0 或更高版本，以及对应的 CUDA 库版本（如 CuDNN v7.6.0 或更高版本）。

   pip install pytorch torchvision torch-cudnn==9.0 torchvision-nightly torchvision-cudnn-nightly-py3 --upgrade
   

5. 重新运行 PyCharm 应用程序：

   • 删除或卸载 PyCharm，再重新安装 PyCharm 和其扩展库，确保更新后的版本与之前的保持一致。

   rm -rf PyCharm
   pip install pycharm
   

6. 重启 PyCharm 警告框：

   • 在 PyCharm 的主界面右键点击，选择 "Restart kernel and application" 或者 "Restart interpreter"，使 PyCharm 自动重启以清除先前的环境变量设置并更新系统的资源管理器状态。

   restart kernel and application
   

7. 检查 CUDA 驱动安装：

   • 检查操作系统中的 nvidia_driver 和 cuda_runtime 目录下的驱动程序文件。确认CUDA驱动程序和CUDA虚拟化相关的硬件支持已经安装并成功配置。如果没有相关路径信息，您可以尝试下载最新的 NVIDIA 显卡驱动程序并将其添加到系统路径。

8. 更新 PyTorch 版本：

   • 更新 PyTorch 版本至最新稳定版，因为某些新版本可能会修复已知的 CUDA_LAUNCH_BLOCKING 异常或提供更好的CUDA性能。如果您的问题是由 PyTorch 版本问题引起的，可以通过 pip uninstall <version> 命令卸载旧版本，然后通过 pip install <version> 替换新的版本。

9. 尝试降低 GPU 计算量：

   • 在 Runtime > Properties > Caching > Defaults 设置中禁用不必要的缓存大小，例如 PreferManualTuning=true，这样可以减少GPU计算负载，从而减少 CUDA_LAUNCH_BLOCKING 变量的错误。

   Python -m chainer --no-prefermanual-tuning
   

10. 确保 GPU 内存在可用空间：

• 确认计算机上预留足够的 GPU 内存，特别是在处理大规模数据集或进行高精度计算时。这通常需要至少一个 GB 的内存空间，具体取决于您的硬件配置和应用程序需求。

1. 使用 traceback.print_exc() 来获取异常堆栈信息：

   • 当 PyCharm 发生错误时，如果 CUDA_LAUNCH_BLOCKING 属性存在问题，此时会捕获 ValueError 异常，可通过 traceback.print_exc() 获取堆栈跟踪信息，从而定位问题所在。例如：

     import traceback
     exc_info = traceback.format_exc()
     print(exc_info)
     

2. 调试 PyCharm 并分析错误日志：

   • 查看 PyCharm 的错误日志，特别是 Terminal > Output 或 Help > Logs，查找有关 CUDA_LAUNCH_BLOCKING 错误的详细信息。日志中可能包含有关环境变量设置、CUDA版本和驱动程序安装情况的信息。

3. 查找社区论坛或博客文章：

   • 在 PyCharm、CUDA 和 PyTorch 社区论坛（如 PyCharm Community 或 CUDA Developers Network）寻找类似问题的解决方案。在这些论坛上，其他开发者可能会分享他们是如何找到解决方法的，或者指出可能出现的潜在问题和建议。

4. 利用在线调试工具：

   • 如有第三方调试工具（如 PyCharm DevTools、Visual Studio Code 的 Debugger 或 Eclipse's Debugger），尝试在其中进行断点调试，观察并重现问题堆栈。对于遇到的 ValueError 异常，使用调试工具可以逐行执行代码，逐步加载关键模块，找出导致 CUDA_LAUNCH_BLOCKING 错误的原因。

5. 联系 PyCharm 支持团队：

   • 如果以上所有步骤均无效，或者你不确定问题的根源，考虑联系 PyCharm 支持团队，他们可以更深入地了解问题并提供更具体的解决方案。PyCharm 提供了多种技术支持方式，包括但不限于创建报告、提交问题日志、获取文档和示例代码等。

通过上述排查过程，应能够找到导致 CUDA_LAUNCH_BLOCKING 错误的具体原因并提出相应的解决方案。在解决过程中，请遵循 PyCharm 的安装指南和文档，确保配置正确且安装了必要的库和驱动程序。如果您有任何疑问或遇到了复杂的情况，请务必提供更多的上下文信息以便于更好地帮助您。