韩君-plus 2023-03-10 22:45 采纳率: 42.9%
浏览 53
已结题

tensorflow-gpu运行神经网络时一训练内核就失联

tensorflow-gpu运行神经网络时一训练内核就失联tensorflow-gpu运行神经网络时一训练内核就失联,调节batch_size无效,且内核崩溃时显存还没有用完

  • 写回答

4条回答 默认 最新

  • 「已注销」 2023-03-10 22:49
    关注

    参考GPT和自己的思路:出现内核崩溃的原因可能有很多,以下是一些可能的解决方案:

    1 确保你的TensorFlow-GPU版本与CUDA和cuDNN版本兼容。可以参考TensorFlow官方网站提供的兼容性矩阵。

    2 如果你使用的是Jupyter Notebook或者其他类似的交互式编程环境,尝试将你的代码移植到一个独立的Python脚本中运行,以避免一些可能的交互式编程环境的限制。

    3 尝试降低batch_size以减少显存的压力。如果这并没有解决问题,可以尝试调整模型的结构,使其更加轻量化。

    4 尝试更新你的GPU驱动程序。如果你的GPU驱动程序已经是最新的,也可以尝试回滚到较旧的版本。

    5 尝试在代码中使用tf.debugging.set_log_device_placement(True)语句,以查看TensorFlow是如何将操作分配到GPU和CPU上的。这可能有助于找到问题的根本原因。
    6 如果你使用的是Windows系统,可以尝试将环境变量TF_FORCE_GPU_ALLOW_GROWTH设置为true。这可能会使TensorFlow能够动态分配显存,从而避免内存溢出的问题。

    7 最后,如果以上方法都没有解决问题,可以尝试升级你的GPU硬件,以增加显存和计算能力。

    希望这些解决方案能够帮助你解决问题。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 3月19日
  • 已采纳回答 3月11日
  • 创建了问题 3月10日

悬赏问题

  • ¥15 信号发生器如何将频率调大,步尽值改成10
  • ¥15 keil 5 编程智能家具,风扇台灯开关,人体感应等
  • ¥100 找一名渗透方面的专家
  • ¥20 使用Matlab gui设计一个插补小程序
  • ¥15 evo评估时曲线出现问题
  • ¥15 eNSP拓扑图配置实验
  • ¥20 有没有兄弟会替换fmod studio的.bank文件内的音效?
  • ¥20 如何解决访问网址被屏蔽的情况
  • ¥15 本地运行的vue2项目,使用内网穿透,前端界面一直转圈圈
  • ¥20 powerbuilder datawindow控件导出Excel数据,可不可以不自动覆盖原数据,而是在后面新插入入数据。