weixin_38256708
weixin_38256708
2018-07-23 13:37
采纳率: 36.4%
浏览 2.2k

自己写的深度学习框架为什么运行这么慢?

通过matlab写的卷积网络框架,然后复杂的操作比如卷积池化等通过.cu文件写的,
调用GPU加速,外面的层为粗粒度的,运行的速度和TensorFlow差一个数量级,也用到
GPU加速了,怎么会慢这么多,会不会因为由于每一层数据都会在GPU和CPU中搬运导致?
现有的框架是不是每个batch的数据前向反向传播完才会释放一次显存?

求大神指点迷津!

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • caozhy
    已采纳

    一种没有证实的小道消息:nvidia是一个很鸡贼的公司。大伙儿编写gpu代码,使用的是nvidia提供的cuda sdk和编译器。但是nvidia留了一手,它内部有更好的编译器但是没有拿出来。
    nvidia自己开发的cudnn就是基于内部的编译器,所以性能要比大伙儿用cuda sdk自己写的要好。
    目前tensorflow在内的大部分框架,似乎都没有自己去编写gpu的代码,而是直接调用的cudnn。

    点赞 评论
  • caozhy

    图片说明
    下拉。可以选择

    点赞 评论

相关推荐