自己写的深度学习框架为什么运行这么慢？

Question

通过matlab写的卷积网络框架，然后复杂的操作比如卷积池化等通过.cu文件写的，
调用GPU加速，外面的层为粗粒度的，运行的速度和TensorFlow差一个数量级，也用到
GPU加速了，怎么会慢这么多，会不会因为由于每一层数据都会在GPU和CPU中搬运导致？
现有的框架是不是每个batch的数据前向反向传播完才会释放一次显存?

求大神指点迷津！

Answer 1

一种没有证实的小道消息：nvidia是一个很鸡贼的公司。大伙儿编写gpu代码，使用的是nvidia提供的cuda sdk和编译器。但是nvidia留了一手，它内部有更好的编译器但是没有拿出来。
nvidia自己开发的cudnn就是基于内部的编译器，所以性能要比大伙儿用cuda sdk自己写的要好。
目前tensorflow在内的大部分框架，似乎都没有自己去编写gpu的代码，而是直接调用的cudnn。