基于python做神经网络、深度学习需不需要自己写代码，需要写到什么程度呢？

我的情况是：刚刚接触神经网络、深度学习半年。目前跟着一些教学视频和书来学习相关理论知识。
慢慢地，我对神经网络整体上有了大概的了解。大部分的教学视频课程都是介绍一下某种神经网络的基本思路，以及核心的数学公式，数学公式这里有的一笔带过，详细一点的会推理一遍。但到了真正应用实战的时候，往往都是直接import 某个库，然后实例化，调参。这个过程是完全没有用到前面铺垫的数学知识的，这让我感到迷茫。
所以基于python做神经网络、深度学习需不需要自己写代码，需要写到什么程度呢？
我自己也只是能够跟着教程推一下像梯度下降，反向传播这些公式。可是如果说让我自己根据这些公式来写神经网络，我感觉我是写不出来的。包括像正则化，CNN,RNN等,这些我都能够用keras实现，也理解背后的含义，但我无法做到从头开始搭建网络啊，我觉得这跟使用一些便捷的函数是不同的（比如可以直接用.sort()，没必要自己写冒泡法排序）。
所以能不能请大家给我一些指点，后续应该学什么，怎么做，需不需要自己编程，编程到哪种程度呢，如果仅仅在import keras 的基础上，可以实现对神经网络做哪些创新工作呢？
谢谢。