关于Pytorch中神经网络自定义的问题

Question

现在想尝试在一个单个隐藏层的神经网络中。把传统的线性权重"WX+b"加上激活函数的复合函数, 替换成任意高次函数f(x)（例如"Ax^3+Bx^2+Cx+d"）,然后进行前向传播与反向传播请问是否可行。求相关的理论参考与pytorch实现的相关资料？

Answer 1

替换成其他激活函数理论上是可以的，不过也有可能无法收敛，最好是高次的非线性函数，这样才好拟合

pytorch实现的话，参考李沐老师的系列教程应该就差不多了：

10 多层感知机 + 代码实现 - 动手学深度学习v2_哔哩哔哩_bilibili 动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/ https://www.bilibili.com/video/BV1hh411U7gn

课程主页：https://courses.d2l.ai/zh-v2/

教材：https://zh-v2.d2l.ai/