如何计算Bert based模型中的激活函数的个数？

Question

激活函数中有三种激活函数，分别是softmax,Gelu, Tanh.

Bert based模型结构如图

把每个激活函数层的输出值打印出来之后是下图

请问计算Bert based模型中的激活函数的个数？

Answer 1

总共有7个激活函数：Softmax，GELU，Tanh，ReLU，sigmoid，ELU，Leaky ReLU。