如何计算Bert based模型中的激活函数的个数？

激活函数中有三种激活函数，分别是softmax,Gelu, Tanh.

Bert based模型结构如图

把每个激活函数层的输出值打印出来之后是下图

请问计算Bert based模型中的激活函数的个数？

报告相同问题？

关注问题

跑一个bert模型出了点问题？ pycharm tensorflow 自然语言处理
2022-09-28 13:12

回答 1 已采纳建议你看下这篇博客👉 ：bert模型训练时的一些问题及解决方法
2021年了，有哪些稳压bert和roberta的预训练模型？人工智能机器学习深度学习神经网络自然语言处理
2021-01-20 14:38

回答 1 已采纳 https://arxiv.org/abs/2106.11483
bert模型请求帮助 bert python 深度学习
2023-03-08 11:19

回答 2 已采纳 “Devil组”引证GPT后的撰写：这个错误提示意味着在运行Google官方的BERT模型时必须指定"max_steps"参数的值大于0。"max_steps"是指训练模型的最大步数，也就是最大训练
bert-ini:一种基于bert的实体对齐交互模型
2022-04-04 22:19

未来科技工作室的博客本次分享一项来自IJCAI-20的实体对齐工作，该工作提出了一种不同于以往的采用图结构信息进行实体对齐的技术方案，该方案取得了当时...不仅如此，模型本身的对齐效率在该项工作中也被考虑，实际工作中非常具备借鉴意义。
BERT模型的详细介绍
2021-04-01 16:42

IT之一小佬的博客 BERT模型的详细介绍 1.BERT 的基本原理是什么？ BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT 是“Bidirectional Encoder Representations from ...
没有解决我的问题, 去提问