问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗

报告相同问题？

关注问题

问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗自然语言处理
2021-03-23 11:39

回答 1 已采纳貌似需要自己爬 Wikipedia + bookcorpus ，一些参考： https://github.com/NVIDIA/DeepLearningExamples/blob/master/Py
2021年了，有哪些稳压bert和roberta的预训练模型？人工智能机器学习深度学习神经网络自然语言处理
2021-01-20 14:38

回答 1 已采纳 https://arxiv.org/abs/2106.11483
transfomer预训练模型每次加载后结果不同 bert pytorch 人工智能
2023-02-22 13:07

回答 2 已采纳 Huggingface 提供的预训练模型 bert-base-uncased 只包含 BertModel 的权重，不包括线性层 + 激活函数的权重。它的线性层 + 激活函数的权重是随机的，所以你的3次
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
2018-11-11 20:24

张俊林博客的博客本文可以任意转载，转载时请标明作者和出处。张俊林 2018-11-11 （如果图片浏览有问题可以转至：知乎版本） Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...
没有解决我的问题, 去提问