问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗
问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- -Love-Coding- 2021-03-25 08:47关注
貌似需要自己爬 Wikipedia + bookcorpus ，一些参考：
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2018-11-11 20:24张俊林博客的博客 本文可以任意转载，转载时请标明作者和出处。 张俊林 2018-11-11 （如果图片浏览有问题可以转至：知乎版本） Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...
- 2019-09-27 11:55XB_please的博客 作者：张俊林 专栏：深度学习前沿笔记 目录： 1.图像领域的预训练 2.Word Embedding考古史 3.从Word Embedding到...本文的主题是自然语言处理中的预训练过程，会大致说下NLP中的预训练技术是一步一步如何发展到Bert...
- 2019-09-26 14:48文文学霸的博客 另外一方面因为ImageNet有1000类，类别多，算是通用的图像数据，跟领域没太大关系，所以通用性好，预训练完后哪哪都能用，是个万金油。 分量足的万金油当然老少通吃，人人喜爱。 听完上述话，如果你是具备研究素质...
- 2020-02-21 21:23夜空骑士的博客 Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，...
- 2021-07-09 18:43LeeZhao@的博客 目录自然语言处理中的预训练技术发展史—Word Embedding到Bert模型1 图像领域的预训练2 Word Embedding考古史3 从Word Embedding到ELMO4 从Word Embedding到GPT5 Bert的诞生 自然语言处理中的预训练技术发展史—Word...
- 2020-12-22 16:39内酷少女的博客 Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，...
- 2018-11-21 16:48zenRRan的博客 编辑 AI科技大本营作者简介：张俊林，中国中文信息学会理事，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林曾经在阿里巴巴任资深技术专家，以及在百度和用友担任技术经理及技...
- 2019-01-31 22:04BruceCheen的博客 Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，...
- 2023-06-03 13:27沧海之巅的博客 通过上述的讲解，对图像预训练做个总结（可参照上图）：对于一个具有少量数据的任务 A，首先通过一个现有的大量数据搭建一个 CNN 模型 A，由于 CNN的浅层学到的特征通用性特别强，因此在搭建一个 CNN 模型 B，其中...
- 没有解决我的问题, 去提问
问题事件
已采纳回答
7月19日