问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
CoderGuo1988 2021-03-25 08:47
关注
貌似需要自己爬 Wikipedia + bookcorpus ，一些参考：

https://github.com/NVIDIA/DeepLearningExamples/blob/master/PyTorch/LanguageModeling/BERT/data/create_datasets_from_start.sh

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗自然语言处理
2021-03-23 11:39

回答 1 已采纳貌似需要自己爬 Wikipedia + bookcorpus ，一些参考： https://github.com/NVIDIA/DeepLearningExamples/blob/master/Py
2021年了，有哪些稳压bert和roberta的预训练模型？人工智能机器学习深度学习神经网络自然语言处理
2021-01-20 14:38

回答 1 已采纳 https://arxiv.org/abs/2106.11483
transfomer预训练模型每次加载后结果不同 bert pytorch 人工智能
2023-02-22 13:07

回答 2 已采纳 Huggingface 提供的预训练模型 bert-base-uncased 只包含 BertModel 的权重，不包括线性层 + 激活函数的权重。它的线性层 + 激活函数的权重是随机的，所以你的3次
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
2018-11-11 20:24

张俊林博客的博客本文可以任意转载，转载时请标明作者和出处。张俊林 2018-11-11 （如果图片浏览有问题可以转至：知乎版本） Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...
Bert训练完成的结果该怎么分析？ bert python 自然语言处理
2023-04-07 14:10

回答 2 已采纳 BERT 训练完成后，可以根据准确率、精确率、召回率和 F1 分数等指标进行分析。和前人的这些指标比较。要提高 BERT 模型的准确性，可以尝试以下策略：增加训练次数；更换学习率、优化器、丢弃率；使
bert模型训练时sklearn.__check_build._check_build问题 bert python sklearn
2023-04-06 17:58

回答 3 已采纳试试以下命令 pip uninstall sklearn pip install numpy scipy pip install scikit-learn
bert输出的概率值 bert 人工智能深度学习
2023-04-16 09:38

回答 2 已采纳这个 test_results.tsv 文件中的数据表示了每个输入样本在每个类别上的概率。在你提供的数据中，有两列，因此我猜测你的模型是一个二分类问题。第一列表示属于类别 0 的概率，第二列表示属于类
从Word Embedding到Bert模型：自然语言处理中的预训练技术发展史
2019-09-27 11:55

XB_please的博客作者：张俊林专栏：深度学习前沿笔记目录： 1.图像领域的预训练 2.Word Embedding考古史 3.从Word Embedding到...本文的主题是自然语言处理中的预训练过程，会大致说下NLP中的预训练技术是一步一步如何发展到Bert...
bert pytorch bert python pytorch
2023-03-12 09:34

回答 8 已采纳该回答引用GPTᴼᴾᴱᴺᴬᴵ根据您提供的错误信息，可能是因为该目录的完整路径中包含中文字符，而torch.save()函数在保存文件时可能会遇到中文字符的编码问题，从而导致无法保存模型。为了解决这个
你好你好，我最近在尝试用bert模型进行情感分析三分类，看了你的博客受益匪浅，但是遇到了一些问题 bert python
2022-05-22 19:36

回答 1 已采纳这种差不多有两种情况，一个是设置参数过大导致GPU内存不足一开始就无法承载模型，这时可以把输入数据长度或者训练批次逐步调小进行实验；二是GPU其实可以承载模型，参数也没问题，但是可能由于多次运行程序或
BERT文本二分类LOSS变化 bert pytorch 分类
2023-03-24 21:10

回答 1 已采纳对于严重不均衡的数据集，模型容易出现偏差，导致对于少数类的预测效果较差。因此，需要对数据集进行一些处理来平衡数据，以提高模型的预测能力。具体处理方法有以下几种：过采样（Oversampling）：
从word2vec到bert：NLP预训练模型发展史
2019-09-26 14:48

文文学霸的博客另外一方面因为ImageNet有1000类，类别多，算是通用的图像数据，跟领域没太大关系，所以通用性好，预训练完后哪哪都能用，是个万金油。分量足的万金油当然老少通吃，人人喜爱。听完上述话，如果你是具备研究素质...
BERT问题，无法解决，求帮助？ bert python tensorflow
2021-07-21 10:53

回答 1 已采纳你要打印这个line的值看看，是不是有两个元素能取到[1] 这个索引
【NLP】从WE、ELMo、GPT到Bert模型—自然语言处理中的预训练技术发展史
2020-02-21 21:23

夜空骑士的博客 Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，...
【发展史】自然语言处理中的预训练技术发展史—Word Embedding到Bert模型
2021-07-09 18:43

LeeZhao@的博客目录自然语言处理中的预训练技术发展史—Word Embedding到Bert模型1 图像领域的预训练2 Word Embedding考古史3 从Word Embedding到ELMO4 从Word Embedding到GPT5 Bert的诞生自然语言处理中的预训练技术发展史—Word...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 7月19日

悬赏问题

¥15 spss统计中二分类变量和有序变量的相关性分析可以用kendall相关分析吗？
¥15 拟通过pc下指令到安卓系统，如果追求响应速度，尽可能无延迟，是不是用安卓模拟器会优于实体的安卓手机？如果是，可以快多少毫秒？
¥20 神经网络Sequential name=sequential, built=False
¥16 Qphython 用xlrd读取excel报错
¥15 单片机学习顺序问题！！
¥15 ikuai客户端多拨vpn，重启总是有个别重拨不上
¥20 关于#anlogic#sdram#的问题，如何解决？(关键词-performance)
¥15 相敏解调 matlab
¥15 求lingo代码和思路
¥15 公交车和无人机协同运输

问下有人知道和BERT论文用的一模一样的预训练源数据从哪找吗

1条回答 默认 最新

问题事件

悬赏问题

1条回答默认最新