当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？

当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？
当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
额滴肾啊 2022-12-09 09:31
关注
如果这种数据占比较少，直接舍去，如果占比较多，可以尝试使用transformer-xl模型。

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？ opencv
2022-12-09 09:28

回答 1 已采纳如果这种数据占比较少，直接舍去，如果占比较多，可以尝试使用transformer-xl模型。
fast point transformer训练数据集时缺少cuda_sparse_ops 深度学习计算机视觉
2022-08-01 11:28

回答 1 已采纳这个一般是和显卡相关的一些东西，看名字应该是文件项目下面的用setup跑出来的文件会这么命名。你这个应该是个开源项目吧，仔细看下readme文件，里面一般会将怎么install项目并且运行demo，你
Transformer是哪一环节开始计算损失更新权值啊？ transformer 人工智能深度学习
2022-12-07 12:00

回答 1 已采纳可以参考下ChatGPT的答案：Transformer开始计算损失更新权值的环节是在完成训练之后，利用反向传播算法（Backpropagation）计算梯度，再根据梯度来更新权值参数。
实现高效生成式预训练Transformer模型：基于多模态数据融合和多任务学习的方法
2023-07-28 00:55

禅与计算机程序设计艺术的博客传统Transformer模型基于字符级别或者词级的文本，通常只进行了几层网络结构，而在实际生产环境中，任务不同，输入类型也不同，比如序列标注、序列生成等，会遇到不同的输入数据形式。因此，提出了用统一的预训练...
transformer语义分割能通过旋转进行数据增广吗？深度学习神经网络计算机视觉
2023-03-17 01:16

回答 2 已采纳参考GPT和自己的思路：是的，Transformer语义分割可以通过旋转进行数据增广。由于Transformer缺乏卷积的位置偏置，因此我们可以使用旋转、反转等方法来增加数据的多样性。在训练过程中，
swin transformer训练数据集如何添加负样本人工智能深度学习目标检测
2023-03-17 18:46

回答 7 已采纳参考GPT和自己的思路，1.添加负样本的方法负样本是指不属于目标类别的样本，一般用于训练分类器或检测器来增加模型的泛化能力。添加负样本的方式可以是随机采样、手动选择或者从其他数据集中选择。在训练过程中
transformer使用 python 有问必答
2022-10-08 12:33

回答 3 已采纳意思是没有这个do_sample关键字
【NLP相关】基于现有的预训练模型使用领域语料二次预训练
2023-03-05 09:23

Chaos_Wang_的博客在本篇博客中，我们使用的预训练模型是 BERT（Bidirectional Encoder Representations from Transformers）。BERT 是一种基于 Transformer 的预训练模型，由 Google 团队开发。它在多个自然语言处理任务上取得了最...
报错，该如何解决？求大家的帮助 pytorch transformer 图像处理
2023-03-02 19:52

回答 1 已采纳该回答引用GPTᴼᴾᴱᴺᴬᴵ这个报错可能是由于PyTorch版本的问题引起的。可能的解决方法如下：升级PyTorch版本：尝试升级到最新版本的PyTorch，以查看是否解决问题。检查安装的PyTo
pytorch的一个报错该如何解决？ pytorch transformer 图像处理
2023-03-03 16:34

回答 2 已采纳小魔女参考了bing和GPT部分内容调写:如果你使用的是pytorch1.5.1版本，那么你应该安装apex包的1.0.1版本。安装不对的话，可能会出现报错，比如模型训练时出现RuntimeError
transformer中，全连接层中的w需要训练么？人工智能机器学习深度学习
2022-12-12 17:20

回答 1 已采纳你说的全连接层的W指的是权重矩阵吧，肯定是要训练的。神经网络训练的主要目的就是更新权重矩阵的参数
Python数据分析案例33——新闻文本主题多分类(Transformer, 组合模型) 模型保存
2024-01-16 16:29

阡之尘埃的博客构建了['MLP', 'CNN', 'RNN', 'LSTM', 'GRU', 'TextCNN', 'Attention', 'Transformer', ']” 等14种模型，做新闻的文本主题预测。
三维重建中，transformer是怎么学习2D图像的深度值的？人工智能机器学习计算机视觉
2022-12-08 15:46

回答 1 已采纳望采纳transformer在三维重建中学习2D图像的深度值通常是通过单目视觉来实现的。它会计算图像中物体之间的几何关系，并利用这些信息来估计深度值。对于训练集，Transformer并不对图像有特殊
深度学习：transformer模型
2018-12-10 21:59

-柚子皮-的博客 Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn...
【NLP】第2章开始使用 Transformer 模型的架构
2022-09-25 09:51

Sonhhxg_柒的博客如果没有构成语言的词序列，文明就不会诞生。我们现在大多生活在语言数字表示的世界中。我们的日常生活依赖于 NLP 数字化语言功能：网络搜索引擎、电子邮件、社交网络、帖子、推文、智能手机短信、翻译、网页、流...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
系统已结题 12月17日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 12月9日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 12月9日

悬赏问题

¥20 java在应用程序里获取不到扬声器设备
¥15 echarts动画效果的问题，请帮我添加一个动画。不要机器人回答。
¥60 许可证msc licensing软件报错显示已有相同版本软件，但是下一步显示无法读取日志目录。
¥15 Attention is all you need 的代码运行
¥15 一个服务器已经有一个系统了如果用usb再装一个系统，原来的系统会被覆盖掉吗
¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时，终端显示出了sequence handled的进度条，但是并不出结果就自动终止回到命令提示行了是怎么回事：
¥15 前置放大电路与功率放大电路相连放大倍数出现问题
¥30 关于<main>标签页面跳转的问题
¥80 部署运行web自动化项目
¥15 腾讯云如何建立同一个项目中物模型之间的联系

当使用transformer模型时，如果语料里的数据的长度超过设置的max_length的时候，怎么解决？

1条回答 默认 最新

问题事件

悬赏问题

1条回答默认最新