九筒- 2022-07-07 15:35 采纳率: 100%
浏览 534
已结题

Pytorch调用bertEncoderbaTypeError: forward() missing 1 required positional argument: 'attention_mask'

问题与背景

在调用pytorch库的bert encoder报错,报错内容:

TypeError: forward() missing 1 required positional argument: 'attention_mask'
相关代码
from pytorch_transformers import BertModel,BertConfig
class Summarizer(nn.Module):
  def __init__(self,args, word_padding_idx, vocab_size, device, checkpoint=None):
    self.bert = Bert(args.large, args.temp_dir, args.finetune_bert)
    config = BertConfig(self.vocab_size)
    self.encoder = self.bert.model.encoder(config)
我的解答思路和尝试过的方法
# 替换self.encoder = self.bert.model.encoder(config)
# 方案1
self.encoder = self.bert.model.encoder()
# 方案2
self.encoder = self.bert.model.encoder
# 方案3
self.encoder = self.bert.model.encoder(config)
# 方案3指定固定参数
self.encoder = self.bert.model.encoder(768, [0,1])
思考

bert在实例化self.bert=Bert()时,bert对象已经包含了bert_embedding和bert_encoder等结构。

  1. 请问此时能否说明模型的编码器已经使用了bert编码器?
  2. 请问是否需要单独指定模型的编码器self.encoder = self.bert.model.encoder()?
模型结构更直观一些

模型:bert_embedding+transformer_encoder+transformer_decoder
结构:
self{
    bert{
        embedding()
        encoder()
        decoder()
    }
    (encoder)transformer_encoder{}
    (decoder)transformer_decoder{}
}

模型:bert_embedding+bert_encoder+transformer_decoder
结构:
self{
    bert{
        embedding()
        encoder()  # flag1
        decoder()
    }
    (encoder)bert_encoder{} # flag2 # 这里是否需要单独指定bert_encoder尚不确定,可能会和flag1位置指向同一个地址产生递归
    (decoder)transformer_decoder{}
}
  • 写回答

2条回答 默认 最新

  • 九筒- 2022-07-22 21:41
    关注

    已解决,根本原因是数据格式的问题,在使用bert_encoder之前,需要将数据格式转换为BertData()格式

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 7月30日
  • 已采纳回答 7月22日
  • 创建了问题 7月7日

悬赏问题

  • ¥15 Pythontxt文本可视化
  • ¥15 如何基于Ryu环境下使用scapy包进行数据包构造
  • ¥15 springboot国际化
  • ¥15 搭建QEMU环境运行OP-TEE出现错误
  • ¥15 Minifilter文件保护
  • ¥15 有限元软件终止时间超过设定值
  • ¥15 onvif框架引用一直报错
  • ¥50 C#和C++混合编程,使用CLR托管,报错System.Runtime.InteropServices.SEHException
  • ¥30 .NET使用sqlite发布后报错
  • ¥15 Unity在WebGL平台导出Word报错问题