关于#DANetAttention#的问题，如何解决？(标签-ar)

Question

博主你好，我下载了您的DANet Attention.rar，但是有个问题想请教一下，在运行过程中缺少了这两个模块from SelfAttention import ScaledDotProductAttention，from SimplifiedSelfAttention import SimplifiedScaledDotProductAttention请问需要怎么解决呢？

Answer 1

引自免费微信小程序：皆我百晓生

要解决这个问题，你需要在你的Python环境中导入相应的自定义注意力模块。看起来这些模块是专门为DANet（Dual Attention Network）设计的自定义注意力机制。为了引入这些模块，你需要创建一个名为SelfAttention.py和SimplifiedSelfAttention.py的文件，并在其中编写相应的类。

首先，让我们创建SelfAttention.py文件，包含ScaledDotProductAttention类：

class ScaledDotProductAttention(nn.Module):
    def __init__(self, temperature, attn_dropout=0.1):
        super().__init__()
        self.temperature = temperature
        self.dropout = nn.Dropout(attn_dropout)

    def forward(self, q, k, v, mask=None):
        attn = torch.matmul(q / self.temperature, k.transpose(-2, -1))
        
        if mask is not None:
            attn = attn.masked_fill(mask == 0, -1e9)
        
        attn = self.dropout(F.softmax(attn, dim=-1))
        output = torch.matmul(attn, v)
        
        return output, attn

接下来，我们创建SimplifiedSelfAttention.py文件，包含SimplifiedScaledDotProductAttention类：

import torch.nn as nn

class SimplifiedScaledDotProductAttention(nn.Module):
    def __init__(self, dropout=0.1):
        super().__init__()
        self.dropout = nn.Dropout(dropout)

    def forward(self, q, k, v, mask=None):
        attn = torch.bmm(q, k.transpose(1, 2))

        if mask is not None:
            attn.data.masked_fill_(mask, -float('inf'))

        attn = F.softmax(attn, dim=-1)
        attn = self.dropout(attn)
        output = torch.bmm(attn, v)

        return output, attn

将以上代码保存到相应的Python文件后，确保它们与你的主脚本在同一目录下，或者将它们放在你的Python路径中的某个位置。然后在你的主脚本中，你可以像这样导入这两个类：

from SelfAttention import ScaledDotProductAttention
from SimplifiedSelfAttention import SimplifiedScaledDotProductAttention

如果你的项目结构不同，可能需要调整导入语句，例如，如果这些模块位于子目录中，你可能需要使用相对导入或绝对导入，取决于你的需求。例如，如果它们在一个叫做attention_modules的子目录中：

from attention_modules.SelfAttention import ScaledDotProductAttention
from attention_modules.SimplifiedSelfAttention import SimplifiedScaledDotProductAttention

请确保替换上述代码中的nn.Module为实际使用的PyTorch版本对应的nn.Module，因为有时不同版本的PyTorch可能会有细微差异。一般来说，上面的代码应该适用于较新的PyTorch版本（如1.7.x及以上）。