在进行命名实体识别模型微调后出现问题

Question

想问一个跟微调模型有关的问题，就是Huggingface上面有一个课程token classification,然后想着跟着课程跑一边代码，按照它（课程）步骤进行数据处理，模型微调，到最后用微调模型测试时就返回了一个空格，没返回结果，出现这种情况是因为什么？

Answer 1

引自免费微信小程序：皆我百晓生

看起来你在尝试使用Hugging Face库中的transformers模块对预训练模型进行微调，并应用于命名实体识别任务。遇到返回空结果的情况，可能的原因有很多，包括但不限于数据预处理错误、模型配置不当、训练参数设置不正确等。我会提供一些排查建议和示例代码，帮助你解决这个问题。

首先，确保你的数据预处理是正确的。你需要将原始文本转换为适合输入到BERT或其他预训练模型的形式。这通常涉及到将文本分词，添加特殊标记（[CLS] 和 [SEP]），并填充/截断序列以达到固定的长度。下面是一个基本的数据预处理例子，使用了transformers库中的Tokenizer类：

from transformers import BertTokenizerFast

# 假设你的训练数据存储在一个列表中，每个元素包含一对文本和标签
train_data = [("This is a sample sentence.", "O"), ...]

# 加载预训练的tokenizer
tokenizer = BertTokenizerFast.from_pretrained('bert-base-uncased')

def preprocess_data(data):
    input_ids, attention_masks, labels = [], [], []
    
    for text, label in data:
        encoded_dict = tokenizer.encode_plus(
            text,
            add_special_tokens=True,
            max_length=512,  # 可根据实际情况调整最大长度
            pad_to_max_length=True,
            return_attention_mask=True,
            return_tensors='pt',
        )
        
        input_ids.append(encoded_dict['input_ids'])
        attention_masks.append(encoded_dict['attention_mask'])
        labels.append(encoded_dict['labels'])  # 如果数据已经编码为对应的数字标签
        
    return torch.cat(input_ids), torch.cat(attention_masks), torch.tensor(labels)

input_ids, attention_masks, labels = preprocess_data(train_data)

接下来，确认模型配置是否正确。在微调过程中，你可能需要调整模型的输出层，使其适应命名实体识别的任务。例如，如果你有3个不同的实体类别，你需要修改模型的分类头（classifier head）以产生3个输出值，而不是默认的1个。

from transformers import BertForTokenClassification

model = BertForTokenClassification.from_pretrained('bert-base-uncased', num_labels=3)  # 根据实际类别数替换3

然后检查训练过程，确保损失函数、优化器、学习率调度器以及训练轮数都设置得当。这是一个基本的训练循环示例：

from torch.utils.data import Dataset, DataLoader
import torch.optim as optim

class NERDataset(Dataset):
    def __init__(self, input_ids, attention_masks, labels):
        self.input_ids = input_ids
        self.attention_masks = attention_masks
        self.labels = labels

    def __len__(self):
        return len(self.input_ids)

    def __getitem__(self, idx):
        return {
            'input_ids': self.input_ids[idx],
            'attention_mask': self.attention_masks[idx],
            'labels': self.labels[idx]
        }

dataset = NERDataset(input_ids, attention_masks, labels)
dataloader = DataLoader(dataset, batch_size=8, shuffle=True)

optimizer = optim.AdamW(model.parameters(), lr=2e-5)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=40, gamma=0.1)

num_epochs = 3  # 调整为实际的训练轮数

for epoch in range(num_epochs):
    model.train()
    for batch in dataloader:
        optimizer.zero_grad()
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        scheduler.step()

model.eval()

最后，在评估阶段，你需要从预测的softmax概率中找到概率最高的标签。这可以通过torch.argmax()实现。以下是评估代码示例：

def evaluate(model, dataloader):
    model.eval()
    predictions, true_labels = [], []

    with torch.no_grad():
        for batch in dataloader:
            outputs = model(**batch)
            logits = outputs.logits
            preds = torch.argmax(logits, dim=-1).tolist()
            true_labels.extend(batch["labels"].tolist())
            predictions.extend(preds)

    return predictions, true_labels

predictions, true_labels = evaluate(model, dataloader)

通过以上步骤，你应该能更好地理解模型的运行情况，并找出导致空结果的原因。如果有任何具体错误信息或更详细的调试信息，请提供，以便我能进一步帮助你分析。