BERT_CCPoem相关问题

Question

第一次使用BERT_CCPoem，能不能帮忙看看有什么问题。

import pandas as pd
from transformers import BertTokenizer, BertForSequenceClassification
import torch

#读取Excel表格数据
excel_file = 'C:\\Users\\86166\\Desktop\\tangshi_Cdata.xlsx'
df = pd.read_excel(excel_file)
#初始化BERT模型和tokenizer
tokenizer = BertTokenizer.from_pretrained("C:\\Users\\86166\\Desktop\\BERT_CCPoem_v1")
model = BertForSequenceClassification.from_pretrained("C:\\Users\\86166\\Desktop\\BERT_CCPoem_v1", num_labels=2)  # 二分类情感分析模型
def analyze_sentiments(poetry_texts):
    #使用tokenizer将文本转换为模型所需的input_ids张量
    inputs = tokenizer(poetry_texts, return_tensors='pt', padding=True, truncation=True)
    # 输入input_ids到模型中，获取模型输出
    outputs = model(**inputs)
    #获取模型预测的情感分数
    logits = outputs.logits
    probabilities = torch.softmax(logits, dim=1)
    positive_scores = probabilities[:, 1].tolist()
    return positive_scores

#对每首诗进行情感分析
batch_size = 8
sentiment_scores = []
poetry_texts_batch = []

for index, row in df.iterrows():
    poetry_text = row['古诗内容']
    poetry_texts_batch.append(poetry_text)

    if len(poetry_texts_batch) == batch_size:
        #批处理情感分析
        batch_scores = analyze_sentiments(poetry_texts_batch)
        sentiment_scores.extend(batch_scores)
        poetry_texts_batch = []

#处理剩余的文本
if poetry_texts_batch:
    batch_scores = analyze_sentiments(poetry_texts_batch)
    sentiment_scores.extend(batch_scores)

# 将情感分数保存到DataFrame中
df['情感分数'] = sentiment_scores
# 将带有情感分数的DataFrame保存回Excel文件
output_file = 'C:\\Users\\86166\\Desktop\\tangshi_sentiment.xlsx'
df.to_excel(output_file, index=False)

print(f"情感分数已保存到 {output_file}")

以上是部分运行结果

Answer 1

【以下回答由 GPT 生成】

首先，需要检查以下几个问题：

1. BERT_CCPoem模型和tokenizer的路径是否正确。请确保路径指向正确的模型文件夹。

2. 是否正确导入了必要的库和模块。确保已正确安装所需的库和模块（如pandas、transformers和torch）。

3. 数据文件的路径是否正确。请确保excel_file变量中的路径指向正确的Excel文件。

4. 数据格式是否正确。检查Excel文件中是否存在名为"古诗内容"的列，并且该列包含需要进行情感分析的文本数据。

5. 必要的模型配置是否正确。检查BertForSequenceClassification实例化时传递的参数是否正确，确保模型的输出与你的问题相关。

6. 是否正确使用tokenizer。在tokenizer函数中，检查是否使用了正确的输入文本数据，并确认返回的inputs张量是否包含正常的内容。

根据这些问题，下面是一份你所提供代码的改进版：

import pandas as pd
from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 读取Excel表格数据
excel_file = 'C:\\Users\\86166\\Desktop\\tangshi_Cdata.xlsx'
df = pd.read_excel(excel_file)

# 初始化BERT模型和tokenizer
model_path = "C:\\Users\\86166\\Desktop\\BERT_CCPoem_v1"
tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertForSequenceClassification.from_pretrained(model_path, num_labels=2)  # 二分类情感分析模型

def analyze_sentiments(poetry_texts):
    # 使用tokenizer将文本转换为模型所需的input张量
    inputs = tokenizer(poetry_texts, return_tensors='pt', padding=True, truncation=True)

    # 输入input张量到模型中，获取模型输出
    outputs = model(**inputs)

    # 获取模型预测的情感分数
    logits = outputs.logits
    probabilities = torch.softmax(logits, dim=1)
    positive_scores = probabilities[:, 1].tolist()

    return positive_scores

# 对每首诗进行情感分析
batch_size = 8
sentiment_scores = []
poetry_texts_batch = []

for index, row in df.iterrows():
    poetry_text = row['古诗内容']
    poetry_texts_batch.append(poetry_text)

    if len(poetry_texts_batch) == batch_size:
        # 批处理情感分析
        batch_scores = analyze_sentiments(poetry_texts_batch)
        sentiment_scores.extend(batch_scores)
        poetry_texts_batch = []

# 处理剩余的文本
if poetry_texts_batch:
    batch_scores = analyze_sentiments(poetry_texts_batch)
    sentiment_scores.extend(batch_scores)

# 将情感分数保存到DataFrame中
df['情感分数'] = sentiment_scores

# 将带有情感分数的DataFrame保存回Excel文件
output_file = 'C:\\Users\\86166\\Desktop\\tangshi_sentiment.xlsx'
df.to_excel(output_file, index=False)

print(f"情感分数已保存到 {output_file}")

请按照上面给出的改进版代码进行尝试，并检查是否解决了问题。如果没有解决问题，请提供相关错误信息以进行进一步的调查。

【相关推荐】

• 给你找了一篇非常好的博客，你可以看看是否有帮助，链接：ALBert论文阅读笔记-缩减版的bert，模型参数更少，性能更好
• 除此之外, 这篇博客: 论文笔记 CCL 2020|基于BERT的端到端中文篇章事件抽取中的 2 方法 部分也许能够解决你的问题。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^