Qwen2.5-7B的NER测评代码，跑到train这里卡住不动了是什么原因？

Question

在运行这里，AI修改的代码跑卡在这里不动了，是哪里错了吗，我看不出来。是Qwen2.5-7B有4个model，我导在同一个的问题，还是哪里出现问题了?求大家帮忙

Answer 1

回答引用自GPT-4o，由博主小ᶻZ࿆编写，若还有疑问可评论或留言：

在运行Qwen2.5-7B模型的NER测评代码时，训练阶段卡住不动可能由以下几个原因引起：

1. 模型加载问题

如果一次性加载4个模型，可能会导致内存不足或计算资源被占满。建议逐步加载模型并检查资源占用情况：

# 检查系统资源使用
import os
import psutil

# 查看CPU和内存使用情况
print("CPU 使用率:", psutil.cpu_percent())
print("内存使用情况:", psutil.virtual_memory())

2. 数据加载与处理问题

检查数据加载过程，确认数据正确加载且无数据瓶颈。大数据集可能需要更高效的批处理方案。

3. 调整batch size

如果是显存不足导致的卡顿，可以尝试减小batch size。

# 示例：设置较小的batch size
batch_size = 4

4. 日志与调试

使用日志记录每个步骤，观察程序停滞的位置：

import logging

logging.basicConfig(level=logging.INFO)
logging.info("开始加载数据")
# 数据加载代码
logging.info("数据加载完成")
# 其他代码