一、问题描述
在本地基于 P-Tuning v2 微调chatGLM模型的时候出现了一些问题。问题为ModuleNotFoundError: No module named 'transformers_modules.'
操作步骤如下:
1、下载项目,ChatGLM-6B项目和P-tuning-v2项目,并下载了chatglm-6B模型,将三个文件放置在同一文件夹下;如下图所示:
2、创建conda环境,进入环境,切换到项目文件夹下,下载项目依赖pip install -r requirements.txt;
3、测试启动python web_demo.py,可以正常启动chatGLM模型,会跳转到一个网页,可以正常问答;
4、关闭模型,重新进入环境,并将目录切换到微调文件夹下(D:\myAImodel\ChatGLM-6B-main\ptuning),下载依赖pip install rouge_chinese nltk jieba datasets和官方提供的广告数据集,解压,放在ptuning文件夹下;
5、启动训练bash train.sh,出现如下错误:
二、问题溯源
1、检查是否正确安装transformers和版本是否官方要求:
没有问题。
2、升级transformers版本,官方要求4.27.1,升级至最新4.29.1
再运行训练bash train.sh,老问题,并没有解决。