chatGLM3-6B 验证部署出现错误

Question

使用autoDL在终端进行部署chatglm3-6b的时候，使用

python cli_demo.py

进行验证的时候出现了以下报错:

FileNotFoundError: No such file or directory: "../finetune_chatmodel_demo/chatglm3-6b/model-00001-of-00007.safetensors"

我看错误显示的是找不到"model-00001-of-00007.safetensors"文件，但是我最开始已经在huggingface上复制了链接进行了下载，七个都下载了，下载的是: model-00001-of-00007.bin 文件。感觉就是文件格式问题可是不知道怎么改

Answer 1

引自免费微信小程序：皆我百晓生

根据您提供的信息，问题出现在找不到"model-00001-of-00007.safetensors"文件。您之前下载的是"model-00001-of-00007.bin"文件。这可能是您下载的模型文件格式不正确导致的问题。

为了解决这个问题，您可以尝试以下步骤：

1. 确认您下载的模型文件格式是否正确。您可以通过访问下载链接再次确认文件格式。确保下载的是正确的文件。如果文件格式不正确，重新下载正确的模型文件。

2. 如果您下载的模型文件不再是"safetensors"格式，并且没有提供相应的转换工具或文档，您可以尝试在代码中修改加载模型的方式。

在您的代码中，找到以下代码行：

model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval()

请确保在from_pretrained函数中提供的MODEL_PATH是正确的并且包含了正确的模型文件。

1. 如果您下载的模型文件是其他格式，例如".bin"文件，但您的代码期望加载"safetensors"格式的文件，您可能需要进行格式转换。您可以尝试查找转换工具或转换代码示例，将模型文件从".bin"格式转换为"safetensors"格式。

请注意，上述解决步骤可能需要您根据您的具体情况进行调整。如果您仍然遇到问题，请提供更多细节，以便我能够更好地帮助您解决问题。