Hugging Face Qwen-VL

Question

如何解决这个问题，Transformer 框架加载 AutoProcessor、AutoTokenizer 时，会自动从模型依赖库中解析或动态生成这些文件。但如果你 手动下载仓库，就得不到这些文件。

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

Hugging Face Qwen-VL

你遇到的问题是，使用 Hugging Face 的 Transformer 框架时，加载 AutoProcessor 和 AutoTokenizer 会自动从模型依赖库中解析或动态生成这些文件，但是如果你手动下载仓库，就得不到这些文件。

解决方案是，你可以使用 --no-load-weights 选项来禁用自动加载权重文件的功能。例如：

python -m transformers --no-load-weights AutoProcessor

这将禁用自动加载权重文件的功能，你可以手动下载和解压模型依赖库中的文件，然后手动加载它们。

另外，你也可以使用 transformers.AutoProcessor.from_pretrained 方法来手动加载模型依赖库中的文件。例如：

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained('path/to/model/dependencies')

这将手动加载模型依赖库中的文件，然后你可以使用 processor 对象来进行预处理和 tokenization。