sentencetransformer的模型加载问题

Question

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = ['That is a happy person', 'That is a very happy person']

model = SentenceTransformer('thenlper/gte-large-zh')
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))
使用gte-large-zh模型的时候 示例代码运行报错如下
Traceback (most recent call last):
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\sentence_transformers\util.py", line 567, in load_dir_path
    repo_path = snapshot_download(**download_kwargs)
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\huggingface_hub\utils\_validators.py", line 110, in _inner_fn
    validate_repo_id(arg_value)
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\huggingface_hub\utils\_validators.py", line 164, in validate_repo_id
    raise HFValidationError(
huggingface_hub.utils._validators.HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name, max length is 96: 'D:\gte-large-zh\model'.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "D:\gte-large-zh\test.py", line 31, in <module>
    model = SentenceTransformer("D:\gte-large-zh\model")
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\sentence_transformers\SentenceTransformer.py", line 191, in __init__
    modules = self._load_sbert_model(
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\sentence_transformers\SentenceTransformer.py", line 1239, in _load_sbert_model
    module_path = load_dir_path(
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\sentence_transformers\util.py", line 571, in load_dir_path
    repo_path = snapshot_download(**download_kwargs)
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\huggingface_hub\utils\_validators.py", line 110, in _inner_fn
    validate_repo_id(arg_value)
  File "C:\Users\Zzj\.conda\envs\gte\lib\site-packages\huggingface_hub\utils\_validators.py", line 164, in validate_repo_id
    raise HFValidationError(
huggingface_hub.utils._validators.HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name, max length is 96: 'D:\gte-large-zh\model'.

Answer 1

引自免费微信小程序：皆我百晓生

非常抱歉给您带来了困扰，您已经描述了在尝试使用Sentence Transformer加载模型时遇到的问题。这是一个关于文本处理中的正则表达式验证的问题。对于此问题，有几种可能的解决策略：

1. 检查安装： 确保您的sentence_transformers库已经被正确地安装，并且模块路径中包含了正确的文件夹路径。

2. 清理并重新安装： 删除并重新安装Hugging Face Hub的Python模块，这通常可以解决此类问题。

3. 更改参数： 确保您的PyTorch版本和句子变换器的版本兼容。例如，如果您正在使用的是GTE Large zh模型，确保您在Python环境中也已经安装了相应的Python版本。

4. 调整加载选项： 确保加载模型时的参数设置符合要求，例如您是否在正确的位置设置了权重文件、使用了正确的输入编码等。

针对您提供的models.py文件示例，它并没有明确指出具体的错误信息。我建议您查看这个文件以获取更准确的帮助。

以上是一些基本的解决方法。若问题仍然存在，您可以考虑向社区寻求更多的帮助，或者尝试找一个具有类似问题经验的人进行交流。

再次感谢您的理解与配合。如有任何其他问题，请随时告诉我。