llama2部署问题

Question

我的系统是cenos7 正在部署llama2，下载完权重执行下面俩个命令的时候出了 warnings.warn("Attempted to get default timeout for nccl backend, but NCCL support is not compiled")报错，但是我的服务器没有显卡不知道为什么会有这个报错，也不知道怎么处理

句子补全

torchrun --nproc_per_node 1 example_text_completion.py \ --ckpt_dir llama-2-7b/ \ --tokenizer_path tokenizer.model \ --max_seq_len 128 --max_batch_size 4

对话生成

torchrun --nproc_per_node 1 example_chat_completion.py \ --ckpt_dir llama-2-7b-chat/ \ --tokenizer_path tokenizer.model \ --max_seq_len 512 --max_batch_size 4

Answer 1

weixin_52564645 下午好🌅🌅🌅
本答案参考ChatGPT-3.5

这个报错可能是因为在部署llama2时，它尝试获取NCCL后端的默认超时时间，但是你的系统中没有安装NCCL库，导致报错。解决这个问题的方法有以下几种：

1. 安装NCCL库：NCCL是一个用于加速多GPU间通信的库，在部署llama2时需要用到。你可以根据你的系统和CUDA版本，到NVIDIA官网下载对应的NCCL库，并按照官方文档进行安装。

2. 忽略警告：这个警告并不影响程序的运行，你可以选择忽略它。可以添加以下代码在报错之前禁用警告：

   import warnings
   warnings.filterwarnings("ignore")
   

   或者可以在命令行运行时添加-W ignore参数来忽略警告：python -W ignore example_chat_completion.py。

3. 修改llama2源码：如果你确定你的系统不需要NCCL库，你可以尝试修改llama2的源码，将与NCCL相关的代码注释掉或删除掉。具体修改的位置可能在example_chat_completion.py文件的Llama.build()函数中。

综上所述，你可以根据实际情况选择其中一种解决方案来处理这个问题。希望对你有帮助！