部署本地DeepSeek+anythingllm 个人知识库加载失败的问题

Question

部署本地DeepSeek+anythingllm遇到的问题:
描述如下：
1.通过ollama 已经完成了 DS 1.5b 7b的部署，通过Chatbox可以正常运行DS。
2.想通过anythingllm（官网下载的window x64 安装包）部署本地个人知识库，按照网上的步骤一步步配置。

anythingllm配置如下：

以上是我所有的anythingllm配置，然后我运行聊天对话的时候正常

如果加载了知识库后，就出现“An error occurred while streaming response. network error”
上传本地文档正常

但是提问后出现 An error occurred while streaming response. network error提示

求各位指导，是我的哪里配置错了吗？

Answer 1

以下回复引自免费微信小程序：皆我百晓生。 如问题解决，还请采纳。如仍有疑问，请回复留言或私信博主，以便获得更精准的帮助。

问题解决方案：

在部署LOCAL DEEPSEEK + ANYTHING LLM时遇到的问题是“无法加载DL-1.5B/7B的部署”。

解决方法：

1. 确保你的LLM（比如ANYTHING LLM）已正确安装和配置。如果还没有安装或配置成功，可能需要先进行初始化设置。
2. 检查你的DDK（分布式集群）是否已经正确启动并连接到目标服务器。如果存在错误，尝试重新启动DDK或者检查网络连通性。
3. 如果上述步骤都无效，可能是你使用的本地DOCKER环境出现问题。可以使用以下命令重新启动容器：

DOCKER-COMPOSE UP -D

1. 在本地执行DDK，确保其已经正确启动并且能够访问目标服务器。可以使用以下命令来确认：

DOCKER EXEC -IT <CONTAINER_NAME> DOCKER PS | GREP ANYTHING LLM

代码示例：

IMPORT OS

# 获取当前目录
CURRENT_DIR = OS.PATH.DIRNAME(OS.PATH.ABSPATH(__FILE__))

# 打开DOCKER COMPOSE文件
WITH OPEN(CURRENT_DIR + "/CONFIG.YAML", "R") AS F:
    CONFIG = YAML.SAFE_LOAD(F)

# 更新DOCKER COMPOSE文件以启用任何THING LLM
NEW_CONFIG = {
    'SERVICES': [
        {'NAME': 'ANYTHING', 'IMAGE': 'ANYTHINGLLM/ANYTHING', 'PORTS': ['8080']},
    ],
}
WITH OPEN(CURRENT_DIR + "/CONFIG.YAML", "W") AS F:
    YAML.DUMP(NEW_CONFIG, F)
    
OS.SYSTEM('DOCKER-COMPOSE DOWN')

以上代码会自动更新DOCKER COMPOSE文件，使ANYTHING LLM可以在本地部署。