Dify支持哪些大模型接入？

Question

Dify支持哪些大模型接入？常见的问题是：如何在Dify中配置和切换不同的大语言模型（LLM），如通义千问、百川、ChatGLM、Llama系列等？用户常遇到模型API密钥配置失败、模型响应超时或返回格式不兼容等问题。特别是在私有化部署或使用本地模型时，如何正确对接Hugging Face或Ollama运行的模型实例？此外，Dify对开源与商业模型的调用方式有何差异？了解Dify支持的模型列表及其对应的接口规范、认证方式和网络要求，是确保模型顺利接入的关键。

Answer 1

1. Dify 支持的大模型接入概览

Dify 是一个开源的低代码 AI 应用开发平台，支持灵活接入多种大语言模型（LLM）。其核心优势在于统一抽象了不同模型的调用接口，使得开发者可以在不修改应用逻辑的前提下切换底层模型。目前 Dify 支持以下几类主流模型：

• 商业闭源模型：如 OpenAI 的 GPT-3.5、GPT-4，Anthropic 的 Claude 系列，阿里云通义千问（Qwen），百度文心一言，讯飞星火等。
• 开源模型 API 服务：包括百川智能的 Baichuan、智谱 AI 的 ChatGLM、MiniMax、Moonshot 等提供的 RESTful 接口模型。
• 本地/私有化部署模型：通过 Hugging Face Transformers + FastAPI 封装、Ollama、vLLM、Llama.cpp 等运行的开源模型（如 Llama-2、Llama-3、Qwen、ChatGLM3）。

这些模型可通过标准 API 协议或自定义 Provider 模块集成到 Dify 中，实现“即插即用”式的模型管理与调度。

2. 配置与切换大语言模型的技术路径

在 Dify 中配置和切换 LLM 主要分为三个层次：模型注册、环境变量设置、应用绑定。

1. 进入「模型管理」模块：在 Dify Web UI 的左侧导航栏中选择「Model Management」。
2. 添加新模型提供者（Provider）：点击「Add Provider」，选择对应服务商（如 OpenAI、HuggingFace、Ollama、Custom）。
3. 填写认证信息：输入 API Key、Base URL（用于私有化实例）、项目 ID（如有）。
4. 测试连接有效性：Dify 提供一键测试功能，验证网络可达性与凭证正确性。
5. 发布为可用模型：成功后可将该模型设为默认或用于特定应用。
6. 在应用中切换模型：编辑 Prompt 编排流程时，在 LLM 节点头部下拉菜单选择目标模型。

# 示例：使用 Ollama 运行 Llama-3 并暴露为 API
ollama run llama3

# 启动后，默认监听 http://localhost:11434
# 在 Dify 中配置：
Provider: Ollama
Base URL: http://your-host-ip:11434
Model: llama3
API Key: （留空）

3. 常见问题分析与解决方案

问题类型	可能原因	排查方法	解决策略
API 密钥配置失败	密钥错误、权限不足、格式不符	检查日志 error.log；使用 curl 测试原始接口	重新生成密钥，确认作用域（scope）包含 model:read
响应超时（Timeout）	网络延迟、模型推理慢、代理阻断	telnet 测试端口连通性；查看 nginx 超时设置	调整 Dify worker 超时参数（default: 30s），启用流式输出
返回格式不兼容	非标准 JSON Schema、缺少 choices 字段	抓包分析 response body 结构	使用 Custom Provider 编写适配器中间层
Hugging Face 模型无法加载	未开启 Inference API、私有模型未授权	访问 hf.co/api/models/{model_id} 验证状态	升级为 Pro Plan 或部署至 Inference Endpoints
Ollama 模型不可见	Dify 无法访问宿主机 Docker 网络	从 Dify 容器内执行 curl http://host.docker.internal:11434/api/tags	配置 docker-compose 中 network_mode: host 或添加 extra_hosts
Token 限制导致截断	模型上下文窗口较小（如 2k tokens）	观察 prompt truncation 日志	启用动态压缩、摘要预处理节点
并发请求失败	vLLM/Ollama 限流、GPU 内存溢出	监控 GPU 利用率（nvidia-smi）	启用批处理（batching）、降低 max_parallel
国产模型签名认证失败	未实现 HMAC-SHA256 签名算法	对比官方 SDK 实现逻辑	开发专用 Provider 插件扩展 Dify 核心
SSL/TLS 证书错误	私有部署使用自签证书	openssl s_client -connect your-domain:443	将 CA 加入容器信任链或设置 verify_ssl=False
模型输出乱码或编码异常	Content-Type 不匹配、gzip 编码未解压	wireshark 抓包分析 payload	强制指定 Accept: application/json;charset=utf-8

4. 私有化部署模型对接实践

当使用 Hugging Face 或 Ollama 运行本地模型时，需确保满足以下条件：

• 模型已成功加载并提供 HTTP 接口服务。
• 网络层面允许 Dify 后端访问模型服务地址（考虑跨容器通信）。
• 响应结构符合 OpenAI 兼容格式（或通过适配器转换）。

# 使用 text-generation-inference (TGI) 部署 Llama-3-8B
docker run --gpus all -d \
  -p 8080:80 \
  ghcr.io/huggingface/text-generation-inference:latest \
  --model-id meta-llama/Meta-Llama-3-8B-Instruct \
  --port 80 \
  --max-input-length 4096 \
  --max-total-tokens 8192

随后在 Dify 中配置 Custom API：

Base URL: http://tgi-server:8080
API Key: （任意占位符）
Model Name: meta-llama/Meta-Llama-3-8B-Instruct

5. 开源与商业模型调用方式差异对比

Dify 对两类模型采用不同的抽象层级进行封装：

graph TD A[用户发起请求] --> B{模型类型判断} B -->|商业模型| C[调用官方API
e.g., openai.com/v1/chat/completions] B -->|开源模型| D[调用本地推理服务
e.g., ollama/api/generate] C --> E[HTTPS加密传输+API Key认证] D --> F[内网直连+可选Basic Auth] E --> G[标准JSON响应解析] F --> H[结构映射适配OpenAI格式] G --> I[返回至Dify执行引擎] H --> I

主要差异体现在以下几个方面：

• 认证机制：商业模型依赖 API Key + Signature（如阿里云 AK/SK），开源模型通常无需认证或使用 Basic Auth。
• 网络要求：商业模型需稳定外网出口，开源模型强调低延迟局域网互通。
• 成本控制：商业模型按 token 计费，开源模型以算力消耗为主（GPU 时间）。
• 更新频率：商业模型自动升级，开源模型需手动 pull 新版本镜像或权重。
• 合规性：私有数据场景优先选用本地部署的开源模型以规避泄露风险。

6. 接口规范、认证方式与网络要求总览

为了系统化管理多模型接入，建议建立标准化接入清单：

模型名称	提供商	接口协议	认证方式	Base URL	典型延迟	是否支持流式	最大上下文	私有部署可行性	中文优化程度
GPT-4o	OpenAI	REST + SSE	Bearer Token	https://api.openai.com/v1	<1s	是	128k	否	一般
Claude-3.5	Anthropic	REST	API Key	https://api.anthropic.com	~2s	是	200k	否	一般
Qwen-Max	阿里云	REST + 签名	AccessKey + SecretKey	https://dashscope.aliyuncs.com/api	~1.5s	是	32k	部分（专有云）	强
ChatGLM3-6B	智谱AI	REST	API Key	https://open.bigmodel.cn/api/paas/v3/model-api	~2s	是	8k	否	强
Baichuan2-13B	百川智能	REST	API Key	https://api.baichuan-ai.com/v1	~1.8s	是	16k	否	强
Llama-3-8B	Meta	HTTP/gRPC	无 / Basic Auth	http://localhost:8080	<1s	是	8k	是	弱
Ollama (内置)	Ollama	HTTP	无	http://host:11434	<0.5s	是	4k-32k	是	依模型而定
Falcon-180B	TII	OpenAPI	Token	https://api.tiiuae.gov.ae/falcon	~3s	待验证	2k	否	弱
DeepSeek-V2	深度求索	REST	API Key	https://api.deepseek.com/v1	~1.2s	是	32k	否	强
Yi-34B	零一万物	REST	API Key	https://api.01.ai/v1	~2.5s	是	32k	否	强