如何正确配置vLLM的DP、TP、PP参数以优化大模型推理性能？

Question

**问题：** 在使用vLLM进行大规模语言模型推理时，如何合理配置数据并行（DP）、张量并行（TP）和流水线并行（PP）参数，以在不同硬件资源下实现最优的推理吞吐与延迟平衡？是否存在配置的最佳实践或性能调优策略？

Answer 1

一、vLLM推理中的并行策略配置与性能调优指南

vLLM 是一个高效的大型语言模型（LLM）推理引擎，支持多种并行策略，包括数据并行（Data Parallelism, DP）、张量并行（Tensor Parallelism, TP）和流水线并行（Pipeline Parallelism, PP）。在实际部署中，如何根据硬件资源合理配置这些参数，以实现吞吐与延迟的最优平衡，是工程实践中的一大挑战。

1. 理解三种并行策略的基本原理

• 数据并行（DP）： 将输入请求分布在多个设备上独立处理。适用于负载均衡良好且模型较小的场景。
• 张量并行（TP）： 将模型权重按层切分到多个GPU上进行计算，适合大模型在多卡环境下的推理加速。
• 流水线并行（PP）： 将模型拆分为多个阶段，每个阶段由不同的设备执行，形成流水线结构，提升整体吞吐。

2. 并行策略的组合方式及其适用场景

并行类型组合	适用场景	优点	缺点
TP + PP	大规模模型部署在多个GPU上	高吞吐，充分利用硬件资源	增加通信开销，延迟略高
TP + DP	多节点集群部署，负载均衡要求高	扩展性强，稳定性好	内存重复存储模型副本，资源浪费
PP + DP	中等规模模型，需高并发	兼顾延迟与吞吐	调度复杂度高，需精细调参
TP + PP + DP	超大规模模型，集群部署	极致利用资源，最大吞吐	配置复杂，调试成本高

3. 配置参数选择的关键因素

1. 模型大小： 参数量越大，越需要TP或PP来分散计算压力。
2. 硬件资源： GPU数量、显存容量、带宽决定了并行上限。
3. 请求模式： 批量请求适合DP，长序列生成适合PP。
4. 目标指标： 优先吞吐则加大DP/PP；优先延迟则减少PP层级。
5. 通信效率： 多设备间通信延迟会影响整体性能，需权衡TP和PP的比例。

4. 性能调优实践建议

# 示例：启动vLLM服务时设置并行参数
python -m vllm.entrypoints.api_server \
    --host 0.0.0.0 \
    --port 8000 \
    --model facebook/opt-6.7b \
    --tensor-parallel-size 2 \
    --pipeline-parallel-size 2 \
    --distributed-executor-backend ray

graph TD A[确定模型参数量] --> B{是否超过单卡显存？} B -->|是| C[启用TP] B -->|否| D[尝试DP+PP] C --> E[评估可用GPU数量] E --> F{是否大于TP需求？} F -->|是| G[结合DP提升吞吐] F -->|否| H[优化通信拓扑] D --> I[测试不同PP深度] I --> J[观察延迟与吞吐变化] J --> K[调整批次大小与prefill长度]

5. 最佳实践总结

• 对于中小模型（如7B以下），推荐使用 TP=1, PP=1, DP=N 的方式最大化并发。
• 大模型（如34B以上）应优先使用 TP=4, PP=2，再视GPU数量决定DP值。
• 在Ray分布式环境下，建议将 pipeline_parallel_size × tensor_parallel_size = GPU总数。
• 使用 prefill_chunk_length 控制预填充阶段的批处理粒度，避免内存抖动。
• 监控GPU利用率和请求队列延迟，动态调整 max_num_seqs 和 max_model_len。
• 对于低延迟场景，适当减少PP层数，降低中间传输开销。
• 对于高吞吐场景，可增加DP并行度，并优化batching策略。