Ollama参数设置常见问题：如何合理配置num_gpu控制GPU资源？

Question

在使用Ollama部署大模型时，常遇到如何合理设置`num_gpu`参数以优化GPU资源利用的问题。用户不清楚应将`num_gpu`设置为多少才能在多GPU环境下实现最佳性能，且缺乏对参数取值与显存分配、模型分片策略之间关系的理解。设置过高可能导致显存碎片或资源争用，过低则无法充分利用硬件能力。如何根据GPU数量、显存大小及模型规模科学配置`num_gpu`，成为影响推理效率与稳定性的重要问题。

Answer 1

1. 理解 num_gpu 参数的基本作用

在使用 Ollama 部署大语言模型时，num_gpu 是一个关键的运行时参数，用于指定模型推理过程中可使用的 GPU 数量。其核心功能是控制模型权重在多个 GPU 上的分布方式。当设置 num_gpu=N 时，Ollama 会尝试将模型层（layers）按顺序切分到前 N 个可用 GPU 上，实现模型并行（model parallelism），从而减少单个 GPU 的显存压力，并提升推理吞吐。

例如，若系统配备 4 块 NVIDIA A100 80GB 显卡，但仅设置 num_gpu=1，则只有第一块 GPU 被用于加载整个模型，其余 GPU 处于闲置状态，造成资源浪费。反之，若模型本身较小（如 7B 参数级别），却设置 num_gpu=4，可能导致跨 GPU 通信开销增加、显存碎片化等问题。

2. 显存分配与模型规模的关系分析

合理配置 num_gpu 必须首先理解模型对显存的需求。大模型的显存占用主要由三部分构成：

• 模型权重（Weights）：FP16 格式下，每 10 亿参数约需 2GB 显存。
• 激活值（Activations）：推理时中间层输出，受序列长度影响较大。
• KV 缓存（Key-Value Cache）：生成式任务中用于缓存注意力机制的历史状态，随输出长度线性增长。

以下为常见模型在 FP16 精度下的显存需求估算表：

模型参数规模	权重显存（GB）	典型最小单卡需求（GB）	建议最小 num_gpu
7B	14	16	1
13B	26	32	2
34B	68	80	2~4
70B	140	160	4~8
180B	360	400+	8+
Llama-3-8B	16	18	1~2
Mistral-7B	14	16	1
Gemma-7B	14	16	1
Qwen-14B	28	32	2
DeepSeek-V2-16B	32	36	2~3

3. 模型分片策略与 num_gpu 的协同机制

Ollama 内部采用基于层的垂直分片（layer-wise sharding）策略，即将 Transformer 层依次分配给不同 GPU。假设模型有 40 层，num_gpu=4，则大致每块 GPU 负责 10 层的计算。这种静态分片方式虽简单高效，但也带来负载不均风险——靠近输入/输出的层可能计算密度不同。

此外，GPU 间通过 PCIe 或 NVLink 进行张量传输。若 num_gpu 设置过高，而 GPU 间带宽有限（如 PCIe 3.0 x8），则通信延迟可能成为瓶颈。因此，最佳配置需权衡“显存容量”与“互联带宽”两个维度。

# 示例：启动命令中设置 num_gpu
ollama run llama3:8b --num_gpu 2
# 或通过环境变量配置
export OLLAMA_NUM_GPU=4
ollama run qwen:14b

4. 多GPU环境下性能调优实践流程

为科学配置 num_gpu，建议遵循如下分析流程：

1. 确认本地 GPU 数量及每卡显存：nvidia-smi
2. 查询目标模型的大致显存需求（参考官方文档或社区基准）
3. 计算理论最小所需 GPU 数：ceil(总显存需求 / 单卡可用显存)
4. 检查 GPU 间互联拓扑：nvidia-smi topo -m
5. 从最小必要值开始测试，逐步增加 num_gpu 并监控吞吐（tokens/s）与延迟
6. 观察是否出现显存碎片（OOM despite free memory）或通信等待
7. 结合 dmesg | grep oom 和 nvidia-smi dmon 排查异常

5. 实际部署中的高级考量与优化建议

在生产环境中，还需考虑以下因素：

• 混合精度支持：启用 FP16/BF16 可显著降低显存占用，允许更少的 num_gpu。
• 量化模型：使用 GGUF 格式的 Q4_K_M 或 Q5_K_S 量化版本，可在保持较高精度的同时减少 40%~60% 显存消耗。
• 批处理（batching）与并发请求：高并发场景下，适当增加 num_gpu 可提高整体吞吐，但需避免上下文切换开销。
• NUMA 架构对齐：确保 CPU 亲和性与 GPU 所属 NUMA 节点匹配，减少内存访问延迟。

graph TD
    A[确定模型参数规模] --> B{显存需求 > 单卡容量?}
    B -- 是 --> C[计算所需最小GPU数]
    B -- 否 --> D[可尝试num_gpu=1]
    C --> E[检查GPU互联带宽]
    E --> F[设置初始num_gpu=ceil(需求/单卡)]
    F --> G[运行基准测试]
    G --> H[监控显存利用率与吞吐]
    H --> I{性能达标?}
    I -- 是 --> J[锁定配置]
    I -- 否 --> K[调整num_gpu±1再测试]
    K --> G