Im studio 速度慢

Question

8张RTX4090 显存192G
LM studio 运行deepseek-r1:70B Q8 75G 每秒出tokens 的数量只有3 感觉没有把配置吃满

Answer 1

让【道友老李】来帮你解答，本回答参考gpt编写，并整理提供，如果还有疑问可以点击头像关注私信或评论。

如果答案让您满意，请采纳、关注，非常感谢！

问题：为什么在拥有8张RTX4090显卡，总共192GB显存的情况下，在LM studio运行deepseek-r1:70B Q8 75G时，每秒只能输出3个tokens的数量，感觉没有把配置充分利用。 答：可能是由于深度学习模型的设计、数据处理方式、计算需求等方面导致显卡资源没有被充分利用。在这种情况下，我们可以尝试优化模型、调整参数或采用其他技术手段来提高显卡利用率。 以下是可能的解决方案之一，即使用多GPU并行计算来提高性能：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
# 假设定义了一个深度学习模型
class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        # 模型结构定义
    def forward(self, x):
        # 前向传播逻辑
        return x
# 数据加载和预处理
data_loader = DataLoader(dataset, batch_size=64, shuffle=True)
# 模型实例化
model = Model()
model = model.cuda()
# 多GPU并行计算
model = nn.DataParallel(model)
# 损失函数和优化器定义
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
# 训练过程
for data in data_loader:
    inputs, labels = data
    inputs, labels = inputs.cuda(), labels.cuda()
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, labels)
    loss.backward()
    optimizer.step()

上述代码中，我们使用了DataLoader加载数据，定义了一个深度学习模型，并将模型和数据移动到GPU上进行计算。通过使用nn.DataParallel函数来实现多GPU并行计算，从而充分利用多张显卡资源来加快训练速度。 除了使用多GPU并行计算外，还可以通过调整数据处理方式、模型结构、优化器等方式来提高显卡利用率。如果以上解决方案无法解决问题，建议对深度学习模型进行进一步优化和调整。