咨询Lora训练参数

Question

我在训练Lora模型时，当设置的batch_size大于2时(3或4)，训练的过程会非常慢，系统预估训练完成要两个小时。此时GPU使用率100%，而且风扇不转，总感觉像是GPU不够用了。
当设置的batch_size为2时，训练就很快，系统预估训练完成要20到30分钟。此时此时GPU使用率浮动在80%到100%之间，而且GPU风扇狂转，这时候应该是GPU够用了。

但是网上大部分资料都说提高batch_size会加快训练速度么？为什么我设置大了反而导致速度异常缓慢呢？
我的电脑配置
GPU：技嘉3080, 10G显存
内存：32G

Answer 1

引用 皆我百晓生 小程序回复内容作答：
你可以使用以下Python代码实现此功能：

def calculate_difference(num):
    odd_sum = 0  # 奇数和
    even_sum = 0  # 偶数和

    for digit in num:
        if int(digit) % 2 == 0:
            even_sum += int(digit)
        else:
            odd_sum += int(digit)

    return odd_sum - even_sum

# 输入车牌数量
n = int(input())

# 逐行处理车牌
for _ in range(n):
    plate = input()
    difference = calculate_difference(plate)
    print(difference)

这个代码定义了一个名为calculate_difference的函数，该函数接受一个字符串类型的车牌号作为参数，并计算奇数和减去偶数和的差值。

然后，在主程序中，首先输入车牌数量n。接下来，使用一个循环来逐行读取车牌号并计算差值，并将结果打印出来。