llama-factory训练日志epoch为什么是浮点数？

Question

请问各位佬，在使用llama-factory 微调llama3-8B模型，训练的过程中使用train.state.log_history打印训练过程中的loss，我的训练集大小为1000，验证机集大小为300，以下是我设置的一些参数：

，

train_steps = train_dataset_size /(train_batch_size * gradient_accumulation_steps)=1000/(2 * 2)= 250
eval_steps = eval_dataset_size /(eval_batch_size * eval_accumulation_steps) = 300/(2 * 2)= 75
为什么epoch输出的是浮点数？如何设置到 int?

Answer 1

以下回复引自免费微信小程序：皆我百晓生。 如问题解决，还请采纳。如仍有疑问，请回复留言或私信博主，以便获得更精准的帮助。

在使用LLAMA-FACTORY进行微调模型训练时，EPOCH的值通常是以一个浮点数形式存储的，例如：

EPOCHS = 50

这里EPOCHS表示训练的轮次（比如50轮），50代表50个EPOCH。

然而，TRAIN.STATE.LOG_HISTORY是一个字典对象，其键通常是STATE.HISTORY_EPOCH, STATE.HISTORY_STEP, 或者STATE.HISTORY_BATCH. 这些键分别对应于每个EPOCH的历史损失和准确率等信息。

TRAIN.STATE.LOG_HISTORY的每个元素都是一串元组，每一项元组包含以下内容：

• EPOCH: 当前EPOCH对应的索引
• LOSS: 当前EPOCH的平均LOSS
• ACCURACY: 当前EPOCH的准确率

TRAIN.STATE.LOG_HISTORY包含了训练过程中所有EPOCH的信息，包括每一轮的LOSS、ACCURACY以及EPOCH的具体索引。

如果您的训练集大小为1000，那么TRAIN.STATE.LOG_HISTORY中的每条记录都会包含如下信息：

(0, 2.46974923, 0.99976267)

这意味着在第0轮中，我们的模型在1000个样本上获得了2.47个损失，并且在这个阶段达到了99.97%的准确率。这表明我们的模型在训练过程中表现良好，但是由于数据量较小，可能无法达到较高的准确性。

因此，为了获得更精确的模型性能，您需要根据实际数据量调整TRAIN.STATE.LOG_HISTORY的索引范围。建议尝试将TRAIN.STATE.LOG_HISTORY的索引从1开始向上扩展，以获取更详细的损失和准确率历史。