LLaMA-Factory训练问题

Question

在huggingface上下载的数据集是parquet格式，且在根据它的readme注册后，在llamafactory上训练时显示KeyError：instruction，两个问题：1.需要把parquet格式转换为json格式再训练吗？2.如果不需要转换，这个训练时的问题怎么解决？

Answer 1

下午好🌅🌅🌅
本答案参考通义千问

在使用 LLaMA-Factory 进行训练时，如果你从 Hugging Face 下载的数据集是 Parquet 格式，并且在注册后遇到 KeyError: 'instruction' 的问题，以下是详细的解决方案和解释：

---

一、是否需要将 Parquet 转换为 JSON？

✅ 不需要强制转换为 JSON

LLaMA-Factory 支持多种数据格式，包括 Parquet。只要数据集中包含所需的字段（如 instruction, input, output），就可以直接用于训练。

但需要注意以下几点：

1. 数据结构必须符合 LLaMA-Factory 的预期格式。
2. 字段名称必须与模型训练脚本中定义的字段一致（例如：instruction, input, output）。

---

二、如何解决 KeyError: 'instruction' 的问题？

🔍 问题分析

你遇到的错误是因为 LLaMA-Factory 在加载数据时尝试访问 instruction 字段，但该字段在你的 Parquet 数据中不存在或拼写不一致。

---

🧠 解决方案

1. 检查数据文件的字段名

• 使用 Python 加载 Parquet 文件，查看实际字段名：

  import pandas as pd
  df = pd.read_parquet("your_dataset.parquet")
  print(df.columns)
  

  确保字段名为 instruction, input, output 或者类似名称（如 question, context, answer）。

---

2. 如果字段名不一致，进行重命名或映射

• 如果字段名不同，可以在加载数据时进行重命名：

  df.rename(columns={
      "question": "instruction",
      "context": "input",
      "answer": "output"
  }, inplace=True)
  

• 或者在训练配置中指定字段名（如果支持）。

---

3. 自定义数据加载器（推荐）

如果你无法修改原始数据，可以自定义数据加载器来适配 LLaMA-Factory。

• 在 llamafactory/data_utils.py 或自定义脚本中，修改数据读取逻辑，确保字段匹配。

示例代码片段：

def load_data(path):
    df = pd.read_parquet(path)
    # 确保字段名正确
    if "instruction" not in df.columns:
        raise KeyError("Missing required field: instruction")
    return df.to_dict(orient="records")

---

4. 修改训练配置文件（如 config.json 或 train_args.yaml）

如果 LLaMA-Factory 允许自定义字段名，可以修改训练参数中的字段配置：

data:
  train_file: "your_dataset.parquet"
  field_map:
    instruction: "question"
    input: "context"
    output: "answer"

---

5. 验证数据格式是否符合要求

LLaMA-Factory 通常期望每条数据是一个字典，包含如下字段：

{
  "instruction": "What is the capital of France?",
  "input": "",
  "output": "Paris"
}

你可以通过以下方式验证数据：

for item in data:
    assert "instruction" in item
    assert "output" in item

---

三、总结（重点）

✅ 是否需要转换？

不需要强制转换为 JSON，只要字段名正确即可直接训练。

✅ 如何解决 KeyError？

请按以下步骤处理：

1. 检查字段名：确认数据中包含 instruction, input, output。
2. 重命名字段：如果字段名不一致，进行重命名。
3. 自定义数据加载器：确保字段匹配。
4. 修改配置文件：指定字段映射关系。
5. 验证数据格式：确保每条记录都包含必要字段。

---

四、参考代码示例（可选）

如果你需要将 Parquet 转换为 JSON 并保留字段一致性，可以这样做：

import pandas as pd

# 读取 Parquet 文件
df = pd.read_parquet("your_dataset.parquet")

# 重命名字段（假设原字段为 question, context, answer）
df.rename(columns={
    "question": "instruction",
    "context": "input",
    "answer": "output"
}, inplace=True)

# 保存为 JSON
df.to_json("converted_data.json", orient="records", lines=True)

---

如有更多关于 LLaMA-Factory 的配置问题，欢迎继续提问！