LLM/ RAG 处理JSON数据提问

Question

背景介绍：有50000个JSON数据，每一个JSON都对应了一位学生的信息，包括学生姓名，学生身高，学生体重。我需要利用这些JSON数据，利用LLM帮助查找查找出一些信息。例如，teacher提问：请列出50000学生中，BMI都处于合格范围内的学生信息。在这个问题中，我需要建立LLM模型，书写prompt，回答teacher所有可能的问题。

prompt的书写大致如下：f"学生信息JSON数据如下：{student_information_json}. 请你根据提供的学生信息，帮助一位teacher回答下列问题：{teacher_problem}"。

提问：在这个程序中，我发现LLM处理的效率很低，可能是JSON数据太复杂了原因吗？有什么办法可以让LLM高效完成这个任务吗？

Answer 1

以下回复引自免费微信小程序：皆我百晓生。 如问题解决，还请采纳。如仍有疑问，请回复留言或私信博主，以便获得更精准的帮助。

在PYTHON中，我们可以使用JSON库来处理JSON数据。以下是一个简单的例子，展示了如何从JSON文件中读取数据，并使用LLM（自然语言处理模型）来找到学生的名字、身高和体重的相关信息。

首先，我们需要导入所需的库：

IMPORT JSON
FROM GENSIM.MODELS IMPORT KEYEDVECTORS

然后，创建一个字典来存储学生的相关信息：

STUDENT_INFO = {
    '张三': {'NAME': '张三', 'HEIGHT': 172.3, 'WEIGHT': 68},
    '李四': {'NAME': '李四', 'HEIGHT': 168.4, 'WEIGHT': 70},
    # 更多的姓名和身高/体重信息...
}

接下来，我们定义一个函数来查找和返回学生的名字、身高和体重的相关信息：

DEF GET_STUDENT_DETAILS(JSON_DATA):
    RESULT = {}
    FOR KEY IN STUDENT_INFO:
        IF ISINSTANCE(STUDENT_INFO[KEY], DICT) AND 'NAME' IN STUDENT_INFO[KEY]:
            NAME = STUDENT_INFO[KEY]['NAME']
            HEIGHT = STUDENT_INFO[KEY]['HEIGHT']
            WEIGHT = STUDENT_INFO[KEY]['WEIGHT']
            RESULT[NAME] = {'HEIGHT': HEIGHT, 'WEIGHT': WEIGHT}
    RETURN RESULT

# 测试函数
TEST_JSON = '{"STUDENTS": [{"NAME":"张三","HEIGHT":172.3,"WEIGHT":68},{"NAME":"李四","HEIGHT":168.4,"WEIGHT":70}]}'
PRINT(GET_STUDENT_DETAILS(TEST_JSON))

这段代码将打印出一个字典，其中包含每个学生的名字、身高和体重。你可以根据需要添加更多的学生信息到这个字典中。

请注意，这只是一个基本的例子。在实际应用中，你可能还需要考虑数据清洗、异常值检测、数据预处理等步骤。此外，你需要选择合适的LLM模型（如GPT-3、ELEUTHERAI/GIGAWORD等），并确保它们能够正确理解你的数据格式。