RAPTOR实验的复现

Question

我现在复现论文中的实验数据遇到了一些问题，有没有看过论文，可以帮忙解决一下，论文题目是“RAPTOR: RECURSIVE ABSTRACTIVE PROCESSINGFOR TREE-ORGANIZED RETRIEVAL”。
论文分享了代码的仓库，但是没有实验部分的代码，自己刚接触，不知道该怎么复现出来，我写的脚本得出的实验结果数据很差，与论文中的数据相差很大，尤其是在Narrativeqa数据集上的。

希望能帮忙解决一下

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

复现论文中的实验数据涉及到多个方面，包括数据预处理、模型实现、参数设置以及评估方法等。针对您提到的“RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL”论文，以下是一些建议帮助您解决问题并复现实验数据：

1. 数据预处理：确保您使用的数据集与论文中使用的数据集一致，并且数据预处理步骤也完全相同。这包括数据集的分割、清洗、编码等。核对数据集处理细节和任何与数据集相关的中间文件，以确保它们是正确的。

2. 模型实现：检查您的模型实现是否与论文中的描述相符。确保您正确地实现了RAPTOR模型的所有组件，包括递归抽象处理、树结构检索等。与论文中的伪代码或模型架构图进行对比，确保代码的逻辑和结构是正确的。

3. 参数设置：核对论文中使用的超参数设置，确保您在复现实验时使用了相同的参数。这包括学习率、批次大小、优化器类型等。有时候，细微的参数差异也可能导致实验结果的巨大差异。

4. 训练过程：确保您的训练过程与论文中的描述一致。这包括训练周期数、验证和测试过程的设置等。此外，还要注意是否有早停、学习率调整等训练策略。

5. 评估方法：核对论文中使用的评估指标和计算方法，确保您使用的评估方法与论文中的方法一致。针对您提到的ROUGE、BLEU和METEOR等指标，确保您的计算方式与论文中描述的相同。

6. 依赖库和环境：确认您使用的库和环境与论文中使用的版本一致或相近。有时候，不同版本的库可能会导致一些意外的行为或结果差异。

7. 调试和验证：在复现过程中，逐步调试您的代码，验证每一步的输出是否与论文中的结果相符。这有助于定位问题所在。

8. 寻求帮助：如果您在复现过程中遇到问题，可以在相关的论坛或社区寻求帮助，例如GitHub、StackOverflow等。另外，如果论文作者或其他研究者提供了进一步的代码或指导，也可以向他们咨询。

关于您在Narrativeqa数据集上得到的结果与论文中的数据相差很大的问题，除了上述建议外，还需要特别注意以下几点：

• 确保您正确地从原始数据中生成了Narrativeqa数据集的实例。
• 检查您的模型在Narrativeqa数据集上的具体表现，比如理解模型对哪些实例做得好、哪些实例出现问题，并针对性地进行调整。
• 如果论文中提供了额外的训练技巧或策略，确保您也采用了这些技巧来优化模型的表现。

总之，复现论文中的实验数据需要耐心和细心，逐步检查每个步骤并确保与论文中的描述一致。希望这些建议能帮助您解决问题并成功复现实验数据。