TITS投稿中实验可复现性常见问题？

Question

在TITS（IEEE Transactions on Intelligent Transportation Systems）投稿中，实验可复现性的一个常见问题是**数据与代码未完整公开**。许多作者仅提供算法描述和部分实验结果，但未共享训练数据、测试环境配置或核心代码，导致其他研究者难以复现结果。此外，随机种子未固定、超参数设置不详尽、仿真平台版本缺失等问题也严重影响复现效果。为提升可复现性，建议作者将完整代码、标准化数据集及详细实验步骤上传至公共仓库（如GitHub或Zenodo），并在论文中明确标注可复现性声明。

Answer 1

提升TITS投稿中实验可复现性的系统性策略

1. 问题背景与核心挑战

在智能交通系统（Intelligent Transportation Systems, ITS）研究领域，IEEE Transactions on Intelligent Transportation Systems (TITS)作为顶级期刊，对研究成果的科学性和严谨性要求极高。然而，近年来大量投稿存在实验不可复现的问题，严重削弱了学术成果的可信度。

主要症结在于：数据与代码未完整公开。许多作者仅提供算法伪代码和有限的实验结果图表，却未披露训练数据集、测试环境配置或关键实现细节，导致其他研究者无法验证其结论。

2. 可复现性缺失的技术根源分析

• 数据封闭：私有数据未脱敏共享，或使用非标准化数据集且未提供预处理脚本。
• 代码不完整：仅发布主干代码，缺失依赖项、训练脚本或评估模块。
• 随机性控制不足：未固定随机种子（如PyTorch的torch.manual_seed(42)），导致结果波动。
• 超参数模糊：论文中省略学习率衰减策略、优化器动量等关键配置。
• 平台版本缺失：未声明CUDA版本、TensorFlow/PyTorch版本及操作系统环境。

3. 提升可复现性的多维度解决方案

维度	常见问题	推荐解决方案
数据	未提供原始数据或预处理流程	上传至Zenodo并生成DOI；附带数据清洗脚本
代码	缺少训练/推理入口文件	GitHub仓库包含requirements.txt和Dockerfile
环境	CUDA版本不明	使用Conda环境导出yml文件
随机性	多次运行结果差异大	统一设置全局种子并记录
文档	README信息不全	撰写详细实验复现指南（Step-by-step）
评估	指标计算方式不清	提供独立的evaluation.py脚本
版本控制	代码与论文描述不符	Git Tag标注论文对应版本
仿真平台	SUMO/Carla版本缺失	明确标注仿真工具链版本号
超参数	仅列出部分参数	提供完整config.json文件
声明机制	无复现性说明	在论文末尾添加“Reproducibility Statement”

4. 实施路径：从提交到归档的全流程设计

import torch
import numpy as np

def set_random_seed(seed=42):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    np.random.seed(seed)
    import random
    random.seed(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

# 必须在模型初始化前调用
set_random_seed(42)

5. 可复现性增强架构流程图

graph TD A[原始数据采集] --> B[数据脱敏与标准化] B --> C[上传至Zenodo/GitHub] C --> D[代码仓库构建] D --> E[编写requirements.txt] E --> F[创建Docker镜像] F --> G[撰写详细README.md] G --> H[固定随机种子] H --> I[记录超参数配置] I --> J[生成可复现性声明] J --> K[论文提交附链接]

6. 行业最佳实践案例参考

以近期发表于TITS的一篇自动驾驶轨迹预测论文为例，作者不仅开源了全部PyTorch代码，还：

1. 提供了Argoverse数据集的下载与解析脚本；
2. 发布了基于Docker的容器化运行环境；
3. 在GitHub Release中标记了“TITS-2024-submission”版本；
4. 附带Jupyter Notebook展示训练过程可视化；
5. 在论文第一页脚注声明：“Code and data available at: https://github.com/xxx”；
6. 包含完整的ablation study实验配置文件；
7. 使用MLflow记录每次实验的超参数与性能指标；
8. 提供API接口用于第三方调用模型；
9. 通过GitHub Actions实现CI/CD自动测试；
10. 注册ORCID并关联数据集DOI。