审稿人意见中要求添加算法之间差异的统计学指标？

Question

Are the differences across the investigated algorithms statistically significant? (In both ablation study and comparison with SOTA). Please report p-values.
各位，我做的实验是分割算法与其他算法的对比，以上是审稿人的意见，这个p值我应该怎么计算呢

Answer 1

引用new bing部分回答作答：
计算p值需要具体根据您的实验设计和分析方法进行，以下是一些常用的方法：

对于您的分割算法和其他算法的对比，您可以使用t检验或方差分析(ANOVA)来比较它们之间的差异。这些方法可以计算p值以确定差异是否显著。但是，这些方法的使用要求您的数据符合正态分布和方差齐性等假设。

如果您的数据不符合正态分布假设，您可以使用非参数检验，如Wilcoxon秩和检验或Mann-Whitney U检验。这些方法也可以计算p值来确定差异是否显著。

对于您的对比结果，您可以使用多重比较校正方法来控制假阳性率。例如，Bonferroni校正可以将显著性水平调整为比原始显著性水平更小的水平，以控制整体类型I错误率。

选择合适的方法和正确地计算p值需要了解您的实验设计和分析方法。如果您对如何计算p值和如何解释结果感到不确定，建议请教相关领域的专家或咨询编辑或审稿人。

如果您对比了4个算法，一般情况下需要进行两两相互比较，以确定它们之间的差异是否显著。您可以使用多种统计方法来比较不同算法之间的差异，如t检验、方差分析（ANOVA）、非参数检验等。

在进行两两比较时，需要使用适当的多重比较校正方法来控制整体的错误率，例如Bonferroni校正、Tukey HSD等。

当然，您也可以将不同算法的结果与您的结果进行比较，以确定您的算法是否超越了现有的算法或SOTA。在这种情况下，您需要对您的算法和其他算法进行单独比较，并使用适当的统计方法和多重比较校正方法来确定差异是否显著。