Fleiss' Kappa计算中，如何处理观测者间一致性为负值的情况？

Question

在Fleiss' Kappa计算中，若观测者间一致性得分出现负值，常见的技术问题是如何正确解读与调整这种异常结果？负值通常表明观察到的一致性低于偶然一致性，可能源于数据分布不均、类别定义模糊或评分标准差异。此时需检查数据质量，确保评分者对类别理解一致，并重新评估任务设计是否合理。若问题源于极端数据分布，可考虑使用其他指标（如Gwet's AC或Krippendorff's Alpha）替代Fleiss' Kappa，以获得更稳健的一致性估计。如何在具体场景下选择合适的修正策略或替代方法，是解决这一问题的关键。