如何对自己构建的知识图谱进行质量评估？错误检测？（相关搜索：三元组|数据集|训练集）

Question

这个质量评估搞的我很懵很乱。。T_T
请问如何对自己构建的知识图谱进行质量评估？
在质量评估的准确性纬度方面，有什么可用的算法？
最近看了基于嵌入的transE，KGTtm，突然发现几个问题，。
1.是不是都是对构建知识图谱的三元组数据集进行评估正确或错误？计算三元组得分？
2.我是基于我的数据做嵌入，怎么反过来判断我的数据对不对呢？
3.我的数据集中没有正负例的标注，要自己通过替换头尾实体生成负例，这样做是不是假设了我的数据集是全部正确的？
4.对自己的数据要分训练集测试集，只判断了测试集中的数据吗?
5.Knowledge GraphTriple trustworthiness measurement model, KGTtm这篇论文的方法可行吗

好凌乱，求解答T_T

Answer 1

该回答引用自GPT-4o，由博主小ᶻZ࿆编写：

如何对自己构建的知识图谱进行质量评估？错误检测？

1. 是否只看三元组数据集的正确和错误？

知识图谱的质量评估通常不只是对三元组数据集的正确性进行简单的判断。在实际应用中，三元组得分可以通过对图谱中每个三元组进行打分，通常使用嵌入模型（如TransE、KGTtm）来计算得分。然而，这并不是唯一的评估方式。

2. 如何反过来判断数据对不对？

对于数据质量评估，除了正确率之外，还可以使用以下几个方面：

• 一致性检查：通过验证图谱中三元组是否符合已知的逻辑规则或约束。
• 错误检测：这可以通过负样本的生成来实现，即通过替换三元组的头实体或尾实体生成假三元组，并用模型预测这些三元组的得分。
• 可信度量：例如，Knowledge Graph Triple Trustworthiness Measurement（KGTtm）模型可以用于计算三元组的可信度。

3. 如何处理没有正负例的标注数据？

对于没有明确正负标注的数据集，可以通过生成负样本的方法来构建训练集。这通常涉及随机替换三元组的头或尾来创建“错误”的例子，并将这些错误的三元组用于模型训练和验证。要注意的是，这种方法默认假设原始数据集是全部正确的。

4. 对自己的数据集如何进行质量评估？

对于自建的数据集，可以使用基于训练集的评估方法，这些方法不仅限于判断测试集中的三元组。关键是使用一套明确的评估标准，如准确率、召回率、F1分数等。同时，也可以通过图谱中的实体和关系的覆盖率、冗余性和稀疏性等指标来综合评估图谱的质量。

5. 是否可以使用KGTtm方法进行评估？

KGTtm方法是一个专门用于知识图谱三元组可信度评估的模型，你可以参考相关论文中的具体实现方法。它适用于从三元组的角度对知识图谱的质量进行细粒度的评估。

以上方法综合使用，可以帮助更好地对知识图谱进行全面的质量评估。

如有帮助，题主可以帮忙采纳一下嘛，谢谢~